以前の記事で、DeepSeek R1をインストールしたことについて書きました。
しかし、私の環境では重くて実用的ではないと感じました。そこで、もっと軽量なモデルを試してみることにしました。
インストールしたモデル
DeepSeek R1は私の環境では重すぎて使い物にならなかったため、すでに削除しました。
代わりに以下のモデルをインストールしました。
すでにOllamaをインストールしているので、これらのモデルも簡単にインストールできました。
また、Open WebUIをインストールしているため、モデルの切り替えも簡単に行えます。
便利すぎる…
ざっくりとした感想
速度
計測したわけではないので、あくまで体感ですが、速度の順番は以下の通りです。
Gemma2 ＞ Llama3 ＞＞ 越えられない壁 ＞＞ DeepSeek R1
DeepSeek R1については、PCのスペック的に厳しいため、速度的には仕方ないと思います。
Gemma2はWeb版のChatGPTを使っているのと近い感覚で、私のPCのスペックでもストレスなく使えます。
Llama3はGemma2より少し遅い程度ですが、質問内容によっては少し待たされることもありました。
私の環境では、ストレスなく使えるのはGemma2です。
精度
これも体感で恐縮ですが、あえて差をつけるなら
Llama3 ＞ Gemma2
といった感じです。
Gemma2を多めに試してみたところ、間違った回答を繰り返すことがあり、実用的に疑問を感じることもありました。
「ここは間違ってるから修正して」と言っても、「了解！」と言った後に同じ答えを返してきました。何度も。
ただ、得手不得手があると思うので、Gemma2に合った使い道を見つけることが重要です。
総合
総合的に考えると、継続して使うならGemma2という判断になりました。
今回いくつかのモデルを試してみて、回答の精度にそこまで大きな差は感じませんでした。
そのため、自分にとってはストレスなく答えが返ってくることの方が重要と判断しました。
おわりに
というわけで、私がローカルで使うならGemma2…と言いたいところですが、この記事を書いている間にもMicrosoftのPhi-4やSoftbankのSarashina2.2がリリースされたというニュースが入ってきました。
- Microsoft、新型AIモデル「Phi-4-multimodal」と「Phi-4-mini」を発表
- Sarashina2.2-Instruct：コンパクトかつ性能の高い日本語Instructモデル
まさに日進月歩の世界です。
とりあえずGemma2は残しつつ、新しいモデルが出たら試していくことになりそうです。
QAサンプル
DeepSeek R1の時と同じように質問してみましたので、参考までに貼っておきます。
Llama3にDeepSeek R1について聞いてみた
Llama3にChatGPTについて聞いてみた
Gemma2にDeepSeek R1について聞いてみた
Gemma2にChatGPTについて聞いてみた
