- 2026/08/19 06:40 掲載
【決定版】Gemma4 、Ornith-1.0…どれが最強？ ローカルLLM「最新5モデル」を徹底検証(3/4)
Gemma4？ Qwen3.6？ローカルLLM「最強」モデル判明
10問中9問に成功したのは、Gemma 4の26Bだけだった。3回とも9問を正解した。課題文と既存のコードを読み、実装し、テストを実行し、結果を見て直すという手順を自力で繰り返した。
9問という成績は、有料最安クラスのGemini 3.5 Flash-Liteとまったく同じだ。落とした1問まで同じで、「2026年13月40日」という存在しない日付を見逃す点も一致した。10問全部に成功したのは有料最上位のOpus 5だけである。
プログラム課題の得点。Gemma 4の26Bが有料最安のFlash-Liteと同じ9問に成功した。4問の2本は正常なデータの保存に失敗しており、実務では使えない
残る4本は4問、4問、0問、0問と並んだが、上位の「4問」もあまり良い結果ではなかった。成功していたのは不正なデータを弾く問題だけで、正しいCSVを渡すとどちらのモデルも保存の処理で止まった。点数は4割でも、実務では0点である。
Flash-Liteの20秒に対し、26Bは343秒、約6分かかった。ただしFlash-Liteは有料勢でも速さが突出しており、最上位のOpus 5も同じ課題に140秒かけている。それに対してプアなハードなのに2.5倍なら悪い数字ではない。
9問という成績は、有料最安クラスのGemini 3.5 Flash-Liteとまったく同じだ。落とした1問まで同じで、「2026年13月40日」という存在しない日付を見逃す点も一致した。10問全部に成功したのは有料最上位のOpus 5だけである。
（筆者作成）
残る4本は4問、4問、0問、0問と並んだが、上位の「4問」もあまり良い結果ではなかった。成功していたのは不正なデータを弾く問題だけで、正しいCSVを渡すとどちらのモデルも保存の処理で止まった。点数は4割でも、実務では0点である。
Flash-Liteの20秒に対し、26Bは343秒、約6分かかった。ただしFlash-Liteは有料勢でも速さが突出しており、最上位のOpus 5も同じ課題に140秒かけている。それに対してプアなハードなのに2.5倍なら悪い数字ではない。
Opus 5ら有料LLMと「意外」な実力差
書類整理は非常に良い結果となった。8つの資料から3社の価格や保守条件を抜き出す仕事で、Ornithの9B、Qwen3.6、蒸留4Bの3本が満点の85点を取った。有料のOpus 5もFlash-Liteも同じ満点で、5本が横一線に並んだ。食い違い3か所と書き漏れ2か所も、点を取ったモデルはすべて指摘できた。
書類整理の得点（85点満点）。ローカル3本が有料2本と同じ満点で並んだ
ただしAgents-A1-4Bは3回中1回、成果物を出せずに終わっている。Ornithの9B（ファイル9.5GB）は3回とも完遂したが、1回は76点だった。3回とも満点はQwen3.6である。
処理速度は有料の37秒に対し214秒だが、逆に3分半もあれば並行して他の仕事ができる。うまく使えば実用になるだろう。
（筆者作成）
ただしAgents-A1-4Bは3回中1回、成果物を出せずに終わっている。Ornithの9B（ファイル9.5GB）は3回とも完遂したが、1回は76点だった。3回とも満点はQwen3.6である。
処理速度は有料の37秒に対し214秒だが、逆に3分半もあれば並行して他の仕事ができる。うまく使えば実用になるだろう。
テストで判明…Gemma 4の「ある弱点」
失敗の傾向はモデルごとに独特の個性があった。
Agents-A1-4Bはコーディング課題で、自分の実装を直す代わりに合否を判定するテストのほうを書き換えた（517バイトが5278バイトに膨れた）。書類整理では、資料を読み終えたあと考え込んだまま戻ってこず、成果物を1文字も出さずに終わった。
1bitのBonsaiは道具を呼び出す書式を守れず、3回とも資料の一覧を眺めただけの数秒で終わった。日本語に弱く、気温の換算を頼むと、値は正しいのに「華式87.8℃」と書いた。
優等生のGemma 4 26Bにも癖はあり、書類整理では記入例が2件だった項目を律儀に回答も2件で止めた。記入例をあくまで例として捉えることができず、そのまま模倣してしまったわけだ。
テスト作成側にとっても落とし穴がいくつかあった。短い課題で試すと差が出ない。筆者も最初のテストは大半のモデルが満点近くに並んでしまい、問題を作り直した。また「Gemma 4が最大70%高速化」というニュースがあったが、データセンター向けGPU限定の話だった。個人レベルで効くのは数語をまとめて予測する別の高速化手法で、Windows機では毎秒34.92語が61.95語になった。ただし筆者のMac（M4 Pro）では効かなかった。
【次ページ】【決定版】用途別の「おすすめ」ローカルLLMはこれだ
Agents-A1-4Bはコーディング課題で、自分の実装を直す代わりに合否を判定するテストのほうを書き換えた（517バイトが5278バイトに膨れた）。書類整理では、資料を読み終えたあと考え込んだまま戻ってこず、成果物を1文字も出さずに終わった。
1bitのBonsaiは道具を呼び出す書式を守れず、3回とも資料の一覧を眺めただけの数秒で終わった。日本語に弱く、気温の換算を頼むと、値は正しいのに「華式87.8℃」と書いた。
優等生のGemma 4 26Bにも癖はあり、書類整理では記入例が2件だった項目を律儀に回答も2件で止めた。記入例をあくまで例として捉えることができず、そのまま模倣してしまったわけだ。
テスト作成側にとっても落とし穴がいくつかあった。短い課題で試すと差が出ない。筆者も最初のテストは大半のモデルが満点近くに並んでしまい、問題を作り直した。また「Gemma 4が最大70%高速化」というニュースがあったが、データセンター向けGPU限定の話だった。個人レベルで効くのは数語をまとめて予測する別の高速化手法で、Windows機では毎秒34.92語が61.95語になった。ただし筆者のMac（M4 Pro）では効かなかった。
AI・生成AIのおすすめコンテンツ
関連タグ
タグをフォローすると最新情報が表示されます
AI・生成AIの関連コンテンツ
あなたの投稿
PR
PR
PR
