【決定版】Gemma4 、Ornith-1.0…どれが最強？ ローカルLLM「最新5モデル」を徹底検証(2/4)

100万トークンでわずか“数円”？ローカルAIの「知られざるスゴさ」

　ローカルLLMは、自分のPCの中で動く生成AIである。多くはオープンウェイトという形でHugging Faceに公開され、誰でも無料でダウンロードできる（オープンソースとは違い、公開されるのは重みという数値の集まりだけである）。

　どれだけ使っても、増えるのは電気代だけである。例としてMac mini（M4 Pro・メモリ64GB）でGemma 4 26Bモデルを動かし、macOS標準の電力計測コマンドpowermetricsで測ると平均25.6Wだった。生成速度は毎秒63.87語なので、100万トークンあたり約3.5円になる（31円/kWh換算）。

　これまでのローカルLLMは、最新の強力なハードが必要なわりに性能が低く、ハード投資には見合わないとされてきた。しかし、16GB版GPU（RTX 4060 Tiや同クラスの5060 Ti）やMac miniで動くなら、話は変わってくるかもしれない。

最新ローカルLLMを支える「3つの技術」

　最近のローカルLLMの高性能化を支える主な技術は、圧縮と蒸留と後訓練の3つだ。

　「圧縮」の代表がBonsai 27Bだ。モデルの中身の数値を粗い目盛りに丸めて容量を減らすのが量子化で、以前は「4bitが実用の境界線」と紹介した。Bonsaiは4bitよりさらに小さい1bitにまで丸めて、54GBの27Bモデルを3.8GBまで縮めた。1/14である。開発元は「知能の90%を維持した」と主張する。実際にChromeで開くだけでも動き、筆者のMacで毎秒38語が出た。

　「蒸留」の代表がAgents-A1-4Bだ。こちらは圧縮ではなく、大きなモデルの「解き方」を小さなモデルに見習わせる知識蒸留で作られた。総パラメータ35Bの「Agents-A1」を教師モデルとして、ファイルサイズ4.5GBの4Bを教育して上位モデルに近い性能を目指した。

　「後訓練」の代表がOrnith-1.0だ。公開済みの土台を用途に合わせて鍛え直す工程を後訓練と呼ぶ。Ornithは中華LLMの代表であるQwen系と同じ設計と規模の土台を、エージェント作業に特化して教育した。筆者が作った35点満点のツール操作テストでは、素の同型モデル29点に対し35B版が32点、9B版でも31点で、Gemma 4の12B（27点）を上回った。後訓練でモデルサイズを超える性能を発揮できるのだ。

最新Macは不要？「型落ちPC」が叩き出した“まさかの結果”