Gemma4やQwen3.6だけじゃない…ローカルLLM「爆速進化」実現した“4つの技術”を解説(2/3)

【理由その1】量子化：賢さを保って小さくする

　LLMの正体は、膨大な数値の集まりだ。この数値1個を「重み」と呼ぶ。重みは通常、FP16やBF16という16bitの形式で、細かく記録する。モデルが大きいほど重みの数は増え、容量も増える。

　量子化は、この重みを粗い精度に置き換える圧縮技術だ。16bitの値を、4bit（16段階）の目盛りに丸め直す。数値は粗くなるが、1個あたりの容量は4分の1になる。


　効果は大きい。30B（300億パラメータ）クラスのモデルは、16bitなら約60GBある。4bitに落とせば約15GBだ。これでVRAM 24GBのGPUや、メモリ64GBのMacに載る。量子化がなければ、ローカルLLMは今ほど普及していない。

　ただしトレードオフがある。粗く丸めるほど、賢さは少しずつ削れる。8bitはほぼ無害、4bitが実用の境界線、2bitは用途を選ぶ、という感覚だ。

【理由その2】QAT：4bitを「妥協版」から「正式版」へ

　ここで問題になるのが、4bitまで落としたときの賢さの低下だ。モデルは本来16bitで訓練されているので、後から無理に4bitへ丸めると、ズレが目立つ。これまでの軽量版は、有志が完成後のモデルを圧縮した、いわば非公式の妥協版だった。

　QAT（量子化を織り込んだ訓練）は、この順番を変える。「最終的に4bitへ丸められる」ことを訓練の最中にあらかじめ想定し、丸めで生じるズレをモデルに吸収させながら学習する。結果として、4bitでも賢さが落ちにくい重みの並びができあがる。


　Gemma 4 QATがこの好例だ。Googleが公式に配ったこの版では、12Bモデルが16bitの22.8GBから4bitの8.3GBへ、31Bモデルが59GBから19.8GBへ縮む。容量は約3分の1だが、品質の低下は小さい。スマホ向けのE2Bは、11.4GBが最小1.1GBまで落ちる。

　これまで4bit版は「とりあえず動かすための妥協」だった。それがQATによって、モデルの作り手が「最初から4bitで動く前提の正式版」を配るようになった。ローカルで使える賢さの底が、一段上がったということだ。

【理由その3】：必要な専門家だけを動かす

　モデルを賢くする近道は、大きくすることだ。しかし大きくすると、1文字（正確にはトークンと呼ぶ単位）を生成するたびに全部の重みを計算するので、遅く、重くなる。この矛盾を解くのがMoE（混合エキスパート）だ。

　MoEは、モデルの内部を多数の「専門家」に分ける。そして入力ごとに「ルーター」と呼ばれる振り分け役が、必要な専門家だけを選んで動かす。会社にたとえると、全社員を毎回集める代わりに、案件ごとに担当社員だけを呼ぶようなものだ。

　Qwen3.6-35B-A3Bは、35Bと同等の専門家を抱えながら、1文字の生成で実際に動くのは3B相当の専門家だけだ。DeepSeek-V3にいたっては、671B中37Bしか動かさない。賢さの容量は巨大なまま、計算量は中型モデル並みに抑えられる。

　ここに1つ、誤解しやすい落とし穴がある。「実際に動くのは3B」は計算量の話であって、メモリの話ではない。専門家は全員、いつ呼ばれてもいいようにメモリへ置いておく必要がある。だから35Bモデルは、実働が3Bでも35B分のメモリを食う。「実働が小さい＝省メモリ」ではない。ただ、GPUのVRAMが24GBや16GBに限られているときに、VRAMに乗り切らない専門家をCPUのメインメモリに逃がすことで、RTX 5060 Tiや4060 Tiのような一般向けGPUでも、本格的なLLMを動かせるようになった。

【理由その4】エージェント向けの高速化

　4つ目は、AIエージェントの使い方に合わせた高速化だ。バイブコーディングに使われるClaude Codeなどの開発用AIエージェントは、短い推論を何度も繰り返す。そこで毎回読み込む長い共通のプロンプトやデータ（役割の設定、使える道具の一覧、これまでの履歴）のデータ量が、LLMの実行速度に影響する。

　vLLMという実行基盤は、この共通部分を一度処理したら再利用し、読み直しを省く（Prefix Caching）。ただし速くなるのは「読み込み」の部分で、答えを書き出す速度は別だ。

　もう1つの高速化の仕組みがMTPだ。通常、LLMはトークンを1つずつ順番に生成する。MTPは先の数トークンを同時に予測し、当たっていればまとめて確定する。GLM-5.2は5トークン先まで先読みする設計だ。これらが組み合わさり、ローカルでもエージェントを現実的な速度で回せるようになった。

　圧縮し、賢さを保ち、必要な部分だけ動かし、エージェント向けに整える。この4つがそろったことが、この1カ月の急速なローカルLLMの進化につながっている。 【次ページ】【理由その4】エージェント向けの高速化