Qwen3.8にFreeToken…API料金ゼロでLLMが動く「4つの新技術」のスゴい中身を徹底解説(2/3)

LLM「1/3以下」でも賢さ維持？進化版「量子化」の仕組み

　小さくなったとはいえ、Qwen3.8-27Bの元のファイルは約54.7GBあり、一般のGPUのVRAMには収まらない。そこで2つ目の技術、「量子化」の進化版の登場だ。

　量子化とは、パラメータの数値の記録精度を粗くしてファイルを小さくする圧縮技術だ。1個の数値に16ビット使っていたところを4ビットに減らせば、容量はおよそ1/4になる。当然、精度を削れば賢さも少しずつ失われる。小さくするほど劣化するという交換条件が、長らく量子化の常識だった。

　AI高速化を手がけるUnsloth社の「Dynamic 3.0」は、この常識を「どこを削るか」という配分の問題に変えた。モデルを実際に動かし、内部の各部分が出力へ与える影響を測定して、重要な部分には高い精度を残し、影響の小さい部分を強く圧縮するのである。画像圧縮に例えるなら、人物の顔や文字は高画質のまま残し、背景だけを強く圧縮するような技術だ。

　このDynamic 3.0の量子化を使うと、Qwen3.8-27Bの54.7GBが、4ビット中心版では16.5GBに、最小の1ビット版では6.19GBにまで小さくなった。

　ただし性能面のトレードオフはある。第三者の測定によると、4ビット版は元モデルとほぼ同じ成績を保った一方、1ビット版は高度な推論問題でほとんど答えられなくなった。「性能の7割を維持」といった宣伝的な数字もあるが、実際の使い勝手は別のようだ。Dynamic 3.0は1ビット圧縮の劇的な数字に注目されがちだが、本当の価値は実用になる3～4ビットの品質を底上げしたことにある。

　

実働わずか6Bで「125B級モデル」の次世代AI

　3つ目は、Qwen3.8-27Bのわずか12日後に公開されたQwen3.8-Flash-Nextだ。Qwen4の次世代アーキテクチャーを先取りした実験機という位置付けだ。その特徴は、パラメータ数は125Bに達するのに、1トークンの生成で実際に動くのは、約6B分にすぎないことだ。

　これは最近の流行の技術である「MoE」（Mixture of Experts）による成果だ。モデル内部を512人の専門家（Expert）に分割しておき、入力の内容に応じて適任の11人だけを呼び出して働かせる。Denseが全員出社の会社だとすると、MoEは1250億人分の専門家名簿を持ちながら、質問ごとに少数精鋭だけを招集する会社だ。知識の総量と毎回の計算量を切り離せることが、MoE最大の利点だ。

　ただしMoE自体はもう新しくない。Flash-Nextの新機軸はほかにある。（1）長文を毎回すべて読み直さず、索引で重要な箇所だけを選んで精読する仕組み。（2）頻出する言い回しを51B分の巨大な辞書に蓄えておき、計算せずに使う仕組み。（3）次の1語だけでなく数語先まで先読みして生成を速める仕組み。これらの計算量を抑えて賢さを増やす仕組みがFlash-Nextの「次世代」たるゆえんだ。


　ところでMoEは万能の薬ではない。計算に呼ばれない専門家にも、席と机は用意しなければならない。計算量は6B級でも、PCのメモリに載せるべき容量は付属部分を含めて約180B分に達し、ストレージとメモリの要求は依然として巨大である。GPUに収まらないモデルをどう動かすかという問題が、ここで壁として立ちはだかる。 【次ページ】「VRAM不足」は増設せず突破、FreeTokenが変えた発想