Qwen3.8にFreeToken…API料金ゼロでLLMが動く「4つの新技術」のスゴい中身を徹底解説(3/3)

「VRAM不足」は増設せず突破、FreeTokenが変えた発想

　4つ目のFreeTokenは、モデルではなく実行エンジンの技術である。

　ローカルAIの問題はVRAM容量の少なさだ。ローカルでAIが動かせるのはGPUとVRAMが非常に高速だからだが、VRAMはとても高価でたくさん載せるのが難しい。量子化でモデルを削るのも、MoEで専門家を分割するのも、少ないVRAMに収めるためである。

　FreeTokenは発想を変えた。GPUとVRAM、CPU、メインメモリ、そしてそれらを結ぶデータの通り道までを、1つの推論システムとして扱う。頻繁に呼ばれる専門家はGPUへ置いたままにする。たまに呼ばれる専門家は、メモリからVRAMに転送する場合もあるが、CPUがその場で計算することもある。GPUとCPUのどちらを使うかはケースバイケースで、そのPCのCPU性能、メモリの速度、転送路の速度を起動時に実測して自動で決める。


　それでどのくらいの性能が出るのか？　開発チームの論文によれば、8GB版のRTX 4060を積んだノートPCで35BのMoEモデルが毎秒39.3トークンで動き、最上位級のRTX 5090では毎秒77～83トークンに達したという。

　FreeTokenは仕組み上、MoEモデルが前提で、Qwen3.8-27BのようなDenseモデルでは恩恵が得られない。また、Qwen3.8-Flash-NextはMoEだが、高速化を支える辞書だけでもメインメモリを約48GB占有するため、VRAMは縮小できてもメインメモリは大量に載せる必要がある。ここまでの4つの技術を単純に組み合わせて利用するのは、まだ難しい状況だ。

4つの新技術に共通の「ある目的」