Gemma4やQwen3.6だけじゃない…ローカルLLM「爆速進化」実現した“4つの技術”を解説(3/3)

　最新のローカルLLMを実際に動かすにはどんなハードウェアが必要なのか。鍵は「量子化したときのサイズ」と「メモリ容量」の関係だ。

　Qwen3.6-35B-A3Bを例にとる。同じモデルでも、4bitなら18～22GB、3bitなら13～17GB、2bitなら11～12GBと、圧縮率でサイズが変わる。だから16GBのGPUなら3bit、24GBのGPUなら4bit、という具合に機材から逆算できる。

　手が届く範囲の主役はGemma 4 QAT、Qwen3.6、Ornith-1.0の3系統だ。

　Gemma 4 QATは、文章作成や社内文書の検索回答に強い。サイズは12Bが約8GBで、16GBのGPUやメモリ32GBのMacで動く。

　Qwen3.6は、コーディングと安定性で評価が高い。27BはSWE-bench Verifiedで77.2という公表値を出し、SNSではClaude Sonnet級と評されている。

　新顔のOrnith-1.0は、エージェント作業に特化している。6月25日にMITライセンスで公開された。

　この3つはWindowsでもMacでも、OllamaやLM Studioという無料のローカルLLM運営用アプリで、比較的簡単に試せる。

　手持ちの機材ごとに、おすすめのAIモデルを整理して表にしたのが以下だ。


　なお最上位のGLM-5.2（744B）は2bitでも238GBを要し、DGX Spark 1台でも載らない。本当に大きいモデルは、まだその先にある。

メリットだけじゃない…知っておくべき「落とし穴」

　ローカルLLMは、一度ハードを設定すれば、後は電気代だけで動かせるのが魅力だ。ただし、万能というわけではない。

　まず、量子化で賢さが落ちる場面がある。雑談や要約では差が出にくいが、数学、厳密なコード、関数の呼び出しでは劣化が出やすい。

　次に、公開直後のモデルの高得点は、開発元自身の評価が中心だ。第三者の検証はこれからで、額面通りには受け取れない。

　そして、日本語の最終品質はまだクラウドが上だ。下書きや調査はローカルで十分こなせるが、外部に発表する文章は、日本語作文に定評があるClaudeなどとの併用が現実的だ。ローカルLLM単体ではWeb検索もできないので、検索API（Tavilyなど）をMCPサーバーやSkillで補う必要がある。

　導入のハードルは高いが、流れを知る上で知っておきたいモデルもある。

　GLM-5.2は744BのMoEで、公開モデルでは性能上位とされる。ただし動かすには256GB級のMacかGPUサーバが要る。DeepSeek V4 Flashは284B（実働13B）で、強く圧縮しても約80GBのメモリを使う。

　Redisの作者antirezが専用エンジンを書き、128GBのMacで毎秒30トークン台という報告が出ている。これは人が文章を目で追う速さとほぼ同じだ。こうした80GB級の大型モデルを1台で動かす層に向けたNVIDIAのDGX Spark（128GBメモリ）は、国内で約86万円から115万円前後で売られている（2026年6月時点）。

GPT-5.5やClaudeとの使い分けは？

　ローカルLLMは「動かせて、楽しい嬉しい」の段階を抜けた。変えたのは、量子化、QAT、MoE、そしてエージェント向けの高速化という土台の技術だ。賢さを保って小さくし、必要な部分だけ動かす。この積み重ねが、趣味や研究の対象だったローカルLLMを実用ラインに届かせた。

　とはいえ、クラウドを完全に置き換える段階にはまだ届かない。高度で複雑な問題はGPT-5.5や5.6、ClaudeのFable 5やOpusといった高性能LLMを使うほうが現実的だ。文書の要約や下調べ、設計が決まっているコードの実装はローカルLLMで回し、外部に発表するレポートや記事の原稿、難しい分析や設計や計画はクラウドのフロンティアLLMに任せる。

　それも本当に実用になるかは自分で試していただきたい。まずはOllamaかLM StudioにGemma 4 QATかQwen3.6を入れ、実際にバイブコーディングやエージェント運用に使ってみてほしい。