- 2026/09/28 10:33 掲載
中国ナイーブAIが3090億パラメーターの新モデル AIがAIを開発 推論は毎秒2000トークン
同社は「AIでフロンティアAIを構築する」を掲げ、AIモデルがコードを書き、実験を回し、結果を分析して改善を繰り返す開発体制をとっているという。人間の研究者は方向性や制約、評価基準を定め、重要な判断を下す役割を担う。今回のモデルでも、アテンション構造の探索と設計、学習・推論・デプロイの最適化にAIが関わったとしている。
モデルは、中国シャオミ(小米)が公開した基盤モデル「MiMo-V2.5」をベースに、3.25兆トークンの追加学習を施したもの。48層のうち39層は直近128トークンだけを参照するスライディングウィンドウ型とし、残る9層には中国ディープシークが開発した「DeepSeek Sparse Attention(DSA)」を採用した。すべてのトークン同士を参照する通常のアテンション層を持たずに、100万トークンの文脈長をネイティブで扱えるという。
同社が公表したベンチマーク結果では、ターミナル操作を評価するTerminal-Bench 2.1で86.7、自然言語の指示からリポジトリを生成するNL2Repo-Benchで71.9を記録した。AI研究開発の能力を測る評価でも、論文の実験を再現するPaperBenchで63.2、機械学習コンペ形式のMLE-bench-30で73.7%と、比較したモデルの中で最も高かったとしている。
同社は、モデル自身がAIの研究開発に加わることで、AIが次世代のAIを生み出す「再帰的自己改善(RSI)」への道が開けるとの考えを示した。
AI・生成AIのおすすめコンテンツ
AI・生成AIの関連コンテンツ
PR
PR
PR