マイクロソフト、基盤モデル「MAI-Base-2」の事前学習完了 総2.8兆パラメーターのMoE

　米マイクロソフトは10月15日（米国時間）、AI部門のMicrosoft AIが自社開発の基盤モデル「MAI-Base-2」の事前学習を完了したと、公式ブログで明らかにした。総パラメーターは2.8兆、推論時に動くアクティブパラメーターは800億で、複数の専門家モデルを使い分けるMoE（Mixture of Experts）構成。現在は追加学習にあたるポストトレーニングの段階にあり、結果は近く追加で共有するとしている。

　学習にはGPU「GB200」1万6000基を使い、2026年8月から9月にかけて38日間で実施した。学習データは50兆トークンで、うち18％を画像など視覚データが占める。画像を読み取る専用のエンコーダーを持たない構成で、最初から視覚と言語をまとめて学習した。ウェブデータの知識は2026年3月までという。

　Microsoft AIは、保留評価でテストしたオープンウェイトモデルのすべてを上回ると主張する。最も高性能なオープンウェイトの基盤モデルとするDeepSeekの「DeepSeek-V4-Pro-Base」と比べ、事前学習の計算量あたりの効率は4～12倍といい、浮いた計算量をより大きなモデルの学習に振り向けたと説明する。学習データの規模は、前モデルの「MAI-Base-1」から約36％増えた。

　同社は、学習データは自然由来のデータで、他のモデルからの蒸留は含まないと説明する。データの出どころを説明できることから、モデルの重みを「Foundry」を通じて信頼できるパートナーにライセンス提供できるとしている。一般提供の時期や価格は明らかにしていない。

　MAI-Base-2は、6月に発表した推論モデルMAI-Thinking-1の土台となったMAI-Base-1の後継にあたる。同社はMAI-Base-2を、次世代モデル群の基盤と位置づけている。