米メタ、AI訓練基盤「Prometheus」の内幕を公開　数十万GPUが稼働、目標は100万基

　米メタは10月19日、米オハイオ州ニューアルバニーで構築を進めるギガワット級のAI訓練クラスター「Prometheus」の内幕を、技術ブログ「Engineering at Meta」で明らかにした。現在は数十万基のGPUが稼働しており、最終的には約100万基のGPUが連動して動く規模を目指すという。

　Prometheusは、今月発表した新たな最上位AIモデル「Muse Wonder」を含む、Museシリーズの訓練に使われた。メタによると、2年前のニューアルバニーは通常のWebトラフィックを処理するデータセンターだった。ハードウェアやネットワーク、建物設計の進化を取り入れて、最先端モデルの訓練拠点に作り替えたという。

　第1フェーズはすでに完成している。従来型とAI最適化型のデータセンター棟、急速展開型の施設を光ファイバーで結び、1台のマシンのように動かしている。


　GPUはNVIDIA製で、現在は2つのプラットフォームを導入している。GB200 NVL72を使う「Catalina」と、GB300 NVL72を使う「Clemente」だ。第3のプラットフォームとして、Vera Rubin NVL72ベースの「San Miguel」が近く加わる。

　安定性の指標も示した。Muse Wonderの訓練では、事前学習で85％超、強化学習（RL）で90％超のgoodput（有効に使えた訓練時間の割合）を達成したという。平均中断間隔（MTBI）は当初約4万7000GPU時間で、その後のファームウェア修正などで5万4000GPU時間超に伸びた。

　ネットワークは、GPU同士を直接つなぐ専用のイーサネット網で構成する。建物内の1つのファブリックは最大2万736基のGPUを結び、建物間を結ぶ集約網は2km～100km超に及ぶ。全体では光ファイバーが数百万マイル、スイッチが数万台、光トランシーバーが数百万個規模になるという。

　電力面では、数万基のGPUが同期して動くため、クラスター内で30～40％の負荷変動が生じる。メタは、電力の上限が近づくとGPUの電力上限を徐々に下げる管理基盤「Dynamo Dimmer」と、ラック内の電池やキャパシター、施設全体の蓄電システムでこれを吸収している。

　冷却は、空気を併用するモジュール型の液冷と、新設したAI最適化棟の施設液冷を使い分ける。