1年でTPUは4種類に、グーグルが新AI半導体2種を発表　機密計算向けは遅延最大半減

　グーグルは11月9日、AI向け半導体「TPU（Tensor Processing Unit）」の第8世代に、新システム「TPU 8tx」と「TPU 8i Max」を追加すると発表した。4月の「Google Cloud Next」で発表した大規模学習向けの「TPU 8t」、推論向けの「TPU 8i」と合わせ、1年間に4種類のTPUシステムを投入するのは初めてという。

　TPU 8txは、安全な機密推論に最適化したシステムで、小規模な学習にも向く。規制の厳しい企業や政府が、独自のモデルやAIエージェントを機微なデータとともに動かす用途を想定している。通常、データは保存時や通信時には暗号化されるが、処理中はメモリー上で暗号を解く必要がある。8txはこの弱点をハードウェアの層で補い、データやモデルの重みを使用中も保護・隔離するという。

　8txはTPU 8tと同じシリコンを使い、ホストには第5世代のAMD EPYCを組み合わせる。推論向けの8iで採用した低遅延ネットワーク「Boardfly」も取り入れ、TPU 8tと比べて遅延を最大2分の1に減らしつつ、性能の低下はほぼないとしている。非公開データでのモデルの微調整、大規模モデルの蒸留、強化学習によるエージェントの訓練も、機微なデータを別のクラスタに移さず1つのシステムで行えるという。

　一方のTPU 8i Maxは、多数のAIエージェントが大規模なコードベースや長時間の動画を同時に扱う際の、メモリ帯域の逼迫に対応する。低遅延の8iのチップ2つを1つのパッケージにまとめ、8iと比べて計算能力、SRAM、HBM帯域をそれぞれ2倍にした。既存のラックと同じ設置面積に2倍のシリコンを収められるため、床面積や電力あたりの計算力を高められるとしている。

　グーグルによると、TPUはフロンティアラボやトレーディング会社、小売り、大学など100社近い顧客を持つ成長事業という。外部の企業から個別の要望が増えていることが、新システムの背景にあると説明した。TPUをめぐっては、10月にオラクルが自社のクラウド基盤「OCI」でも提供する計画が明らかになっている。価格と提供時期は、発表資料では示されていない。