マイクロソフト、自社でAIチップを開発

　マイクロソフトが自社AIチップの開発に着手していることが報じられている。第一報を報じたのは、The Informationだ。NVIDIAへの依存度を下げ、大規模言語モデルのトレーニングを進めることが狙いとされる。

　情報筋によると、マイクロソフトは「Athene（アテネ）」というコードネームのもと、2019年から秘密裏にチップの開発を進めており、現在マイクロソフトとOpenAIの社員らが最新のGPT-4などの大規模言語モデルでどの程度効果的に機能するかをテストしているという。

　日本でも人気を博すChatGPT。開発したのはOpenAIだが、マイクロソフトも同社に多大な資金を投じ、ChatGPTのベースとなる大規模言語モデルの開発に深く携わっている。生成AIの開発・運営において必要となるのが、グラフィクス・プロセシング・ユニット（GPU）だ。このGPUの供給で、現在NVIDIAが独占的なシェアを占めており、GPU価格も高止まりしている。


　最近の大規模言語モデル開発・運営では、NVIDIAが2020年にリリースした「A100」というモデルが主に利用されている。価格は1～3万ドルほど。また、2022年にリリースされた後継モデル「H100」は、現在eBayで4万ドル以上で取り引きされていることが確認された。

　TrendForceの推計では、ChatGPTの開発から商業化までに、A100換算では、約3万以上のGPUが必要とされる。単純計算では、GPU1つあたりのコストを1万ドルとすると、そのコストは3億ドル（約400億円）に達する。

AI開発の高コスト問題

　マイクロソフトだけでなく、グーグルも最近自社で開発しているAIチップ「TPUv4」が「A100」のパフォーマンスを上回ったとする論文を公開するなど、NVIDIAに対する依存度を下げようという動きがテック大手企業で顕著となっている。

　これらの動きは、生成AI市場が抱える構造的なコスト問題に焦点を当てるものであり、同市場の動向を知る上でも重要なトピックだ。

　AI開発のコストにまつわる現状はどうなっているのか、事例をみてみたい。

　Latitudeというスタートアップは、生成AIを活用したロールプレイングゲーム「AI Dungeon」を提供しているが、その生成技術はOpenAIのGPTモデルによって実現されていた。

　このゲームを運営するにあたってLatitudeは、OpenAIとAWSに利用料を支払っていたが、そのコストは毎月20万ドル（約2,700万円）に達していた。

　これを受け同社は、コスト削減のためOpenAIからイスラエル拠点のAI21 Labsに乗り換え、またオープンソースや無料の言語モデルも取り入れることで、生成AI関連コストを半額以下に抑えることができたという。

　上記でも触れたが、OpenAIのChatGPTの商業化には3万のGPUが必要と推計されており、そのコストが大規模言語モデルを利用するクライアントに転嫁された格好だ。

　他のテック大手によるAI開発の取り組みでも、高コストとなる事例が報告されている。

　たとえば、メタが最近リリースしたLLaMAモデルは、2048個の「A100」を使用し、1兆4000万のトークン（1000トークン＝約750ワード）をトレーニングしたが、その日数は21日に及んだ。これをAWSの利用価格に換算すると、240万ドルを超えるという。このLLaMAモデルのパラメータ数は650億で、ChatGPTのベースモデルが持つ1750億パラメータよりも小さいものである。

　またAIスタートアップのHugging FaceのCEO、クレマン・デラング氏は、同社のBloom大規模言語モデルのトレーニングには2カ月半以上かかり、500個のGPUに相当するスーパーコンピューターが必要であったと述べている。

　さらに最新報道では、イーロン・マスク氏がChatGPTの競合AI「TruthGPT」の開発に乗り出したとされるが、これに関連してマスク氏は約1万のデータセンターグレードのGPUを購入したといわれている。単純計算では、1万ドルのA100であれば1億ドル、4万ドルといわれるH100であれば4億ドルを支払ったことになる。 【次ページ】開発だけでなく、運営・維持でも高コスト