- 2026/08/26 11:10 掲載
OpenAI、初の自社推論チップ「Jalapeno(ハラペーニョ)」実測公開、効率最大1.9倍
Jalapenoは、大規模言語モデル(LLM)が利用者への回答を生成する「推論」に特化したアクセラレーター。OpenAIは米ブロードコムと共同で開発しており、2026年6月24日に初めて公表していた。
今回の測定には、SemiAnalysisが公開する推論ベンチマーク「InferenceX」を利用した。GPT-OSS 120B、DeepSeek R1 670B、Kimi K2.5 1Tの3つの公開モデルを動かし、エヌビディアのGB200またはGB300を搭載した商用システムと比較した。
OpenAIによると、3モデルを通じてJalapenoは、ピークスループット時のワット当たり処理性能が比較対象の1.5~1.9倍となった。エンドツーエンドの遅延は1.7~3.6倍低く、応答速度が重要になるインタラクティブな処理では2.1~4.1倍の性能を示したという。
GPT-OSS 120Bでは、1キロワット当たりのピーク処理性能が8万5,448 mixed TPSとなった。GB200を使った比較対象システムの4万4,960 mixed TPSに対して約1.9倍となる。エンドツーエンドの遅延も1.03秒で、比較対象の1.80秒を下回った。
DeepSeek R1 670Bでは、1キロワット当たりのピーク処理性能が1万9,641 mixed TPSとなり、GB300を使用した比較対象の1万1,781 mixed TPSに対して約1.7倍だった。エンドツーエンドの遅延は1.65秒で、比較対象の5.99秒に対して約3.6倍低かった。
さらに、今回試験した中で最大となるKimi K2.5 1Tでは、1キロワット当たりのピーク処理性能が1万8,195 mixed TPSとなり、比較対象の1万1,862 mixed TPSに対して約1.5倍。エンドツーエンドの遅延も1.56秒で、比較対象の5.31秒に対して約3.4倍低かった。
Jalapenoの定格消費電力は700Wだが、OpenAIによると、今回測定したワークロードでは持続的な実消費電力が550W以下に収まった。同社は、チップ単体のピーク性能だけではなく、利用者が求める応答速度を保ちながら、単位電力当たりでどれだけ多くのAI処理を実行できるかを重視しているという。
そこでJalapenoでは、モデルの状態やKVキャッシュを必要な場所に保持し、データ移動やチップ間通信による待ち時間を抑える設計を採用した。OpenAIは、高スループットと低遅延を同じアーキテクチャーで両立したことが今回の結果につながったとしている。
開発プロセスでもAIを直接活用した。OpenAIによると、初期設計からテープアウトまでを9カ月で進め、設計候補の探索や測定、検証の高速化に自社AIモデルを利用した。
また、GPT-OSSの一部のアテンション処理とMixture of Experts(MoE)処理では、AIが生成した実装が、人間の専門家による既存実装より1.5~1.8倍高速だったという。ただし、この数値はモデル全体ではなく、選択した一部の処理ブロックを比較した結果としている。
OpenAIは2026年末までに、自社の計算インフラへのJalapeno導入を始める計画。すでに第2世代の開発を本格化させ、第3世代についても設計を進めているという。
一方、自社チップだけに切り替えるわけではなく、OpenAIは学習と推論の双方でエヌビディアをはじめとするパートナー企業のアクセラレーターを今後も幅広く導入すると説明している。自社チップを加えることで、モデルや用途に応じて計算基盤を使い分け、AI推論にかかる電力やコスト、応答速度の改善につなげる考えだ。
AI・生成AIのおすすめコンテンツ
AI・生成AIの関連コンテンツ
PR
PR
PR