生成AI活用の「足を引っ張る」想定外コスト増、ガートナー解説「10の対処法」とは(3/5)

「数多すぎ」のAIモデルはどう評価する？

■（1）モデルの精度／パフォーマンス／コストのトレードオフを客観的に評価する
　まず重要なのが、モデルの精度・パフォーマンス・コストのトレードオフを客観的に評価する仕組みの整備である。生成AIのモデルは200種類以上あり、今も日々増え続けている。この膨大な選択肢の中から、自社に最適なモデルを見極めるには、システマティックな評価フレームが不可欠だ。

　桂島氏は「たとえば、外部のリーダーボードで公開されているランキングや、各種ベンチマークツールを活用しながら、社内独自のユースケース評価を掛け合わせること」を推奨する。また、最近では「LLM as a Judge」と呼ばれる、大規模言語モデル自身に別モデルの出力を評価させる方法論も注目を集めており、評価の省力化・効率化に寄与するとのことだ。

　さらに桂島氏は、評価と併せて考慮すべきが「TCO」だとも話す。

「PoC（概念実証）では把握しきれない隠れたコストも多いため、初期段階からある程度スケールした状態での検証が望ましいです」（桂島氏）

■（2）選択肢を拡充するためのモデル・ガーデンを作成する
　桂島氏は「生成AI活用の選択肢を拡充するためには、評価済みのモデルを開発者や社員がセルフサービスで利用できる“モデル・ガーデン”を整備することが有効です」と説明する。

　モデル・ガーデンとは、大規模なモデルや小規模なモデル、推論に特化したモデルなど、多様なモデルをあらかじめ揃えておき、必要に応じて選択可能にする取り組みを指す。

　桂島氏によると、近年ではオープンソースのモデルも注目されているという。

「拡張性や運用基盤の柔軟性に加え、透明性の確保という観点でも価値があり、オンプレミスやIaaS上で動作させられる点が強みです」（桂島氏）

　この際に重要なのが、単なるモデルのリスト化にとどまらず、「モデルカード」と呼ばれる詳細な情報を付与することだ。たとえば、応答の流暢さや一貫性、文脈理解の深さ、ハルシネーションの発生頻度など、多面的な観点でモデルを評価・共有することだ。

「費用対効果の分析結果を組織内で共有することで、利用者は自らの要件に合致し、かつコスト効率の高いモデルを選択しやすくなる環境を作り出すことも重要なポイントです」（桂島氏）

■（3）コストと品質のバランスを考えてデプロイ・モデルを決める
　このプラクティスに関しては、生成AIを導入・運用する際には「どのような利用形態（＝デプロイモデル）を選ぶか」がコストと品質の両面で極めて重要な判断になる。桂島氏が紹介するのが、下図の5つのアプローチだ。


　下位に行くほど精度は高まるが、初期費用や運用負荷も増大する。同氏は、基本的には「なるべく上位の形態で済ませる」方針が推奨されているが、用途によっては例外があるという。

「たとえば、ファインチューニングによって、プロンプトで都度与える情報をモデルに事前に内包できれば、推論時のOPEX（運用コスト）を抑えられる可能性もあります。また、CAPEX（初期投資）は上がるが、利用ボリュームの多いユースケースでは長期的に有効となることもあります」（桂島氏）

「注意するべき」見えにくいコスト

■（4）セルフホスティングのトレードオフを理解する
　このベストプラクティスに関して桂島氏は、「注意点」としての側面を強調する。

　セルフホスティング、すなわちオンプレミス環境に生成AIモデルをデプロイして運用する手法は、セキュリティ要件やオンプレミス側の基幹システム・データ基盤との整合性を重視するケースでは、選択肢の1つとなり得る。しかしその一方で、導入・運用にかかる「見えにくいコスト」が非常に大きく、グローバルでも注意が喚起されているという。

「たとえば、GPUインフラの構築には、NVIDIA製品だけでなく、NVLinkやInfiniBandといった高速ネットワーク接続の設計、水冷対応のラック整備などが必要となる場合もあります。それに対応するためには、専任のインフラチームを新たに設ける必要が生じる可能性があります。また、クラウドであればPaaSとして簡便に利用できるベクトルデータベースや管理レイヤーも、オンプレミスでは自力で整備・保守しなければなりません」（桂島氏）

　一見するとコスト削減に見えるセルフホスティングだが、運用体制によっては逆にコスト増となるリスクもある。

　桂島氏は「運用コストの大規模な削減に向け、さまざまなアプローチを評価する」ことを推奨した上で、「大規模にインフラチームを持てるようなプロジェクトでない限りは、一度立ち止まって考えたうえで決断しても遅くはないでしょう」と話し、十分な検討と準備を経た上での判断が不可欠であることも示唆する。 【次ページ】「ユーザー教育」が侮れないワケ