生成AI活用の「足を引っ張る」想定外コスト増、ガートナー解説「10の対処法」とは(2/5)

コスト最適化を複雑にする「6つの要因」

　生成AIの業務活用が進む中で、避けて通れない課題が「コストの複雑さ」である。桂島氏は、コスト最適化のベストプラクティスを紹介する前提として、まず下図の6つの問題を挙げる。


　まず1つ目の「圧倒的なモデル選択肢の多さ」について桂島氏は、ハイパースケーラーのモデルカタログはすでに200を超え、日々増加しており、この中からコスト効率の良いモデルを選び出すのは容易ではないと説明する。

　続く「価格モデルのばらつき」に関しては、高性能モデルや推論特化型モデル、マルチモーダル処理など、それぞれ料金体系が異なり、ベンダー間の違いも評価を難しくしている。

　3つ目の「生成AI向けFinOpsツールの欠如」では、クラウドには利用量を可視化・最適化するツールが整備されつつあるが、生成AIは技術の進化が早く、既存のツールが追いついていない現状があるという。また、「AIエージェント」や「ディープリサーチ」のような新機能が次々登場することで、さらに対処が後手に回るとの見解を桂島氏は示す。

　そして4つ目の「氷山の一角に過ぎないAPIコスト」に関しては、多くの企業はAPI利用料に着目しがちだが、実際はモデル運用のための人材育成やツール整備といった「TCO（Total Cost of Ownership）」全体を見なければ本質的な最適化にはつながらない。

　その次の「生成AIコスト管理のノウハウ不足」では、多くの現場ではモデル選定やセキュリティ対策が優先され、コスト管理は後回しになりがちで、ナレッジも共有されていないことが多いという現状がある。

　そして最後の「コストを負担しないユーザーと開発者の存在」に関して桂島氏は、「AI活用を進める事業部門や開発者は、裏側で発生するインフラ費用やセキュリティ対策のコストを把握しておらず、フリーライド状態になりやすいです」と語る。

生成AI活用のコスト最適化「10のベストプラクティス」

　このような状況を踏まえ、桂島氏が推奨するのが、生成AI活用のコスト最適化を実現する10通りのベストプラクティスだ。


　このベストプラクティスは、以下の3つのカテゴリに分類できると桂島氏は話す。


　生成AIの活用において、まず重視すべきは「アーキテクチャ」の選定だ。

「セルフホスティングにするのか、RAG（Retrieval-Augmented Generation）を導入するのか、ファインチューニングするかといった判断は、初期段階で慎重に進めるべきです。誤ると後からの修正は困難となります」（桂島氏）

　次に、運用面では推論コストをどう抑えるかが課題となる。導入後に顕在化しやすいが、実際には非常に大きなコスト要因となるからだ。最後に重要なのが、継続的にコストをモニタリング・管理していく体制だという。

　では、各プラクティスの具体的な内容について見ていこう。 【次ページ】「数多すぎ」のAIモデルはどう評価する？