生成AI活用の「足を引っ張る」想定外コスト増、ガートナー解説「10の対処法」とは(5/5)

「ユーザー教育」が侮れないワケ

　残る2つのベストプラクティスは、「効果的な変更管理」に関するものだ。

■（9）費用対効果の高い使い方についてユーザーを教育する
　桂島氏によると「LLMプロジェクトの成功には、システム面の最適化に加えて「使う人の理解と行動」が不可欠」だという。

　たとえば、ベライゾン社では「コスト最適化プログラム」として、精緻なユーザー教育を実施している。具体的には「どのようなプロンプト設計がコストを下げるのか」「適切なトレードオフの判断基準は何か」「ユースケースごとに必要な推論コストの見積もり方」などを学ぶ内容となっており、実際に関係者には約5時間、事業部長クラスには2時間のトレーニングが提供されているとのことだ。

　こうした教育の整備は、運用段階でのコスト最適化に直結する。ユーザーに必要な知識を計画的に習得させることで、生成AIの持続的な活用を支える基盤となると言える。

■（10）目に見えるコストと隠れたコストを分析する
　生成AIの活用においては、API利用料などの“目に見えるコスト”に目が向きがちだが、実際には“隠れたコスト”の影響も無視できない。たとえばRAGの導入時には、検索性能がネックとなり、「データを拡張したいのにパフォーマンスが出ない」といった課題に直面することがある。

　また、アプリケーションにLLMを統合する際も、モデルとデータの組み合わせ方や、頻繁なモデルのアップデートに対応した調整作業など、地道な運用負荷が発生する。こうしたコストは数値化しづらく見落とされがちだが、積もり重なると総コストに大きく影響を及ぼすとのことだ。

コスト最適化へ「持つべき視点」

　ここまで、コストを押さえつつ効果的な生成AI活用を実現するベストプラクティスを見てきたが、桂島氏はこれらのベストプラクティスに関する行動計画として、最初からTCOを考慮し、本番環境で大規模に実行される可能性のあるアプリケーションのボリュームを見積もることの重要性を説く。

　また、モデルのサイズ、モデルのカスタマイズ、プロンプト・エンジニアリング、コンピュート・コストなど、主要なコスト要因の軽減に重点を置くことも必要だという。

「すべてを完全に把握するのは難しいですが、見えにくい運用負荷も含めたTCOを意識的にチェックし、最初からコスト全体を見通す視点を持つことが極めて重要です」（桂島氏）