ベンチマーク高得点でも「仕事ができるAI」とは限らない…国内企業に学ぶ新選定術(2/2)

国内事例に見る「自社の業務に必要な性能」

　では、実務に合うモデルをどう見極めるか。まず決めたいのは、仕事ごとの合格条件だ。たとえば議事録なら、決定事項や担当者、期限を原文どおりに残せること。社内文書への質問回答なら、根拠を示し、資料にないことを勝手に補わないこと。流暢さだけでは合否を決められない。



　国内のtokimoaが7月17日に公開した評価レポートは、架空企業の合成データを使い、議事録要約40問と文書を参照する回答57問を評価した。要約の忠実度や引用の正確さに加え、計算に使う数値の精度を下げてモデルを軽くする量子化や、出力上限などの設定でも結果が変わったと報告している。

　同レポートは各構成1回の実行で、最上位クラウドモデルとの直接比較も含まない。読み取れるのは、特定モデルの絶対的な優位性ではなく、実際に使う構成で業務に近い課題を測る意義だ。モデル名が同じでも、動かし方まで同じとは限らない。

　自社で試すなら、普段の仕事に加え、情報が欠けた依頼や例外的な条件も用意する。その上で複数回試し、品質を満たした割合、完了までの時間、人が修正した時間を記録する。まれな失敗でも影響が大きい業務は、平均点とは別に失敗の中身を見る必要がある。

　品質を満たす候補がそろってから、費用を比べる。利用料金が安くても、再実行や人の修正が増えれば割安とは限らない。比較単位は、依頼1回の料金より、仕事を1件完了させるための総費用だ。

　小型モデルやローカルAIも、この手順で候補に入る。ただし、モデルの規模と実行場所は別の軸である。手元で動かすなら、機器や保守の費用も含めて合格条件を満たすかを確かめる。27Bで十分かどうかの答えは、業務と運用条件によって変わる。

導入後のAI費用を1/10に落とした国内企業も