マイクロソフト ナデラCEOが語る、最新AIモデルより大事な「たった1つのこと」(2/2)

正しく答えるAIにも、任せてよい操作は限られる

　回答が正確でも、そのAIに顧客情報の変更まで任せてよいとは限らない。文章の正しさを確かめることと、システム上で許可する操作を決めることは、分けて考える必要がある。

　ナデラ氏は同じ対談で、モデル自体の安全性を高めるだけでなく、周囲のシステムにも動作を制御する仕組みを設ける考え方を説明した。AIに識別情報を付け、利用したツールなどの記録を残す。その記録をAI自身が書き換えられないようにすることも論点に挙げている。

　こうした考え方は、同社が7月に公開したAIエージェントの権限管理に関する指針にも見られる。AIエージェントとは、ツールを使って複数の作業を進めるAIのこと。指針では、エージェントごとに責任者を定め、必要なデータや操作だけにアクセスを認め、実行した処理を追跡できるようにすることを求めている。



　AIを業務に組み込む際の検証は、回答の採点だけでは終わらない。許可していない操作を防げるか、問題が起きたときに処理の経緯をたどれるかも、システム全体で確認することになる。

平均点だけでは見えない、業務ごとの得意・不得意

　評価基準は、導入時のモデル選びだけに使うものではない。導入後にモデルや料金が変わったとき、使い続けるか、別のモデルへ替えるかを判断する材料にもなる。

　マイクロソフトのModel Routerの評価ガイドは、実際の業務に近い入力データを用意し、現在の構成と品質、費用、応答時間、社内方針への適合を比べるよう説明している。対象モデルや料金、処理する仕事が変わった場合には、改めて評価する必要があるという。

　その際に注意したいのが、全体の平均値だけで判断しないことだ。同ガイドは、平均値では特定の業務の品質低下を見落とすおそれがあると指摘している。全体では高得点でも、重要な仕事で誤りが増えていれば、採用の判断は変わる。



　比較する際は、入力データやほかの条件をそろえる。その上で、どの仕事の品質が上がり、費用や待ち時間がどう変わったかを見る。こうした検証を重ねて初めて、自社にとってモデルを替える価値があるかを判断できる。ナデラ氏が重視する企業独自の評価基準は、その判断に現場の知識を生かすための土台といえる。