Google DeepMind、独自のフロンティア級AIで「世界初」とする二重盲検評価を実証

　背景にあるのが、AI業界で「benchmark contamination（ベンチマーク汚染）」と呼ばれる問題である。AIモデルが、評価に使われる質問やプロンプトを学習などを通じて事前に見ている場合、本来の能力以上に高いスコアが出る可能性がある。

　Google DeepMindはこれを、試験を受ける学生が事前に問題を見てしまう状況に例えている。仮に高得点を取ったとしても、問題を事前に知っていたのであれば、その結果が純粋な実力を示しているとは判断しにくいというわけだ。AIモデルの性能競争が激しくなる中、ベンチマークの信頼性そのものが課題となっている。

　今回の実証では、Singapore AI Safety Institute、OpenMined、AVERI、MLCommonsと協力し、Gemini 2.5 Flash Liteを複数の非公開評価データで評価した。Google Cloudの「Confidential Space」を利用し、モデルの重みと評価用プロンプトの双方を保護した状態でテストを実施した。

　二重盲検評価のポイントは、モデル所有者と評価者の双方が、相手の機密情報を見ないまま評価できることにある。従来、高度なAIを外部機関が評価する際には、契約やゼロロギングといった対策が用いられてきたが、評価者がテスト用プロンプトをAI企業に渡せば、モデル開発側に問題を知られる恐れがあった。また、AI企業がモデルの重みを評価者へ渡せば、企業秘密であるモデル情報が外部に流出するリスクが生じる。

　今回の方式では、この2つの問題の解消を目指す。外部評価者にはGeminiのモデルの重みを開示せず、Google DeepMind側にも評価者が用意したテスト用プロンプトを開示しないよう、暗号化とアテステーションを用いた実行環境を構成した。Confidential Space上の安全な実行環境で、メモリ暗号化やハードウェアのリモートアテステーションなどを利用して双方の情報を処理し、機密性が保たれた状態で評価できるようにした。
　特に重要になるとみられるのが、サイバーセキュリティや政府機関による評価だ。こうした分野では評価用データ自体の機密性が高い一方、AI企業側もモデルの中身を外部に公開しにくい。二重盲検方式なら、双方が機密情報を保持したまま、第三者による安全性や能力の評価を実施できる可能性がある。

　一方、今回の方式は実証段階にある。技術報告書は、一部の独自実装コードを完全には検査・許可リスト化できなかったことや、アテステーションの署名・検証でGoogleのサービスに依存するためGoogleへの一定の信頼が残ることなどを、今後の改善点として挙げている。

　AIモデルは各種ベンチマークで高得点を競っているが、モデルが評価問題を事前に見た可能性を排除できなければ、そのスコアが実際の能力を正しく反映しているのか判断しにくくなる。Google DeepMindは今回の実証を通じ、より信頼性の高いAI評価手法につなげたい考えだ。