グーグル・ディープマインド出身者のAI企業、論文再現でClaudeやGPT-5.5上回ると発表

　インヘレントは8月14日、研究論文の再現能力を測る評価基盤「Replica」と、同基盤で強化学習したFaradayの研究成果を発表した。Replicaは1990～2026年の機械学習と「科学研究へのAI活用」分野の論文100本から310件の課題を作成。論文中の結果図を隠し、限られた時間と計算資源で実験を組み直して図を再現させる仕組みだ。


　論文によると、Faradayは学習分布内の機械学習課題の73％、学習時に含まれなかった「科学研究へのAI活用」課題の60％で、アンソロピックのClaude Opus 4.8とオープンAIのGPT-5.5の双方を上回った。ここで73％、60％は「正答率」ではなく、2つの比較対象より高い評価を得た課題の割合を示す。テスト分割の平均スコアでも、Claude比6％、Codex比8％高かったという。

　Faradayの本体は、アリババ系のAIモデル「Qwen3.6-27B」を追加学習した27Bパラメータのモデルだ。ただし、Faradayだけですべての作業をこなすわけではない。Faradayが「どの実験を行うか」「結果をどう解釈するか」といった研究上の判断を担い、実際のコード作成ではオープンAIのGPT-5.5を使うCodexを外部ツールとして呼び出す仕組みになっているという。

　いわばFaradayが「研究者」、Codexが「プログラマー」として分業する構成だ。比較対象となったClaude Opus 4.8とGPT-5.5は、それぞれClaude CodeとCodex上で実行された。このため今回の結果は、小型の27Bモデル単体が大型モデルを上回ったという意味ではなく、Faradayが大型のコーディングAIを指揮する仕組みによって、論文再現の成績を高めたと見るべきだろう。

　評価には、課題ごとに自動生成したルーブリックを使うLLM判定器を採用した。研究チームは20人の参加者から117件の人手ランキングを集め、判定結果との整合性も検証した。一方、Replicaと主要な評価手法はいずれもインヘレントの研究チームが設計したもので、今回の性能差が第三者の独立したベンチマークで再検証されたわけではない。

　米テッククランチの報道によれば、同社が重視するのは競合AIを上回ること自体ではなく、「何を調べるか」「どの実験を行うか」といった科学研究で必要になる判断能力をAIに学習させる方法だ。既存研究の再現を足掛かりに、新たな科学的発見を支援するAIの開発につなげていくという。