研究者の職は奪われない？最先端AIに6日間任せた論文2本、評価は「最低レベル」に

　プリンストン大学や英国AIセキュリティ研究所、スタンフォード大学などの国際研究チームは7月30日、AIエージェントが自由度の高いAI研究を自律遂行できるかを検証した論文「Can AI agents conduct open-ended AI research? Early evidence from two case studies」を公開した。未公開のNeurIPS 2026投稿論文2件から中心課題だけを取り出し、元論文を見せずにAIへ解かせる「シャドー評価」を提案した。

　今回の研究は、プリンストン大学のアービンド・ナラヤナン教授らが立ち上げたAI評価プロジェクト「CRUX」の一環。CRUXは、短いベンチマークでは捉えにくいAIの実力を測るため、数日から数週間に及ぶ現実的で自由度の高い課題をAIに実行させる。プリンストン大学は5月、AI研究開発やガバナンスを対象に、1～2カ月ごとに新たな評価を公開する計画を紹介していた。

　今回の発表の対象は、LLMの人格特性の構造と制御、表形式基盤モデルで予測精度を損なう分布変化の検出という2課題。主要実験ではClaude Opus 4.8をOpenClaw上で動かし、各課題に最長6日、3,000ドル（約49万円）、GPU予算、AWSの仮想マシン、Webアクセスを与えた。AIは文献調査、コード作成、実験、外部AI査読、論文執筆まで進めた。


　しかし、元論文の著者がトップAI学会の基準で採点すると、人格特性の論文は6段階で下から2番目となる2の「Reject」、分布変化の論文は最低となる1の「Strong Reject」だった。データや実験の選び方に根拠が乏しく、限られた結果から広い結論を導いたほか、文章も要点が見えにくいと評価された。

　一方、数百GPU時間の実験を動かし、先行研究を調べ、再現用コードを用意した点は評価された。研究に必要なエンジニアリング作業を広くこなす力は示した形だ。

　研究チームは失敗を5つに整理した。採択水準を見極める判断不足、研究設計への創造的な修正不足、行き詰まりからの抜本的な後戻り不足、時間・予算への認識不足、長期作業で指示から外れる「指示ドリフト」だ。

　AI自身の査読は計15回にわたり一度も採択判定を出さなかったが、AIは研究方針を捨てて最初からやり直さず、主張を弱めたり注意書きを増やしたりする対応に傾いたという。