自己改善AIは制御不能に？ アンソロピック研究者が辞職「命賭けている」

　アンソロピックの研究者ジェイコブ・コクソン氏は9月8日（現地時間）、Xで辞職を表明した。本人によると、過去3年間に米オープンAIとアンソロピックでAIモデルの事前学習研究に携わったという。両社について「責任ある行動を取っていない」と主張し、「自己改善する超知能へ一直線に競争し、私たちの命を賭けている」と批判した。


　コクソン氏が問題視する「再帰的自己改善」について、アンソロピックは、AIシステムが完全に自律して自らの後継システムを設計・開発できる状態と説明する。ただし、「まだそこには到達していない」とした上で、その実現は必然ではないとも明記している。一方、2026年5月時点では、同社のコードベースにマージされるコードの80％超をClaudeが作成。第2四半期には、典型的なエンジニアが1日にマージするコード行数が2024年の8倍になったという。もっとも、同社はコード行数が品質を反映する指標ではなく、実際の生産性向上を過大に示している可能性が高いとしている。

　アンソロピックの8月のリスク報告書 Risk Report: August 2026 は、7月15日時点で、自動化されたAI研究開発を巡る2つの警戒基準を同社モデルは満たしていないと判断し、この分野の全体的なリスクを「低い」と評価した。基準の1つは、AIが同社の研究者や研究エンジニア全体をコスト5倍以内で完全に代替できること。もう1つは、AI研究開発の自動化によってAIの進歩が「劇的に加速」することだ。ただ、評価への確信は以前より低下したとしており、理由に既存の能力評価の一部が限界に達したことや、加速の初期的な兆候が見えていることを挙げた。

　同報告書はさらに、AIが危険な目標を持った状態で主要分野の研究開発を大幅に自動化した場合、新技術などを利用して「人類が文明全体への制御を失う」規模の被害につながる可能性も脅威モデルに含めている。一方、そのような影響が起きる具体的な確率については「合意がない」としている。

　政策側でも規制を求める動きが出ている。バーニー・サンダース米上院議員とグレッグ・カサール米下院議員は9月3日、人工超知能の開発・配備を禁止する「Ban Artificial Superintelligence Act（人工超知能禁止法案）」を近く提出すると発表した。サンダース議員事務所によると、連邦規制機関が安全ルールを整えるまで高度なAI開発を一時停止する内容も盛り込む。自己改善型AIを巡る懸念は、企業内部の安全性研究だけでなく、政策論争にも広がっている。