ノーベル賞ヒントン氏ら22人、AIの再帰的自己改善による知能爆発と制御不能リスク警鐘

　論文は、英ケンブリッジ大学のAI科学・政策プログラム（CASP）などを通じて公表され、9月28日に論文公開サイトarXivへ投稿された。題名は「What if automating AI R&D triggers an intelligence explosion?」（AI研究の自律化が知能爆発を引き起こすなら？）」AIの研究開発を自動化した場合に、進歩の速度や社会への影響がどう変わるかを検討した。著者にはオープンAIのヤクブ・パホツキ氏、アンソロピックのジャック・クラーク氏、マイクロソフトのエリック・ホーヴィッツ氏らが名を連ねる。ただし論文記載内容は著者の見解であり、所属組織の見解を必ずしも代表しないと明記している。

　論文が焦点を当てるのは、AIが研究を担い、その成果で開発された高性能なAIがさらに研究を進める循環である。再帰的自己改善と呼ばれるこの仕組みによって、本来は何年もかかる進歩が数カ月以下に圧縮される状態を「知能爆発」と定義している。特にソフトウエアの改良は、新たな設備の建設を待たず研究工程へ反映できるため、短い周期で次の改良につながると説明している。

　研究の自動化はすでに進んでいる。共同研究機関GovAIの解説によると、アンソロピックは、人間が大枠を監督するだけでAIが完了した社内のAI研究開発業務の割合を、2026年3月の1％から8月には26％へ増やしたと報告した。ただし、これは同社の報告値であり、AI研究全体の26％が完全無人になったという意味ではない。著者らが懸念するのは、能力の向上が社会の対応を上回ること、人間がAIを監督・制御できなくなること、国家や企業の権力を抑制する仕組みが弱まることだ。

　論文では研究に人間が関与する機会が減れば、問題を見つけて修正する力も失われかねないと指摘している。一方では科学や産業の進展を早める恩恵も認めており、リスクだけを論じた文書ではない。

　政府への提言は3つある。まず、企業内の研究自動化の割合やAIの進歩を把握し、第三者による評価や監査を充実させること。次に、安全要件や開発速度の制限、必要時に研究処理を停止できる手段などを検討すること。さらに、サイバー攻撃や雇用への影響、制御喪失などに備え、緊急対応計画を整えることだ。これらは著者らの提案であり、決定済みの規制ではない。

　論文は、急加速を妨げる要因も挙げている。計算資源やデータの不足、自動化が難しい作業、学習や実験に必要な時間などが制約となる。知能爆発の実現性や影響には不確実性が残り、発生時期を確定していない。著者らはその不確実性を認めた上で、変化が起きてからでは対応が間に合わなくなる事態に備え、政策上の準備を進めるよう求めている。