オープンAI科学トップ、急速なAI進化「極めて慎重に」──自主減速を期待

　米オープンAIのチーフサイエンティスト、ヤクブ・パチョッキ氏は9月6日、「An Alien Mind」と題する文章を公開し、急速に高まるAIの能力について「今は極めて慎重さが求められる時期だ」との認識を示した。AIの知能が急速に高まり続けた場合の結果について「誰も準備できていないのではないかと懸念している」と記している。

　パチョッキ氏によると、2023年半ばに推論モデルの学習を拡大できるとの手応えを得て以降、AIは短期間で能力を伸ばした。現在の推論モデルはコンピューターやグラフィカルインターフェースを操作し、人や他のAIと協働するほか、研究プロジェクトも遂行できるようになっているという。


　さらに同氏は、オープンAI内部で得られた結果を基に、現在の進歩の速度が「再帰的自己改善（RSI）」につながる可能性を強く見込んでいるとした。RSIは、AIが自身の開発プロセスで次第に大きな役割を担い、AI研究そのものの進展に寄与していく考え方だ。今後数年で、これまでと同等か、それ以上の能力向上が起きる可能性があるとの見方を示している。

　ただ、その進歩を安全に管理する技術には課題が残る。パチョッキ氏は、現時点では「どの研究機関も」、責任を持って最大速度でAIの規模拡大を長く続けられるほど、アライメントと監視の問題を十分に解決していないとの認識を示している。アライメントとは、AIを人間の意図や価値に沿って動作させるための技術や考え方を指す。

　オープンAIが重視してきたのが、AIが答えを導く際の推論過程を調べる「思考の連鎖（CoT）」の監視だ。しかし、AIが人や別のAI、ツールと複雑にやり取りするようになったほか、自身の推論過程を扱う能力が向上し、言語化された推論を使わなくても能力を高めていることから、CoT監視への依存は次第に難しくなっているという。

　もっとも、パチョッキ氏はAI研究を一律に停止すべきだと主張しているわけではない。アライメントや監視技術をAIの進歩とともに強化する一方、必要に応じて将来の開発速度を協調して落とし、安全性への確信を高めるという「両方」の取り組みが必要だとしている。

　また、AIシステムの規模拡大は「安全性への確信によって制約されなければならない」と指摘する。オープンAIのPreparedness Frameworkなどの自主的な取り組みを、開発継続のための広く義務付けられた安全基準へ発展させ、第三者監査機関や政府機関、国際機関が執行できる仕組みにする必要があるとの考えを示した。

　その上でパチョッキ氏は、共通の安全基準が確立されるまで、AI研究機関による「自主的な減速」が一般的になることを「期待し、望んでいる」と説明。さらに将来のAI開発を巡る国際協調について、世界各国の政府にとって最優先事項になる必要があると訴えている。