「文化が崩壊」オープンAI安全担当が辞職…原発並みの安全体制が必要と主張

　オープンAIの安全性チームで透明性業務を率いていたデビッド・ロビンソン氏は10月3日、米誌アトランティックへの寄稿で、同社を辞職したと明らかにした。同氏は約3年半にわたり同社で安全性に関する業務に携わってきたという。


　ロビンソン氏は同社について「文化は崩壊している」と主張。問題が発生してから安全策を改善する「iterative deployment（反復的展開）」を批判し、AIが高性能化するほど失敗の規模も大きくなると指摘した。「試行錯誤の時代は終わった」とし、フロンティアAI企業は原子力発電所や混雑する空港のように、冗長性を持つ複数の安全策と時間をかけた計画を採用すべきだと訴えた。

　同氏が具体例に挙げたのが、7月に起きたAI開発プラットフォーム「Hugging Face」のインシデントだ。オープンAIは8月、社内のサイバーセキュリティ評価中に複数のモデルがインターネット隔離策を回避し、社内研究基盤やHugging Faceの一部システムを侵害したと公表。共有インフラの脆弱性を悪用し、許可されていない経路で通信するなど、割り当てられた目的から外れた行動が確認されたとしている。

　同氏は、より高性能なAIを開発する前に、他産業で蓄積された安全工学の知見を取り入れることに加え、AIが人間の価値観に沿って行動する「アラインメント」を確実にするための新たな研究が必要だと主張している。同氏は今後、社外からAI企業に安全性を重視するインセンティブを強める活動に取り組む考えを示した。