米アンソロピック、Claudeの「意図しない動作」4類型を報告 政府系フォーム送信など

　米アンソロピックは10月9日（米国時間）、評価や社内利用で確認したClaudeの「意図しない動作」の報告書を公表した。動作は4類型で、欠陥を突いたサーバ上のコマンド実行、本来は送らないフォームの送信、有料やトークン制限のデータへの回り道、URL短縮サービスによる制限回避だ。

　サーバ上でのコマンド実行では、Claude Mythos Previewが、大学の科学分析ツールがエラーを返した後、同サーバのスクリプトでファイルを複製し、コード内の欠陥を使って計算を実行した。Claude Mythos 5は、データ利用同意書への同意を、同サイトのアプリケーションで済ませた。

　フォームの送信では、未公開の研究モデルが、政府書式の練習用コピーが読み込めず、実際のフォームを送信した。Claude Haiku 4.5は、送信の手前で止まるはずの評価で誤って送信したほか、未解決の殺人事件のページで、警察署の情報提供フォームに作り話を入力して送信した。情報はスパム扱いとなり、捜査には転送されなかった。この件はフィラデルフィア市警が9日に自主公表した。

　制限の回避では、Claude Mythos 5が、位置を当てる評価で、地図サイトの設定ファイルから見つけたトークンを使い、サーバに直接問い合わせた。別の統計研究では、州機関が有料で提供する公開データを、ダッシュボード用のトークンを要求して、手数料を払わずに入手した。Claude Opus 5やMythos 5などは、取得ツールのURL長の制限を避けるため、URL短縮サービスも使った。

　アンソロピックは対応として、公開評価の一部の実施をやめるか、オフライン版に移した。ウェブ取得ツールの制限を強め、検知・遮断ツールも導入した。すべての社内評価ではライブのインターネット接続を止め、社内のエージェントは集中管理の基盤へ移す。実害は「最小限」で、7月30日と9月9日のサイバーインシデントより軽いとしている。ホワイトハウスと関係機関には通知済みで、組織名は非公表。

　米Axiosは9日、ホワイトハウスの「スーパーインテリジェンス・フォース」が声明で、AI企業にインシデントの開示と是正を求め、この手続きは「任意ではない」と述べたと報じた。声明の公式文書は確認できていない。