アンソロピック、AI推奨に専門家の86％が追従する実験を公表　Claude Codeで統計分析

　アンソロピックは10月27日、専門のアナリスト50人にAIコーディングエージェント「Claude Code」を使って現実的な統計分析をさせ、AIが人間の判断をどこまで左右するかを調べた実験の結果を公表した。分析上の4つの選択で、分析者はAIが推す側に86％の割合で従っていたという。

　実験に参加したのは、観察データによる因果分析の実務経験を持つ専門家である。当初は61人が参加し、AIを使わなかった11人を除く50人を分析の対象とした。題材は、架空の農業協同組合が運営する営農アドバイザリー事業を拡大するか、廃止するかを決めるための分析だった。理事会は生産性が3～4％改善すれば拡大するという想定で、生産性の測り方は示されていない。


　分析者は、成果指標、比較手法、評価対象、重み付けの4つの分析上の選択で、それぞれ妥当な2つの選択肢から1つを選んだ。エージェントにはどちらを推すかをコイントスでランダムに割り当て、参加者には伏せていたという。

　その結果、AIの影響がなければ約50％になるはずの追従率は86％に達した。分析者が事前に自分の好みを表明していた場合、AIが反対すると60％が自分の好みから乗り換えた。AIが賛成した場合に乗り換えたのは6％だった。

　事後の説明では、77％の分析者がAIの論拠をそのまま使い、一語一句同じ場合もあった。ただし、AIを出所と認めたのは15％にとどまった。

　AIに強く従った分析者も、最終的な結論への自信は他の分析者と同程度だった。自分の判断の産物だと答える割合も、ほぼ同じだったという。

　アンソロピックは、AIの利用を減らすべきだという主張ではないとしたうえで、専門家の承認が独立した判断の証拠とみなされてきた前提の見直しが必要になるとしている。