LLMは「繰り返される誤情報」に弱い？ 7モデルを比較、誤情報肯定率に150倍超の差

　研究チームは、LLMが会話中の誤情報にどの程度影響されるかを、「誤りやすさ」「説得されやすさ」「自ら生成した誤情報を訂正できるか」の3つの観点から調べた。

　対象はGPT-3.5、GPT-4o、GPT-4o-mini、Claude 3.5 Sonnet、Gemini 1.5 Pro、Llama-3-70B、DeepSeek-R1の7モデル。研究チームは意図的に作成した100件の誤情報を使い、同じ内容を最大50回繰り返して提示するなどして反応を調べた。

　その結果、誤情報を繰り返し提示した実験では、誤情報を肯定した割合が0.08％から12.3％と、モデル間で150倍を超える差が確認された。この実験では、GPT-3.5が最も高く、Claude 3.5 Sonnetが最も低かったという。

　また、同一の誤情報について、会話の途中で否定したり肯定したりと回答が変わる現象も確認された。研究チームはこれを「conversational reverberation（会話内での揺り戻し）」と呼んでいる。一度誤情報を肯定しても、その後ずっと同じ回答を続けるとは限らず、再び否定に戻ることもあった。

　研究チームは、LLMの信頼性を評価するには、単発の質問に正しく答えられるかだけでなく、長い会話の中で繰り返し誤情報を与えられた場合の反応も見る必要があるとしている。

　ただし、今回の研究はGPT-3.5やGemini 1.5 Pro、Claude 3.5 Sonnetなどが対象となっており、各社の最新モデルを比較した研究ではない。また、「誤情報を肯定した」ことは、人間のようにAIがその内容を「信じた」ことを意味しない。研究が示したのは、継続的な会話の中でLLMの出力が誤情報側へ変化する可能性と、その程度がモデルによって大きく異なるということだ。