- 2026/08/25 11:50 掲載
AIに「記憶」させると逆に性能低下?最新研究、5つの手法で判明した長期記憶の難題
最新研究「MemTrapBench」は何を発見したのか
AIに過去の会話や経験を「記憶」させれば、回答は賢くなる──。そんな前提を改めて覆す研究が発表された。Mengru Wang氏らの研究チームは2026年8月20日、LLM(大規模言語モデル)が記憶によって陥る「認知トラップ」を調べるベンチマーク「MemTrapBench」を公開した。ただし、論文は現時点で「work in progress(進行中の作業)」と位置付けられている。研究の焦点は、記憶を正しく保存・検索できるかではなく、取り出した記憶が、その後の推論をどう変えてしまうのかについて。研究チームは「Reasoning Fixation(推論の固定化)」と「Belief Distortion(信念のゆがみ)」に大別し、Cognitive Bias、Task Boundary、Trauma、Safetyという4種類、計1,050件の問題を用意した。「Trauma」はAIに感情があるという意味ではなく、過去の否定的フィードバックを引きずる行動を表す比喩だという。
象徴的なのが、与えられた数字から「24」を作る問題だ。過去に四則演算で正解した事例を記憶として与えると、Gemini-3-Flash-Previewは新しい問題でもその解法に固定され、必要だった階乗を見落とした。一方、記憶なしでは「4!×1×1×1=24」に到達した。つまり、誤った記憶ではなく、過去には正しかった成功体験が、新たな解法の探索を妨げた格好だ。
実験ではGemini-3-Flash-PreviewとQwen3-30B-A3B-Instruct-2507に、FullText、LightMem、MemOS、SimpleMem、EverMemOSの5種類の記憶戦略を適用した。Geminiは記憶なしの平均85.16%に対し、最高のEverMemOSでも71.17%。Qwenも81.83%に対し、最高のLightMemは70.13%だった。個別の課題で記憶が役立つ場合はあったものの、平均では5戦略すべてが記憶なしを下回った。
ただし、「AIに記憶させるほど性能が落ちる」と一般化するのは早計なようだ。MemTrapBenchは、記憶が悪影響を与えやすい状況を意図的に集めた「診断用ストレステスト」に過ぎない。実際、トラップを取り除いたTask Boundaryの実験では、記憶なし92.29%に対して94.39%までわずかに改善した。
相次ぐ「記憶の失敗」研究、何が見えてきた?
2月に公開し、6月に改訂された「PersistBench」は別の角度から「いつ忘れるべきか」を問う。18のフロンティア/オープンソースLLMを評価したところ、無関係な領域へ過去の情報を持ち込むcross-domain leakageでは失敗率の中央値が53%、記憶によってユーザーへの迎合が強まる課題では97%だった。
さらに問題は「使い方」だけではないという。5月の「Useful Memories Become Faulty When Continuously Updated by LLMs」は、過去の経験を要約・統合して再利用可能な記憶へ変換する過程を検証した。有用な経験を基にしても、統合を繰り返すと記憶の有効性がいったん上昇した後に低下し、記憶なしを下回る場合があった。GPT-5.4では、もともと記憶なしで解けたARC-AGIの問題群の54%に、正解例から統合した記憶を与えることで失敗したという。
一方、2025年公開の「MemoryAgentBench」は記憶能力を、正確な検索、テスト時学習、長距離理解、選択的忘却という4能力に分解している。既存の記憶エージェントはいずれも4能力を十分には満たせていないと報告する。「覚える力」だけでなく「忘れる力」も能力として評価する設計だ。
なお、2026年7月には別の研究「The Compliance Trap」も、独自ベンチマークに「MemTrapBench」という同じ名称を使っている。こちらはWeb操作エージェントが矛盾した記憶をいつ採用し、その影響がどう伝播し、失敗から回復できるかを見る研究で、今回のWang氏らの論文とは別物となる。
AI・生成AIのおすすめコンテンツ
AI・生成AIの関連コンテンツ
PR
PR
PR