使うほどAIも“老化”する…？米大学、長期運用に伴う性能変化に注目

　従来のAIエージェント評価は、初期状態や短期的な性能に注目するものが多く、長期運用時にエージェントの内部状態や記憶管理がどのように振る舞うかは十分に検証されてこなかった。研究チームは、エージェントの有効な状態が時間とともに変化し、性能や信頼性に影響を与える可能性があると指摘している。

　AgingBenchでは、エージェントの劣化に関わる要因を4つのメカニズムとして整理している。1つ目は、対話履歴を要約する際に細かな指示や重要なデータが失われる「圧縮」。2つ目は、類似した記憶や情報が増えることで重要な事実が埋もれる「干渉」。3つ目は、累積的な変更や更新を正しく追跡できなくなる「改訂」。4つ目は、記憶の消去や再圧縮などライフサイクル上の保守処理に伴う「メンテナンス」である。


　研究チームは、14のAIモデルを対象に7つのシナリオで評価を実施した。その結果、行動テスト上は適切に動作しているように見えても、事実の正確性が低下するケースがあるなど、AIエージェントの長期的な劣化は単一の指標だけでは捉えにくいことが示された。

　この研究は、実運用されるAIエージェントについて、初期性能だけでなく、長期的な記憶管理や状態変化を継続的に評価する必要性を示すものといえる。