AIを監視・改善する「AI」登場、IBMが「AgentOps Agent」を一般提供

　米IBMは9月3日、AIエージェントの評価や監視、改善を支援する「AgentOps Agent」を一般提供したと発表した。一般提供の開始日は8月31日。AIエージェント基盤「IBM watsonx Orchestrate」のネイティブエージェントを対象に提供する。

　AgentOps Agentは、AIエージェントの運用品質を継続的に管理する「AgentOps」の改善工程をAIで支援するというもの。AgentOpsとは、AIエージェントが参照したデータや利用したツール、判断過程、品質などを継続的に監視・評価し、本番環境で安全に運用するための考え方を指す。

　IBMによると、利用者はAgentOps Agentとの自然言語による対話を通じて、AIエージェントの稼働状況を確認できる。さらにテストケースを自動作成し、本番投入前に多数の会話をシミュレーションして評価することも可能だ。評価に失敗した場合には、単にスコアを示すだけでなく、その原因も分析するという。

　特徴的なのが、評価結果を見るだけでなく、AIエージェントの改善まで進める点だ。IBMは「GEPA」と「ACE」と呼ぶ手法を活用。GEPAでは改善した指示を生成してテストし、ACEではルールを整理したプレイブックを構築して、それぞれが性能向上にどの程度寄与したかを評価する。変更後の効果も検証してから適用できるとしている。

　これまでAIエージェントに問題が見つかった場合、評価結果を確認したエンジニアが原因を調査し、プロンプトや指示などを修正した上で再評価する必要があった。AgentOps Agentは、この「診断→改善→検証」の一連の工程を1つの対話から進められるようにする狙いだ。

　同時にIBMは、watsonx Orchestrateの「AI Gateway」も強化した。Amazon Bedrock上で構築したAIエージェントを検出して取り込み、watsonx Orchestrateのコントロールプレーンから管理できる。IBMによると、AgentOpsはIBM CloudとAmazon Web Services（AWS）で一般提供となっている。

　また、「Trace Inspector」では、AIエージェントが実行した処理を追跡し、どのツールを呼び出し、どの段階で想定した動作から外れたのかを確認できる。「Custom LLM-as-a-Judge」では、用途に応じた評価基準を自然言語で定義できるため、異なる業務を担うAIエージェントをそれぞれの基準で評価できるという。

　IBMは今後、AgentOps Agentによる改善対象を外部のAIエージェントにも拡大する。9月には、同社のagentic SDKを利用する互換性のあるLangGraphエージェントなどにも最適化機能を広げる予定としている。

　生成AI市場では、AIエージェントを「作る」競争に加えて、企業が大量のエージェントをどう監視し、品質を保ちながら運用するかが新たな課題となっている。IBMの今回の機能強化は、その改善工程そのものにもAIエージェントを投入する動きと言えそうだ。