Amazon Bedrock AgentCore optimizationでサイレントなエージェント障害を検出する

発表内容

AWSは、Amazon Bedrock AgentCore optimizationのinsights機能を発表しました。

この機能は、正常終了や健全なレイテンシとして記録されながら、実際には誤った結果を返すAIエージェントの行動上の障害を検出します。

AgentCore observabilityへ記録されたセッショントレースを分析し、障害パターン、利用者の意図、実行経路をクラスタリングします。

障害パターンは影響セッション数で順位付けされ、個別トレースだけでは把握しにくい影響範囲を示します。

幻覚、誤った操作、指示違反、オーケストレーション、コンテキスト処理など11種類の行動上の障害を分析対象とします。

利用方法と範囲

AgentCoreコンソールのOptimizationsからInsightsを作成し、障害分析、利用者意図分析、実行要約を選択できます。

AgentCore runtime上のエージェント、またはトレースを保存したAmazon CloudWatchロググループを分析対象に指定します。

分析は日次、週次、月次の定期実行、または指定期間の1回実行に設定できます。

結果には障害の位置、分類、自然言語の説明、根本原因、修正案が含まれます。

AWSは、既存のインフラ監視を置き換えるものではなく、その上でエージェントの行動を分析する機能として説明しています。

原文

• AWS: Detecting silent agent failures with Amazon Bedrock AgentCore optimization