Bedrock AgentCore ObservabilityによるAIエージェントの運用

「JAWS-UG AI/ML #29：AWS Summit New York City Recap」の登壇資料です。

https://jawsug-ai.connpass.com/event/362556/

Transcript

1. ©Mitsubishi Electric Corporation Bedrock AgentCore Observabilityによる AIエージェントの運用 三菱電機株式会社 AI戦略プロジェクトグループ 塚田真規
2. ©Mitsubishi Electric Corporation 自己紹介 2 塚田 真規 Masaki Tsukada AI戦略プロジェクトグループ基盤整備部 三菱電機株式会社 デジタルイノベーション事業本部 AI戦略プロジェクトグループ • JAWS-UG AI/ML支部運営 • 2024/2025 Japan AWS All Certifications Engineers • AWS Community Builder 2025 (AI Engineering)
3. ©Mitsubishi Electric Corporation Amazon Bedrock での Observability 3 Amazon Bedrock Logs Metrics Application Signals Amazon CloudWatch リージョンごとに単一のロググループ Amazon Bedrock AgentCore GenAI Observability LLM呼び出し、エージェント関連
4. ©Mitsubishi Electric Corporation Amazon Bedrock AgentCoreとは 4 AIエージェントを安全かつスケーラブルに構築、デプロイ、運用するための機能モジュールセット Amazon Bedrock AgentCore Observability Runtime AIエージェントの サーバレス実行環境 Memory 短期/長期記憶の マネージド機能 Gateways Web APIやLambdaを MCPサーバに変換して提供 Identity AIエージェントの 認証認可機能を提供 サンドボックス環境で安全に コードを記述・実行 Code Interpreter Browser 安全なクラウドベースのブラウザ 実稼働環境で AI エージェントのパフォーマンスをトレース、デバッグ、監視 Build-in tools
5. ©Mitsubishi Electric Corporation AgentCore Observability 5 AI エージェントのパフォーマンスをトレース、デバッグ、監視し、可観測性を強化する機能モジュール Amazon Bedrock AgentCore Amazon CloudWatch GenAI Observability メトリクス トレース(タイムライン表示) トレース
6. ©Mitsubishi Electric Corporation AgentCore Observabilityの取得手順 6 Runtime Amazon Bedrock AgentCore 2.Transaction Searchの有効化 STRANDS AGENTS 1.AgentCore Runtimeへのデプロイ(*) (*)AgentCore Runtime外から取得も可能 ３. opentelemetry-instrumentによる エージェントの起動 CMD ["opentelemetry-instrument", "python", "-m", "strands"]
7. ©Mitsubishi Electric Corporation 観測するAIエージェント 7 AWS Cloud AgentCore Runtime STRANDS AGENTS AgentCore Observability AgentCore Memory ※参考元 amazon-bedrock-agentcore-samples →01-tutorials →04-AgentCore-memory →02-long-term-memory →01-single-agent → using-strands-agent-memory-tool Amazon CloudWatch 【概要】 • Strands Agentsを利用 • AgentCore Memoryに食事に関する会話履歴を保存 • おススメのレストランについて質問 【期待動作】 1. ユーザの質問を理解する(LLM) 2. AgentCore Memoryから過去の会話履歴を読み込む 3. ユーザへの回答を作成する
8. ©Mitsubishi Electric Corporation GenAI Observability Session View ～Timeline～ 8 AWS Cloud AgentCore Runtime STRANDS AGENTS AgentCore Observability AgentCore Memory Amazon CloudWatch ユーザの質問を 理解する 過去の会話履歴 を読み込む ユーザへの回答 を作成する
9. ©Mitsubishi Electric Corporation 9 • 1回目のLLM推論 • 2回目のLLM推論(メモリ読み込み後) 1回目のLLM推論 Duration 2755 InputToken 1066 OutputToken 115 2回目のLLM推論 Duration 9336 InputToken 1550 OutputToken 415 GenAI Observability Session View ～Span data～
10. ©Mitsubishi Electric Corporation GenAI Observability Session View ～Event～ 10
11. ©Mitsubishi Electric Corporation Observabilityデータの格納場所 11 STRANDS AGENTS AWS Cloud Amazon CloudWatch CloudWatch Logs /aws/bedrock-agentcore/runtimes/<agent-name> aws/spans GenAI Observability Amazon Bedrock AgentCore AIエージェントの標準入出力 トレース・スパンの データ
12. ©Mitsubishi Electric Corporation CloudWatch Logsの詳細 12 /aws/bedrock-agentcore/runtimes/<agent-name> aws/spans • 標準入出力の閲覧が可能：Lambdaと同等 • トレースやスパンのデータ
13. ©Mitsubishi Electric Corporation エラー発生時のSpan/Trace 13 • エラー発生箇所の把握がグラフィカルに把握可能 ステータスコードから エラー種別を確認可能 Eventデータから エラーテキストも
14. ©Mitsubishi Electric Corporation まとめ 14 1. Bedrock AgentCore Observabilityの登場により、 AIエージェント向け運用管理がマネージド機能として利用可能 2. 一定水準のAIエージェント運用がAWSのみで実現可能に