AWS Bedrock AgentCoreで作る 1on1支援AIエージェント 〜Memory × Evaluationsによる実践開発〜

# AWS Bedrock AgentCoreで作る1on1支援AIエージェント

マネージャーと部下の認識ギャップ（84ポイント）をAIで埋める。AWS Bedrock AgentCoreのハイブリッドメモリ（Event + Semantic）と評価機能を活用した、実践的な1on1支援エージェントの開発事例。

Strands Agentsで少ないコードで実装し、月$3-4で運用。Memory戦略（Semantic、Preferences、Summary、Episodic）による多面的な記憶と、2つの評価手法（Bedrock Model Evaluation、AgentCore Evaluations）による継続的な品質管理を実現。

実装デモとコードウォークスルーで、AgentCoreの実践的な活用方法を解説します。

技術: Strands Agents, AWS Bedrock AgentCore, Python 3.13

Transcript

1. ‹#› AWS Bedrock AgentCore で作る 1on1 支援AI エージェント NRI ネットコム TECH AND DESIGN STUDY #84 2025 年12 月09 日 志水 友輔 NRI ネットコム株式会社 ユースケのユースケース Case6 〜Memory × Evaluations による実践開発〜 1
2. マネージャーの94% は" うまくやれている" ただし、部下の同意はわずか10%
3. マネージャーの94% は" うまくやれている" ただし、部下の同意はわずか10% 3 AI エージェントにコーチングしてもらおう
4. Copyright （C ） NRI Netcom, Ltd. All rights reserved. 志水 友輔 ( しみず ゆうすけ) NRI ネットコム株式会社 / Cloud Architect PoC ・アーキテクト・技術広報 AWS Ambassadors(2023-25) 　AWS CDK/Strands Agents/ カメラ/ つけ麺 息子からのじゃんけんハラスメント #nncstudy Blog: 4
5. Copyright （C ） NRI Netcom, Ltd. All rights reserved. 1on1 の認識ギャップ 84 ポイントのギャップ マネージャー: 「良い1on1 をしている」 メンバー: 「意味がない」と感じる なぜこのギャップが生まれるのか？ #nncstudy マネージャー メンバー 0 20 40 60 80 100 84 ポイントのギャップ 5
6. Copyright （C ） NRI Netcom, Ltd. All rights reserved. 双方の課題 マネージャー側 準備に時間がかかる（毎回2 時間以上） 質問の質にばらつき 前回の内容を忘れてしまう メンバー側 「また今週も1on1 か... 」という気持ち 形骸化した質問 前回話したことが活かされない #nncstudy 6
7. Copyright （C ） NRI Netcom, Ltd. All rights reserved. 今日のゴール AgentCore の実践的な活用方法を学ぶ ハイブリッドメモリの使い方 Model Evaluation の活用 実際に動く1on1 エージェントのデモ なぜこの題材？ AgentCore の主要機能を使える 実用的で技術的にも面白い #nncstudy 7
8. Copyright （C ） NRI Netcom, Ltd. All rights reserved. AWS Bedrock AgentCore 概要 #nncstudy 8
9. Copyright （C ） NRI Netcom, Ltd. All rights reserved. AgentCore とは AWS Bedrock AgentCore AI エージェント開発・運用のための統合プラットフォーム サーバーレス・マネージド・エンタープライズグレード 主要サービス（今回使用する3 つ） Runtime: エージェントをサーバーレスで実行（Python/TypeScript 対応） Memory: 短期記憶（STM ）+ 長期記憶（LTM ） Evaluations: LLM が品質を自動評価 その他のサービス Code Interpreter 、Browser 、Gateway(Policy) 、Identity #nncstudy 9
10. Copyright （C ） NRI Netcom, Ltd. All rights reserved. AI エージェント実装の選択肢 #nncstudy 10 項目 Bedrock Agents AgentCore 実装方法 GUI/API 設定 Python コード メモリ セッション内のみ STM + LTM （ハイブリッド） メモリ戦略 自動要約のみ 複数戦略（Semantic, Preferences 等） ユーザー別管理 エイリアス単位 memory_id 単位（柔軟） フレームワーク 専用API Strands/LangGraph/CrewAI カスタマイズ性 プロンプトテンプレート 完全なコード制御
11. Copyright （C ） NRI Netcom, Ltd. All rights reserved. AI エージェント実装の選択肢 #nncstudy 項目 Bedrock Agents AgentCore 実装方法 GUI/API 設定 Python コード メモリ セッション内のみ STM + LTM （ハイブリッド） メモリ戦略 自動要約のみ 複数戦略（Semantic, Preferences 等） ユーザー別管理 エイリアス単位 memory_id 単位（柔軟） フレームワーク 専用API Strands/LangGraph/CrewAI カスタマイズ性 プロンプトテンプレート 完全なコード制御 11
12. Copyright （C ） NRI Netcom, Ltd. All rights reserved. AI エージェント実装の選択肢 #nncstudy 項目 Bedrock Agents AgentCore 実装方法 GUI/API 設定 Python コード メモリ セッション内のみ STM + LTM （ハイブリッド） メモリ戦略 自動要約のみ 複数戦略（Semantic, Preferences 等） ユーザー別管理 エイリアス単位 memory_id 単位（柔軟） フレームワーク 専用API Strands/LangGraph/CrewAI カスタマイズ性 プロンプトテンプレート 完全なコード制御 実装フレームワーク: Strands Agents AgentCore の公式フレームワーク 少ないコードでシンプルに実装 メモリ・ツール統合が容易 12
13. Copyright （C ） NRI Netcom, Ltd. All rights reserved. AgentCore Memory の詳細 人間の記憶と同じ仕組み 短期記憶 「さっき何を話したか」を覚えている 会話の流れをそのまま保存 例: 「先ほどお話しした目標について... 」 長期記憶 「この人は誰で、何を大切にしているか」を覚えている LLM が重要な情報だけを抽出・整理 例: 「田中さん、エンジニア歴3 年、マネージャー志望」 #nncstudy 13
14. Copyright （C ） NRI Netcom, Ltd. All rights reserved. メモリ戦略（抽出ルール） メモリ戦略とは Semantic Memory で「何を抽出するか」を定義 LLM が自動的に情報を抽出・分類 Built-in Strategies （標準戦略） #nncstudy 14 戦略 抽出内容 用途 Semantic 名前、役職、目標、スキル 基本情報 User Preference 好み、価値観、働き方 個別化 Summary セッション要約 振り返り Episodic 重要な出来事 エピソード記録
15. Copyright （C ） NRI Netcom, Ltd. All rights reserved. メモリのアップデートフロー ユーザーとの会話 「私は田中です。来年マネージャーになりたいです」 1. Short-term Memory （即座に保存） 会話全体をEvent （イベント）として保存 2. バックグラウンド処理（非同期） メモリ戦略に基づいてLLM が会話を分析 Semantic: 「名前= 田中、目標= マネージャー」 User Preference: 「キャリア志向が高い」 Summary: 「マネージャー志望について相談」 Episodic: 「2024/12/4 にキャリア相談」 3. Long-term Memory （構造化して保存） 戦略ごとに抽出された情報をMemory Record として保存 次回の会話で自動参照 「田中さん、マネージャーへの準備は進んでいますか？」 #nncstudy 15
16. Copyright （C ） NRI Netcom, Ltd. All rights reserved. 評価サービスの比較 #nncstudy 項目 Bedrock Model Evaluation AgentCore Evaluations 対象 モデル・RAG エージェント 評価内容 モデル出力の品質 エージェント動作全体 評価レベル プロンプト単位 Session/Trace/Tool 実行タイミング バッチ実行 リアルタイム監視 or 事後評価 データ取得 手動でデータセット作成 CloudWatch から自動取得 用途 モデル選定、RAG 評価 エージェント開発・監視 16
17. Copyright （C ） NRI Netcom, Ltd. All rights reserved. AgentCore Evaluations の詳細 2 つの評価タイプ Online: リアルタイム実行 → 本番環境の継続的監視 On-demand: バッチ実行 → 開発・テスト時の品質チェック Built-in Evaluators （14 種類） Helpfulness （役立つか） Correctness （正しいか） Coherence （一貫性） Goal Success Rate （目標達成率） Tool Selection/Parameter Accuracy （ツール精度） その他（Faithfulness 、Conciseness 等） メリット エージェント特化（Session/Trace/Tool レベル） CloudWatch と統合（自動ログ取得） Online 評価で継続的な品質監視が可能 #nncstudy 17
18. Copyright （C ） NRI Netcom, Ltd. All rights reserved. 1on1 エージェントの設計 #nncstudy 18
19. Copyright （C ） NRI Netcom, Ltd. All rights reserved. 利用シーン：マネージャー（準備） 【準備フェーズ】1on1 の準備 メンバーから事前質問集の回答を受け取る 回答をAI に入力 「この回答を踏まえて、どんな質問をすべき？」 AI が前回の内容と合わせて質問を提案 質問の質を向上 #nncstudy 19
20. Copyright （C ） NRI Netcom, Ltd. All rights reserved. 利用シーン：マネージャー（実施後） 【実施後フェーズ】書き起こしからのコーチング 1on1 の書き起こしテキストをAI に入力 「この1on1 は良かった？改善点は？」 AI が1on1 の質を評価 傾聴できていたか 適切な質問ができていたか メンバーの本音を引き出せていたか 具体的な改善アドバイス 次回に向けたアクションプラン #nncstudy 20
21. Copyright （C ） NRI Netcom, Ltd. All rights reserved. 利用シーン：メンバー向け 【振り返りフェーズ】サマリーの確認 1on1 後にAI が自動生成したサマリーを確認 話した内容の整理 決めたアクションの確認 自分の成長の記録 サマリーの内容 話したトピック 決定事項・アクションアイテム マネージャーからのアドバイス 次回までの目標 #nncstudy 21
22. Copyright （C ） NRI Netcom, Ltd. All rights reserved. 認識ギャップを埋める仕組み これにより・・・ マネージャー: 「良い1on1 ができている」が客観的に評価される メンバー: 「ちゃんと聞いてもらえた」が記録で確認できる 両者: 同じサマリーを見て、認識のズレを防ぐ #nncstudy 22 フェーズ マネージャー メンバー 効果 準備 AI が質問を提案 - 質の高い1on1 実施 - - 実際の1on1 実施後 書き起こしからコーチング サマリーで振り返り 双方が学ぶ 継続 改善を次回に活かす 成長を実感 認識が一致
23. Copyright （C ） NRI Netcom, Ltd. All rights reserved. 1on1 でのメモリ活用 メモリが覚えていること Semantic: 「田中太郎さん、エンジニア歴3 年、来年マネージャー目標」 User Preference: 「技術的な挑戦を好む、ワークライフバランス重視」 Summary: 「12/4: キャリアパス相談、リーダー打診への不安」 Episodic: 「12/4: リーダー打診を受けて不安を感じた出来事」 メリット プロンプトにユーザー情報を含める必要なし 毎回自己紹介不要、前回の続きから話せる 個別化されたアドバイスを自動提供 #nncstudy 23
24. Copyright （C ） NRI Netcom, Ltd. All rights reserved. ユーザー別のメモリ管理 課題: 田中さんと佐藤さんの情報を混同しない 解決策: actor_id とsession_id で完全に分離 結果 田中さん（actor_id="tanaka" ）と佐藤さん（actor_id="sato" ）で完全分離 プライバシー保護 + 個別化されたアドバイス #nncstudy 24
25. Copyright （C ） NRI Netcom, Ltd. All rights reserved. 実装アーキテクチャ #nncstudy User Bedrock AgentCore Memory Strands Agent STM Streamlit AgentCore Evaluations Developer async LTM 25
26. Copyright （C ） NRI Netcom, Ltd. All rights reserved. デモ #nncstudy 26
27. Copyright （C ） NRI Netcom, Ltd. All rights reserved. 品質評価とテスト #nncstudy 27
28. Copyright （C ） NRI Netcom, Ltd. All rights reserved. Bedrock Model Evaluation の実装 評価プロセス 1. テストケースからデータセット生成（JSONL 形式） 2. エージェントを呼び出してレスポンス収集 3. データセットをS3 にアップロード 4.Bedrock Evaluation ジョブを作成 5. 結果を取得・分析 データセット形式 #nncstudy 28
29. Copyright （C ） NRI Netcom, Ltd. All rights reserved. Bedrock Model Evaluation の結果 #nncstudy 29 Correctness （正確性） Completeness （完全性） Helpfulness （有用性） Coherence （一貫性） Relevance （関連性）
30. Copyright （C ） NRI Netcom, Ltd. All rights reserved. Bedrock Model Evaluation の結果 #nncstudy 30
31. Copyright （C ） NRI Netcom, Ltd. All rights reserved. AgentCore Evaluations の結果 #nncstudy 31
32. Copyright （C ） NRI Netcom, Ltd. All rights reserved. AgentCore Evaluations の結果 #nncstudy 32
33. Copyright （C ） NRI Netcom, Ltd. All rights reserved. まとめ Memory （記憶）の力 Short-term + Long-term のハイブリッドメモリで人間らしい対話を実現 4 つのメモリ戦略（Semantic, Preferences, Summary, Episodic ）で多面的に 記憶 actor_id によるユーザー別管理で、プライバシーと個別化を両立 Evaluations （評価）の重要性 Bedrock Model Evaluation: バッチ処理で開発時の品質チェック AgentCore Evaluations: エージェント特化、リアルタイム監視も可能 2 つの評価手法を使い分けることで、開発から本番まで継続的な品質管理 #nncstudy 33
34. Copyright （C ） NRI Netcom, Ltd. All rights reserved. #nncstudy 34