運用エージェントは "作る" から "育てる" へ - 記憶と自己進化の3層設計パターン / self-evolving-agents-three-layer-agent-design

© 2026, Amazon Web Services, Inc. or its affiliates. All
rights reserved. Amazon Confidential and Trademark. © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 運⽤エージェントは "作る” から "育てる” へ記憶と⾃⼰進化の３層設計パターン Daisuke Awaji J A W S - U G S R E 支部 # 1 6 集まれ！俺たちの作った最強の運用 A G E N T 大 L T 大会 Solutions Architect Amazon Web Services Japan G.K. ※本セッション内容は、私の個⼈的かつ実験的な取り組みであり、ベストプラクティスを推奨するものではありません。

rights reserved. Amazon Confidential and Trademark. 2 本ブログの内容をお話しします https://zenn.dev/aws_japan/articles/self-evolving-ops-agent-multi-layer-memory

rights reserved. Amazon Confidential and Trademark. Daisuke Awaji Amazon Web Services Japan Solutions Architect 3 @gee0awa Serverless, Genera,ve AI, Frontend ❤

rights reserved. Amazon Confidential and Trademark. 今⽇ AI エージェントは使いましたか︖

rights reserved. Amazon Confidential and Trademark. あなたの AI エージェントは常に動いていますか︖

rights reserved. Amazon Confidential and Trademark. ソフトウェア開発と運⽤を AI に移譲する AWS Cloud（A省 Xシステム） GitHub 開発者開発担当エージェント AWS Cloud（システム） CI/CD バックログ管理要件定義エンドユーザーヒアリング・・・ GitHub Issue （機能追加リクエスト）実装・テスト運⽤担当エージェント異常検知原因特定セキュリティレビュー・テスト是正措置の提案ログ・メトリクス・アラート傾向分析 GitHub Issue 起票 ※ テスト環境を PR 単位にデプロイして受け⼊れ確認できる仕組みを構築する本番環境テスト環境市場調査週次報告 ※10万⾏程度のコードのソフトウェアで検証しています

rights reserved. Amazon Confidential and Trademark. 7 Multi-agent Orchestration Chat on AgentCore Bedrock AgentCore で稼働する AI エージェントの OSS サンプル – 通称 MOCA プロンプトやツールをカスタマイズし、コーディングエージェントや運⽤エージェントも作れるパソコンでもスマホでも（モバイルフレンドリーなチャットUIのサンプルとして） AI エージェントを作る（システムプロンプト・ツールを組み合わせて） https://github.com/aws-samples/sample-multi-agent-orchestration-chat-on-agentcore

rights reserved. Amazon Confidential and Trademark. 8 デモ︓観葉植物のECサイトの不具合を治す GitHub デプロイ

rights reserved. Amazon Confidential and Trademark. 9

rights reserved. Amazon Confidential and Trademark. Amazon Bedrock AgentCore エージェントを本番環境で稼働するために必要なエージェントプラットフォーム Runtime Memory Identity Gateway Code Interpreter Browser Policy Evaluations Observability

rights reserved. Amazon Confidential and Trademark. 11 Moca のアーキテクチャ

rights reserved. Amazon Confidential and Trademark. 13 エージェントは呼び出すものから常駐するものへ

rights reserved. Amazon Confidential and Trademark. ユーザーの指⽰を待つことなく、イベントを監視して必要に応じて通知や質問を⾏う⾃律型エージェントのアプローチ • イベントストリームをトリガーに⾃律的に⾏動する • 複数タスクを同時並⾏で処理 • Human-in-the-loop 完全⾃動ではなく、⼈間に必要なタイミングで確認を⾏う Ambient Agent

rights reserved. Amazon Confidential and Trademark. Ambient Agent Chat Agents Ambient Agents トリガー⼈間からのメッセージイベント同時実⾏数〜１無制限レイテンシーできるだけ早く⻑くても良い UI/UX Chat UI Any

rights reserved. Amazon Confidential and Trademark. イベント連携で起動する AI エージェント 16 Event Amazon Event Bridge S3 file uploaded Amazon Bedrock AgentCore GitHub Issue Created Slack message sent 書類審査コーディング週次レポート作成ある程度⾃律的な判断が可能な業務、初⼿ AI で捌ける作業をイベント駆動で実現する例︓申請系処理で単純な項⽬漏れなどは AI が⾃動返信する、簡単な観点でレビューをパスしてから⼈間が書類を確認する例︓クラウドのアラートをトリガーに AI が原因の調査特定、改善案の提案、ソースコードの修正まで⾏い⼈間が承認するイベントソース GitHub Amazon S3 Slack

rights reserved. Amazon Confidential and Trademark. ソフトウェア開発と運⽤を AI に移譲する AWS Cloud（A省 Xシステム） GitHub 開発者開発担当エージェント AWS Cloud（システム） CI/CD バックログ管理要件定義エンドユーザーヒアリング・・・ GitHub Issue （機能追加リクエスト）実装・テスト運⽤担当エージェント異常検知原因特定セキュリティレビュー・テスト是正措置の提案ログ・メトリクス・アラート傾向分析 GitHub Issue 起票 ※ テスト環境を PR 単位にデプロイして受け⼊れ確認できる仕組みを構築する本番環境テスト環境市場調査週次報告 ※10万⾏程度のコードのソフトウェアで検証しています

rights reserved. Amazon Confidential and Trademark. ソフトウェア開発と運⽤を AI に移譲する AWS Cloud（A省 Xシステム） GitHub 開発者開発担当エージェント AWS Cloud（システム） CI/CD バックログ管理要件定義エンドユーザーヒアリング・・・ GitHub Issue （機能追加リクエスト）実装・テスト運⽤担当エージェント異常検知原因特定セキュリティレビュー・テスト是正措置の提案ログ・メトリクス・アラート傾向分析 GitHub Issue 起票 ※ テスト環境を PR 単位にデプロイして受け⼊れ確認できる仕組みを構築する本番環境テスト環境市場調査週次報告 ※10万⾏程度のコードのソフトウェアで検証しています Event Event Event

rights reserved. Amazon Confidential and Trademark. ソフトウェア開発と運⽤を AI に移譲する AWS Cloud（A省 Xシステム） GitHub 開発者開発担当エージェント AWS Cloud（システム） CI/CD バックログ管理要件定義エンドユーザーヒアリング・・・ GitHub Issue （機能追加リクエスト）実装・テスト運⽤担当エージェント異常検知原因特定セキュリティレビュー・テスト是正措置の提案ログ・メトリクス・アラート傾向分析 GitHub Issue 起票 ※ テスト環境を PR 単位にデプロイして受け⼊れ確認できる仕組みを構築する本番環境テスト環境市場調査週次報告 ※10万⾏程度のコードのソフトウェアで検証しています Event Event Event イベントをトリガーとして起動する

rights reserved. Amazon Confidential and Trademark. 本⽇のセッション内容は、実験的な取り組みであり、⼈間が指⽰をして動作する運⽤エージェントではなく、常にシステム運⽤をし続ける運⽤エージェントがいる前提でどのように設計したか、その結果はどうだったかをお伝えするものです。 20

rights reserved. Amazon Confidential and Trademark. クラウドを運⽤する AI エージェント従来の運⽤⾃動化（Runbook や監視ツール）を超えて、⾃律的に観測・判断・実⾏・学習し、運⽤業務を担う観測判断実⾏学習クラウドリソースのテレメトリの収集仮説⽣成と検証根本原因の特定インフラ設定の変更コードの修正過去のインシデント対処履歴

rights reserved. Amazon Confidential and Trademark. 機械的な運⽤と、⾃律的な運⽤考えなくても即座に反応すべき事はクラウドネイティブな仕組みに任せ、運⽤エージェントは「⼈間の判断が必要な領域を、⼈間より先に準備する」担当動作例機械的運⽤クラウドのマネージドサービス決定論的即時反応オートスケーリング、フェイルオーバー、レート制限など⾃律的運⽤運用エージェント推論的⼈間の介在を求めるログ、メトリクスなどの各種テレメトリを観測、判断し、設定変更の Pull Request を起票する

rights reserved. Amazon Confidential and Trademark. ⽇時の運⽤レポートと、GitHub Issueへの起票例スケジュール起動して⾃動的にこのプロンプトが送信されて起動する作成された GitHub Issue

rights reserved. Amazon Confidential and Trademark. 運⽤エージェントの初期構成 Ops Orchestrator Amazon EventBridge （日時トリガー等）運用対象システム GitHub Issue の起票 Metric Log Metric Log Metric Log GitHub AWS CLI を実⾏する

rights reserved. Amazon Confidential and Trademark. イベント駆動実⾏のためのガイドライン・割り当てられたタスクを徹底的に完了する・結果と所⾒を明確に⽂書化する・明⽰的なログ記録を⽤いて、エラーを適切に処理する・確認のための質問はせず、合理的な仮定を⽴てて進む・速度よりも信頼性を重視する 26 イベント起動のメタデータ・いつ、どこで、どのパラメータで実⾏されたかユーザーが設定した指⽰（設定可能なプロンプト）

rights reserved. Amazon Confidential and Trademark. ただ定期実⾏される Ambient Agent の弱点 27 起動毎回ゼロから調査昨⽇の異常を知らないセッションの揮発毎回新しいコンテキストで起動するため、経験がすべて揮発する。これだけでは Coding Agent が AWS CLI を使って調査するのと何も変わらない。

rights reserved. Amazon Confidential and Trademark. Ambient Agent（運⽤エージェント）が参照編集可能、再利⽤可能、再現可能な⼿順書やドキュメント、スクリプトを保持するメカニズムを実装する。 Stateless から Stateful へ 28 Stateless Ambient Agent Stateful Ambient Agent 実⾏コンテキスト毎回リセットされ揮発する経験を記録し、次回へ引き継ぐ異常の判断基準静的な固定しきい値動的なベースラインと⾃⼰調整実⾏効率毎回プロンプトから処理を推論成功した⼿順とスクリプトを再利⽤する環境適応⼒開発者による⼿動チューニングエージェント⾃⾝の判断による⾃⼰進化

rights reserved. Amazon Confidential and Trademark. クラウドを運⽤する AI エージェント従来の運⽤⾃動化（Runbook や監視ツール）を超えて、⾃律的に観測・判断・実⾏・学習し、運⽤業務を担う観測判断実⾏学習クラウドリソースのテレメトリの収集仮説⽣成と検証根本原因の特定インフラ設定の変更コードの修正過去のインシデント対処履歴

rights reserved. Amazon Confidential and Trademark. クラウドを運⽤する AI エージェント従来の運⽤⾃動化（Runbook や監視ツール）を超えて、⾃律的に観測・判断・実⾏・学習し、運⽤業務を担う観測判断実⾏学習クラウドリソースのテレメトリの収集仮説⽣成と検証根本原因の特定インフラ設定の変更コードの修正過去のインシデント対処履歴学習の仕組みを Agent Skill の仕組みを参考に設計する

rights reserved. Amazon Confidential and Trademark. 運⽤エージェントの初期構成 Ops Orchestrator Amazon EventBridge （日時トリガー等）運用対象システム GitHub Issue の起票 Metric Log Metric Log Metric Log GitHub

rights reserved. Amazon Confidential and Trademark. 運⽤エージェントにステート（S3）を追加する Ops Orchestrator Amazon EventBridge （日時トリガー等）運用対象システム GitHub Issue の起票 Metric Log Metric Log Metric Log GitHub Amazon S3 記憶領域レポートなど運⽤の履歴などを記録しておく

rights reserved. Amazon Confidential and Trademark. コンテキストロットへの対策 Ops Orchestrator Amazon EventBridge （日時トリガー等） Compute Metric Collector Storage Metric Collector Usage Cost Collector Amazon S3 運用対象システム Software Developer 調査を依頼バグ原因の特定と修正計画 Metric Log Metric Log Metric Log 記憶領域レポートなど GitHub 400K Token 程度を⽬安にして分割する

rights reserved. Amazon Confidential and Trademark. 34 ⾃⼰進化メカニズムを設計する

rights reserved. Amazon Confidential and Trademark. ３層構造の⾃⼰進化メカニズム 35 運⽤エージェント Layer 3（Self-Evolving Prompt） Layer 2（Persistent Instructions） Layer 1（Reusable Scripts）再利⽤可能なスクリプトを利⽤する永続メモリを保持、記録する⾃⾝のシステムプロンプトを改善する

rights reserved. Amazon Confidential and Trademark. Layer 1（Reusable Scripts） 36 Compute Metric Collector Storage Metric Collector Usage Cost Collector 運用対象システム Metric Log Metric Log Metric Log Orchestrator から実⾏されるWorker/Collector は再利⽤可能なスクリプトを実⾏し、常に改善する

rights reserved. Amazon Confidential and Trademark. 37 スパイクではなく、持続的な状態変化を検知する EMA（Exponential Moving Average、指数移動平均）緩やかな変化、予測可能な変動、履歴データを考慮し、最新のトレンドを捉えるベースラインを⽇々更新する CloudWatch Alerm のように機械的に検出する閾値ではなく、システムの特性を抑える EMA（指数移動平均）などの⼿法を使⽤してベースラインを⽇々更新する

rights reserved. Amazon Confidential and Trademark. 38 突発的なスパイクがあったからといってすぐに閾値を更新しないベースラインが閾値まで近づいてきた時に閾値の更新を検討する

rights reserved. Amazon Confidential and Trademark. Layer 2（Persistent Instructions） 39 エージェントが読み書きする「永続メモリ」をファイルとして保持するコーディングエージェントにおける Skill や Steering File を動的に作らせる⼈間は定期的にこれらのドキュメントを確認して必要に応じて修正をかける Ops Orchestrator ops/memory/ ops-instructions.md baseline-metrics.json known-issue.md investigation-log.md changelog.md 次回はここに注意する普段はこれくらいの値このパターンは過去に⾒た前回の調査でこうだった⾃分はこう変わってきた ※ AgentCore Memory の⻑期記憶のような、事実情報の要約とベクトルデータベースに格納するという仕組みでは全ての事実情報を正確に記録できないと判断し、ファイルベースでの記録管理としています。

rights reserved. Amazon Confidential and Trademark. Layer 2（Persistent Instructions） 40 Known Issues の例 Lambda のレイテンシが⼤きい 4/16に⾮同期実⾏に改善した Bedrock の推論処理が⻑いから

rights reserved. Amazon Confidential and Trademark. Layer 3（Self-Evolving） 41 ⼈間の承認を挟まず、エージェント⾃⾝の判断でシステムプロンプトを更新する Ops Orchestrator manage_agent tool SYSTEM_PROMPT の更新 ※運⽤してみた感想ですが、システムプロンプト⾃体を書き換えるのではなく、ステアリングファイルの更新だけでも⼗分に思えます。

rights reserved. Amazon Confidential and Trademark. Layer 3（Self-Evolving）のガードレール設計 42 境界の分離更新可能な領域と、固定する領域を分ける世代管理更新前のプロンプトを最⼤５世代保持しておく System Prompt <!-– IMMUTABLE --> <!-– DYNAMIC --> AWS の構成、リソースID、ワーカーエージェントのID、ストレージのレイアウトなど、索引に必要な情報および、メモリ呼び出し、探索、分析、レポート⽅法などの⼿順を記載するシステムの特性各種メトリクスの閾値学習してきた主要なパターンなどを記載する ※運⽤してみた感想ですが、システムプロンプト⾃体を書き換えるのではなく、ステアリングファイルの更新だけでも⼗分に思えます。

rights reserved. Amazon Confidential and Trademark. 43 運⽤エージェントの主要な実⾏ステップ Amazon EventBridge （日時トリガー等）⾃動起動／ユーザーの指⽰メモリの読み込み Worker の実⾏ Worker Agent の作業異常検知レポートバグの調査 Developer Agent の作業⾃⼰進化必要に応じて GitHub

rights reserved. Amazon Confidential and Trademark. 44 運⽤を始めた結果

rights reserved. Amazon Confidential and Trademark. 45 Day 1 コストやレイテンシーの閾値調整 🔴 CRITICAL ̶ Daily Cost 観測値 : $323.39 / しきい値 $100 🟡 WARNING ̶ API GW p99 Latency 観測値 : 6,549 ms / しきい値 5,000 ms diff # ALERT_THRESHOLDS (DYNAMIC) 🔴 CRITICAL: - Daily Cost > $100 (Moca+shared) + Daily Cost > $200 (Moca-specific ✓) 🟡 WARNING: - p99 Latency > 5,000 ms (strict) + p99 Latency > 8,000 ms (Bedrock long-tail ✓) 単なる検知ではなく、しきい値の妥当性を運⽤エージェント⾃⾝が判断したアカウント共有環境という⽂脈を理解し、 Bedrock long-tail という技術特性を考慮 → ⾃律的に DYNAMIC SECTION を書き換え。 L3 が初⽇から発動システムプロンプトの更新アラート検知 🤖 Agent Reasoning 初回実行なのでベースラインを Moca アプリに限定して設定する 🤖 Agent Reasoning Bedrock 推論の long-tail を考慮すると 5,000 ms は厳しすぎる

rights reserved. Amazon Confidential and Trademark. 46 Day 4 S3 が⼀夜で半減した︕︖ 16.76 GB 9.21 GB -45.1% The Incident 4 ⽇⽬に CRITICAL アラート発⽕ S3 容量が⼀夜で 45% 減っている The Paradox 容量は減ったのにオブジェクト数は増加していた。94,839 → 95,219 （ +380 ）データロスト︖インフラ障害︖

rights reserved. Amazon Confidential and Trademark. 47 Day 4 S3 が⼀夜で半減した︕︖ ストレージの容量が半減したのに、オブジェクト数が増えた。この “異常” とみなされる状態に対して⾃律的に調査を開始していました。１、S3 のライフサイクルポリシーを確認２、S3 オブジェクトのバージョニング情報を確認３、S3 のストレージクラスを確認その結果、約 30 ⽇前の⼤量オブジェクトが上書き更新され、古いバージョンがライフサイクルポリシーによって期限切れになっていました。容量は減りましたが、現⾏バージョンのオブジェクトは無傷。これはインフラの想定動作であると判断し、運⽤エージェントはシステムの特性としてドキュメントに記録しました。

rights reserved. Amazon Confidential and Trademark. 48 ベースラインの更新の考え⽅をアップデートする漸進的なドリフト vs ステップ関数的な構造変化漸進的なドリフトステップ関数的な変化 EMA（Exponential Moving Average、指数移動平均）緩やかな変化、予測可能な変動、履歴データを考慮し、最新のトレンドを捉える急激な不連続性、根本的な状態変化異常検知の⼿法をリセットして、新しい基準値からリセットして適応する +

rights reserved. Amazon Confidential and Trademark. 50 運⽤を通して得た知⾒

rights reserved. Amazon Confidential and Trademark. 51 運⽤を通して得た知⾒１、ファイルベースでの記憶管理でも 70点は取れるシステムプロンプトの書き換えは過剰、ステアリングファイルで管理する。 Git で管理して変更の都度、⼈間の承認を挟む⽅式も良さそう。２、”異常” とみなす基準値の変更は⼈間が介在するべき閾値の変更や、運⽤対象のクラウドコンポーネントの追加といった数週間単位のサイクルで変動する変更操作は単純なファイルではなく CloudWatch アラームなどの設定変更を PR で起票させる⽅式が良さそうアラートの閾値ではなく、ベースラインを⾃動更新する⽅式は有効だった３、コンテキストロットを前提としたシステムコンポーネント設計が重要マルチエージェント構成、システムが出⼒するログやメトリクスの構造化など従来⼈間が把握していたサービス境界やコンポーネント境界を明⽰するトレース可能な仕組みづくりを⼼がける。

rights reserved. Amazon Confidential and Trademark. 52 おすすめのサービスとワークショップがあります。 https://catalog.us-east-1.prod.workshops.aws/workshops/f326b72d-fbbd-4b6c-875d-e1c69a32d586/ja-JP

rights reserved. Amazon Confidential and Trademark. 本ワークショップで利⽤するトラシューツール Claude Code と agent-toolkit-for-aws を活⽤して、オレオレ運⽤エージェントを作ってみるステップもございます

運用エージェントは "作る" から "育てる" へ - 記憶と自己進化の3層設計パターン / ...

運用エージェントは "作る" から "育てる" へ - 記憶と自己進化の3層設計パターン / self-evolving-agents-three-layer-agent-design

More Decks by geeawa

Other Decks in Programming

Featured

Transcript