Upgrade to PRO for Only $50/Year—Limited-Time Offer! 🔥

[JAWS-UG 横浜支部 #91]DevOps Agent vs CloudWatch In...

Avatar for sh_fk2 sh_fk2
December 08, 2025

[JAWS-UG 横浜支部 #91]DevOps Agent vs CloudWatch Investigations -比較と実践-

Avatar for sh_fk2

sh_fk2

December 08, 2025
Tweet

More Decks by sh_fk2

Other Decks in Technology

Transcript

  1. 2025年12月8日 JAWS-UG横浜 #91 AWS re:Invent 2025 宇宙一早い re:Cap DevOps Agent

    vs CloudWatch Investigations -比較と実践- #jawsugyokohama
  2. DevOps Agent vs CloudWatch Investigations 自律性 / 行動の範囲 DevOps Agent

    CloudWatch Investigations 分析・仮説提示を都度実行(単発で調査) 復旧は人が実行 より自律的に調査・改善案提示できるよう学習 将来的には自動復旧や継続的改善を行うことが目標
  3. DevOps Agent vs CloudWatch Investigations 統合範囲 DevOps Agent CloudWatch Investigations

    CloudWatch+AWS内の情報を横断して分析する 主に「調査補助」用途 リポジトリ/CI・CD/Runbook/SaaSを横断して学習する Agent Space概念
  4. DevOps Agent vs CloudWatch Investigations 導入 DevOps Agent CloudWatch Investigations

    CloudWatchコンソール中心で即利用可 「Agent Space」の作成 アクセス定義・権限付与等の初期設定がより重要 (Aegnt Space/web app)
  5. CloudWatch Investigations 根本原因は、incident-test- consumer Lambda関数における IAM権限の拒否です。コンシュー マーには、対象のDynamoDBテー ブルに対するdynamodb:PutItem 権限がないため、体系的なメッ セージ処理エラーが発生し、デッ

    ドレターキューに蓄積され、イン シデントアラームがトリガーされ ます。影響: incident-test- consumer Lambda関数が DynamoDBへの書き込み権限不足 によりSQSメッセージを正常に処 理できなかったため、インシデン ト発生期間中にincident-test-dlq 関数に失敗したメッセージが蓄積 されました。 原因の特定が行えているが、変更の契機までは踏み込んでいない
  6. IAMロール(investigationTest- ConsumerLambdaRole- fwdK9dpeGhse)から、 CloudFormationスタック更新により dynamodb:PutItem権限が削除された ためです。この権限は、08:27:44Z (最初のエラースパイクの発生時刻 08:28:00Z 以前)および 08:53:43Z

    (2 回目のエラースパイクの発生時刻 08:54:00Z 以前)に削除され、 DynamoDB の読み取り専用権限に置 き換えられました。PutItem権限がな いため、Lambda関数はincident-test- messages DynamoDBテーブルへの書 き込みができず、すべての処理試行で AccessDeniedExceptionエラーが発生 しました。 DevOps Agent 原因の特定に加えて、Cfnによるアップデートまでしっかり把握している
  7. DevOps Agent vs CloudWatch Investigations 導入の流れ(案) CloudWatch Investigationsで、本番環境の調査 → 仮説生成

    の自動化 (GA済、低リスク・即効性) 復旧コマンドをエンジニアがレビュー DevOps Agentをステージング環境で構築。読み取り専用で導入 (GA待ち) 最小権限の確認や監査対応面の課題を確認 データアクセスのスコープ管理なども検証 DevOps Agentを本番で運用 自律的な復旧範囲を順次拡大 (GAしたら) それに伴い、必要な権限を付与 1 2 3