アラート調査向けAIエージェントの本番導入とその後/AI Agents for Alert Investigation: Production Deployment and After

2026年06月30日開催の「The SRE Backlog: 蔵出し事例共有会」での発表資料です

Transcript

1. アラート調査向けAIエージェントの本番導入とその後 2026/06/30 The SRE Backlog: 蔵出し事例共有会 多田 貞剛/@taddy_919
2. 多田 貞剛 @taddy_919 自己紹介 2022/03 入社 バクラク事業部 Platform Engineering部 SREグループ 最近ベンチプレスで100kgを挙げられ るようになりました © LayerX Inc. 2
3. バクラクの紹介
4. © LayerX Inc. 4
5. © LayerX Inc. 5
6. 目次 © LayerX Inc. 目次 開発しているエージェントの紹介 本番導入で取り組んだこと 運用後に発生した課題 課題に対する解決策 今後の展望 まとめ 6
7. 開発しているエージェントの紹介
8. エージェント開発を検討したきっかけ © LayerX Inc. 開発しているエージェントについて バクラクにはプロダクト間で連携している機能があり、プロダクトをまたぐアラート調 査が複雑になる アラート調査では関連システムのバックエンド/フロントエンドそれぞれの挙動を確認する 調査に当たってはそれぞれのサービス依存関係を把握しつつ調べる アラートに関連するシステムの処理フローを横断的に追う プロダクトチームの新入社員が上記の調査に対応できるようになるまでの学習コストが 高い SREを介さなくてもプロダクトチームで調査や修正対応が継続するよう支援したい 8
9. 内製化 © LayerX Inc. 開発しているエージェントについて アラート調査は一定程度、定型化できている 特定時間帯における関連システムのメトリクス、トレース、ログを確認 これらの対応手順をアラートごとにNotionにまとめて運用している アラート調査には自動化の余地があると感じ、そのための改善を行うことにした 他のソリューション(AWS DevOps Agent / Datadog Bits Investigation)と比較し、内製することにした 比較軸1 / 比較軸2 9
10. システム調査エージェントとは アラートに関連するメトリクス・ログ・トレース情報を自動で調査・分析するAIエージェント © LayerX Inc. 開発しているエージェントについて Slackからアラート情報を渡すことで自動調査 専門のMCPを使って複数データソース(AWS、Datadog)に渡って調査した結果をレポー トする 調査結果から優先度付けて改善の提案を行う 10
11. 使用している技術(1) © LayerX Inc. 開発しているエージェントについて Python uv: Pythonのパッケージ・プロジェクト管理ツール Strands Agents: AIエージェントSDK Claude Sonnet 4.6: Anthropic社の大規模言語モデル Slack Bolt: Slackアプリ開発用のフレームワーク 11
12. 使用している技術(2) © LayerX Inc. 開発しているエージェントについて Datadog MCP Server: Datadogの監視データにアクセスするためのMCPサーバー CloudWatch MCP Server: AWS CloudWatchのメトリクス確認やログ分析などを行うた めのMCPサーバー AWS Documentation MCP Server: AWS公式ドキュメントにアクセスするためのMCPサ ーバー 12
13. 実行環境 © LayerX Inc. 開発しているエージェントについて AWS上に構築 ALB + ECS Fargate + Bedrock(日本リージョン) バクラクでは大半のコンピューティングリソースがECS Fargateで構成されており、CI/CDやインフラの自動 生成等既存のプラットフォームに載ることで高速に検証を回せるため採用した Amazon Bedrockのモデルでは学習のオプトアウトが適用済みのため採用した AWS公式ドキュメント 13
14. システム調査エージェントの構成図 開発しているエージェントについて © LayerX Inc. 14
15. システム調査エージェントの振る舞い 大まかに以下のような振る舞いをします © LayerX Inc. 開発しているエージェントについて 15
16. 本番導入で取り組んだこと
17. SREチームのアラートに設定した © LayerX Inc. 本番導入 SREチームにメンションされるアラートを対象に設定 Slackのアラート通知を受け取ったエージェントが自動で調査・レポートを投稿 SREの調査の手間を減らし、レポートを最終確認するだけの状態を目指した 17
18. 本番導入:SREチームのアラートに設定した © LayerX Inc. 18
19. 他システムとの統合 © LayerX Inc. 本番導入 内製のインシデント管理ツールからAPIで初期調査を行えるようにした 上記ツールにメンションすることで初期調査を行い、その結果をSlackに投稿する 19
20. 本番導入:他システムとの統合 © LayerX Inc. 20
21. 運用後に発生した課題
22. 課題は大きく2つあった 課題 起きていたこと 1. 調査が非効率 システム特有のコンテキストを持たず、広く探索していた 2. 間違った情報を調査・レポートする 誤った調査をレポートすることがあった © LayerX Inc. 運用後に発生した課題 22
23. 課題1: 調査が非効率 © LayerX Inc. 運用後に発生した課題 アラートから自動調査するにあたってはどういった観点で調査を行うべきかを持ってい ないと、非効率な調査になる この状態で調査をしようとすると広く探索し、調査時間が長期化したりレポート内容も期待通りではなかった 23
24. 課題2: 間違った情報を調査・レポートしていた © LayerX Inc. 運用後に発生した課題 例えばレイテンシーアラートの調査では、必要な情報を含むレポートが出る時と、誤っ た情報を含むレポートが出る時があり安定しなかった 遅いRPC名を見ただけで根本原因を断定してレポートしていた 実際にはtraceを掘ってspan詳細を確認しないと主因は特定できない エージェントは「調査レポートを出す」ことを責務として進めてくれたが、 「必要な情 報が揃っているか」を判断するための機構がなかった 24
25. 解決策の検討
26. 課題1への対応: Strands AgentsのSkillsを使う © LayerX Inc. Skillsによるコンテキスト投入 Strands AgentsのAgent Skillsを使い、専門的な指示を必要なときだけAgentに読み込ま せる エージェントが必要だと判断したタイミングで、該当するSkillの詳細指示をロードする Strands Agents Skills 26
27. Skillsの設定例抜粋 © LayerX Inc. Skillsによるコンテキスト投入 27
28. 課題2への対応: 調査レポート投稿前にチェック機構を追加 © LayerX Inc. 精度向上への取り組み 調査後の投稿前にレポートチェック機構を追加 必要な情報（ex. 根本原因・数値等）が含まれているか確認 チェック機構を通過しないレポートはSlackに投稿しないように制御 28
29. レイテンシーアラートのチェック機構例 © LayerX Inc. 精度向上への取り組み 29
30. 解決策実装後の所感 © LayerX Inc. 精度向上への取り組み バクラク固有の調査観点を渡すことで、見るべきデータソースを絞りやすくなった 調査結果のチェック機構を入れることで、精度の低いレポートが減少している 30
31. 今後の展望
32. インシデント管理ツールとの統合強化 © LayerX Inc. 今後の展望 インシデント管理ツールとの統合は、現状は初期調査の結果をインシデント管理ツール に返すだけになっており、より連携を強化したい アラートの調査ログや次のアクションを記録する データをインシデント管理ツール側に貯めておくことでシステム調査エージェントが過去対応を参照して調 査の効率化を目指していきたい 32
33. まとめ
34. まとめ © LayerX Inc. まとめ システム調査エージェントを本番環境に導入した 本番稼働させたところ課題が2つあり、それぞれ対応を行った 今後は、単一システムの強化ではなく他システムとの連携を強化して、円滑な調査対応 を目指していく 34
35. We're hiring 採用全力強化中です！ご興味ありましたらご連絡をお願いします！ バクラク事業部・エンジニア組織紹介資料 バクラクSRE JD © LayerX Inc. まとめ 35
36. ご清聴ありがとうございました！