Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
「さらばアラートノイズ!」 AIエージェントでインシデント対応を自動化する
Search
Cloud Ace
September 09, 2025
Technology
0
50
「さらばアラートノイズ!」 AIエージェントでインシデント対応を自動化する
Cloud Ace
September 09, 2025
Tweet
Share
More Decks by Cloud Ace
See All by Cloud Ace
ADKとMastraを活用したAIエージェント開発実践
cloudace
0
55
How to manage Keycloak secuarely by using Terraform on Google Cloud
cloudace
0
100
BigQueryのfederated queriesを用いた GrafanaでのDatabaseの可視化
cloudace
0
18
Google CloudとGitHub Actionsでセキュアで 信頼性の高いインフラのデプロイパイプラインの構築方法
cloudace
0
130
新しいプロダクトのデプロイパイプラインにArgo CDを使った話
cloudace
0
190
開発現場とセキュリティ担当をつなぐ脅威モデリング
cloudace
0
310
クラウド ネイティブ化は、 本当に必要なのか? 〜移行パターンと成功のポイント~
cloudace
0
280
今すぐできる! DORA metrics でカジュアルに始める CI/CD | DevOpsDays Tokyo 2024
cloudace
0
860
LLMによる技術ブログレビューを導入した話
cloudace
1
460
Other Decks in Technology
See All in Technology
10年の共創が示す、これからの開発者と企業の関係 ~ Crossroad
soracom
PRO
1
470
Optuna DashboardにおけるPLaMo2連携機能の紹介 / PFN LLM セミナー
pfn
PRO
2
900
pprof vs runtime/trace (FlightRecorder)
task4233
0
170
生成AIを活用したZennの取り組み事例
ryosukeigarashi
0
210
自動テストのコストと向き合ってみた
qa
0
190
GC25 Recap+: Advancing Go Garbage Collection with Green Tea
logica0419
1
430
Why React!?? Next.jsそしてReactを改めてイチから選ぶ
ypresto
10
4.5k
AIが書いたコードをAIが検証する!自律的なモバイルアプリ開発の実現
henteko
1
350
職種別ミートアップで社内から盛り上げる アウトプット文化の醸成と関係強化/ #DevRelKaigi
nishiuma
2
140
extension 現場で使えるXcodeショートカット一覧
ktombow
0
220
Oracle Cloud Infrastructure:2025年9月度サービス・アップデート
oracle4engineer
PRO
0
470
BirdCLEF+2025 Noir 5位解法紹介
myso
0
200
Featured
See All Featured
Building Applications with DynamoDB
mza
96
6.6k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
48
9.7k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
285
14k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
9
850
Mobile First: as difficult as doing things right
swwweet
224
10k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
31
9.7k
The Art of Programming - Codeland 2020
erikaheidi
56
14k
YesSQL, Process and Tooling at Scale
rocio
173
14k
Building Flexible Design Systems
yeseniaperezcruz
329
39k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
12
1.2k
Building an army of robots
kneath
306
46k
Documentation Writing (for coders)
carmenintech
75
5k
Transcript
「さらばアラートノイズ!」 AIエージェントでインシデント対応を自動化する
話すこと • なぜAIエージェントが必要だったのか • ADKを使ったインシデント対応エージェントの開発 • AIエージェントのオブザーバビリティ
スピーカー 1 髙橋 和真 (Takahashi Kazuma) クラウドエース株式会社 DevSecOps事業部 Engineer Work
Google Cloudを中心としたシステムの開発、運用を担当 Tech SRE O11y Serverless Award Google Cloud Partner Top Engineer 2025 SNS X:@kazzuvi Github:@kazuvi
なぜAIエージェントが必要だったのか
アラートノイズとの戦い • アラートノイズ システムに影響がなく優先度の低い、対応不要 なアラートにより対応の時 間だけが奪われていく現象。 弊社の運用保守チームでは、特に高頻度で Cloud IDSによる攻撃検知アラートが 鳴ることに悩まされていた。
このアラートを確認し調査することはセキュリティ上重要だが、 そのほとんどはシステムに実害のない 攻撃の"試み"だった。 実態として対応が不要であっても、攻撃の調査時間は必要になり、 その分睡眠や開発にさける時間が減ってしまっていた。
アラートをミュートすれば良いのでは? 実際に攻撃されている以上無視はできない。閾値を上げすぎて、 本当に危険なアラート を見逃すことだけは避けないといけない。 結果として、「復旧作業は不要だが、ログを確認して影響の有無を判断す る」という人間による調査作業が残ってしまった。
問題の焦点をシフトさせる ノイズを減らすべく閾値を調整するのは、本当に対処すべきアラートを考慮 すると非常に難しい。 ノイズが多いことを問題とするのではなく、睡眠や開発にさける時間が減っ ているという部分に焦点を当て、 人間が対処する必要のない作業をさせられている 、ことに原因があるとし た。 AIエージェントに インシデント対応させて、
空いた時間で開発とかしよう
一次対応エージェントの構築 AIエージェントをここでは 目標達成のため、繰り返し推論し、ツールを使って行動する ソフトウェアと定義する。 インシデントの一次対応として AIエージェントが入り、 システムに影響がある、もしくは調査が必要なインシデントだけを人間に通知する。 結果的に人間がアラートノイズに対処することない 運用保守が可能に!
負担の改善 Primary, Secondaryの2人のエンジニアで対応していた運用保守チームに、 AIエージェント が加わることで、実質的に 3人体制に。 人間にエスカレーションされる =システムに問題がある、なので電話が鳴る 恐怖は倍増...?
ADKを使った インシデント対応エージェントの開発
エージェント構築のために AIエージェントは大きく分けて、ワークフロー型と自律型に分けられる。 • ワークフロー型 事前に定義されたフロー、ツールの指定にしたがってタスクを実行する • 自律型 目標だけを与え、ワークフローやツールの選定は全てエージェントに任せ る それぞれの中間をとったハイブリッド型もある。
エージェント構築のために AIエージェントを構築のためのフレームワークがたくさん出てきた 何を使うかによって、実装方式や思想も異なってくる。 • LangGraph(ハイブリッド) • LangManus(自律) • Mastra(ハイブリッド) •
ADK(ハイブリッド) など
ADKとは Agent Development Kit(ADK) Google Cloudから提供されているAIエージェント を構築するためのフレームワーク 外部ツールを使ったり、複数のエージェント を使ったシステムを構築できる。 自律ベースでありながら、挙動を制御する
ための仕組みも提供してくれている。
スピーカー 2 三原 知樹 (Mihara Tomoki) クラウドエース株式会社 DevSecOps事業部 Engineer Work
Google Cloudを中心としたシステムの開発、運用を担当 SNS Github:@TomokiMihara
エージェントのライフサイクル 責務ごとにエージェントを分離するマルチエージェントアーキテクチャ SequentialAgentでワークフローのように 順番にエージェントを実行
エージェントとツール エージェントごとにツールを定義
エージェントのライフサイクル エスカレーションが必要なしと判断された場合 エスカレーションが必要ありと判断された場合
・ツールが適切に利用されない →ツールの関数名やdoc stringが実際にツールの 呼び出しの性能に関わってくる →クリーンコードがメンテナビリティのみならず、性能 に影響を及ぼす →ツールの呼び出しが確実に実行される保証は無 いため、ツールの呼び出しが無かったらリトライ処理 なども別途必要 ハマった事
AIエージェントのオブザーバビリティ
エージェントの抱える課題 AIエージェントの挙動はそのままではブラックボックス化 して しまう。動作に問題が起きても、なぜそうなったか分からない。 プロンプトのチューニング、モデルの更新、実行時間やお金など、様々 な考慮すべきことがあるため、 AIエージェントのオブザーバビリティ が重要となってくる。
Langfuseの導入 Langfuse LLMアプリケーション向けに設計 された観測・分析プラットフォーム できること • トレースの可視化 • プロンプトの評価と管理 •
フィードバック収集 などなど
一次対応 AIエージェン トもLangfuseにトレー スを送り、チューニング の参考にしていたりし ます。各エージェントの レイテンシも計測できる ので、マルチエージェン トアーキテクチャはオブ ザーバビリティ
観点で も重要だと言えます。
作って・自動化させて終わりではない エージェント自身の運用管理 が増えてしまう 挙動を見て、分析し、改善するというサイクルは AIエージェント にも必要。銀の弾丸ではない。 Langfuseをはじめとした LLMオブザーバビリティ ツールを活用しましょう。