実践！ SRE × AI - ABEMA における AIOps -

Hackers Champloo 2026 の登壇資料です
https://hackers-champloo.org/2026/program.html

Transcript

1. 2026 October 12th Hackers Champloo 2026 実践！ SRE × AI - ABEMA における AIOps ABEMA SRE ⼭本 哲也 AbemaTV, Inc. All Rights Reserved 1
2. ⾃⼰紹介 株式会社 サイバーエージェント / 株式会社 AbemaTV クラウド基盤や監視基盤や CI/CD など基盤周り全般を担当。⼤規模イベントの負荷試 験やリージョン移設、新しいクラウドソリューションの導⼊などを担当。 2024 年からは Developer Productivity チームの⽴ち上げや Engineering Manager を兼任しながら、 Observability 基盤の刷新・構築にコミット。 現在は SRE チームとして ABEMA 全体の信頼性の向上をサポートしています。 ⼭本 哲也 SRE Development Headquarters, AbemaTV, Inc. AbemaTV, Inc. All Rights Reserved
3. INDEX 1. ABEMA について 2. AI 時代の障害対応 3. ABEMA SRE が投資してきたこと 4. AI 時代におけるサービスの信頼性 5. まとめ AbemaTV, Inc. All Rights Reserved 3
4. INDEX 1. ABEMA について 2. AI 時代の障害対応 3. ABEMA SRE が投資してきたこと 4. AI 時代におけるサービスの信頼性 5. まとめ AbemaTV, Inc. All Rights Reserved 4
5. AbemaTV, Inc. All Rights Reserved
6. AbemaTV, Inc. All Rights Reserved
7. 無料 すべてのひとが楽しめる ⽣中継 ライブならではの臨場感 同時性 ⽇本のイマを捉え流⾏をつくる 報道 常に新鮮なニュース 利便性 時間と場所からの開放 AbemaTV, Inc. All Rights Reserved
8. 複数デバイス対応・多彩なチャンネルラインナップ ABEMA 紹介 AbemaTV, Inc. All Rights Reserved 8
9. 1Q 黒字化を達成 AbemaTV, Inc. All Rights Reserved
10. INDEX 1. ABEMA について 2. AI 時代の障害対応 3. ABEMA SRE が投資してきたこと 4. AI 時代におけるサービスの信頼性 5. まとめ AbemaTV, Inc. All Rights Reserved 10
11. 2. AI 時代の障害対応 自分のサービスで エラーが増えたら、 どう調べる？ AbemaTV, Inc. All Rights Reserved 11
12. 2. AI 時代の障害対応 Before AI ダッシュボードを⾒る ログを⾒る 自分のサービスで エラーが増えたら、 どう調べる？ トレースを⾒る 実装を⾒る AbemaTV, Inc. All Rights Reserved etc... 12
13. 2. AI 時代の障害対応 Before AI ダッシュボードを⾒る ログを⾒る 自分のサービスで エラーが増えたら、 どう調べる？ トレースを⾒る 実装を⾒る etc... After AI AI に聞く AbemaTV, Inc. All Rights Reserved 13
14. 2. AI 時代の障害対応 ABEMA での実例 ① ⼤規模障害での根本原因を専⾨範囲外のエンジニアが ② 複数部署にまたがる問題を、若⼿エンジニアが AbemaTV, Inc. All Rights Reserved 4 分で特定 1 ⼈で原因究明 14
15. 2. AI 時代の障害対応 ABEMA の監視環境 スタジオ : マスタールーム 映像配信 : NPAW フロントエンド : New Relic バックエンド : Datadog + Grafana AbemaTV, Inc. All Rights Reserved 15
16. 2. AI 時代の障害対応 ABEMA の監視環境 スタジオ : マスタールーム 映像配信 : NPAW フロントエンド : New Relic バックエンド : Datadog + Grafana AbemaTV, Inc. All Rights Reserved 16 ※ABEMA の開発スピードと安定性を両⽴ ー Datadog と描く O11y 戦略
17. 2. AI 時代の障害対応 ABEMA の障害対応 💥 障害発⽣ → 📢 集合 → 🛠 調査・復旧 アラート・ CS ・ QA など 障害として起票されると、 該当 Slack チャンネルで、 の様々なチャンネルから、 個別の Slack チャンネルが 事象の把握や影響範囲・原因 不具合・調査依頼が届きます ⾃動で作成されます の究明などを開始します 必要に応じて、 関係者が⾃動で追加された 復旧完了し、 障害として起票します り、必要に応じて PM などに ポストモーテムの実施などが も召集をかけます 完了したら解散となります AbemaTV, Inc. All Rights Reserved 17
18. 2. AI 時代の障害対応 ABEMA の障害対応 with AI 💥 障害発⽣ アラート・ CS ・ QA など の様々なチャンネルから、 不具合・調査依頼が届きます 必要に応じて、 定義されているアラートだけではなく、 異常値検知による未知の事象に対しての AI 活⽤ with Bits AI 障害として起票します AbemaTV, Inc. All Rights Reserved 18
19. 2. AI 時代の障害対応 ABEMA の障害対応 with AI 🛠 調査・復旧 Bits Chat による⾃動調査が開始されます 該当 Slack チャンネルで、 事象の把握や影響範囲・原因 の究明などを開始します 復旧完了し、 ポストモーテムの実施などが 完了したら解散となります AbemaTV, Inc. All Rights Reserved 19
20. 2. AI 時代の障害対応 ABEMA の障害対応 with AI 🛠 調査・復旧 Bits Chat による⾃動調査が開始されます 該当 Slack チャンネルで、 事象の把握や影響範囲・原因 の究明などを開始します 復旧完了し、 インシデント起票 10 秒後には⾃動調査が始まっている ポストモーテムの実施などが 完了したら解散となります AbemaTV, Inc. All Rights Reserved 20
21. INDEX 1. ABEMA について 2. AI 時代の障害対応 3. ABEMA SRE が投資してきたこと 4. AI 時代におけるサービスの信頼性 5. まとめ AbemaTV, Inc. All Rights Reserved 21
22. 3. ABEMA SRE が投資してきたこと ABEMA の障害対応 with AI の礎 とにかく AI が⾒に⾏くデータを綺麗に整える AbemaTV, Inc. All Rights Reserved 22
23. 3. ABEMA SRE が投資してきたこと ABEMA の障害対応 with AI の礎 ① テレメトリーデータの収集⽤の共通 SDK を開発する ② 全てのマイクロサービスに共通 SDK & 環境変数などを設定する AbemaTV, Inc. All Rights Reserved 23
24. 3. ABEMA SRE が投資してきたこと ABEMA の障害対応 with AI の礎 ① テレメトリーデータの収集⽤の共通 SDK を開発する ② 全てのマイクロサービスに共通 SDK & 環境変数などを設定する 数百あるマイクロサービス全てに 必要な実装や設定を導⼊した 具体的には... 24 ※ 不確実性に備える ABEMA の信頼性設計とオブザーバビリティ基盤 AbemaTV, Inc. All Rights Reserved
25. 3. ABEMA SRE が投資してきたこと エラーログの整理 課⾦系などの 1 リクエストの価値が⾼いマイクロサービスに関しては、 不要なエラーログを全て撤廃 修正 PR 作成 PR レビュー Bits Code GitHub Copilot Code Review Claude Code Codex, etc... + Greptile CodeRabbit ※統合サービスタグ付け AbemaTV, Inc. All Rights Reserved 25
26. 3. ABEMA SRE が投資してきたこと Datadog の整備 Datadog の場合、 Unified Service Tagging と呼ばれる共通のタグを テレメトリーデータに紐付けることが推奨されています { } “service” : “gateway”, “env” : “prd”, “version” : “2026-10-12”, … メトリクス・ログ・トレース・プロファイルなどの 全てのテレメトリーデータに対してつけることで、 データに相関関係を持たせることができるようになります ※統合サービスタグ付け AbemaTV, Inc. All Rights Reserved 26
27. 3. ABEMA SRE が投資してきたこと Datadog の整備 ABEMA での Unified Service Tagging の網羅性 ログ : 直近 1 週間では 95%+ のログに 3 つ全てのタグが設定されている A : service:* env:* version:* B : * C : ( A / B ) * 100 AbemaTV, Inc. All Rights Reserved 27
28. 3. ABEMA SRE が投資してきたこと Datadog の整備 ABEMA での Unified Service Tagging の網羅性 トレース : 直近 1 週間では 97%+ のトレースに 3 つ全てのタグが設定されている A : service:* env:* version:* B : * C : ( A / B ) * 100 AbemaTV, Inc. All Rights Reserved 28
29. 3. ABEMA SRE が投資してきたこと Datadog の整備 ABEMA でのテレメトリーデータの関連付け ログとトレースの紐付け 直近 1 週間では 30% ~ 60% のログとトレースが紐付いている A※ : trace_id:* B : * C : ( A / B ) * 100 ※ ABEMA では⼀部⾃前実装しているのでクエリが異なる場合があります AbemaTV, Inc. All Rights Reserved 29
30. INDEX 1. ABEMA について 2. AI 時代の障害対応 3. ABEMA SRE が投資してきたこと 4. AI 時代におけるサービスの信頼性 5. まとめ AbemaTV, Inc. All Rights Reserved 30
31. 4. AI 時代におけるサービスの信頼性 なぜ、いま、ここに投資してきたのか Copilot Human-in-the-Loop Human-on-the-Loop AI ↓ ↓ 結果 結果 ↓ ↓ AI ↓ ↓ AI 結果 AbemaTV, Inc. All Rights Reserved 31
32. 4. AI 時代におけるサービスの信頼性 なぜ、いま、ここに投資してきたのか Human-on-the-Loop に向かっていく中で、 Human-on-the-Loop 成果物全てを⼈間がチェックしていくことが難しくなってくる 必然的に、AI がセルフレビューを⾏える環境を作らなければ AI サービスの信頼性を維持することが難しくなる ↓ ↓ 結果 AbemaTV, Inc. All Rights Reserved 32
33. 4. AI 時代におけるサービスの信頼性 なぜ、いま、ここに投資してきたのか AI による開発速度の向上は⽌まらない & ⽌めるべきではない ABEMA における過去 3 年の変更⾏数も確実の増加している どのような変更が、 いつ⼊って、 どのような変化が、起きたのか 可視化できることが重要になってくる AbemaTV, Inc. All Rights Reserved 33
34. 4. AI 時代におけるサービスの信頼性 なぜ、いま、ここに投資してきたのか どのような変更が、 いつ⼊って、 どのような変化が、起きたのか Before AI システムの複雑性に対応するため 障害対応の属⼈性をなくすため オブザーバビリティ AbemaTV, Inc. All Rights Reserved 34
35. 4. AI 時代におけるサービスの信頼性 なぜ、いま、ここに投資してきたのか どのような変更が、 いつ⼊って、 どのような変化が、起きたのか Before AI システムの複雑性に対応するため 障害対応の属⼈性をなくすため + オブザーバビリティ After AI AI にシステムを理解させるため AbemaTV, Inc. All Rights Reserved 35
36. 4. AI 時代におけるサービスの信頼性 なぜ、いま、ここに投資してきたのか そのためにも、 とにかく AI が⾒に⾏くデータを綺麗に整える ことが、⼤事だった AbemaTV, Inc. All Rights Reserved 36
37. 4. AI 時代におけるサービスの信頼性 次に、どこに投資するか AI 時代に向けたシステムの状態の監視は準備ができた システムの状態以外はまだ統合されて管理されていない ＝ 要件定義やドメイン知識などの情報が属⼈化されていたり、散らばっている AbemaTV, Inc. All Rights Reserved 37
38. 4. AI 時代におけるサービスの信頼性 次に、どこに投資するか AI 時代に向けたシステムの状態の監視は準備ができた システムの状態以外はまだ統合されて管理されていない ＝ 要件定義やドメイン知識などの情報が属⼈化されていたり、散らばっている ⾃律型 AI オーケストレーション基盤 への挑戦 AbemaTV, Inc. All Rights Reserved 38
39. INDEX 1. ABEMA について 2. AI 時代の障害対応 3. ABEMA SRE が投資してきたこと 4. AI 時代におけるサービスの信頼性 5. まとめ AbemaTV, Inc. All Rights Reserved 39
40. 5. まとめ AI は銀の弾丸ではない 期待通りに動いてもらうためには、 AI が動く基盤・参照するデータが整備されていることが重要 泥臭く対応することも多いが、着実に進めていくしかない AbemaTV, Inc. All Rights Reserved 40
41. AbemaTV, Inc. All Rights Reserved