Workflow automationによるインシデント原因調査の自動化

Datadog Summit Tokyo 2024 の基調講演で使用したスライドです。

Transcript

1. Workflow Automation によるインシデント原 因調査 自動化 伊藤 勝梧 16 October 2024 komoju.com
2. 伊藤 勝梧 showwin Staff SRE @ DEGICA, 2023.9 ~
3. KOMOJU by DEGICA 決済代行システム
4. 多様な 決済方法を 提供
5. 海外 決済手段も 対応
6. 導入実績 10000社以上
7. KOMOJU by DEGICA 名前を聞いたことない …です…よ ？？
8. 10% 日本人 エンジニア 5名 日本在住 海外出身エンジニア 90%
9. KOMOJU 立ち位置 ユーザ 加盟店 Gateways (決済システム/アクワイアラ)
10. インシデント 早く復旧 させたい Generated by DALL·E 3
11. 課題: インシデント復旧時間 改善 戦略: Runbook 作成とそ 自動化 実装: Workflow Automationによる自動化 結果: アラート 調査時間 短縮
12. 課題: インシデント復旧時間 改善 戦略: Runbook 作成とそ 自動化 実装: Workflow Automationによる自動化 結果: アラート 調査時間 短縮
13. 障害検知 原因特定 修正 インシデント復旧 まで プロセス 障害発生 障害回復
14. 障害検知 原因特定 修正 迅速に障害検知できることが最重要 障害発生 障害回復
15. 障害検知 原因特定 修正 インシデント復旧 まで プロセス 障害発生 障害回復
16. 障害検知 原因特定 修正 問題 原因が特定 できれ 解決 容易 障害発生 障害回復
17. 想像してください 入社して半年経過 今日から初 オンコールシフト アラート来ないで…🙏 Generated by DALL·E 3
18. Lorem Ipsum is simply
19. Lorem Ipsum is simply
20. Lorem Ipsum is simply
21. 原因調査に 手間取る LB ログを確認 次 …？ APMでエラー トレースを確認 手がかり なさに焦る 直近 デプロイ 有無を確認
22. ふたを 開けてみると Generated by DALL·E 3
23. 5xx Expired 偽陽性アラート： 誤ったカード情報 によりエラー数増加 Error ユーザ 加盟店 Gateways (決済システム/アクワイアラ)
24. 課題: インシデント復旧時間 改善 戦略: Runbook 作成とそ 自動化 実装: Workflow Automationによる自動化 結果: アラート 調査時間 短縮
25. Runbook One monitor, one runbook
26. 手探り Runbook 障害検知 原因特定 修正 30~60分 5~10分 復旧時間改善 例 障害回復
27. 手探り Runbook 障害検知 原因特定 修正 30~60分 5~10分 復旧時間改善 例 障害回復 Runbook自動化
28. 課題: インシデント復旧時間 改善 戦略: Runbook 作成とそ 自動化 実装: Workflow Automationによる自動化 結果: アラート 調査時間 短縮
29. Workflow Automation 2023年6月にリリース Step by step でワークフローを定義 Datadog Monitor などを契機に実行
30. アラート 偽 陽性確認を 自動化 してみる
31. アラートを契機に Workflowが実行される
32. APM Spanを参照して HTTP Status > 399 が 発生している エンドポイント 一覧 を列挙
33. 支払い 認証に関するエンド ポイント みでエラー発生？ 違う場合 エラー発生箇所を Slackに投稿して終了
34. Span カスタムタグから 決済手段がクレジットカードか判 断 違う場合 問題 Gatewayを Slackに投稿して終了
35. アプリケーションDBから同期さ れるデータを参照して、 ユーザ カード情報に起因する エラーか判断 Yes 場合 偽陽性アラートだと Slackに投下 No 場合 要調査とSlack に投下
36. Tips Generated by DALL·E 3
37. Workflowから データ参照 パターン
38. Datadog内 データ参照 原則こ 方法がオススメ DD Agentなどからメトリクス/ログ 取り込み Search Queryで記述 ログ 料金 み注意
39. Datadog内 データ参照 原則こ 方法がオススメ DD Agentなどからメトリクス/ログ 取り込み Search Queryで記述 ログ 料金 み注意
40. アプリケーション DBから データ取り込み Redash Puller WebApp DB Kumonga (DD Agent) OpenMetrics OpenMetrics Job Queue
41. Datadog内 データ参照 原則こ 方法がオススメ DD Agentなどからメトリクス/ログ 取り込み Search Queryで記述 ログ 料金 み注意
42. 外部サービス から データ取得 連携サービス以外から データ取得が困難 Datadog内にデータを保存しない で無料
43. 外部サービス から データ取得 連携サービス以外から データ取得が困難 Datadog内にデータを保存しない で無料
44. 認証方法: Basic認証, JWT, mTLS データ 整形が必要 認証&整形 Proxy サービス 作成を推奨 非連携サービス から データ取得
45. 外部サービス から データ取得 連携サービス以外から データ取得が困難 Datadog内にデータを保存しない で無料
46. 外部サービス から データ取得 連携サービス以外から データ取得が困難 Datadog内にデータを保存しない で無料
47. 課題: インシデント復旧時間 改善 戦略: Runbook 作成とそ 自動化 実装: Workflow Automationによる自動化 結果: アラート 調査時間 短縮
48. Runbook Runbook自動化 27秒 3分30秒 🎉
49. Runbook Runbook自動化 27秒 3分30秒 🎉？
50. まず 障害を迅速に検知できるように Focus on detection 監視モニターに 必ずRunbookを用意 One monitor, one runbook 必要に応じてRunbookを自動化 Automate runbook 明日からできること
51. We are Hiring! Senior Backend Engineer with native-level Japanese skill