Datadog On-Calを本番導入しました / Datadog On-Cal now in production

Transcript

1. Confidential Datadog On-Call 
 を本番導入しました 
 

2. Copyright Hacobu, Inc. 2 自己紹介
 栗山 聖 (@sheepland) 所属 株式会社Hacobu プラットフォームチーム 仕事 プラットフォームエンジニアリング&SRE 趣味 漫画、SF小説、映画
3. Copyright Hacobu, Inc. 3 はじめに Datadog On-Callが 2025年1月に GA になりました 🎉
4. Copyright Hacobu, Inc. 4 アジェンダ 1. Datadog On-Callを選んだ理由 2. Datadog On-Callの機能紹介 3. 導入に向けてやったこと 4. 運用Tips
5. Copyright Hacobu, Inc. 5 1. Datadog On-Callを選んだ理由 • 必要な機能が揃っている ◦ スケジュール機能やエスカレーションポリシー機能など • コストパフォーマンスの良さ ◦ 1ユーザあたり$25 • ツールの統一性 ◦ オブザーバビリティツールのDatadogに一元化
6. Copyright Hacobu, Inc. 6 2. Datadog On-Callの機能紹介
7. Copyright Hacobu, Inc. 7 通知先設定 電話、SMS、メールを通知先として設定可能 2. 機能紹介
8. Copyright Hacobu, Inc. 8 Monitorの通知先にOn-Callを指定 @oncall-{team名} で指定 2. 機能紹介
9. Copyright Hacobu, Inc. 9 スケジュール チーム内のメンバーがOn-Callを受ける日や時間を設定することができる 例えば週や日ごとにOn-Call担当をローテーションすることが可能。またオー バーライド機能によって一時的にOn-Call担当者を変更も可能 On-Callスケジュールをカレンダーアプリ(GoogleカレンダーやOutlook等)に 連携できる 2. 機能紹介
10. Copyright Hacobu, Inc. 10 スケジュール 一週間ごとの ローテーション設定 をしたときのUI 2. 機能紹介
11. Copyright Hacobu, Inc. 11 エスカレーションポリシー On-Callを受けた人が指定時間内に電話に出なかった場合、他のエンジニア にOn-Callをエスカレーションする機能 エスカレーションポリシーでは通知先にTeam、スケジュール、ユーザ(複 数人可)を指定することができる 2. 機能紹介
12. Copyright Hacobu, Inc. 12 エスカレーションポリシー Product-A TeamにPageがトリガーされると、 
 1. Product-Aのスケジュールが指定されているのでその 日のOn-Call担当者の電話が鳴る 
 2. 電話に出なければ3分後にPlatform Team全員に電話 を鳴らす
 3. それでも誰も電話に出なければ電話に出るまで1,2の フローを5回繰り返す 2. 機能紹介
13. Copyright Hacobu, Inc. 13 Datadog Incident Managerとの連携 Incident作成(Declare Incident)時の通知先にOn-Callを指定することがで きる またDatadog On-CallのPageの画面からIncident作成(Declare Incident)を することもできる 2. 機能紹介
14. Copyright Hacobu, Inc. 14 Analytics On-Callに関する様々なメトリクスを見るこ とができる たとえば、特定期間中の ・Total On-Call数 ・Mean Time To Acknowledge (MTTA) ・Mean Time To Resolve (MTTR) ・On-CallされたTeamとその回数 ・On-Callされたユーザとその回数 など またこのAnalytics画面では特定のTeamで絞 り込める 2. 機能紹介
15. Copyright Hacobu, Inc. 15 手動On-Call DatadogのOn-CallのTeamの画面から Teamを選んでOn-Callすることができる(Pageボタン) 2. 機能紹介
16. Copyright Hacobu, Inc. 16 手動On-Call SlackとDatadogを連携するとSlack上から もOn-Callを実行できる Slack上で/datadog pageもしくは/dd page を打つと右のようなモーダルが表示され、 On-Callを実行することができる。 2. 機能紹介
17. Copyright Hacobu, Inc. 17 手動On-Callはなぜ必要？ 外形監視のアラートでOn-Callは起動しますが、 重大な障害やセキュリティインシデントは検知できないことも。 そのため、Slackから即座にOn-Callを起動できる仕組みは、 初動を早めるうえで非常に重要です。 （Slackメンションだけでは通知に気づけないケースもあります） 2. 機能紹介
18. Copyright Hacobu, Inc. 18 3. 導入に向けてやったこと
19. Copyright Hacobu, Inc. 19 On-Callを実際に受けてみる On-Callは英語音声で電話がかかってくるため慣れが必要 実際に電話を受けてAcknowledge操作までを体験する予行練習をエンジニ ア全員に対して実施 3. 導入にむけてやったこと 1. 予行練習
20. Copyright Hacobu, Inc. 20 1. 予行練習 Slackから手動でOn-Callを実行する /datadog page というSlackコマンドでOn-Callが実行できる。 実際にSlackからOn-Callを実行してもらいました。 なお初回はSlackとDatadogとの連携が必要。 インシデント発生時に初めて連携すると時間を食ってしまうので、予行練 習の際に連携をしてもらいました。 3. 導入にむけてやったこと
21. Copyright Hacobu, Inc. 21 2. On-Callの運用を各プロダクトチームに任せる On-Callスケジュールやエスカレーションポリシーの設定を任せる チームごとにどういったOn-Callスケジュールにするのか、エスカレーショ ンポリシーをどう設定するかは各チームに任せました On-CallのターゲットにDatadogのTeamを選択することも出来るので、 Teamメンバーの管理も各チームにお願いしました 3. 導入にむけてやったこと
22. Copyright Hacobu, Inc. 22 Teamのメンバーの変更について Tips 3. 導入にむけてやったこと Standard権限だと自分が所属しているTeamならメンバーの変更が可能 逆にStandard権限だと自分が所属していない他のTeamのメンバーの変更は できない Admin権限なら全てのTeamメンバーの変更が可能
23. Copyright Hacobu, Inc. 23 新メンバーのオンボーディングに予行練習を組み込む プロダクトチームに新しいエンジニアが入ってきた場合、各プロダクト チーム内でOn-Callの予行練習をしてもらうようにしました 3. 導入にむけてやったこと 2. On-Callの運用を各プロダクトチームに任せる
24. Copyright Hacobu, Inc. 24 3. On-Callに関するドキュメントを作成 • Datadog上で自分の電話番号の設定の仕方 • On-Callの電話を受け取った時の対応方法 ◦ 1がacknowledgeなど • On-Callの各種機能の設定の仕方 • DatadogとSlackの連携の仕方 ◦ /datadog pageコマンドを実行するために必要 3. 導入にむけてやったこと
25. Copyright Hacobu, Inc. 25 4. 運用Tips
26. Copyright Hacobu, Inc. 26 Datadog On-Call電話番号をスマホに自動登録 Datadog On-Callからの電話は着信時に「アメリカからの電話」と表示される。 Datadogが使用する発信元の電話番号はいくつか存在。 Datadogのモバイルアプリ(iOS/Android)をインストールし設定を行うと、 Datadog On-Callの電話番号がスマホの連絡先に自動で登録/同期。 Set Up Your Mobile Device for Datadog On-Call 4. 運用Tips
27. Copyright Hacobu, Inc. 27 まとめ • コストが比較的安い • 基本的な機能は備わっている ◦ まだGAになったばかりなので機能の拡充は今後に期待 • オブザーバビリティツールに統合されているので体験がよい • On-Callの予行練習はオススメ
28. Copyright Hacobu, Inc. 28 採用情報
 Hacobuではエンジニアを積極採用中です！ https://career.hacobu.jp/

29. Copyright Hacobu, Inc. 29 ご清聴ありがとうございました