Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
SLO導入と Datadog SLO Dashboard / SLO introduction...
Search
yuki
August 07, 2024
Programming
0
420
SLO導入と Datadog SLO Dashboard / SLO introduction and Datadog SLO Dashboard
Japan Datadog User Group Meetup#5
https://datadog-jp.connpass.com/event/324770/
yuki
August 07, 2024
Tweet
Share
More Decks by yuki
See All by yuki
Findy Team+ Awardを受賞したかった!ベストプラクティス応募内容をふりかえり、開発生産性向上もふりかえる / Findy Team Plus Award BestPractice and DPE Retrospective 2024
honyanya
0
110
複数プロダクトの技術改善・クラウド移行に向き合うチームのフレキシブルなペア・モブプログラミングの実践 / Flexible Pair Programming And Mob Programming
honyanya
0
410
Ansibleもくもく会 2024.8 成果報告 / Ansible Mokumoku 2024.08 Report
honyanya
0
29
CodeZine Night #2「若手エンジニアが語る技術への挑戦とキャリア戦略」
honyanya
0
130
Other Decks in Programming
See All in Programming
暇に任せてProxmoxコンソール 作ってみました
karugamo
2
750
testcontainers のススメ
sgash708
1
130
htmxって知っていますか?次世代のHTML
hiro_ghap1
0
360
Итераторы в Go 1.23: зачем они нужны, как использовать, и насколько они быстрые?
lamodatech
0
1.1k
Cloudflare MCP ServerでClaude Desktop からWeb APIを構築
kutakutat
1
590
nekko cloudにおけるProxmox VE利用事例
irumaru
3
480
毎日13時間もかかるバッチ処理をたった3日で60%短縮するためにやったこと
sho_ssk_
1
410
技術的負債と向き合うカイゼン活動を1年続けて分かった "持続可能" なプロダクト開発
yuichiro_serita
0
170
fs2-io を試してたらバグを見つけて直した話
chencmd
0
250
快速入門可觀測性
blueswen
0
430
テストコード書いてみませんか?
onopon
2
240
range over funcの使い道と非同期N+1リゾルバーの夢 / about a range over func
mackee
0
110
Featured
See All Featured
Keith and Marios Guide to Fast Websites
keithpitt
410
22k
Designing for humans not robots
tammielis
250
25k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
159
15k
Learning to Love Humans: Emotional Interface Design
aarron
274
40k
Making Projects Easy
brettharned
116
6k
Embracing the Ebb and Flow
colly
84
4.5k
Into the Great Unknown - MozCon
thekraken
34
1.5k
Building a Modern Day E-commerce SEO Strategy
aleyda
38
7k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
29
2.3k
Docker and Python
trallard
42
3.2k
jQuery: Nuts, Bolts and Bling
dougneiner
61
7.6k
Building Your Own Lightsaber
phodgson
103
6.1k
Transcript
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. SLO導入と Datadog SLO Dashboard Japan
Datadog User Group Meetup#5 LT 2024/08/07 Wed 1
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. 本日話すこと Japan Datadog User Group
Meetup#5 イベントページより 弊社では2020年頃からDatadogを利用し始めました。 2021年〜2022年にかけてリワード広告サービスでSLOを導入し、SLOs / Dashboard を活用しています。 どのようにSLOが導入され、SLO Dashboardを作って利用しているのかを簡単にお話 します。 2
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. アジェンダ - 自己紹介など - SLOの取り組み
- Datadog SLOs / Dashborad - まとめ 3
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. 自己紹介 名前: Matsutani Yuki まっちゃん
X: @honyanyas(ほにゃにゃ) 所属: 株式会社ADWAYS DEEE アドテクノロジーディビジョン 技術改善第三ユニット(クラウドチーム) リードアプリケーションエンジニア 最近のお仕事: Ansible CI/CDパイプライン改善の設計・実装 Amazon Aurora MySQL DBアップグレード アドウェイズエンジニアブログ運営 趣味: YouTube(自主制作アニメ系などいろいろみる) お酒(ウイスキー・カクテル中心、ビール・日本酒も) 麻雀(見る雀、アプリ) アイコン Xアカウント 4
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. 自己紹介 登壇予定: XP祭り2024:クラウドチームでのペア・モブプロの話 (他にもチャンスがあれば申込やプロポーザルを出したい) アドウェイズエンジニアブログで最近書いた記事:
「技術広報の集い #3」に参加して、飛び込みLTしてきました 技術改善チームの心強いエンジニアメンバーから学んだインボイス対応「攻めのアーキテ クチャ」 やらかし先生 俺みたいなプロジェクトリーダーになるな!! 〜俺のプロダクトマネジメントでの 失敗談を聞け〜 なぜ崩したシステム設計が事業貢献、仮説検証のしやすさに繋がるのか?最近の事例か ら考える 書いた記事 アイコン 5
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. 会社紹介 会社名 : 株式会社ADWAYS DEEE(アドウェイズディー)
設立年日: 2023年1月1日(株式会社アドウェイズ 100%子会社) 事業概要: アフィリエイト広告事業 WEBマーケティング事業 メディア開発・運営事業 広告システムを作っています 認知メインの広告(ディスプレイ広告)ではなく 体験メインの広告(アフィリエイト、リワード)を扱っています 6
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. 組織紹介 ※一部 7
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. 組織紹介 ※一部 技術戦略DivがSRE領域を担当 全社のSLO策定・推進をサポート 現在は
ここに 所属 8
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. SLOの取り組み 9
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. SLO導入までの流れ - きっかけ SREという言葉が広がり始めた -
SRE本 - SRE NEXT 2020 - 資料読み会 - SRE領域インフラエンジニア サービス領域アプリケーションエンジニア SLOを決めるとサービスにメリットがあるらしい 10
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. サービス全体のSLO - 課題 SLO策定に至った経緯 -
品質改善が進まない - ユーザへの影響度合い が分かりづらいパフォーマンス問題などの対応が後回しにされがち - モニタリングが形骸化しつつあった - ユーザに影響があるか 即座に判断できず、静観や一部アラートを無視する ユーザにあたえる影響を正しく把握できていなかった 11
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. サービス全体のSLO - 進め方1 Datadogでログやメトリクスを取得するための準備 -
サービスドメインを整理 - 現状のシステムの把握、ユーザー行動や影響の理解 - モニタリング観点を整理 - ユーザ視点で考える、ユーザーが満足するためにはどうあるべきか - ワークメトリクスの取得 - モニタリング観点を元にどういう指標を取得するべきか 指標を取得するための開発を行い、Datadogで見れる状態 にした 12
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. サービス全体のSLO - 進め方2 指標を元にSLOを決める -
SLI/SLO策定 - 取得したメトリクスを元に設計 - SLOドキュメントの記載 - モニタリング・ダッシュボード - Datadog SLOs 設定 - Datadog SLO Dashboard 作成 SLOを導入するうえでDatadogは欠かせなかった 13
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. サービス全体のSLO - 効果 エンジニアはもちろん、サービスに関わる関係者が SLOを気にすること
で、より良い開 発に繋げる - エンジニア)無駄なアラートを撲滅 - 形骸化していたアラートがなくなり、事業影響が即座に判断できる - PdM)エラーバジェットを消費した課題に対してリソース投下を判断 - SLOを設定、可視化することで優先度の判断が可能 - 特別チームを結成し、短期間での信頼性回復の改善活動を実施 - セールス)ユーザ体験や影響に目を向ける - エンジニアだけでは解決できない問題について、セールスと協力して解決 - セールスを巻き込むことで、アラート発生時のシステムの異常を気にかけてくれる状態 SLOがあることでPdM、セールスとの共通言語 にもなる 14
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. プロダクトチームのSLO 新機能が事業のコアになり得る重要性 があるからこそ、SLOを設定するべき - 顧客への素早い価値提供ができるDevOpsを実現する
- SLO違反が無ければ新規プロダクトの価値提供を全力で行う - SLO違反は信頼性回復のために全力で改善を行う サービス全体とは別軸で設定し、素早い仮説検証・フィードバックサイクルを繰り返すこ とができる土台とする 歴史の長いプロダクトは新しい価値の挑戦 を行っている 15
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. サービス全体のSLO - 補足 リワード広告サービスのSLO導入について ブログ記事もありますのでそちらもご覧ください
たった2ヶ月半でSLOを導入して事業判断に影響を与えた話 - Adwaysエンジニアブログ 16
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. Datadog SLOs / Dashborad 17
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. 活用状況どれくらい? - SLOs リワード広告サービス PC向けアフィリエイトサービス
モニターベース 11 8 メトリクスベース 6 9 タイムスライス 3 4 合計 41 (20/21) 18
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. 活用状況どれくらい? - SLO Dashboards リワード広告サービス
PC向けアフィリエイトサービス SLO Dashboards 9 2 合計 11 19
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. ダッシュボードの一例 20
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. ダッシュボードの一例 21
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. 通知 エラーバジェットが消費されるとみんなすぐに反応する 22
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. まとめ SLO導入・運用しています - サービス全体 -
サービスに関わる関係者が SLOを気にすること で、 より良い開発に繋げるための共通言語へ - プロダクトチーム - 新機能が事業のコアになり得る重要性 があるからこそ、 SLOを軸に判断を行い、新しい価値への挑戦を行う SLO運用において、Datadogは無くてはならないサービス です - SLOs: 41 - SLO Dashboard: 11 - Dashboardを見て判断、活用を行っている 23
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. ご静聴ありがとうございました! 24