Upgrade to PRO for Only $50/Year—Limited-Time Offer! 🔥
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
SLO導入と Datadog SLO Dashboard / SLO introduction...
Search
yuki
August 07, 2024
Programming
0
390
SLO導入と Datadog SLO Dashboard / SLO introduction and Datadog SLO Dashboard
Japan Datadog User Group Meetup#5
https://datadog-jp.connpass.com/event/324770/
yuki
August 07, 2024
Tweet
Share
More Decks by yuki
See All by yuki
複数プロダクトの技術改善・クラウド移行に向き合うチームのフレキシブルなペア・モブプログラミングの実践 / Flexible Pair Programming And Mob Programming
honyanya
0
360
Ansibleもくもく会 2024.8 成果報告 / Ansible Mokumoku 2024.08 Report
honyanya
0
28
CodeZine Night #2「若手エンジニアが語る技術への挑戦とキャリア戦略」
honyanya
0
130
Other Decks in Programming
See All in Programming
CSC509 Lecture 13
javiergs
PRO
0
120
型付き API リクエストを実現するいくつかの手法とその選択 / Typed API Request
euxn23
9
4k
subpath importsで始めるモック生活
10tera
0
380
romajip: 日本の住所CSVデータを活用した英語住所変換ライブラリを作った話
sangunkang
0
2.2k
新卒研修で作ったアプリのご紹介
mkryo
0
130
watsonx.ai Dojo #4 生成AIを使ったアプリ開発、応用編
oniak3ibm
PRO
1
260
Full stack testing :: basic to basic
up1
1
760
Contemporary Test Cases
maaretp
0
150
見せてあげますよ、「本物のLaravel批判」ってやつを。
77web
7
7.9k
Serverless苦闘史
mosh_inc
0
130
Better Code Design in PHP
afilina
PRO
0
140
タクシーアプリ『GO』のリアルタイムデータ分析基盤における機械学習サービスの活用
mot_techtalk
6
2.3k
Featured
See All Featured
KATA
mclloyd
29
14k
Designing on Purpose - Digital PM Summit 2013
jponch
115
7k
How STYLIGHT went responsive
nonsquared
95
5.2k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
126
18k
Why Our Code Smells
bkeepers
PRO
334
57k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
10
760
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
27
2.1k
Designing for Performance
lara
604
68k
The Language of Interfaces
destraynor
154
24k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
42
9.3k
Agile that works and the tools we love
rasmusluckow
327
21k
The Power of CSS Pseudo Elements
geoffreycrofte
73
5.3k
Transcript
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. SLO導入と Datadog SLO Dashboard Japan
Datadog User Group Meetup#5 LT 2024/08/07 Wed 1
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. 本日話すこと Japan Datadog User Group
Meetup#5 イベントページより 弊社では2020年頃からDatadogを利用し始めました。 2021年〜2022年にかけてリワード広告サービスでSLOを導入し、SLOs / Dashboard を活用しています。 どのようにSLOが導入され、SLO Dashboardを作って利用しているのかを簡単にお話 します。 2
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. アジェンダ - 自己紹介など - SLOの取り組み
- Datadog SLOs / Dashborad - まとめ 3
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. 自己紹介 名前: Matsutani Yuki まっちゃん
X: @honyanyas(ほにゃにゃ) 所属: 株式会社ADWAYS DEEE アドテクノロジーディビジョン 技術改善第三ユニット(クラウドチーム) リードアプリケーションエンジニア 最近のお仕事: Ansible CI/CDパイプライン改善の設計・実装 Amazon Aurora MySQL DBアップグレード アドウェイズエンジニアブログ運営 趣味: YouTube(自主制作アニメ系などいろいろみる) お酒(ウイスキー・カクテル中心、ビール・日本酒も) 麻雀(見る雀、アプリ) アイコン Xアカウント 4
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. 自己紹介 登壇予定: XP祭り2024:クラウドチームでのペア・モブプロの話 (他にもチャンスがあれば申込やプロポーザルを出したい) アドウェイズエンジニアブログで最近書いた記事:
「技術広報の集い #3」に参加して、飛び込みLTしてきました 技術改善チームの心強いエンジニアメンバーから学んだインボイス対応「攻めのアーキテ クチャ」 やらかし先生 俺みたいなプロジェクトリーダーになるな!! 〜俺のプロダクトマネジメントでの 失敗談を聞け〜 なぜ崩したシステム設計が事業貢献、仮説検証のしやすさに繋がるのか?最近の事例か ら考える 書いた記事 アイコン 5
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. 会社紹介 会社名 : 株式会社ADWAYS DEEE(アドウェイズディー)
設立年日: 2023年1月1日(株式会社アドウェイズ 100%子会社) 事業概要: アフィリエイト広告事業 WEBマーケティング事業 メディア開発・運営事業 広告システムを作っています 認知メインの広告(ディスプレイ広告)ではなく 体験メインの広告(アフィリエイト、リワード)を扱っています 6
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. 組織紹介 ※一部 7
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. 組織紹介 ※一部 技術戦略DivがSRE領域を担当 全社のSLO策定・推進をサポート 現在は
ここに 所属 8
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. SLOの取り組み 9
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. SLO導入までの流れ - きっかけ SREという言葉が広がり始めた -
SRE本 - SRE NEXT 2020 - 資料読み会 - SRE領域インフラエンジニア サービス領域アプリケーションエンジニア SLOを決めるとサービスにメリットがあるらしい 10
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. サービス全体のSLO - 課題 SLO策定に至った経緯 -
品質改善が進まない - ユーザへの影響度合い が分かりづらいパフォーマンス問題などの対応が後回しにされがち - モニタリングが形骸化しつつあった - ユーザに影響があるか 即座に判断できず、静観や一部アラートを無視する ユーザにあたえる影響を正しく把握できていなかった 11
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. サービス全体のSLO - 進め方1 Datadogでログやメトリクスを取得するための準備 -
サービスドメインを整理 - 現状のシステムの把握、ユーザー行動や影響の理解 - モニタリング観点を整理 - ユーザ視点で考える、ユーザーが満足するためにはどうあるべきか - ワークメトリクスの取得 - モニタリング観点を元にどういう指標を取得するべきか 指標を取得するための開発を行い、Datadogで見れる状態 にした 12
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. サービス全体のSLO - 進め方2 指標を元にSLOを決める -
SLI/SLO策定 - 取得したメトリクスを元に設計 - SLOドキュメントの記載 - モニタリング・ダッシュボード - Datadog SLOs 設定 - Datadog SLO Dashboard 作成 SLOを導入するうえでDatadogは欠かせなかった 13
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. サービス全体のSLO - 効果 エンジニアはもちろん、サービスに関わる関係者が SLOを気にすること
で、より良い開 発に繋げる - エンジニア)無駄なアラートを撲滅 - 形骸化していたアラートがなくなり、事業影響が即座に判断できる - PdM)エラーバジェットを消費した課題に対してリソース投下を判断 - SLOを設定、可視化することで優先度の判断が可能 - 特別チームを結成し、短期間での信頼性回復の改善活動を実施 - セールス)ユーザ体験や影響に目を向ける - エンジニアだけでは解決できない問題について、セールスと協力して解決 - セールスを巻き込むことで、アラート発生時のシステムの異常を気にかけてくれる状態 SLOがあることでPdM、セールスとの共通言語 にもなる 14
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. プロダクトチームのSLO 新機能が事業のコアになり得る重要性 があるからこそ、SLOを設定するべき - 顧客への素早い価値提供ができるDevOpsを実現する
- SLO違反が無ければ新規プロダクトの価値提供を全力で行う - SLO違反は信頼性回復のために全力で改善を行う サービス全体とは別軸で設定し、素早い仮説検証・フィードバックサイクルを繰り返すこ とができる土台とする 歴史の長いプロダクトは新しい価値の挑戦 を行っている 15
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. サービス全体のSLO - 補足 リワード広告サービスのSLO導入について ブログ記事もありますのでそちらもご覧ください
たった2ヶ月半でSLOを導入して事業判断に影響を与えた話 - Adwaysエンジニアブログ 16
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. Datadog SLOs / Dashborad 17
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. 活用状況どれくらい? - SLOs リワード広告サービス PC向けアフィリエイトサービス
モニターベース 11 8 メトリクスベース 6 9 タイムスライス 3 4 合計 41 (20/21) 18
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. 活用状況どれくらい? - SLO Dashboards リワード広告サービス
PC向けアフィリエイトサービス SLO Dashboards 9 2 合計 11 19
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. ダッシュボードの一例 20
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. ダッシュボードの一例 21
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. 通知 エラーバジェットが消費されるとみんなすぐに反応する 22
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. まとめ SLO導入・運用しています - サービス全体 -
サービスに関わる関係者が SLOを気にすること で、 より良い開発に繋げるための共通言語へ - プロダクトチーム - 新機能が事業のコアになり得る重要性 があるからこそ、 SLOを軸に判断を行い、新しい価値への挑戦を行う SLO運用において、Datadogは無くてはならないサービス です - SLOs: 41 - SLO Dashboard: 11 - Dashboardを見て判断、活用を行っている 23
ハッシュタグ: #JDDUG ©ADWAYS DEEE Inc. ご静聴ありがとうございました! 24