Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Cookpad Lounge #4 SRE 座談会 SLI/SLO
Search
Okumura Takahiro
June 17, 2021
Technology
0
820
Cookpad Lounge #4 SRE 座談会 SLI/SLO
https://cookpad.connpass.com/event/215427/
でお話した、クックパッドにおける SLI/SLO に関する取り組みについての資料です。
Okumura Takahiro
June 17, 2021
Tweet
Share
More Decks by Okumura Takahiro
See All by Okumura Takahiro
あなたの知らない データベースのロギングの世界 / logging queries
hfm
10
3.4k
MHAの次 / Next to MHA
hfm
2
2.4k
Dynamic certificate internals with ngx_mruby #nagoyark03
hfm
5
860
動的証明書読み込み ngx_mruby編 #hoscon / GMO HosCon 2016
hfm
10
4.1k
漂流する中の節目 / Career Keynote 2016 at GMO Pepabo
hfm
1
10k
Learning Configuration Management Tool / Itamae Meetup 2015
hfm
1
1.5k
Vagrant勉強会 at ペパボ (2014/2/27)
hfm
0
850
Other Decks in Technology
See All in Technology
それでも私が品質保証プロセスを作り続ける理由 #テストラジオ / Why I still continue to create QA process
pineapplecandy
0
150
ハノーファーメッセ2025で見た生成AI活用ユースケース.pdf
hamadakoji
0
320
Introdução a Service Mesh usando o Istio
aeciopires
1
280
Introduction to Sansan for Engineers / エンジニア向け会社紹介
sansan33
PRO
5
43k
MCP ✖️ Apps SDKを触ってみた
hisuzuya
0
280
Contract One Engineering Unit 紹介資料
sansan33
PRO
0
8.9k
事業開発におけるDify活用事例
kentarofujii
4
1.2k
混合雲環境整合異質工作流程工具運行關鍵業務 Job 的經驗分享
yaosiang
0
140
AI時代、“平均値”ではいられない
uhyo
7
1.8k
研究開発部メンバーの働き⽅ / Sansan R&D Profile
sansan33
PRO
3
20k
名刺メーカーDevグループ 紹介資料
sansan33
PRO
0
940
「魔法少女まどか☆マギカ Magia Exedra」におけるバックエンドの技術選定
gree_tech
PRO
0
100
Featured
See All Featured
Statistics for Hackers
jakevdp
799
220k
Code Reviewing Like a Champion
maltzj
526
40k
Documentation Writing (for coders)
carmenintech
75
5.1k
For a Future-Friendly Web
brad_frost
180
10k
Designing Experiences People Love
moore
142
24k
Reflections from 52 weeks, 52 projects
jeffersonlam
353
21k
Art, The Web, and Tiny UX
lynnandtonic
303
21k
Done Done
chrislema
185
16k
Making Projects Easy
brettharned
120
6.4k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
30
2.9k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
132
19k
Building a Scalable Design System with Sketch
lauravandoore
463
33k
Transcript
Cookpad Lounge #4 SLI/SLO
本日のテーマ: SLI/SLO を導入した話 クックパッドマート(以降、マート)というサービスで SLI/SLO を用 いた信頼性のトラッキングを始めています。 クックパッド(以降、レシピサービス)への導入は現在進行中で す。 マートで感じた課題は何か、どのように導入してどう運用してい
るのか、現状の所感などを話します。
その前に...2020年クックパッドの SLI/SLO 2つの課題: 1. SRE チームが信頼性指標を確立・追跡できていない 2. 開発・SRE 間で信頼性の共通認識(合意形成)が曖昧 まず
1 のために、各サービスに一律で SLI/SLO (ALB のリクエ スト成功率と p90 レスポンスタイム) を設定した。
SLI/SLO の追跡 hako-console という内製の Web アプリケーションコンソールが あり、そこから SLI/SLO の Grafana
ダッシュボードがリンクされ ている > Web アプリケーションを把握するためのコンソール > https://techlife.cookpad.com/entry/2018/04/02/140846
hako-console
SLI/SLO dashboard for each service
SLI/SLO services list
一方その頃マートでは(導入動機) 2020年、急成長するマート側からの要請もあり、@hfm は embedded SRE としてマート中心に活動していた。 急成長に伴い、障害やアラートが目立つようになり、サービスの 信頼性に関する共通認識の曖昧さに課題を感じた。 「マートはいま大丈夫なの?やばいの?」を測るモノサシとして SLI/SLO
が使えると思い、導入を進めた。
playback: 2020年のクックパッドの SLI/SLO 2つの課題: 1. SRE チームが信頼性指標を確立・追跡できていない 2. 開発・SRE 間で信頼性の共通認識(合意形成)が曖昧
結果的に 2 をマートで先行していくことになった。
SLI/SLO の提案、議論、策定 Google Docs に SLI/SLO の草案を作り、開発リーダーや事業 責任者にレビューしてもらい、合意を得た。 トラッキングすべき SLI/SLO
の策定や、エラーバジェットポリ シー、障害ポリシー、エスカレーションポリシーなど継続的な運 用をするためのポリシーも提案に含まれる。 • https://sre.google/workbook/slo-document/ • https://sre.google/workbook/error-budget-policy/
提案ドキュメント
マートの SLI/SLO ダッシュボード
マートにおける SLI/SLO の運用 定期的な SLI/SLO の確認は SRE チームでも行っている。 また、マートチームでも自分たちで定期的に確認しており、また 違反時における信頼性の回復活動も自分たちで行えている。
ここまでのまとめと所感 マートの急成長に伴い、信頼性の共通認識を構築する必要を 感じたことから、SLI/SLO を提案・導入し、信頼性のトラッキング を始めた。 数値 (SLI/SLO) に加え、運用に関する各種ポリシーに大きな価 値を感じている。「SLO 違反時に、誰がいつ何をすべきか」をあ
らかじめ取り決めることで、SRE チームからスケールアウトして 運用が続けられている。
展望:レシピサービスへの SLI/SLO 導入 現在、レシピサービスでも信頼性に対する課題が生じており、 SLI/SLO の導入を進めている。大きなサービスなので巻き込む べき人も多く、大変だがやりがいは大きい。 また、アラーティングが整備しきれておらず、もっといい感じに SLI/SLO をトラッキングできる環境を用意して、開発側に提供し
ていきたい。
We are hiring https://cookpad.jobs