Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Cookpad Lounge #4 SRE 座談会 SLI/SLO
Search
Okumura Takahiro
June 17, 2021
Technology
0
800
Cookpad Lounge #4 SRE 座談会 SLI/SLO
https://cookpad.connpass.com/event/215427/
でお話した、クックパッドにおける SLI/SLO に関する取り組みについての資料です。
Okumura Takahiro
June 17, 2021
Tweet
Share
More Decks by Okumura Takahiro
See All by Okumura Takahiro
あなたの知らない データベースのロギングの世界 / logging queries
hfm
10
3.3k
MHAの次 / Next to MHA
hfm
2
2.3k
Dynamic certificate internals with ngx_mruby #nagoyark03
hfm
5
840
動的証明書読み込み ngx_mruby編 #hoscon / GMO HosCon 2016
hfm
10
4k
漂流する中の節目 / Career Keynote 2016 at GMO Pepabo
hfm
1
9.9k
Learning Configuration Management Tool / Itamae Meetup 2015
hfm
1
1.5k
Vagrant勉強会 at ペパボ (2014/2/27)
hfm
0
820
Other Decks in Technology
See All in Technology
CSS polyfill とその未来
ken7253
0
140
エンジニアが組織に馴染むために勉強会を主催してチームの壁を越える
ohmori_yusuke
2
120
Contract One Dev Group 紹介資料
sansan33
PRO
0
6k
Houtou.pm #1
papix
0
660
MCP Clientを活用するための設計と実装上の工夫
yudai00
1
810
プロジェクトマネジメント実践論|現役エンジニアが語る!~チームでモノづくりをする時のコツとは?~
mixi_engineers
PRO
3
180
金融システムをモダナイズするためのAmazon Elastic Kubernetes Service(EKS)ノウハウ大全
daitak
0
120
データ戦略部門 紹介資料
sansan33
PRO
1
3.1k
Roo Codeにすべてを委ねるためのルール運用
pharma_x_tech
1
230
いまさら聞けない Git 超入門 〜Gitって結局なに?から始める第一歩〜
devops_vtj
0
160
積み上げられた技術資産と向き合いながら、プロダクトの信頼性をどう守るか
plaidtech
PRO
0
930
SmartHRの複数のチームにおけるMCPサーバーの活用事例と課題
yukisnow1823
2
1.2k
Featured
See All Featured
Documentation Writing (for coders)
carmenintech
71
4.8k
Embracing the Ebb and Flow
colly
85
4.7k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
280
13k
YesSQL, Process and Tooling at Scale
rocio
172
14k
Thoughts on Productivity
jonyablonski
69
4.7k
Visualization
eitanlees
146
16k
Designing Experiences People Love
moore
142
24k
Code Review Best Practice
trishagee
68
18k
Code Reviewing Like a Champion
maltzj
523
40k
The Cost Of JavaScript in 2023
addyosmani
49
8.1k
A designer walks into a library…
pauljervisheath
205
24k
Building an army of robots
kneath
306
45k
Transcript
Cookpad Lounge #4 SLI/SLO
本日のテーマ: SLI/SLO を導入した話 クックパッドマート(以降、マート)というサービスで SLI/SLO を用 いた信頼性のトラッキングを始めています。 クックパッド(以降、レシピサービス)への導入は現在進行中で す。 マートで感じた課題は何か、どのように導入してどう運用してい
るのか、現状の所感などを話します。
その前に...2020年クックパッドの SLI/SLO 2つの課題: 1. SRE チームが信頼性指標を確立・追跡できていない 2. 開発・SRE 間で信頼性の共通認識(合意形成)が曖昧 まず
1 のために、各サービスに一律で SLI/SLO (ALB のリクエ スト成功率と p90 レスポンスタイム) を設定した。
SLI/SLO の追跡 hako-console という内製の Web アプリケーションコンソールが あり、そこから SLI/SLO の Grafana
ダッシュボードがリンクされ ている > Web アプリケーションを把握するためのコンソール > https://techlife.cookpad.com/entry/2018/04/02/140846
hako-console
SLI/SLO dashboard for each service
SLI/SLO services list
一方その頃マートでは(導入動機) 2020年、急成長するマート側からの要請もあり、@hfm は embedded SRE としてマート中心に活動していた。 急成長に伴い、障害やアラートが目立つようになり、サービスの 信頼性に関する共通認識の曖昧さに課題を感じた。 「マートはいま大丈夫なの?やばいの?」を測るモノサシとして SLI/SLO
が使えると思い、導入を進めた。
playback: 2020年のクックパッドの SLI/SLO 2つの課題: 1. SRE チームが信頼性指標を確立・追跡できていない 2. 開発・SRE 間で信頼性の共通認識(合意形成)が曖昧
結果的に 2 をマートで先行していくことになった。
SLI/SLO の提案、議論、策定 Google Docs に SLI/SLO の草案を作り、開発リーダーや事業 責任者にレビューしてもらい、合意を得た。 トラッキングすべき SLI/SLO
の策定や、エラーバジェットポリ シー、障害ポリシー、エスカレーションポリシーなど継続的な運 用をするためのポリシーも提案に含まれる。 • https://sre.google/workbook/slo-document/ • https://sre.google/workbook/error-budget-policy/
提案ドキュメント
マートの SLI/SLO ダッシュボード
マートにおける SLI/SLO の運用 定期的な SLI/SLO の確認は SRE チームでも行っている。 また、マートチームでも自分たちで定期的に確認しており、また 違反時における信頼性の回復活動も自分たちで行えている。
ここまでのまとめと所感 マートの急成長に伴い、信頼性の共通認識を構築する必要を 感じたことから、SLI/SLO を提案・導入し、信頼性のトラッキング を始めた。 数値 (SLI/SLO) に加え、運用に関する各種ポリシーに大きな価 値を感じている。「SLO 違反時に、誰がいつ何をすべきか」をあ
らかじめ取り決めることで、SRE チームからスケールアウトして 運用が続けられている。
展望:レシピサービスへの SLI/SLO 導入 現在、レシピサービスでも信頼性に対する課題が生じており、 SLI/SLO の導入を進めている。大きなサービスなので巻き込む べき人も多く、大変だがやりがいは大きい。 また、アラーティングが整備しきれておらず、もっといい感じに SLI/SLO をトラッキングできる環境を用意して、開発側に提供し
ていきたい。
We are hiring https://cookpad.jobs