信頼性の目標を誰も求めてない

#2

8/27

ホンマでっかSRE勉強会

Transcript

1. ホンマでっかSRE勉強会 #2 | 5分LT 信頼性の目標を、 誰も求めていない SRE として関わりながら、ずっと考えていたこと Shuma / #honmadekkasre
2. 自己紹介 Shuma @ShuShuShuBOOOx システム開発企業（東京）の一人目SRE / クラウドインフラエンジニア ファンクラブプラットフォームをAWSで運用 EC2 / RDS / ElastiCache / WAF など
3. 立場 受託開発の会社の「一人目SRE」 多数のファンクラブを1つの基盤で運用 ― 負荷は販売イベントで数十倍変動 クライアントにエンジニアはいない クライアントを介した外部システム連携が多い ― 信頼性が自社だけで閉じない 自動化・効率化・障害対応のループは社内で回っている 「SLO、何%にしますか ?」 と聞ける相手が、最初からいない
4. ある日の障害 01 突発的なアクセス急増 毎分 約40 ➔ 約840 02 KVストアの書き込みキャパシティ枯渇 03 500エラーが発生 事後プロセス 対応➔根本原因調査 ➔スプリント振り返り ※ 概念図（実データではありません）
5. 解決 : 書き込みキャパシティ下限 1 → 20 実測ピーク (1分粒度) 見積った瞬間需要 コスト増 (月) 約12/秒 約15/秒 約880円 書き込みの観測最大 過去の販売イベントも比較 スロットルで弾かれた分を 上乗せして推定 秒間15に対して下限 20なら 2割ほど余裕を残せる めでたしめでたし。
6. で、この「 20」という数字、 正解ですか ?
7. 測れない、のではない エラーログは全件、Slackに流れる監視体制 販売イベントごとの負荷記録を蓄積 メトリクスは分単位で追える SLIの材料は揃っている。ないのは SLO ―― 数字の良し悪しを決める「目標」のほう
8. 相談 信頼性の目標を、誰も求めていないとき。 何を「SREの成果」と呼べばいいですか。 (あと、受託開発の契約でSLA/SLOってどう置くのが普通なのかも、知りたいです)
9. いまの仮の答え STEP 01 STEP 02 (CURRENT) 合意できる目標から 社内向け SLOの検討へ 求める人が周囲にいない状況であれば、まずは「社内 の合意」だけでシンプルに持てる小さな目標からスター トします。 具体的な一歩として、まずは自分たち向けの「社内向 けSLO」が作れないか考えはじめた段階です。 ※ まだ頭の中だけで構想している状態