インシデントキーメトリクスによるインシデント対応の改善 / Improving Incident Response using Incident Key Metrics

SRE Kaigi 2025の発表資料です。TTXメトリクスがメイントピックです。

https://2025.srekaigi.net/

Transcript

3. גࣜձࣾTopotalʢͱΆͨΔʣ • h#ps:/ /topotal.com • SREΛओ࣠ʹͨ͠ελʔτΞοϓ • 2ࣄۀΛӡӦ • SRE as a Service • SaaS for SREʢWaroomʣ • ຊΠϕϯτͷ Pla;num εϙϯαʔ 3
4. SRE as a Service • topotal.com/services/sre-as-a-service • SREʹಛԽٕͨ͠ज़ࢧԉαʔϏε • ࢧԉͷྫ • SLI/SLOͷಋೖɾӡ༻վળ • CI/CDͷߏஙɾվળ • ΠϯγσϯτϚωδϝϯτͷվળ 4
5. WaroomʢΘΔʔΉʣ • waroom.com • ૊৫తʹΠϯγσϯτରԠΛߦ͏ͨΊ ͷSaaS • Slack ϕʔεͷରԠʹ߹ΘͤͯࣗಈԽɾ লྗԽ͕Ͱ͖Δ 5
7. վળͷϑΟʔυόοΫΛߏங͢Δ 7
9. ΞδΣϯμ 1. MTTRͷ໰୊఺ 2. ࣮ફతͳ TTX ϝτϦΫεͷఆٛ 3. TTX ϝτϦΫεͷ׆༻ྫ 4. ൃలతͳϝτϦΫε 9
10. 1. MTTRͷ໰୊఺ 10
11. MTTRʢฏۉ෮چ࣌ؒʣ ͱ͸ • ো֐͕ൃੜ͔ͯ͠Βम෮·ͨ͸෮چ͢Δ ·Ͱͷฏۉ࣌ؒͷ͜ͱ • Mean Time To Recovery(Repair, Resolve, Restore)ͷུ • ࢉग़ํ๏1 • MTTR = ૯मཧ࣌ؒ / ૯ނোճ਺ • Four Keys ͷࢦඪͷҰͭͰ΋͋Δ 1 MTTRʢฏۉ෮چ࣌ؒʣͱ͸ʁܭࢉํ๏ͱMTBFͱͷނো཰ɾՔಇ཰ʹ ͓͚Δؔ܎ 11
13. SREs should move away from defaul/ng to the assump/on that MTTX can be useful. 13
14. MTTRͷ༗ޮੑͷݕূ • Ծઆ • MTTR͕༗ޮͳࢦඪͳͷͰ͋Ε͹ɺTTRΛվળʢ୹ॖʣ͢ΔͱMTTR΋վ ળ͞ΕΔ͸ͣ • ݕূ֓ཁ • σʔληοτΛ1:1Ͱ෼ׂ͠ɺยํ͸TTRΛ10%վળɺ΋͏ยํ͸ͳʹ΋ ͠ͳ͍ͰMTTRΛࢉग़ɾൺֱ͢Δ • MTTR͕10%վળ͞ΕΔ͔Ͳ͏͔Λ֬ೝ͢Δ 14
15. MTTRͷ༗ޮੑͷݕূ 1. Πϯγσϯτͷσʔληοτ2ΛϥϯμϜʹ2෼ׂ͢Δ 2. ยํͷσʔληοτͷम෮࣌ؒ(TTR)Λ10%ݮΒ͢ 3. ֤σʔληοτͷMTTR(ฏۉम෮࣌ؒ)Λܭࢉ͢Δ 4. σʔληοτؒͷMTTRͷࠩ෼ΛऔΔ • diff = MTTR(unmodified) - MTTR(modified) • diff > 0 => MTTR͸վળ • diff < 0 => MTTR͸ѱԽ 5. 1ʙ4Λ10ສճ܁Γฦ͢ 2 σʔληοτ͸ɺ༗໊ͳΠϯλʔ ωοτاۀ3ࣾͷΠϯγσϯτες ʔλεμογϡϘʔυ͔Βऔಘ 15
16. Πϯγσϯτσʔλͷಛ௃3 • େ൒͸͔ͳΓૣ͘ऩଋ͢Δ • Ұ෦͸൵ࢂͳΠϯγσϯτʢϒϥοΫ εϫϯΠϕϯτʣʹͳΔ • → ແ࡞ҝʹσʔληοτΛ෼ׂ͢Δ ͱɺ൵ࢂͳΠϯγσϯτͷภΓ͕ MTTRͷࢉग़ʹେ͖ͳӨڹΛٴ΅͢ 3 The VOID Report 16
17. ࢀߟ: ϒϥοΫεϫϯΠϕϯτ • ༧ظͰ͖ͳ͍ɺյ໓తͳ݁ՌΛҾ͖ى ͜͢ࣄ৅ • ϤʔϩούͰ͸നௗ͸ന͍ௗ͚ͩͱࢥ ΘΕ͍ͯͨ • "༧ظ͞Εͳ͍େ͖ͳग़དྷࣄ" Λ “ϒ ϥοΫεϫϯ” ͱݺͿΑ͏ʹͳͬͨ • 2007೥ʹൃץ͞ΕͨʮThe Black Swanʯ͕͖͔͚ͬ 17
18. γϛϡϨʔγϣϯ݁Ռ ֤Πϯγσϯτͷम෮࣌ؒΛ10%୹ͨ͘͠ʹ΋͔͔ΘΒͣɺMTTR͕10%Ҏ্୹͘ͳΔέʔε͸49%ɺ50%ɺ64%ͷΈ → ൒෼͘Β͍͸ɺम෮࣌ؒͷ୹ॖ͕MTTRʹ൓ө͞Εͳ͍ 18
19. ࢀߟ: म෮࣌ؒΛมߋͤͣʹγϛϡϨʔγϣϯͨ݁͠Ռ → վળ׆ಈͷ༗ແʹ͔͔ΘΒͣɺMTTR͸σʔληοτ࣍ୈͰվળ or ѱԽ͢Δ 19
20. Incident Metrics in SRE ͷओு • γϛϡϨʔγϣϯ͔ΒΘ͔ͬͨ͜ͱ • Πϯγσϯτ͸ނোظؒͷ͹Β͖͕ͭେ͖͍ͨΊɺվળ݁Ռ͕ MTTR ʹ൓ө͞ΕͮΒ͍ • վળͯ͠΋ѱԽ͢Δέʔε΋ͦͦ͋͜͜Δ • ݁࿦ • MTTR ͸վળͷධՁࢦඪͱͯ͠໾ʹཱͨͳ͍ 20
21. ͳʹ͕໰୊ͩͬͨͷʁ • Πϯγσϯτظؒͷมಈੑ͕ߴ͍͜ͱ • MTTRΛͳΜΒ͔ͷࢦඪʹ͢Δ͜ͱ • ࢦඪΛ΋ͱʹվળͷ੒ՌΛ֬ೝ͢Δ͜ͱ ֤ཁૉ͸໰୊ͳ͍ → ໨తͱࢦඪ͕טΈ߹͍ͬͯͳ͍͜ͱ͕໰୊ 21
22. σʔλ෼ੳʢԾઆݕূܕʣͷྲྀΕ 22
23. MTTRΛࢦඪʹ͢Δͱ͖ͷࢥߟͷྲྀΕ 23
24. ى͖͍ͯͨ͜ͱ: ԾઆݕূϩδοΫͷෆ੔߹ 24
25. ղܾࡦ: վળՕॴΛ໌Β͔ʹ͠ɺมಈੑΛ཈͑Δ 25
26. ղܾࡦ: վળՕॴΛ໌Β͔ʹ͠ɺมಈੑΛ཈͑Δ 26
27. ิ଍: TTRͷ࢖͍ಓ ฏۉ஋(MTTR)͸େࡶ೺͗͢Δ → ෼෍ͷൺֱ͸՝୊ൃݟͷࢳޱʹͳΔ • ex. ଈ࣌෮چͷো֐͕ݮগ • → ܰඍͳো֐ͷࣗಈ෮چͷ੒Ռʁ • → ো֐ݕ஌ͷ࢓૊Έʹෆ۩߹ʁ • ex. ϒϥοΫεϫϯΠϕϯτ͕૿Ճ • → ίʔυ΍Πϯϑϥͷ඼࣭௿Լʁ 27
28. ͜͜·Ͱͷ·ͱΊ • MTTR(෮چ࣌ؒ)͸σʔλมಈੑ͕ߴ͍ͨΊվળࢦඪʹ͸ෆద੾ • վળՕॴΛ໌֬Խ͠ɺΑΓࡉ͔͍ TTX ϝτϦΫεΛར༻͢Δ͜ ͱͰɺมಈੑΛ཈͑Δ͜ͱ͕Մೳ → TTRΑΓ΋ࡉ͔͍ϝτϦΫε΁ͷधཁ͕ग़ͯ͘Δ 28
29. 2. ࣮ફతͳ TTX ϝτϦΫε 29
30. Waroom͕ߟ͑Δ࣮ફతͳϝτϦΫεͱ͸ • ໢ཏతͰ͋Δ͜ͱ • ཻ౓͕ࡉ͔͍͜ͱ • ऩू͕ݱ࣮తͰ͋Δ͜ͱ 30
31. ͲΜͳTTXϝτϦΫεΛ ऩू͢ΔͱΑ͍ͩΖ͏͔ 31
33. TTXϝτϦΫε΁ͷ՝୊ײ • ੈͷதʹࣄྫ͸͍͔ͭ͋͘Δ͕ɺఆٛ͸౷Ұ͞Ε͍ͯͳ͍ • ࣄྫಉ࢜Λ૊Έ߹ΘͤΑ͏ͱͯ͠΋ɺॏෳ΍ෆ଍͕ੜ͡Δ • → ஶ໊ͳจݙΛϕʔεʹɺࡉ͔͘ɺ໢ཏతͳఆٛΛ໨ࢦ͢ 33
34. TTXϝτϦΫεఆٛͷྲྀΕ 1. ϕετϓϥΫςΟεΛֶͿ 2. ΠϯγσϯτεςʔλεΛఆٛ͢Δ 3. ΠϯγσϯτϚΠϧετʔϯ(εςʔλεͷڥ໨)Λఆٛ͢Δ 4. TTXϝτϦΫεΛఆٛ͢Δ 34
35. ϕετϓϥΫςΟεΛֶͿ 35
36. େ·͔ʹεςʔλεΛఆٛ͢Δ 36
39. ϚΠϧετʔϯΛ΋ͱʹ TTXʹམͱ͠ࠐΉ 39
41. ίϥϜ: ϝτϦΫεऩू͸͍ͨ΁Μ • ࡉ͔ͳϝτϦΫεΛఆٛ͢ΔͱɺϚΠϧετʔϯΛ௒͑Δ͝ͱ ʹλΠϜελϯϓΛه࿥͢Δඞཁ͕͋Δ • ରԠதʹ͍͍ͪͪਓ͕ؒଧࠁ͢Δͷ͸ඇݱ࣮త • → WaroomͰ͸ࣗಈऩू͍ͯ͠·͢ 41
42. ରԠதͷΠϕϯτΛτϦΨʔʹࣗಈऩू͢Δྫ ϚΠϧετʔϯ ରԠதͷΠϕϯτ Detectedʢݕ஌ʣ Ξϥʔτൃੜ௨஌ Acknowledgedʢೝ஌ʣ νϟϯωϧ࡞੒ɺΠϯγσϯτىථ Iden.fiedʢղܾࡦͷಛఆʣ RunbookͷϑΣʔζ෼͚ʢPrecheck ͱResolu.onʣ Recoveredʢ෮چʣ Slackͷ΍ΓͱΓ͔ΒAI͕൑அ͢Δ 42
43. 3. TTXϝτϦΫεͷ׆༻ 43
44. ϝτϦΫεΛޮՌతʹ࢖͏ͨΊʹ ෼ੳͷ໨తͱϝτϦΫεͷಛ௃Λ੔߹ͤ͞Δ 44
46. ϝτϦΫεͱվળࢪࡦͷྫ TTX ՝୊ վળࢪࡦ TTDetectʢݕ஌ʣ ൃੜ͔ͯ͠Βݕ஌·Ͱʹ࣌ ͕͔͔ؒΔ ϞχλϦϯάͷվળ TTEngageʢνʔϜߏ੒ʣ ରԠνʔϜΛߏஙʹ͕࣌ؒ ͔͔Δ γϑτ΍໾ׂͷ໌֬ԽɺΦ ϯίʔϧ੍౓ͷಋೖ TTInves-gateʢௐࠪʣ ো֐੾Γ෼͚ʹ͕͔͔࣌ؒ Δ RunbookͷμογϡϘʔυͷ ੔උ TTFixʢम෮ʣ ো֐ͷम෮ʹ͕͔͔࣌ؒΔ ϩʔϧόοΫͷߴ଎Խ 46
48. യવͱͨ͠ԾઆΛ΋ͱʹɺ܏޲͔Β՝୊Λݟ͚ͭΔ Ծઆ ৽ͨʹൃݟͨ͠՝୊ͷྫ ࣾ಺Ͱੜ͡ΔΠϯγσϯτͰ͋ Ε͹TTXͷ܏޲͸Ұఆͷ͸ͣ αʔϏε΍νʔϜʹΑͬͯύϑ ΥʔϚϯε͕ҟͳΔ ֤TTX͸૝ఆ஋ʹ͍ۙ͸ͣ ʢex. TTAͳΒ10෼Ҏ಺͘Β ͍ʣ ʢ࣮͸ʣணख͕શମతʹ஗͍ɺ ղܾࡦͷಛఆ͕શମతʹ஗͍ 48
51. 4. ൃలతͳϝτϦΫε 51
52. αʔϏε෮چҎ֎ʹॏཁͳ͜ͱ • ͜Ε·ͰΈ͖ͯͨTTXϝτϦΫε͸γεςϜ෮چʹয఺͕͋ͨͬ ͍ͯΔ • ࣮ࡍͷΠϯγσϯτରԠ͸ γεςϜ͚ͩͰͳ͘ɺਓʹ΋഑ྀ͢ Δඞཁ͕͋Δ • ސ٬ରԠ΍ࣄۀӡӦ؍఺ͷϝτϦΫεΛ׆༻͢Δ͜ͱͰɺΤ ϯδχΞҎ֎ͷϝϯόʔ΋ؚΊͨ૊৫తͳରԠͷ࣮ݱ͕ۙͮ ͘ 52
53. ൃలͳϝτϦΫεͷྫ ސ٬ରԠ΍ࠜຊରࡦʹয఺Λ౰ͯɺ͞·͟·ͳϩʔϧΛר͖ࠐΈɺ૊৫తͳΠϯγσϯτରԠΛՃ଎ͤ͞ Δ ϝτϦΫε໊ λʔήοτϩʔϧ ໨త Incident Response Metrics Engineer ७ਮͳ෮چରԠͷ՝୊ಛఆɾվળ ࢦඪ Customer Reliability Metrics Sales, CRE ސ٬ରԠͷ՝୊ಛఆɾվળࢦඪ Learning Metrics Maneger, Engineer ૊৫ֶ͕ͼΛಘΔ·Ͱͷ׆ಈͷτ ϥοΩϯά Improvement Metrics Maneger, Engineer ࠜຊରࡦͷ࣮ࢪঢ়گͷ෼ੳ 53
54. ·ͱΊ ҎԼͷ5఺Λ͓఻͑͠·ͨ͠ɻෆ໌఺͕͋Γ·ͨ͠ΒɺAsk the Speaker΁͓ӽ͍ͩ͘͠͞ʂ 1. MTTR͸վળࢦඪͱͯ͠໾ཱͨͳ͍ • ཧ༝: Πϯγσϯτσʔλͷมಈੑ͕ߴ͍͔Β 2. ϝτϦΫε׆༻͸ɺ໨తʙσʔλ෼ੳʹࢸΔ·Ͱͷ੔߹ੑ͕ॏཁ 3. มಈੑΛ཈͑ΔͨΊʹ͸ɺ໰͍ͷ۩ମԽͱϝτϦΫεͷࡉ෼Խ͕ॏཁ 4. Waroomʹ͓͚ΔTTXϝτϦΫεͷఆٛաఔͱ׆༻ํ๏ 5. αʔϏε෮چҎ֎ʹॏཁͳϝτϦΫε 54
55. ͍͞͝ʹ • ϝτϦΫεͷࣗಈऩूͷ͔͚͠Λ࡞Δ ͷ͸͍ͨ΁Μ • ͞ΒʹɺՄࢹԽج൫ͷߏங͸͍ͨ΁Μ • ͞ΒʹɺݪҼΧςΰϦ΍೚ҙϥϕϧΛ ΋ͱʹ෦෼நग़͢Δͷ΋͍ͨ΁Μ • → ͥͻ Waroom Λ͝׆༻͍ͩ͘͞ • ڵຯ͕༙͍ͨํ͸ Topotal ͷϒʔε΁ ͥͻ͓ӽ͍ͩ͘͠͞ 55
56. ͋Γ͕ͱ͏͍͟͝·ͨ͠