Observability — Extending Into Incident Response

Observability Conference Tokyo 2025の登壇資料です。
https://o11ycon.jp/

Transcript

3. גࣜձࣾTopotalʢͱΆͨΔʣ • h#ps:/ /topotal.com • SREΛओ࣠ʹͨ͠ελʔτΞοϓ • 2ࣄۀΛӡӦ • SRE as a Service • SaaS for SREʢWaroomʣ • ຊΠϕϯτͷεϙϯαʔ • ϒʔεͰSaaSͷσϞΛ΍ͬͯΔͷ Ͱɺͥͻཱ͓ͪدΓ͍ͩ͘͞ʂ 3
4. SRE as a Service • h#ps:/ /sre-as-a-service.com • SREʹಛԽٕͨ͠ज़ࢧԉαʔϏε • ࢧԉͷྫ • SLI/SLOͷಋೖɾӡ༻վળ • ΦϒβʔόϏϦςΟͷઃܭɾ࣮૷ • ΠϯγσϯτϚωδϝϯτͷվળ 4
5. WaroomʢΘΔʔΉʣ • h#ps:/ /waroom.com • ૊৫తʹΠϯγσϯτରԠΛߦ͏ͨΊ ͷSaaS • Slack ϕʔεͷରԠʹ߹ΘͤͯࣗಈԽɾ লྗԽ͕Ͱ͖Δ 5
9. ηογϣϯ֓ཁ • ΦϒβʔόϏϦςΟʢo11yʣʹΑΔվળޮՌͷྫͱͯ͠ɺΠϯγσϯ τϨεϙϯεʢIRʣͷվળ͕ڍ͛ΒΕΔ • ମײͰ͸վળͯͦ͠͏͕ͩɺͦͷޮՌΛఆྔతʹࣔ͢͜ͱ͸Ή͔͍ͣ͠ => IR SaaSͷ࡞Γख / SRE ͱͯ͠ɺIRΛఆྔతʹվળ͢ΔͨΊͷϓϥΫς Οεʢ࣮ફతͳTTXϝτϦΫεʣ ʹ͍͓ͭͯ࿩͠·͢ɻ => ऴ൫Ͱ͸ʢιϑτ΢ΣΞͰ͸ͳ͘ʣIRϓϩηεͷՄ؍ଌੑΛߴΊΔ ͱ ͍͏ςʔϚʹ΋౿ΈࠐΜͰ͓࿩͠·͢ɻ 9
10. ຊެԋͷλʔήοτ • o11y ͷվળޮՌΛఆྔతʹࣔ͢ϓϥΫςΟεʹڵຯ͕͋Δํ • IR ͷՄࢹԽʹڵຯ͕͋Δํ • ʮo11y Λ IR ͷྖҬ΁֦ு͢Δ͜ͱʯʹڵຯ͕͋Δํ 10
11. ΞδΣϯμ 1. Ϟνϕʔγϣϯ 2. MTTRͷ໰୊఺ 3. ࣮ફతͳ TTX ϝτϦΫεͷఆٛ 4. TTX ϝτϦΫεͷ׆༻ 5. o11y ΛΠϯγσϯτϨεϙϯεͷྖҬ΁ద༻͢Δ 11
12. 1. Ϟνϕʔγϣϯ 12
13. ໰͍: ͦͷԾઆ͸ຊ౰ͳͷ͔ 1. γεςϜͷՄ؍ଌੑΛվળ͢Δ 2. ෳࡶͳγεςϜͷ಺෦ঢ়ଶΛਪଌɾ೺ѲͰ͖ΔΑ͏ʹͳΔ 3. ໰୊ൃੜ࣌ʹݪҼಛఆ͕ਝ଎ʹͳΓ෮چ͕࣌ؒ୹͘ͳΔ ← ί Ϩ 13
14. ஌Γ͍ͨ͜ͱ͸2͚ͭͩ • Where: Ͳ͜ ͕վળͨ͠ͷ͔ • How much: Ͳͷఔ౓ վળͨ͠ͷ͔ 14
15. ΦϒβʔόϏϦςΟʹΑͬͯߦΘΕͨ ΠϯγσϯτରԠͷվળޮՌΛ ఆྔతʹදݱ͍ͨ͠ 15
16. ෮چ࣌ؒͷ୹ॖʹޮՌ͕͋Δ͸ͣ → MTTR Λଌఆ͢Ε͹͍͍ͷͰ͸ʁ 16
17. 2. MTTRͷ໰୊఺ 17
18. MTTRʢฏۉ෮چ࣌ؒʣ ͱ͸ • ো֐͕ൃੜ͔ͯ͠Βम෮·ͨ͸෮چ͢ Δ·Ͱͷฏۉ࣌ؒͷ͜ͱ • Mean Time To Recovery(Repair, Resolve, Restore)ͷུ • ࢉग़ํ๏1 • MTTR = ૯मཧ࣌ؒ / ނোճ਺ 1 MTTRʢฏۉ෮چ࣌ؒʣͱ͸ʁܭࢉํ๏ͱMTBFͱͷނো཰ɾՔಇ཰ʹ ͓͚Δؔ܎ 18
20. SREs should move away from defaul/ng to the assump/on that MTTX can be useful. 20
21. MTTRͷ༗ޮੑͷݕূ • Ծઆ • MTTR͕༗ޮͳࢦඪͳΒɺTTRΛ୹ॖ͢Ε͹MTTR΋୹ॖ͞Ε Δ͸ͣ 21
22. MTTRͷ༗ޮੑͷݕূ 1. Πϯγσϯτͷσʔληοτ2ΛϥϯμϜʹ2෼ׂ͢Δ 2. ยํͷσʔληοτͷम෮࣌ؒ(TTR)Λ10%ݮΒ͢ 3. ֤σʔληοτͷMTTR(ฏۉम෮࣌ؒ)Λܭࢉ͢Δ 4. σʔληοτؒͷMTTRͷࠩ෼ΛऔΔ • diff = MTTR(unmodified)- MTTR(modified) 5. MTTRͷ୹ॖׂ߹(%)Λࢉग़͢Δ • = diff/MTTR(unmodified) 6. 1ʙ4Λ10ສճ܁Γฦ͢ 2 Unveiling the black box with observability stack 22
24. ݁Ռ: MTTR͕10%Ҏ্վળ͢Δͷ͸໿50ʙ60% 24
25. ֤ΠϯγσϯτΛվળͯ͠΋MTTR͕վળ͠ͳ͍ཧ༝ • MTTR͸෼෍ͷ࿪Έʹऑ͍ • ҰํͰɺΠϯγσϯτσʔλ͸"͹Β͖ͭ"͕ܹ͍͠ 25
26. Πϯγσϯτσʔλͷಛ௃3 • େ൒͸͔ͳΓૣ͘ऩଋ͢Δ • Ұ෦͸൵ࢂͳΠϯγσϯτʹͳΔ • → ແ࡞ҝʹσʔληοτΛ෼ׂ͢Δ ͱɺ൵ࢂͳΠϯγσϯτͷภΓ͕MTTR ͷࢉग़ʹେ͖ͳӨڹΛٴ΅͢ • ex. ෮چʹ5000ஹ͔͔࣌ؒΔΠϯγσ ϯτͷৼΓ෼͚ઌ͕ͲͪΒʹͳΔ͔Ͱ MTTRͷվળ۩߹͸େ෯ʹมΘΔ 3 The VOID Report 26
27. ࢀߟ: म෮࣌ؒΛมߋͤͣʹγϛϡϨʔγϣϯͨ݁͠Ռ → վળ׆ಈͷ༗ແʹ͔͔ΘΒͣɺMTTR͸σʔληοτ࣍ୈͰվળ or ѱԽ͢Δ 27
28. Incident Metrics in SRE ͷओு • γϛϡϨʔγϣϯ͔ΒΘ͔ͬͨ͜ͱ • Πϯγσϯτ͸ނোظؒͷ͹Β͖͕ͭେ͖͍ͨΊɺվળ͕ MTTR ʹ൓ө͞ΕͮΒ͍ • ex. ʮࡢ೥ൺMTTR10%վળʂʯ͸௕ظԽͨ͠Πϯγσϯτ͕গͳ͔͚͔ͬͨͩ΋ • ※ ຖ೥·ͬͨ͘ಉ͡ྔɾ෮چ࣌ؒͷΠϯγσϯτ͕ى͖ΔͳΒՁ஋͕͋Δ(ϜϦ) • ݁࿦ • MTTR ͸վળͷධՁࢦඪͱͯ͠໾ʹཱͨͳ͍ • MTTR͸෼෍ͷ࿪Έʹऑ͘ɺΠϯγσϯτσʔλ͸͹Β͖͕ܹ͍͔ͭ͠Β 28
29. ͳʹ͕໰୊ͩͬͨͷʁ ֤ཁૉ͸໰୊ͳ͍ • Πϯγσϯτظؒͷมಈੑ͕ߴ͍͜ͱ • MTTRΛͳΜΒ͔ͷࢦඪʹ͢Δ͜ͱ • ࢦඪΛ΋ͱʹվળͷ੒ՌΛ֬ೝ͢Δ͜ͱ → ໨తͱࢦඪ͕טΈ߹͍ͬͯͳ͍͜ͱ͕໰୊ 29
30. σʔλ෼ੳʢԾઆݕূܕʣͷྲྀΕ 30
31. MTTRΛࢦඪʹ͢Δͱ͖ͷࢥߟͷྲྀΕ 31
32. ى͖͍ͯͨ͜ͱ: ԾઆݕূϩδοΫͷෆ੔߹ 32
33. ղܾࡦ: վળՕॴΛ໌Β͔ʹ͠ɺมಈੑΛ཈͑Δ 33
34. ղܾࡦ: վળՕॴΛ໌Β͔ʹ͠ɺมಈੑΛ཈͑Δ 34
35. ͜͜·Ͱͷ·ͱΊ • MTTR(෮چ࣌ؒ)͸σʔλมಈੑ͕ߴ͍ͨΊվળࢦඪʹ͸ෆద੾ • վળՕॴΛ໌֬Խ͠ɺΑΓࡉ͔͍ TTX ϝτϦΫεΛར༻͢Δ͜ ͱͰɺมಈੑΛ཈͑Δ͜ͱ͕Մೳ → TTRΑΓ΋ࡉ͔͍ϝτϦΫε΁ͷधཁ͕ग़ͯ͘Δ 35
36. 3. ࣮ફతͳ TTX ϝτϦΫε 36
37. Waroom͕ߟ͑Δ࣮ફతͳϝτϦΫεͱ͸ • ໢ཏతͰ͋Δ • ཻ౓͕ࡉ͔͍ • ऩू͕ݱ࣮తͰ͋Δ 37
38. ͲΜͳTTXϝτϦΫεΛ ऩू͢ΔͱΑ͍ͩΖ͏͔ 38
40. TTXϝτϦΫε΁ͷ՝୊ײ • ੈͷதʹࣄྫ͸͍͔ͭ͋͘Δ͕ɺఆٛ͸౷Ұ͞Ε͍ͯͳ͍ • ࣄྫಉ࢜Λ૊Έ߹ΘͤΑ͏ͱͯ͠΋ɺॏෳ΍ෆ଍͕ੜ͡Δ • → ஶ໊ͳจݙΛϕʔεʹɺࡉ͔͘ɺ໢ཏతͳఆٛΛ໨ࢦ͢ 40
41. TTXϝτϦΫεఆٛͷྲྀΕ 1. ϕετϓϥΫςΟεΛֶͿ 2. ΠϯγσϯτεςʔλεΛఆٛ͢Δ 3. ΠϯγσϯτϚΠϧετʔϯ(εςʔλεͷڥ໨)Λఆٛ͢Δ 4. TTXϝτϦΫεΛఆٛ͢Δ 41
42. ϕετϓϥΫςΟεΛֶͿ 42
43. ΠϯγσϯτεςʔλεΛͬ͘͟Γఆٛ͢Δ 43
46. ϚΠϧετʔϯΛ΋ͱʹ TTXʹམͱ͠ࠐΉ 46
48. ϝτϦΫεऩू͸͍ͨ΁Μ • ࡉ͔ͳϝτϦΫεΛఆٛ͢ΔͱɺϚΠϧετʔϯΛ௒͑Δ͝ͱ ʹλΠϜελϯϓΛه࿥͢Δඞཁ͕͋Δ • ରԠதʹ͍͍ͪͪਓ͕ؒଧࠁ͢Δͷ͸ඇݱ࣮త • → Waroom Ͱ͸Slack BotͰࣗಈऩू͍ͯ͠·͢ 48
49. ରԠதͷΠϕϯτΛτϦΨʔʹࣗಈऩू͢Δྫ ϚΠϧετʔϯ ରԠதͷΠϕϯτ Detectedʢݕ஌ʣ Ξϥʔτൃੜ௨஌ Acknowledgedʢೝ஌ʣ νϟϯωϧ࡞੒ɺΠϯγσϯτىථ Iden.fiedʢղܾࡦͷಛఆʣ RunbookͷϑΣʔζ෼͚ʢPrecheck ͱResolu.onʣ Recoveredʢ෮چʣ Slackͷ΍ΓͱΓ͔ΒAI͕൑அ͢Δ 49
50. 4. TTXϝτϦΫεͷ׆༻ 50
51. ϝτϦΫεΛޮՌతʹ࢖͏ͨΊʹ ෼ੳͷ໨తͱϝτϦΫεͷಛ௃Λ੔߹ͤ͞Δ 51
53. ϝτϦΫεͱվળࢪࡦͷྫ TTX ՝୊ վળࢪࡦ TTDetectʢݕ஌ʣ ൃੜ͔ͯ͠Βݕ஌·Ͱʹ࣌ ͕͔͔ؒΔ ϞχλϦϯάͷվળ TTEngageʢνʔϜߏ੒ʣ ରԠνʔϜΛߏஙʹ͕࣌ؒ ͔͔Δ γϑτ΍໾ׂͷ໌֬ԽɺΦ ϯίʔϧ੍౓ͷಋೖ TTInves-gateʢௐࠪʣ ো֐੾Γ෼͚ʹ͕͔͔࣌ؒ Δ RunbookͷμογϡϘʔυͷ ੔උ TTFixʢम෮ʣ ো֐ͷम෮ʹ͕͔͔࣌ؒΔ ϩʔϧόοΫͷߴ଎Խ 53
55. യવͱͨ͠ԾઆΛ΋ͱʹɺ܏޲͔Β՝୊Λݟ͚ͭΔ Ծઆ ৽ͨʹൃݟͨ͠՝୊ͷྫ ڞ௨ͷ؀ڥͳͷͰɺ૊৫಺ͷ֤ TTXͷ܏޲͸Ұఆͷ͸ͣ αʔϏε΍νʔϜʹΑͬͯύϑ ΥʔϚϯε͕ҟͳΔ ֤TTX͸૝ఆ஋ʹ͍ۙ͸ͣ ʢex. TTAͳΒ10෼Ҏ಺͘Β ͍ʣ ʢ࣮͸ʣணख͕શମతʹ஗͍ɺ ղܾࡦͷಛఆ͕શମతʹ஗͍ 55
58. 5. o11y ΛΠϯγσϯτϨεϙϯεʹద༻͢ Δ 58
59. o11yΛIR΁ద༻͢Δ2 • ΠϯγσϯτϨεϙϯεͷ಺෦ߏ଄ͷ Մ؍ଌੑΛ͞ΒʹߴΊΔ • TTXͷఆٛʹΑͬͯɺϝτϦΫε͸ͳ Μͱͳ͘ಋೖࡁΈ • ϝτϦΫεɺϩάɺτϨʔεͷϓϥΫ ςΟεΛ׆༻͢Δ͜ͱͰվળͰ͖ͳ͍ ͩΖ͏͔ 2 Unveiling the black box with observability stack 59
60. Metrics 60
61. ബͬ͢Βͱ࢒Δ"ยखམͪ"ײ • ঺հͨ͠TTXϝτϦΫε͸ɺ͍ͣΕ΋TTRΛ෼ղ͚ͨͩ͠ • ͭ·ΓɺγεςϜ෮چ࣌ؒͷ୹ॖ ʹ͚ͩয఺͕౰͍ͨͬͯΔ • SREࢹ఺Ͱ͸ αʔϏεͷ৴པੑ ͷ؍఺͕ॏཁ • ex. ֶͼ͸͋Δ͔ɺ࠶ൃ๷ࢭ͸͞ΕΔ͔ • ϓϩμΫτӡӦࢹ఺Ͱ͸ ސ٬ͷ৴པੑ ͷ؍఺͕ॏཁ • ex. ސ٬ରԠ͸े෼ʹߦΘΕ͍ͯΔ͔ => Մ؍ଌੑΛߴΊΔʹ͸ɺΑΓଟ֯తͳରԠϓϩηεͷϝτϦΫε͕ඞཁ 61
62. γεςϜ෮چରԠͱฒߦͯ͠΍͍ͬͯΔ͜ͱ • ސ٬΁ͷઆ໌ɾࣄ৅ͷڞ༗ • Πϯγσϯτͷใࠂɾ෼ੳ • ࠜຊରࡦͷݕ౼ɾ࣮ࢪ => ݱঢ়ͩͱɺ্هͷ׆ಈͷ؍ଌ͸είʔϓ֎ʹͳ͍ͬͯΔ 62
63. TTXϝτϦΫεͷԠ༻: ؍ଌൣғͷ֦େ ؍ଌൣғΛΠϯγσϯτରԠશମʹ֦ு͠ɺվળࢦඪͱͳΔϝτϦΫεΛఆٛ͢Δ ϝτϦΫε໊ ໨త Incident Response Metrics ७ਮͳ෮چରԠͷ՝୊ಛఆɾվળࢦඪ Customer Reliability Metrics ސ٬ରԠͷ՝୊ಛఆɾվળࢦඪ Learning Metrics ૊৫ֶ͕ͼΛಘΔ·Ͱͷ׆ಈͷτϥοΩϯά Improvement Metrics ࠜຊରࡦͷ࣮ࢪঢ়گͷ෼ੳ => ࠓճ͸ɺCustomer Reliability Metrrics ͷྫΛ঺հ 63
65. Log 65
66. ରԠதͷΠϕϯτΛه࿥͢Δ • ऩू • ୭͕ɾ͍ͭɾͲͷίϚϯυɾͲͷ൑ அΛߦ͔ͬͨΛߏ଄ԽϩάԽ • ex. νϟοτɺεςʔλεมߋɺ֎෦ πʔϧʹΑΔΠϕϯτ࿈ܞ • ׆༻ྫ • λΠϜϥΠϯੜ੒΍εςʔλεϖʔ δΛࣗಈੜ੒ ! 66
67. WaroomͷཪଆͰ͸४උ͕ਐߦத... 67
68. Trace 68
69. ରԠϓϩηεͷྲྀΕɺґଘؔ ܎Λ؍ଌ͢Δ • ऩू • Πϯγσϯτεςʔλε୯ҐͰεύϯԽ • ݕ஌ʙ෮چ·ͰΛ1ຊͷτϨʔεͱͯ͠؅ཧ • ΞΫγϣϯ͝ͱʹࡉ෼Խͯ͠౷߹ • ׆༻ྫ • εςʔλεҠߦؒͰߦΘΕͨॲཧͱॴཁ࣌ ؒΛՄࢹԽ ! • ରԠͷϘτϧωοΫʹͳͬͨ޻ఔΛಛఆ ✨ 69
70. πʔϧ͕ԣஅ͢ΔதͰΠϕϯτΛͲ͏औಘ͢Δ͔ • ෮چରԠ࣌ʹ֤छπʔϧΛԣஅతʹར༻͢Δ͜ͱ͕ଟ͍ • ex. PagerDuty → Slack → Datadog → AWS → GitHub... • ݱঢ়ɺ୯ҰΠϯγσϯτͷͨΊʹߦͬͨ͜ͱΛ஌͍ͬͯΔͷ͸ରԠ ऀͷΈ • ରԠऀ͕खಈͰMELTΛอଘ͢Δͷ͸ඇݱ࣮త → AIϕʔεͰରԠΛ͢ΔੈքઢͰ͸ɺΑΓଟ͘ͷ৘ใ͕औಘՄೳʹʂ 70
71. AIϕʔεͷΠϯγσϯτϨε ϙϯε • AI͕ࣗવݴޠͰ఻ୡ͞Εͨ಺༰Λ΋ͱ ʹɺMCPαʔόʔ΍֎෦πʔϧͱ࿈ܞ ͠ͳ͕Β͞·͟·ͳૢ࡞Λߦ͏ • → ৗʹWaroomΛܦ༝ͯ͠ΞΫγϣϯ ͕ߦΘΕΔΑ͏ʹͳΓɺࡉ͔ͳΠϕϯ τΛࣗಈతʹอଘͰ͖Δ 71
72. ·ͱΊ 1. վળࢦඪͱͯ͠MTTR͸໾ཱͨͳ͍ 2. ϝτϦΫε׆༻͸ɺ໨తʙσʔλ෼ੳʹࢸΔ·Ͱͷ੔߹ੑ͕ॏཁ 3. มಈੑΛ཈͑ΔͨΊʹ͸ɺ໰͍ͷ۩ମԽͱϝτϦΫεͷࡉ෼Խ͕ॏ ཁ 4. TTXϝτϦΫεͷఆٛաఔͱ׆༻ํ๏ 5. o11yͷϓϥΫςΟεΛ࣋ͪࠐΉ͜ͱͰɺΑΓแׅతͳ؍ଌʹۙͮ͘ 72
73. ͍͞͝ʹ • ϝτϦΫεͷࣗಈऩूͷ࢓૊ΈΛ࡞Δ ͷ͸͍ͨ΁Μ • ͞ΒʹɺՄࢹԽج൫ͷߏங͸͍ͨ΁Μ • ͞ΒʹɺϝτϦΫεΛΧςΰϦ΍ϥϕ ϧͰ෦෼நग़͢Δͷ΋͍ͨ΁Μ • → ͥͻ Waroom Λ͝׆༻͍ͩ͘͞ • ڵຯ͕༙͍ͨํ͸ Topotal ͷϒʔε ΁ʂ 73
74. ͋Γ͕ͱ͏͍͟͝·ͨ͠