Upgrade to Pro — share decks privately, control downloads, hide ads and more …

組織的なインシデント対応を目指して〜成熟度評価と改善のステップ〜 / Towards an O...

組織的なインシデント対応を目指して〜成熟度評価と改善のステップ〜 / Towards an Organized Incident Response - Maturity Assessment and Improvement Steps -

SRE NEXT 2024の登壇資料です。
https://sre-next.dev/2024/schedule/#jp110

Avatar for Narimichi Takamura

Narimichi Takamura

August 03, 2024
Tweet

More Decks by Narimichi Takamura

Other Decks in Technology

Transcript

  1. 2

  2. 6

  3. ΠϯγσϯτϨεϙϯεͷվળʹऔΓ૊Ή͜ͱ͕ଟ͍ • ۩ମతʹ͸ɺҎԼͷ2ͭͷۀ຿Λ௨ͯؔ͠ΘΓ͕͋Δ • SREaaS SRE: ސ٬ͷΠϯγσϯτϨεϙϯε؀ڥΛվળ͢Δ • Waroom PdM:

    ΠϯγσϯτϨεϙϯεSaaSͷػೳΛߟ͑Δ • ͍ͣΕͷ৔߹΋ଐਓԽΛղফ͠ɺ૊৫తʹରԠͰ͖Δମ੍ͮ͘ Γ͕ٻΊΒΕΔ 7
  4. ՝୊1: اۀ͝ͱʹղܾࡦ͕ҟͳΔͨΊɺෆ࣮֬ੑ͕ߴ ͍ • اۀ͝ͱʹ؀ڥ͕ΘΓͱେ͖͘ҟͳΔ • ex. πʔϧɺϑϩʔɺϙϦγʔ...... • ͞·͟·ͳاۀ΁SREࢧԉΛ͢ΔͨΊɺޮ཰Խ͍͕ͨ͠௫Έॴ͕ͳ͍

    • ex. AࣾͰ͏·͍ͬͨ͘ϓϥΫςΟε͕ɺBࣾͰ͏·͍͘͘ͱ͸ݶΒͳ͍ • ݁Ռͱͯ͠ɺํ޲ײͳ͘౎౓ঢ়گΛ൑அ͠ͳ͕Βվળ͢Δ͜ͱʹ → اۀͷঢ়گͱղܾࡦͷύλʔϯ͕๲େͰ͋ΓɺΞυϗοΫͳରԠʹͳͬͯ͠·͏ 11
  5. 3ͭͷ೉఺ʹ޲͖߹͏ • ೉఺1: اۀͷঢ়گͱղܾࡦͷύλʔϯ͕๲େͰ͋ΓɺΞυϗοΫͳରԠʹͳͬͯ͠·͏ • → ؇΍͔ʹ෼ྨ্ͨ͠Ͱɺத௕ظతͳվળͷํ޲ੑΛࣔͤΔΑ͏ʹͳΓ͍ͨ • ex. ʮࣗ෼ͨͪ͸ࠓʓʓͱ͍͏ঢ়گͳͷͰɺ□□ͷঢ়ଶΛ໨ࢦͯ͠ɺ△△΍✗✗ʹऔΓ૊Έ·͠ΐ͏ʂʯ

    • ೉఺2: पғΛר͖ࠐΉγʔϯͰɺվળ͕ࢥ͏Α͏ʹਐ·ͳ͍͜ͱ͕͋Δ • → ૊৫Λר͖ࠐΈ΍͘͢͢ΔͨΊʹɺஈ֊తͳվળͷεςοϓΛͭ͘Γ͍ͨ • ೉఺3: ʮ૊৫తͳରԠʯͷظ଴஋͕اۀʹΑͬͯҟͳΔ • → ੒ख़ͨ͠اۀ͕໨ࢦ͢ཧ૝ঢ়ଶ΋ؚΊͯݴޠԽ͢Δ ্هͷ՝୊Λղܾ͢ΔͨΊʹɺ੒ख़౓ϞσϧͷߏஙΛ͢Δ͜ͱʹ 16
  6. ิ଍: ৴པੑͷϚΠϯυηοτ 3 • ૊৫ͷ৴པੑΛ5ͭͷجຊతஈ֊ʹ෼͚ͨ΋ͷ • Absent: ૊৫ʹͱͬͯ৴པੑ͸ೋ࣍తͳߟྀࣄ߲ • Reac.ve:

    ৴པੑͷ໰୊ / ϦεΫ΁ͷରԠ͕࠷ۙͷαʔϏεఀࢭʹ݁ͼ෇͚ ΒΕɺࢄൃతͳϑΥϩʔ͕ߦΘΕΔɻγεςϜͷ໰୊ͷमਖ਼ʹ௕ظతͳ౤ ࢿ͕ߦΘΕΔ͜ͱ͸΄ͱΜͲͳ͍ɻ • Proac.ve: ఆظతͳ૊৫ϓϩηεΛ௨ͯ͡જࡏతͳ৴པੑϦεΫ͕ಛఆ͞ Εରॲ͞ΕΔ • Strategic: ͜ͷϨϕϧʹ͋Δ૊৫͸ɺΞʔΩςΫνϟɺϓϩμΫτɺϓϩη εΛମܥతʹมߋ͢Δ͜ͱͰϦεΫͷΫϥεΛ؅ཧ͢Δ • Visionary: ৴པੑͷ࠷ߴҐʹ౸ୡ͓ͯ͠Γɺ৴པੑ΁ͷ෯޿͍औΓ૊ΈΛ ϕετϓϥΫςΟε͓Αͼܦݧʹج͍ͮͯࣾ಺֎ͰਪਐͰ͖Δʢͨͱ͑͹ ॻྨͷ࡞੒΍஌ࣝͷڞ༗ͳͲʣ 3 ૊৫ͷ৴པੑͷϚΠϯυηοτ:Google SRE ͷ஌ݟ 20
  7. ิ଍: ৴པੑͷϚΠϯυηοτ ͱϓϩμΫτͷঢ়ଶ • Absent: ։ൃதͷϓϩμΫτʹ౰ͯ͸·ΔՄೳੑ͕͋ Δ • Reac-ve: ϦϦʔεલ·ͨ͸҆ఆత௕ظҡ࣋ϑΣʔζ

    ͷϓϩμΫτʹ౰ͯ͸·Δ • Proac-ve: ΄ͱΜͲͷϓϩμΫτ͕͜ͷϨϕϧʹ͋Δ ΂͖ • Strategic: ϏδωεΫϦςΟΧϧͳχʔζΛຬͨͨ͢ Ίʹߴ͍Մ༻ੑΛඞཁͱ͢ΔϓϩμΫτʹ౰ͯ͸·Δ • Visionary: ͜ͷϨϕϧʹ౸ୡ͍ͯ͠ΔϓϩμΫτ͸΄ ͱΜͲͳ͍ 21
  8. ੒ख़Ϩϕϧͷఆٛ ҎԼͷ4ஈ֊ͷఆٛΛߦͬͨ(Visionary͸֘౰͢Δέʔε͕গͳ͍ͨΊׂѪ)ɻ • Absent • ΠϯγσϯτϨεϙϯε؀ڥ͕΄΅ະ੔උͰ͋ΓɺଐਓతͳରԠ͕ৗଶԽ͍ͯ͠Δঢ়ଶ • Reac*ve • ॏେͳো֐ͷରԠํ਑͸ఆ·͍ͬͯΔ΋ͷͷɺΠϯγσϯτϨεϙϯεͷ؀ڥվળ͸΄ͱΜͲߦΘΕ͍ͯͳ͍ঢ়ଶ

    • Proac*ve • ૊৫શମͰରԠΛߦ͏ମ੍͕੔͓ͬͯΓɺPre-Incident΍Post-IncidentͷϑΣʔζͷऔΓ૊ΈʹΑͬͯࣄલʹϦεΫΛ௿ݮ ͍ͯ͠Δঢ়ଶ • Strategic • ͦΕͧΕͷϓϩηε͕ମܥԽɾ࢓૊ΈԽ͞Ε͓ͯΓɺϑΟʔυόοΫϧʔϓΛճ͠ͳ͕ΒΠϯγσϯτରԠͷෛ୲Λ࠷খԽ ͠ଓ͚͍ͯΔঢ়ଶ 23
  9. ධՁࢦඪͷࡉ෼Խ • ΠϯγσϯτϨεϙϯεͷϓϩηε͸ଟذʹΘͨΔͨΊɺ֤Ϩϕϧͷఆٛͩ ͚Ͱ͸࣮༻ੑ͕๡͍͠ • → ΠϯγσϯτରԠલɺରԠதɺରԠޙͷ3ϑΣʔζ͝ͱʹɺͦΕͧΕ3ͭ ͷϓϩηεΛධՁ͢Δ • Pre-Incident

    ϑΣʔζ: ݕ஌ɺରԠϑϩʔɺτϨʔχϯά • Response ϑΣʔζ: ݖݶҕৡɺ࢓૊ΈԽɺίϥϘϨʔγϣϯ • Post-Incident ϑΣʔζ: ֶशɺ෼ੳɺࣄޙλεΫ 24
  10. 26

  11. 27

  12. վળͷεςοϓͷ۩ମྫ 1. ੒ख़౓ϞσϧΛ΋ͱʹ9ͭͷϓϩηεʹରͯ͠ධՁΛߦ͏ • ex. Training: AbsentɺDetec5on: Reac5ve...... 2. 1Λ΋ͱʹɺAbsentʙStrategicͷͲͷ͋ͨΓʹࣗ෼͕ͨͪҐஔ͍ͯ͠Δ͔Λ֬ೝ͢Δ

    • ex. 9ͭதେ൒Λ઎Ί͍ͯΔϨϕϧ͸͋Δ͔Λ֬ೝ͢Δ 3. ؔ܎ऀͱͱ΋ʹɺΠϯγσϯτϨεϙϯεͷ͋Δ΂͖ঢ়ଶΛσΟεΧογϣϯ͢Δ • ex. Pre-IncidentϑΣʔζ͕શମతʹ௿͍͚Ͳվળͨ͠΄͏͕Α͍ͩΖ͏͔ 4. վળͷํ޲ੑ͕ఆ·ͬͨΒɺ֤ϓϩηε͝ͱʹ۩ମతͳվળͷΞΫγϣϯΛఆΊΔ • ex. ఆܕλεΫͷࣗಈԽʹऔΓ૊΋͏ 29
  13. Absent → Reac,ve • վળ֓ཁ • ΫϦςΟΧϧͳো֐ͷϑΥϩʔ͕ਝ଎ʹͰ͖ ΔΑ͏ʹͳΓɺ৴པੑ͕޲্͢Δ • ΩʔϙΠϯτ

    • ॏେͳΠϯγσϯτͷΈʹείʔϓΛߜ্ͬͨ ͰɺPre-IncidentϑΣʔζͱPost-IncidentϑΣ ʔζͷ׆ಈΛ෦෼తʹ͸͡ΊΔ͜ͱʹ஫ྗ͢Δ • ஫ҙ఺ • ݕ஌ͷ࢓૊Έ͚ͩΛ੔උͯ͠΋ɺରԠϑϩʔ ͕ະఆٛͰ͸ࣦഊʹऴΘΔࣄ͕ଟ͍ 32
  14. Reac%ve → Proac%ve • վળ಺༰ • ΠϯγσϯτϨεϙϯεࣗମͷվળ͕ߦΘΕɺτΠ ϧղফ΍࠶ൃ๷ࢭ͕ਐΉͨΊɺ૊৫શମͷΠϯγσ ϯτରԠෛՙ͕ܰݮ͞Ε͸͡ΊΔ •

    ΩʔϙΠϯτ • ֤ϓϩηεͷମܥԽͱ࢓૊ΈԽΛओ؟ʹ্͓͍ͯ Ͱɺιϑτ΢ΣΞΤϯδχΞϦϯάΛϕʔεʹվળ ׆ಈΛߦ͏ • ஫ҙ఺ • ૊৫શମΛר͖ࠐΉࢪࡦ͕૿͑ΔͨΊɺ΂͖࿦ʹج ͍ͮͯҰؾʹਐΊͨΓ͸ͤͣɺ֤ϓϥΫςΟε͝ͱ ʹஈ֊తʹਐΊΔͱΑ͍ 33
  15. Proac&ve → Strategic • վળ಺༰ • গͳ͍ϦιʔεͰ࠷େݶͷՁ஋͕ಘΔͨΊʹɺ ͜Ε·Ͱߏஙͨ͠࢓૊ΈΛ͞ΒʹϒϥογϡΞ οϓ͠ɺΠϯγσϯτͷෛ୲Λ࠷খԽ͢Δ •

    ΩʔϙΠϯτ • σʔλυϦϒϯͳվળ͕ϕʔεʹͳΔͨΊɺଞ ͷΩʔϝτϦΫεͱ࿈ܞ͠ͳ͕ΒɺΠϯύΫτ ͷେ͖͍ࢪࡦʹ஫ྗ͢Δ • ஫ҙ఺ • ߴ౓ͳઐ໳஌ࣝΛඞཁͱ͢Δࢪࡦ͕ଟ͍ͨΊɺ վળ׆ಈࣗମ͕ଐਓԽ͠ͳ͍Α͏ʹ஫ҙ͢Δ 34
  16. ੒ख़౓ϞσϧʹΑͬͯಘΒΕͨ΋ͷ • ؇΍͔ʹ෼ྨ্ͨ͠Ͱɺத௕ظతͳվળͷํ޲ੑΛࣔͤΔΑ͏ʹͳΓ͍ͨ • → ੒ख़౓ϨϕϧΛϕʔεʹ໨ඪΛఆΊΔ͜ͱͰɺํ޲ੑΛڞ༗͠ͳ͕Βվળ͕ਐΊ ΒΕΔΑ͏ʹͳͬͨ • ૊৫Λר͖ࠐΈ΍͘͢͢ΔͨΊʹɺஈ֊తͳվળͷεςοϓΛͭ͘Γ͍ͨ •

    → 9ͭͷϓϩηε͝ͱʹஈ֊తʹਐΊΔ͜ͱ͕Ͱ͖ΔΑ͏ʹͳͬͨ • ੒ख़ͨ͠اۀ͕໨ࢦ͢ཧ૝ঢ়ଶ΋ؚΊͯݴޠԽ͢Δ • → StrategicͷఆٛʹΑͬͯɺ(ࠓ·ͰΑΓ͸)ΑΓൃలతͳվળఏҊͰ͖ͦ͏(ະݕূ) 37