一人から始めたSREチーム3年の歩み - 求められるスキルの変化とチームのあり方 - / The three-year journey of the SRE team, which started all by myself

SRE Kaigi 2025 1.26
https://fortee.jp/sre-kaigi-2025/proposal/611b0d38-486e-48e5-8f46-150346be7084

2021年、一人でプロダクトSREの取り組みを開始しました。 https://speakerdeck.com/vtryo/how-to-start-sre-in-a-product-team-all-by-yourself
それから3年が経過し、プロダクトやチームの成長に伴って求められるSREのスキルセットの変化や、SREのあり方自体にも大きな変革がありました。
本セッションでは、一人SREから始まり、サービスの成長と組織の変化でどのようにSREも変化していったか。60以上のサービスが直接的、間接的に連携し合う規模の環境ならではのSRE活動の特徴も踏まえて紹介します。

Transcript

1. Ұਓ͔Β࢝Ίͨ SREνʔϜ3೥ؒͷาΈ - ٻΊΒΕΔεΩϧͷมԽͱνʔϜͷ͋Γํ - VTRyo Money Forward, Inc - Platform and Reliability Engineeringຊ෦ SRE Kaigi 2025
2. SES, ࣗࣾ։ൃ, ελʔτΞοϓͱ਺ࣾ ܦͯ2021೥ʹϚωʔϑΥϫʔυೖࣾ ଞελʔτΞοϓʹ΋ࢀըத ࠷ۙ͸EbitengineͰήʔϜ੍࡞த VTRyo -> VTuberͱ͸ͳΜͷؔ܎΋͋Γ·ͤΜ Money Forward TECH DAY’24 Developers Boost 2023 ࣗ෼͚ͩͷ୭΋૝૾Ͱ͖ͳ͍ΩϟϦΞͷҭͯํ ϕετεϐʔΧʔ৆ SRE NEXT 2022 Ұਓ͔Β࢝ΊΔϓϩμΫτSRE ੿ஶ ʮITΤϯδχΞͷͨΊͷ ۮવ͔Β࢝ΊΔ ΩϟϦΞϓϥϯʯ
3. ࡢ೥Ϋϥϑτ🍺ͷ৹ࠪһࢿ֨Λऔಘ α΢φ݈߁࢜, ೤೾ࢣࢿ֨ࡁΈ झຯ͕ଟ͍ͷͰ࠙਌ձͰ΋ͥͻ ϏʔϧΛҿΈʹυΠπɾνΣίɾϕϧΪʔ ΧϨʔΛ৯΂ʹεϦϥϯΧ ϥʔϝϯೋ࿠Λ৯΂ʹશࠃ Ҏલ͸ٕज़ಉਓࢽ΋੍࡞ͯ͠·ͨ͠ ଞʹ΋͋Δ͚Ͳॻ͖͖Εͳ͍ͷͰུ
4. ͓஌Βͤ SRE Kaigi 2025͸͔ͤͬ͘ͷΦϑϥΠϯ։࠵ͳͷͰ… εϥΠυ͸ਤΛத৺ʹ ݴ༿Ͱઆ໌ͨ͠΋ͷ͸ޙ೔ϒϩάʹ Xʹͯ #srekaigi #room_b Ͱͷ࣮گײ૝͸େ׻ܴͰ͢
5. ࠓ೔࣋ͪؼΕΔ͜ͱ ૊৫ઃܭʹؔΘ͍ͬͯΔํ اۀ΍νʔϜͷϑΣʔζʹΑͬͯSREͷ͋Γํ͕ Ͳ͏มΘΔͷ͔ ͲͷϑΣʔζʹͲΜͳεΩϧΛ࣋ͬͨSRE͕͍Δͱ Α͍ͷ͔ɻνʔϜઃܭͷࢀߟʹ
6. ࠓ೔࣋ͪؼΕΔ͜ͱ SREݸਓͷํ ϑΣʔζʹΑͬͯٻΊΒΕΔεΩϧηοτ͕ Ͳ͏มΘΔ͔ ૲૑ظɺ֦େظɺ҆ఆظ͕͋ͬͨͱͯ͠ɺ ࣗ෼͕Ͳͷن໛ͷSREͱͯ͠ద೚ͳͷ͔
7. ઌʹࣗຫ͍͍ͯ͠Ͱ͔͢ɺ͠·͢Ͷ ࣗࣾͷ൒ظදজࣜʹͯνʔϜ͕ϓϩδΣΫτ৆Λ֫ಘ͠·ͨ͠ʂ
8. ໨࣍ ࣌ܥྻͰݟΔࢲͨͪSREͷऔΓ૊Έ 3೥ͰมΘͬͨ͜ͱɺมΘΒͳ͍͜ͱ SREݸਓͱͯ͠ߟ͍͑ͯͨ͜ͱ ·ͱΊ
9. ϚωʔϑΥʔϫʔυͷSREʹ͍ͭͯ
10. ࣌ܥྻͰݟΔࢲͨͪSREͷऔΓ૊Έ ॱΛ௥ͬͯ঺հ͍͖ͯ͠·͢ Ұਓ໨ͷSREظ νʔϜ֦େظ ҆ఆظ
11. Ұਓ໨ͷSREظ ϩʔυϚοϓ ࠷ॳʹܭը͞Εͨ͜ͱ͕ มߋʹͳΔՄೳੑ͕͋Δ Embedded SRE ઙ͘ͱ΋޿͍ܦݧ ࣮ߦྗ ΧΦεঢ়ଶΛ੔͑ΒΕΔ ମ੍ εΩϧηοτ
12. Ұਓ໨ͷSREظ
13. Ұਓ໨ͷSREظ Ҿ༻: SRE NEXT 2022 Ұਓ͔Β࢝ΊΔϓϩμΫτSRE
14. Ұਓ໨ͷSREظ Ҿ༻: SRE NEXT 2022 Ұਓ͔Β࢝ΊΔϓϩμΫτSRE 1೥ؒͰ100ຊఔ౓ υΩϡϝϯτΛॻ͖ ଟ͘ͷਓʹಡΜͰ΋Β͑Δ Α͏ʹ͍ͯͨ͠
15. Ұਓ໨ͷSREظ Ҿ༻: SRE NEXT 2022 Ұਓ͔Β࢝ΊΔϓϩμΫτSRE
16. Ұਓ໨ͷSREظ Ҿ༻: SRE NEXT 2022 Ұਓ͔Β࢝ΊΔϓϩμΫτSRE
17. Ұਓ໨ͷSREظ ࠾༻޿ใͰར༻Ͱ͖Δʂ ࣗ෼ͨͪ͸Կऀͳͷ͔ ظ଴஋ΛࣔͤΔ ࠓޙ΋݁ہ ΊͪΌͪ͘Ό࢖͏͜ͱʹͳΔ Ҿ༻: SRE NEXT 2022 Ұਓ͔Β࢝ΊΔϓϩμΫτSRE ૣΊʹ࡞͓ͬͯ͘ͱྑ͍ ϛογϣϯ&Ϗδϣϯ
18. Ұਓ໨ͷSREظ Ҿ༻: SRE NEXT 2022 Ұਓ͔Β࢝ΊΔϓϩμΫτSRE
19. Ұਓ໨ͷSREظ औΓ૊ΈαϚϦ SREͱ͸Ͳ͏͍͏໾ׂͳͷ͔ɺԿΛ͢Δͷ͔෍ڭ׆ಈ ݱ৔͕ۤ͠ΜͰ͍Δ෦෼Λੵۃతʹर্͍͛ͯ·ͣ͸ վળ͢Δ ؂ࢹվળɺΠϯϑϥ໘ͷαϙʔτʹ୅ද͞ΕΔ ༏ઌ౓ͷ౰ͨΓΛ͚ͭͳ͕ΒϩʔυϚοϓ૊Έ্͛ ϛογϣϯɾϏδϣϯͷ࡞੒ ࠾༻׆ಈͷ։࢝
20. νʔϜ֦େظ ϩʔυϚοϓ ϩʔυϚοϓͱϓϩμΫτ ͔ΒͷґཔʹରԠ͢Δ όϥϯε͕͏·͘औΕͳ͍ Enabling SRE ઙ͘ͱ΋޿͍ܦݧ ࣮ߦྗ λεΫ؅ཧ ˑνʔϜϏϧσΟϯά ˑଞऀධՁ ମ੍ εΩϧηοτ
21. νʔϜ֦େظ ໢ཏ཰Λ্͛ΔͨΊʹͦΕͧΕ ଞͷϝϯόʔͱର৅͕ඃΒͳ͍Α͏ ͳମ੍Λ૊ΜͰ͍ͨ
22. νʔϜ֦େظ ͨͩ໢ཏతʹEnabling׆ಈ͸ਐḿ A͞Μ͕ٳΉͱ୲౰ϓϩμΫτͷ ਐḿ͕0ʹͳΔ શମͷঢ়ଶఈ্͛ͱͯ͠͸ औͬͯ΋Α͍τϨʔυΦϑͩͱࢥ͏
23. ͳͥνʔϜʹ͸ϛογϣϯ͕ඞཁ͔ʁͦͷॏཁੑ Ξϓϩʔνํ๏΍ղܾͷํ਑͸ɺϛογϣϯʹΑͬͯ มΘΔ ҙࢥܾఆͷ࣠ʹϛογϣϯͷଘࡏ͕໾ཱͭ νʔϜ֦େظ ՝୊Λ͢΂ͯSRE͕ר͖औΔ ͜ͱ΋Ͱ͖Δ SREҎ֎͕ӡ༻Մೳͳঢ়ଶΛ ੒Ռͱͯ͠࢓্͛Δ͜ͱ΋Ͱ͖Δ ࣗ෼ͨͪͷ࣮ݱ͍ͨ͠ੈք ʹΑͬͯ੒Ռ෺͕มΘΔ
24. ౰࣌ͷϓϩμΫτ͝ͱͷ՝୊ A: େن໛σʔλϕʔεͷετϨʔδݶք఺ B: Amazon EKS΁ͷϦϓϨΠε͕͞Ε͍ͯͳ͍ C: ·ͩSRE׆ಈͰ͖͍ͯͳ͍νʔϜ͕͋Δ νʔϜ֦େظ ͦΕͧΕશ͘ҟͳΔ՝୊͕ଘࡏ ϝϯόʔͷօ͞Μ͸ඇৗʹ ؤுͬͯ͘Ε·ͨ͠
25. ҰํͰ՝୊΋
26. ͦΕͧΕͷݸੑ͕ࡍཱͪ࢝Ί͍͕ͯͨ… ϝϯόʔͷಘҙ෼໺ͰΞαΠϯ͢Δ͜ͱʹͳΔ ͦΕͧΕͷઐ໳ੑΛνʔϜͱͯ͠࠷େԽ͢Δ༨༟͸ͳ ͔ͬͨ ༨༟Λ࣋ͬͯऔΓ૊Ήʹ͸ɺ΍΍ਓ͕଍Γͳ͍ঢ়ଶ νʔϜ֦େظ
27. νʔϜ֦େظ औΓ૊ΈαϚϦ ҰͭͷϓϩμΫτ͚ͩͰͳ͘ɺෳ਺୲౰͢ΔΑ͏ʹ EmbeddedͰ͸ݶքͱͳΓEnablingମ੍ʹมߋ ϓϩμΫτݸผͷ՝୊ʹରԠ SRE׆ಈʹඞཁͳجૅ౔୆ߏஙʢSLO, จԽৢ੒ͳͲʣ ΋ܧଓ νʔϜϏϧσΟϯάʹؔ࿈͢ΔऔΓ૊Έ͕։࢝͞ΕΔ
28. νʔϜ҆ఆظ ϩʔυϚοϓ ϩʔυϚοϓ͕ܭը௨Γʹ ਐΈɺґཔλεΫ΋࣮֬ʹ ղܾͰ͖͍ͯΔঢ়ଶ Enabling SRE ߴ͍ઐ໳ੑ νʔϜྗΛ࠷େԽ ௕ظࢹ఺Ͱͷ໰୊ղܾ ଟ͘ͷؔ܎ऀͱௐ੔ ମ੍ εΩϧηοτ
29. νʔϜ҆ఆظ νʔϜͷ૯߹ྗͰରԠ ϓϩμΫτݸผͷ՝୊ʹ΋ରԠ Ͱ͖Δ
30. ΍Δ΂͖͜ͱʹऔΓ૊Έͳ͕ΒɺνϟϨϯδ΋͢Δ ܦݧ͕ઙ͍ྖҬʹνϟϨϯδ͢Δ ܦݧ͕͋Δϝϯόʔ͕ϨϏϡʔ΍αϙʔτʹճΔ ϓϩμΫτνʔϜ͔ΒͷґཔʢHelp wantedλεΫʣΛ ࢖ͬͯ͋ΒΏΔྖҬͷλεΫΛܦݧ͢Δ ߴ౓ͳઐ໳ੑ͕ඞཁͳ΋ͷ͸ɺͦͷਓ͕Ϧʔυ͢Δ νʔϜ҆ఆظ
31. ΦϯϘʔσΟϯάϑϩʔͷ޲্ νʔϜ҆ఆظ ※͜ͷ͋ͱ֦େ͠·͢ άϩʔόϧԽͨ͠ͷΛ͖͔͚ͬʹ ໨Ͱݟ΍͍͢ܗʹ ԿΑΓɺ͜ͷํָ͕͠ΜͰ΋Β͑ ΔͷͰ͸ͱࢥͬͯ࡞੒
32. νʔϜ҆ఆظ
33. ܁Γฦ͠Λճආ͢ΔͨΊͷπʔϧ܈Λ։ൃ DBΤϯδϯΞοϓάϨʔυݕূΛ࠷଎Ͱճͨ͢Ί CLI: PlatinumʢPercona Toolkit pt-upgradeΛwrapʣ Amazon RDS Blue/Green DeploymentsΛ҆શ͔ͭ࠷଎ Ͱ࣮ߦ͢ΔͨΊ CLI: Turquoiseʢ੨/྘͔Β༝དྷɻAWS CLIΛwrapʣ νʔϜ҆ఆظ ϝϯόʔશһ͕։ൃΛ ָ͠Μͩ
34. কདྷൃੜ͢Δ໰୊΍ɺ৽͍͠औΓ૊ΈͷτϥΠ ංେԽ͠ଓ͚Δେن໛σʔλϕʔεɻࠓޙͷରԠ KafkaʢAmazon MSKʣͷӡ༻؂ࢹ PostmortemͷϩʔϧϓϨΠݚम ଞ νʔϜ҆ఆظ ϝϯόʔ͕෼୲ͯ͠ ਐΊ͍ͯͨ
35. ҰํͰ՝୊΋
36. νʔϜ҆ఆظ SRE͸SREͷϩʔυϚοϓΛ ಺෦ͰਐΊΒΕΔ ϓϩμΫτνʔϜ͸ ૬ஊࣄ߲ΛSREʹ໰͍߹ΘͤΔ
37. νʔϜ҆ఆظ ϦϦʔε৘ใΛ͢΂ͯ೺ѲͰ͖ͳ ͘ͳͬͨ ϓϩμΫτͷݒ೦ࣄ߲Λහײʹ ΩϟονͰ͖ͳ͘ͳͬͨ ͩΜͩΜ ࡞ۀΛड͚෇͚͍ͯΔ͚ͩײ
38. ؔ܎ੑΛҡ࣋͢ΔͨΊʹ Production meetingΛఆظ։࠵ ϓϩμΫτͷ੹೚ऀ΍։ൃ੹೚ऀΛট଴ͨ͠૬ޓ৘ ใަ׵ͷ৔ SRE͔Β͸ҰఆظؒͷϝτϦΫεϨϙʔτ ϓϩμΫτ͔Β͸ϦϦʔε৘ใ΍ݒ೦ࣄ߲ڞ༗ νʔϜ҆ఆظ
39. ݴ༿Ͱ఻͑Δ͚ͩͰ͸จԽ͸࢒Βͳ͍ ಄Ͱ͸Θ͔ͬͯ͸͍͕ͨɺจԽ͸࢓૊Έ΋ؚΊͯ࡞Β ͳ͍ͱਓͷೖΕସΘΓͰফ͍͑ͯ͘Մೳੑ͕ߴ͍ Կ΋ߟ͑ͣʹґཔʹରԠ͍ͯ͠Δͱɺ࠷ॳʹةዧ͍ͯ͠ ͨ࡞ۀһײ͕͡ΜΘΓͱਫ਼ਆΛḝΈͩ͢ νʔϜ҆ఆظ
40. νʔϜ҆ఆظ औΓ૊ΈαϚϦ EOLͷΞοϓσʔτରԠɻશ෦Ͱ5ͭͷDBΤϯδϯΞο ϓσʔτݕূΛπʔϧ։ൃͰ୹ॖ ֤ϓϩμΫτͷSLOͷ࠶ఆٛ, PostmortemϩʔϧϓϨΠ ݚम, Production meetingͳͲͷSRE׆ಈ ԣஅతʹඞཁͳऔΓ૊ΈʢKafka, Envoy, Datadog logs ϑΥʔϚοτͷ౷Ұʣ ๯಄ͷϓϩδΣΫτ৆͸͜ͷ࿩
41. 3೥ͰมΘͬͨ͜ͱɺมΘΒͳ͍͜ͱ ϩʔυϚοϓ ࠷ऴ౸ୡ஍఺͸ มΘΒͳ͍ɻม͑ͳ͍ SREͷମ੍͸มΘΔ ਓͷೖΕସΘΓ΋͋Δ νʔϜͷϑΣʔζ ૊৫ͷϑΣʔζ ϓϩμΫτͷϑΣʔζ ͳͲͰҟͳΔ ମ੍ εΩϧηοτ
42. ࠷ऴ౸ୡ఺͸ಉ͡ɺମ੍͸ਐԽɺ׆༂εΩϧͷมԽ ૊৫ͷٸ੒௕ɾฤ੒มߋʹɺҰ౓͸ϛογϣϯΛม͑ Δ΂͖͔໎ͬͨɻ৺͔Β৴͡ΒΕΔ৴೦͸ม͑ͳ͍ ૊৫ͷܗʹ߹ΘͤɺSREͷରԠํ๏΋ਐԽ͢Ε͹͍͍ ϑΣʔζͰඞཁͳਓࡐ͕ҟͳΔͷ͸ඞવ 3೥ͰมΘͬͨ͜ͱɺมΘΒͳ͍͜ͱ
43. SREݸਓͱͯ͠ߟ͍͑ͯͨ͜ͱ
44. ࣗ෼͸ͲͷϑΣʔζʹ߹͏ͷͰ͠ΐ͏͔ ΋ͪΖΜͲͷϑΣʔζʹ΋దԠͰ͖ͨํ͕ྑ͍͕… Ͳ͏ߩݙͰ͖Δ͔Θ͔Βͣ໎ࢠʹͳΔ͜ͱ΋͋Δ ࠷΋ً͘ॠ͕ؒͲ͜ͳͷ͔͸ߟ͓͍͑ͯͯଛ͸ͳ͍ SREݸਓͱͯ͠ߟ͍͑ͯͨ͜ͱ
45. SREݸਓͱͯ͠ߟ͍͑ͯͨ͜ͱ ͜ΕΒ ͢΂ͯͷೳྗ͕͋Δਓ͸ك
46. SREݸਓͱͯ͠ߟ͍͑ͯͨ͜ͱ ঃʑʹɺͲ͏ߩݙ͢΂͖͔Θ͔Βͳ͘ͳͬͨ ߴ͍ٕज़ྗΛ࣋ͬͨਓͷ ෣୆͕੔ͬͨͱࢥͬͨ
47. SREݸਓͱͯ͠ߟ͍͑ͯͨ͜ͱ ൴Β͸૬ޓతʹྑ͍ӨڹΛ ༩͑ΒΕΔͷͰ͸ͳ͍͔
48. ·ͱΊ
49. ·ͱΊ ૊৫΍ϓϩμΫτͷϑΣʔζ͕มΘΕ͹SRE΋มΘΔ ର৅ʹ߹ΘͤͯॊೈʹมԽ͢Δ ͨͩ͠ϛογϣϯ͸ม͑ͳͯ͘΋ྑ͍ ࣗ෼ً͕͚ΔϑΣʔζ͕͋Δ ্ཱͪ͛ʁ֦େʁ҆ఆʁ΋ͬͱࡉ͔͍୯ҐͰ΋̋ ޓ͍ͷً͖͸૬৐ޮՌΛൃੜͤ͞Δ͜ͱ΋Ͱ͖Δ