Mix Leap Study #69 Yahoo!ショッピング+PayPayフリマのSRE事例 ショッピングのSREチームとして試したこと、 失敗したこと

Transcript

1. Mix Leap Study #69 Yahoo!γϣοϐϯά+PayPayϑϦϚͷSREࣄྫ γϣοϐϯάͷSREνʔϜͱͯ͠ࢼͨ͜͠ͱɺ
 ࣦഊͨ͜͠ͱ @kobashinG ʢ͜͹͠Μʣ 2022.12.05
2. ࣗݾ঺հ ͜͹͠Μ (@kobashinG) Ϡϑʔגࣜձࣾ ϑϩϯτΤϯυશൠ, etc… Android, Linux, k8s, ˏϠϑʔγϣοϐϯάSRE
3. ΏΔΏΔͱ͓࿩͠·͢ ࠓ೔ͷΞδΣϯμ • ̑ͭͷࣄྫΛݩʹ΍͖ͬͯͨ͜ͱΛৼΓฦΔ
4. ·ͣ͸஌ݟʹཔΔ ྠߨͷऔΓ૊Έ
5. SREνʔϜͷൃ଍ • SREͱ͍͏ϩʔϧ͕ॳΊͯੜ·Εͨ
 →֤νʔϜͷऔΓ૊ΈͷதͰ࣮ફ͍ͯ͠Δਓୡ͸ډͨ • ʮSRE͕γϣοϐϯάͰԿΛ͢Δͷ͔ʁʯʹ͍ͭͯ͸
 ࡋྔΛ࣋ͨͤͯ΋Β͍ͬͯͨ
6. SREຊͷྠߨ • Πϯϓοτͱͯ͠ॻ੶ͷྠߨͷ࣮ࢪ • ্ཱͪ͛ϝϯόͱڞʹڞ௨ཧղΛ࡞Δ఺ͰඇৗʹΑ͔ͬͨ ɹˠ୯७ʹಡΉ͚ͩͰͳ͘ɺষ/߲ͷ୯ҐͰσΟεΧογϣϯ
7. SREͷϓϥΫςΟεͷ࣮ફ • ༷ʑͳϓϥΫςΟεΛಉ࣌ʹ࣮ࢪ͠Α͏ͱࣦͯ͠ഊ • ϦιʔεͷݶΒΕ͍ͯΔॳظʹશͯͨΊ͢ͷ͸ѱखͩͬͨ • ՝୊ղܾͷखஈͱͯ͠ଊ͑ɺ෢ثͱͯ͠ἧ͓͑ͯ͘ • ࣮ફϓϥΫςΟε͸஫ྗ෼໺Λߟ͑ɺ૊৫՝୊ʹ߹ΘͤΔ ͜͏ͨ͠Βྑ͔͔ͬͨ΋🤔
8. 🤔ৼΓฦΓ🤔 • σΟεΧογϣϯʹΑͬͯɺ՝୊Λڞ௨ೝࣝʹͰ͖ͨ ◦
 →AʮHWᝑମނোͷ෮چΈ͍ͨͳͷ͸τΠϧͳͷʁʯ
 ɹBʮ௕ظతʹՁ஋͕ੜ·Εͯͳ͍͔ΒτΠϧΆ͍ʯ
 ɹCʮࣗ෼ͨͪͷΩϟύϓϥ͸ѱྫ··͡Όͳ͍ɺɺʁʯ • ஫ྗྖҬΛߟ͑ͣશͯτϥΠ ✗
9. SLI/SLOͷࡦఆ طଘͷӡ༻ΛͲ͏ม͑Δͷ͔ʁ
10. SLI/SLOΛͲ͏ઃఆ͢Δʁ • γεςϜͷఏڙ͍ͯ͠ΔओཁͳػೳຖʹɺҰͭͣͭݕ౼ CUJͷࡦఆ SLIͷࡦఆ SLOͷࡦఆ CUJ - Critical User Journey - Ϣʔβʔ͕໨తΛୡ੒͢ΔͨΊʹߦ͏αʔϏεͱͷ΍ΓͱΓ SLI - Service Level Indicator - αʔϏεϨϕϧʹؔ͢ΔϢʔβʔͷຬ଍౓ࢦ਺ SLO - Service Level Objective - αʔϏεʹର͢ΔϢʔβʔͷظ଴஋
11. ྫ͑͹ɺγϣοϐϯάͷτοϓϖʔδ͸ʁ • ϚΠΫϩϑϩϯτΤϯυࢥ૝ • CUJ
 ʮ͓ಘ৘ใ͔Β঎඼Λ୳͢ॴʯ • ඞਢϞδϡʔϧΛબఆ͠Մ༻ੑΛ
 SLI/SLOͱͯ͠ߟ͑Δ
12. ྫ͑͹ɺγϣοϐϯάͷτοϓϖʔδ͸ʁ 99.9% 99.9% མͪͯ΋ྑ͍ 99.9%
13. ൚༻SLIͱαʔϏεݻ༗SLO • ൚༻SLIͱͯ͠VALET(※) Λ׆༻ • VALETΛ૊Έ߹ΘͤԿΛSLOͱ͢Δͷ͔ΛCUJ͔Βݕ౼ ˞ग़యɿαΠτϦϥΠΞϏϦςΟϫʔΫϒοΫ
    ʕ43&ͷ࣮ફํ๏ VALET ύΠϓϥΠϯܥΞϓϦ
14. 🤔ৼΓฦΓ🤔 • CUJ͔ΒSLI/SLOΛఆΊ͍ͯ͘͜ͱ͸ඞཁ
 →ͨͩ͠ɺCUJ͔Β೉ղͳSLIΛఆΊΔඞཁ͸ແ͍
 →Ұൠʹ͸VALET૬౰ͷ΋ͷ͕͋ΒΏΔՕॴͰSLIʹͳΔ
15. ΤϥʔόδΣοτͷӡ༻ͯ͠·͔͢ʁ
16. ΤϥʔόδΣοτͱϦϦʔείϯτϩʔϧ SLI SLO ࣌ؒ࣠ ϦϦʔείϯτϩʔϧ ͍ͨ͠ظؒ Ͱ΋ɺͲ͏ͯ͠΋ग़͞ͳ͍ͱͬͯ΍ͭ͋Δ͘Ͷʁ🤔
17. ΤϥʔόδΣοτͱϦϦʔείϯτϩʔϧ ϦεΫxϦϦʔεཁ݅ͰධՁ͠ϦϦʔε൑அͷ࣮ࢪ
18. ΤϥʔόδΣοτͱϦϦʔείϯτϩʔϧ اը SRE ʮKPIʹ߹ΘͤͨىҊʯ ʮظதʹxxΛϦϦʔε͍ͨ͠ʯ ʮةݥͳͷͰϦϦʔεࢭΊ͍ͨʯ
19. • Α͍FB͸͍͔ͭ͘ಘΒΕ͕ͨݱࡏӡ༻ΛࢭΊͯΔ • ௐ੔ͷΧϩϦʔ͕ߴ͗ͯ͢ఆணͤ͞Δ·Ͱʹࢸͬͯͳ͍
 →ٕज़ͱاըʢσΟϨΫλʔʣͷ໨ඪ؅ཧʹ΋ٴͿ໰୊ ࣮ࢪ಺༰ͱͯ͠͸खԠ͑Λײ͍ͯ͡ΔͷͰɺ ϦϦʔείϯτϩʔϧͷఆணͷͤ͞ํΛݕ౼͍ͯ͠Δ 🤔ৼΓฦΓ🤔
20. EmbeddedSREͱSREͷαΠϩԽ
21. SREνʔϜͱEmbedded SRE ঎඼ݕࡧνʔϜ SHPτοϓνʔϜ ΧʔτνʔϜ SREνʔϜ ͜ͷSREνʔϜͬͯԿͰඞཁͳΜ͚ͩͬʁʁ🤔
22. SREνʔϜͱEmbedded SRE • SREͷ࣮຿ͱͯ͠Embedded SREͷܗଶ͸ཧʹదͬͯΔ
 →՝୊ͷൃݟ͸࣮ࡍͷӡ༻͔ΒಘΒΕΔ • ҰํͰSREͱͯ͠͸׬શʹαΠϩԽ͞ΕΔ
23. WorkingGroupʹΑΔԣ۲ ঎඼ݕࡧνʔϜ SHPτοϓνʔϜ ΧʔτνʔϜ SREνʔϜ ݱ৔Ͱͷ஌ݟ WorkingGroup γϣοϐϯάશମ
24. • SREͷ֓೦΍ԣஅతͳղΛఏڙ͢Δ૊৫ͱͯ͠ͷWG
 →Ξϥʔτ/ΠϯγσϯτରԠ/υΩϡϝϯτ࡞੒..etc
 →ํ๏࿦ͱͯ͠͸खԠ͑Λײͯ͡Δ • ۀ຿ྔ͕େ͖͘ͳΓ͕ͪʹͳΔ໰୊
 →50%ϧʔϧ౳ͱ૊Έ߹ΘͤͯϦιʔεΛ೧ग़
 →ͦΕͰ΋େ͖ͳෛՙΛ͔͚͍ͯΔɻ՝୊͋Γ˛ 🤔ৼΓฦΓ🤔
25. αʔϏεӡ༻ͷධՁΛͲ͏͢Δͷ͔ʁ
26. ϚΠΫϩαʔϏεͷӡ༻ʹαʔϏεϨϕϧ͕·͹Β • ֤ϚΠΫϩαʔϏε୯ҐͰͷEmbedded SREʹٻΊΒΕΔ
 ಺༰͕ҟͳΔ • ͋Δఔ౓·ͰɺҰൠղΛݩʹαʔϏεϨϕϧΛҾ্͖͍͛ͨ ঎඼ݕࡧνʔϜ SHPτοϓνʔϜ ΧʔτνʔϜ
27. ϠϑʔγϣοϐϯάͷνʔϜମ੍ • αʔϏε਺ɿ18νʔϜ x 113ΞϓϦέʔγϣϯ • SREɿ1νʔϜ -> 3νʔϜ(ݱࡏ) Embedded SREΛ΍͍ͬͯ͘ʹ͸޿͗͢Δ
28. ॏཁͳαʔϏεʢTierʣͷબఆ • 113ͷΞϓϦέʔγϣϯʹର͠ɺTierΛ੍ఆ • ߴ࣍ͷTierʹରͯ͠ɺEmbedded SREͷ഑ஔ΍
 ߴՄ༻ੑΛٻΊΔΑ͏ʹ • Tierͷ௿͍΋ͷʹ͍ͭͯ͸ɺ൚Խͨ͠ରԠΛ࣮ࢪͯ͠΋Β͏
29. αʔϏε୯ҐͰͷӡ༻ঢ়ଶͷ૯߹ධՁ • ҆ఆੑ ͱ ӡ༻ίετ ͷ྆໘͔ΒαʔϏεΛධՁ͢Δ ҆ఆੑ ӡ༻ίετ ཧ૝ͷঢ়ଶ ҆ఆੑɿ௿ ӡ༻ίετɿߴ ҆ఆੑɿߴ ӡ༻ίετɿߴ ҆ఆੑɿ௿ ӡ༻ίετɿ௿ ҆ఆੑɿߴ ӡ༻ίετɿ௿ ߲໨ ॏΈ ෼ྨ SLI/SLO͕ఆٛ͞Ε͍ͯΔ 3 ҆ఆੑ ґଘPFͷࢮ׆؂ࢹ 3 ҆ఆੑ Ξϥʔτͷఆظతͳݟ௚͠ 2 ҆ఆੑ ӡ༻ίετͷൺ཰͕xະຬ 3 ίετ γεςϜϦιʔεͷఆظݟ௚͠ 2 ίετ
30. Ξϥʔτ੔උͷධՁ • Ξϥʔτઃఆঢ়گΛLv෼͚͠ɺ࣍ͷLv΁ͷΞΫγϣϯΛఏࣔ Lv.0 Lv.1 Lv.2 Lv.3 Lv.4 Lv.5
31. ঢ়گɿ ɹɾ҉໧ͷྃղͷڞ௨ೝࣝ͋Γ ɹɾηϯεʹΑΔӡ༻ ωΫετεςοϓɿ ɹɾϖʔδʹڞ௨ೝࣝ΁ ɹɾՍిͷऔࣺબ୒Λ͢͢ΊΔ ঢ়گɿ ɹɾ໌จԽ͸͞Εͣͱ΋ہॴղ ɹɾ΍͸ΓηϯεʹΑΔӡ༻ ωΫετεςοϓɿ ɹɾSLOΛ༻͍ͨΞϥʔτઃܭ ঢ়گɿ ɹɾηϯε͔ΒSLO΁ ωΫετεςοϓ ɹɾΑΓSLOΛ༻͍ͨΞϥʔτ ɹɾόʔϯϨʔτ౳ͷݕ౼ Ξϥʔτ੔උͷධՁ Lv.2 Lv.3 Lv.4
32. • ධՁ͕࣠·ͩ·ͩ଍Γͳ͍ • SRE૊৫ͷεέʔϧΞ΢τʹ޲͚ͨςϯϓϨʔτԽ
 →ঢ়ଶͷධՁ x ࣍ͷΞΫγϣϯ ʹΑΓߴ࣍·ͰͷಓͷΓΛ
 →ߴ࣍ݩͷӡ༻ঢ়ଶʹ͓͍ͯ͸ݸผԽͨ͠ରԠΛ • ͏·͘ӡ΂͹ɺҰఆҎ্·Ͱ͸SREෆཁͰ͢͢ΊΔʁ
 →SREͷਓతϦιʔε͸ৗ࣌଍Γͯͳ͍ 🤔ৼΓฦΓ🤔
33. ऴΘΓʹ
34. 🐥 ॴײ 🐣 • ͏·͘ӡ༻ʹ৐ͤΒΕͳ͔ͬͨ΋ͷͷଟ͘͸ɺ
 ੜΈग़ͨࣗ͠෼ͨͪ͢ΒϑΥϩϫʔʹͳΕͳ͔ͬͨ΋ͷ • ෳࡶʹߟ͑ͯӡ༻ͨ͠ޙɺγϯϓϧʹࢸΔ • ૯ͯ͡ɺϦιʔεͷׂʹଟ͘Λ๬Έ͗ͨ͢ؾ͕͢Δ
 औࣺબ୒ͷॏཁੑΛ࠶ೝࣝ
 →ධՁ͕ԼͤΔΑ͏ʹͳΕ͹ɺ஫ྗϙΠϯτΛ࡞ΕΔ
35. We Are Hiring!!! https://about.yahoo.co.jp/hr/job-info/role/1432/