Site Reliability Engineering for GMO

GMOインターネットグループの研修でお話しました。

Transcript

1. Site Reliability Engineering ʙفΔͳ!!1શ෦͓લ͕௚͢Μͩฤʙ
2. ࢁԼ
   ࿨඙
   
   !QZBNB
   (.0ϖύϘ
   ٕज़ج൫νʔϜ
   
   
   γχΞɾϓϦϯγύϧ
   
   
   ɹΩϟϯϓɺཱྀߦɺώϧτϯ८ΓɺιϫχΤ८Γ
   
   
   
   
   
   1SPYZαʔό։ൃɺ0QFO5FMFNFUSZ
3. ෱རްੜͱਓੜͷςί
4. ෱རްੜͱਓੜͷςί JTBΛར༻ͨ॓͠ധ͕೥ؒ3ധ·Ͱ5,000ԁׂҾ ң͕ΜϦεΫݕ਍(ϐϩϦە༗ແ)͕ແྉ Yours࠷ߴͰ͢Ͷʂʂʂʂ ߤۭܥͷձࣾͷ্ڃձһࢿ֨ΛಘΔ ࣗ෼ʹ͋ͬͨΫϨδοτΧʔυΛݟ͚ͭΔ ※શͯIT݈อΛલఏͱ͍ͯ͠·͢
5. ࠓ೔࿩͢͜ͱ SRE (Site Reliability Engineering) ͷجૅ ࣮ફతͳ՝୊ղܾ: GMOϖύϘฤ
6. Site Reliability Engineering
7. Site Reliability Engineering GoogleͰഓΘΕͨγεςϜ؅ཧ ͱαʔϏεӡ༻ͷํ๏࿦ ࠃ಺ʹ͓͍ͯ͸຋༁ຊͷ ొ৔ʹΑͬͯҰؾʹ޿·ͬͨ https://www.oreilly.co.jp/books/9784873117911/
8. –O’REILLY SRE αΠτϦϥΠΞϏϦςΟΤϯδχΞϦϯά 1.2 αʔϏε؅ཧऀ΁ͷGoogleͷΞϓϩʔν “SREͱ͸ɺιϑτ΢ΣΞΤϯδχΞʹ ӡ༻νʔϜͷઃܭΛґཔͨ͠ͱ͖ʹͰ͖͕͋Δ΋ͷͰ͢”
9. DevͱOps ։ൃऀͱӡ༻ऀ͸෼͔Ε͍ͯΔ͜ͱ͕ଟ͍ ։ൃνʔϜ ӡ༻νʔϜ αʔϏε։ൃ ػೳ։ൃ ϦϦʔε αʔϏεӡ༻ Πϯϑϥߏங ো֐ରԠ ϞχλϦϯά
10. Site Reailibility Engineer ιϑτ΢ΣΞͰӡ༻՝୊Λղܾ͢Δ ։ൃνʔϜ ӡ༻νʔϜ αʔϏε։ൃ ػೳ։ൃ ϦϦʔε αʔϏεӡ༻ Πϯϑϥߏங ো֐ରԠ ϞχλϦϯά ιϑτ΢ΣΞ։ൃΛ ࣠ʹӡ༻Λߦ͏
11. Site Reliability Engineer(ing)? Site Reliability Engineer Site Reliability Engineering
12. Reliability = Մ༻ੑ
13. γεςϜʹ͓͚ΔՄ༻ੑͱ͸ γεςϜ͕ར༻Ͱ͖Δঢ়ଶͰ͋Δ͜ͱ γεςϜ͕ܧଓՔಇͰ͖Δ͜ͱ
14. ͳͥWEBαʔϏεͷՄ༻ੑ͕େࣄͳͷ͔ αʔϏεΛར༻Ͱ͖Δ͜ͱ͕ച্ɺརӹͷݯઘ αʔϏε͕࢖͑ͳ͍ˠച্ɺརӹ͕ݮΔˠձࣾͷച্͕ݮΔˠ
 ๻ͷڅྉ͕ݮΔˠ ώϧτϯߦ͚ͳ͍
15. ഁ໓ ϩυϦήε!!1
16. ͜ΕΒΛղܾ͢Δ=SRE SRE͸ϩʔϧͰ͋Γɺٕज़Ͱ͋Γɺ֓೦Ͱ͋Δɻ
 ։ൃऀ΋SREΛ༻͍Δ΂͖ͩ͠ɺ؅ཧऀ΋SREΛ
 ཧղ͢΂͖Ͱ͋Δɻ
 ͳͥͳΒ͹ɺՄ༻ੑ͕୲อ͞Εͯ
 ॳΊͯϢʔβʔ͸αʔϏεΛར༻Ͱ͖Δ͔ΒͰ͋Δ
17. ϩʔϧͱͯ͠ͷSRE
18. SREʹٻΊΒΕΔཁૉ OSʹؔ͢Δ஌ࣝ ιϑτ΢ΣΞ։ൃʹؔ͢Δ஌ࣝ ιϑτ΢ΣΞͰ࣌ؒΛ࡞Δࢥߟ Φϯίʔϧʹର͢Δ੹೚
19. OSʹؔ͢Δ஌ࣝ ϩά͕Ͳ͜ʹ͋Δ͔ʁ(ྫ: /var/log/syslog) ֤छϝτϦΫεͷ֬ೝํ๏͸ʁ(ྫ: cat /proc/meminfo) Ͳ͏͍ͬͨόοϑΝʔ͕͋Δ͔ʁ(ྫ: sysctl xxx) ωοτϫʔΫͷ੍ޚ͸Ͳ͏͔ʁ(ྫ: netstat) ϓϩηεͷঢ়گ͸Ͳ͏͔ʁ(ྫ: ps)
20. ιϑτ΢ΣΞ։ൃʹؔ͢Δ஌ࣝ ൃੜͨ͠՝୊ΛղܾͰ͖͏Δ։ൃྗ ӡ༻͢Διϑτ΢ΣΞʹؔ͢Δ஌ࣝ ύϑΥʔϚϯενϡʔχϯάʹؔ͢Δ஌ࣝ ιʔεɾ࣮ߦঢ়ଶ͔ΒಡΈղ͘ϦόʔεɾΤϯδχΞϦϯάྗ
21. ιϑτ΢ΣΞͰ࣌ؒΛ࡞Δࢥߟ ιϑτ΢ΣΞ͸௕͘ಈ͚͹ಈ͘΄ͲෳࡶʹͳΓɺେن໛ʹͳΔ ɹࠓ೔10݅࡞ۀͨ͠಺༰͸̍೥ޙʹ͸1,000݅ʹͳΔ
22. Φϯίʔϧʹର͢Δ੹೚ Φϯίʔϧ = γεςϜো֐౳Ͱൃੜ͢ΔۓٸରԠ ɹେମɺਂ໷ʹ͓͚Δۓٸݺͼग़͠ͷ͜ͱΛࢦ͢
23. Մ༻ੑ
24. WEBαʔϏεͷՄ༻ੑͷࢦඪ αΠτ͕ར༻Մೳ͔ʁ ϨΠςϯγ͸े෼଎͍͔ʁ ίΞػೳ͕ఏڙͰ͖͍ͯΔ͔ʁ ྫ
25. SLIͱSLO SLI = Service Level Indicator αʔϏεϨϕϧࢦඪ SLO = Service Level Objective αʔϏεϨϕϧ໨ඪ
26. Service Level Indicator αʔϏεϨϕϧࢦඪ ϦΫΤετͷ੒ޭ཰ ϨΠςϯγ όονͷ੒ޭ཰ σʔλύΠϓϥΠϯͷॲཧ࣌ؒ Մ༻ੑͷঢ়ଶΛ൑அ͢ΔࢦඪΛఆΊΔ
27. SLO = Service Level Objective αʔϏεϨϕϧ໨ඪ ϦΫΤετͷ੒ޭ਺͕99.999%Ҏ্ ϨΠςϯγͷ99% Tile͕1.5ඵҎԼͷ֬཰͕99.999Ҏ্ ͲΕ͘Β͍ͷՄ༻ੑΛ୲อ͢Δ͔
28. SLO = Service Level Objective αʔϏεϨϕϧ໨ඪ ͜ͷੈʹ࣮֬ͳ͜ͱ͸΄ͱΜͲͳ͍ 100%ͱ99.999%ͷՄ༻ੑͷؒʹܦࡁ߹ཧੑ͕͋Δ͔ʁ 100%ͱ99.999%ͷҧ͍͸Θ͔Δ͔ʁ ͳͥ100%Λ໨ࢦ͞ͳ͍ͷ͔
29. “SRE͸ɺ͓Αͦ70%ͷαʔϏεো֐͸ ಈ࡞தͷγεςϜͷมߋʹΑͬͯੜ͍ͯ͡Δ͜ͱΛൃݟ͠·ͨ͠” –O’REILLY SRE αΠτϦϥΠΞϏϦςΟΤϯδχΞϦϯά 1.3.5 มߋ؅ཧ
30. WEBαʔϏεʹ͓͚Δมߋ ϦϦʔεɺσϓϩΠ ύϥϝʔλʔมߋ ࣗಈԽ͞ΕͨϓϩηεʹΑΔมߋ ߏ੒มߋ มߋ͢Ε͹͢Δ΄Ͳো֐͕ى͖ΔՄೳੑ͸ߴ·Δ
31. ઈରϦϦʔε͍ͨ͠Ϛϯ vs ઈର໷தʹى͜͞Εͨ͘ͳ͍Ϛϯ
32. ΤϥʔόδΣοτ
33. ΤϥʔόδΣοτ SLO - SLI = ΤϥʔόδΣοτ ΤϥʔόδΣοτͷൣғͰϦϦʔεΛͨ͠Γɺ՝୊ղܾΛ͢Δ ΤϥʔόδΣοτ͕ͳ͘ͳΕ͹ɺγεςϜͷՄ༻ੑΛվળ͢Δඞཁ͕͋Δ
34. ར༻Ͱ͖ͳ͍ ৽ػೳ͸Ձ஋Λ ࢈·ͳ͍
35. ΤϥʔόδΣοτ͕ރׇͨ͠Β΍Δ͜ͱ ൃੜ͍ͯ͠Δ՝୊Λ։ൃऀͱSREͰڠྗͯ͠ղܾ͢Δ ϦεΫͷߴ͍ϦϦʔεΛԆظ͢Δ SREͷ΃ʔδϟʔΛ։ൃνʔϜʹฦ٫͢Δ
36. Ͱ΋େମ͏·͍͔͘ͳ͍͔Β શ෦ɺ͓લ͕௚͢Μͩ!!1
38. τΠϧ
39. τΠϧͱ͸ γεςϜͷӡ༻ʹඞཁ͕ͩɺ௕ظతʹՁ஋ͷͳ͍͜ͱ खಈʹΑΔσϓϩΠ ա৒ϦιʔεΛར༻͢ΔΫϥΠΞϯτͷ੍ݶ Զͷߟ͑ͨ࠷ڧͷεΫϦϓτͷखಈ࣮ߦ αʔϏεͷ੒௕ʹൺྫͯ͠૿͑Δ΋ͷ
40. ͳͥτΠϧΛ๾໓͢Δඞཁ͕͋Δ͔ʁ αʔϏεͷ੒௕ʹൺྫͯ͋͠ͳͨͷ࣌ؒ͸ͳ͘ͳΔ खಈʹΑΔσϓϩΠ → 1೔10ճ͔Β1೔1,000ճ΁ ա৒ϦιʔεΛར༻͢ΔΫϥΠΞϯτͷ੍ݶ → ഭΓ͘ΔDDoS Զͷߟ͑ͨ࠷ڧͷεΫϦϓτͷखಈ࣮ߦ → ࠷ڧͷεΫϦϓτϕετ1000 αʔϏεͷ੒௕ʹൺྫͯ͠૿͑Δ΋ͷ → ͓͚ۚͩ૿͑Ε͹͍͍ͷʹͶ
41. ԿͰ΋๾໓͢Ε͹͍͍ͬͯ࿩Ͱ΋ͳ͍ ൃੜස౓ͱॴཁ࣌ؒ ๾໓͢Δͷʹ͔͔ΔίετͱϕωϑΟοτ τΠϧͷมԽʹର͢Δϝϯςφϯεɾίετ
42. ໦͜ΓͷδϨϯϚ ੾Εͳ͍佁Ͱ ໦Λ੾Γଓ͚ͯ͸ͳΒͳ͍
43. 1೔24࣌ؒ͸͋·Γʹ୹͍ ຖ೔ɺखಈରԠͰ30෼͢Δ࡞ۀ͕ɺࣗಈԽ͢Δͷʹ3͔͔࣌ؒΔͳΒɺ
 1िؒͰճऩͰ͖Δ͔Β͙͢ʹࣗಈԽ͢Δɻ ͦ͏͢Ε͹໌೔͔Β͋ͳͨʹ͸30෼ͷ͕࣌ؒੜ·ΕΔɻ ໌೔ͷࣗ෼ͷ࣌ؒΛ࡞Δͷ͸ࠓ೔ͷࣗ෼Ͱ͋Δ
44. ϞχλϦϯάͱ ΦϒβʔόϏϦςΟ
45. ϞχλϦϯά ࢮ׆؂ࢹ Ϧιʔε؂ࢹ ֎ܗ؂ࢹ γεςϜͷ݈શੑΛ؂ࢹ͢Δ ྫɿαʔόɺαʔϏε͕ىಈ͍ͯ͠Δ͔ʁ ྫɿCPU΍ϝϞϦɺωοτϫʔΫͷঢ়گ͸Ͳ͏͔ʁ ྫɿhttps://pepabo.comΛ֎෦͔ΒΞΫηεͯ͠ར༻Մೳ͔ʁ
46. Ξϥʔτ αʔϏεɺϊʔυμ΢ϯ Ϧιʔεͷա৒ར༻ େྔΞΫηε ؂ࢹɺ؍ଌͨ͠ςϨϝτϦʔσʔλΛ΋ͱʹɺΞϥʔτ͢Δ
47. ΦϒβʔόϏϦςΟ γεςϜͷঢ়ଶΛ֎෦͔Βཧղ͢Δ͜ͱ͕Ͱ͖Δ=ΦϒβʔόϏϦςΟ͕ߴ͍ ͋ΔϦΫΤετͰར༻͞ΕͨϦιʔε͕୳ࡧՄೳͰ͋Δ ͋Δϓϩηεͷॲཧঢ়گ͕֎෦͔ΒΘ͔Δ ϩά͔ΒͲ͏͍ͬͨॲཧ͕ߦΘΕ͍ͯΔͷ͔Θ͔Δ Մ؍ଌੑ=γεςϜͷঢ়ଶ͕֎෦͔ΒखʹऔΔΑ͏ʹΘ͔Δ
48. OpenTelemetryͷΠϕϯτ΍Γ·͢ ࠓɺ׬શʹΩςΔ!!! Telemetryσʔλͷඪ४Խ
49. γεςϜ ো֐ରԠ
50. WEBαʔϏεͰൃੜ͢Δো֐ ਓҝతͳมߋɺϛεʹΑΔো֐ ա৒ͳϦιʔεফඅʹΑͬͯى͜Δো֐ ෺ཧো֐ ఱࡂ ਆͷౖΓ
51. τϥϒϧγϡʔςΟϯάͷϑϨʔϜϫʔΫ ؍ଌ Ծઆ ݕূ ϑΟʔυόοΫ γεςϜ͕ࠓͲ͏͍͏ঢ়گͳͷ͔ɺਪଌͤͣɺ؍ଌ͢Δ ؍ଌͨ͠಺༰͔Β٬؍తʹਖ਼͍͠ͱࢥ͑ΔԾઆΛཱͯΔ ԾઆΛ΋ͱʹΞϓϩʔν͢Δ ݕূͨ݁͠ՌΛ֬ೝ͠ɺ࠶౓؍ଌ͢Δ
52. ো֐ରԠ͸ۃΊͯߴ౓ͳࣄ͕ଟ͍ ։࢝࣌఺ͰϢʔβʔӨڹ͕ग़͍ͯΔ͜ͱ͕ଟ͍ ௕ظԽ=ܦࡁଛࣦʹ௚݁ ؍ଌɺԾઆݕূΛߦ͏ʹ΋ϕʔεͱͳΔ஌͕ࣝඞཁ
53. ݟ͑ͳ͍ఢͱ ઓΘͳ͍
54. Known-Unknowns Known - Knonwns Known - Unknowns Unknown - Unknown –O’REILLY ৄղ γεςϜɾύϑΥʔϚϯε 2.3.8 Known - Unknowns ʮΧϨʔ͸ඒຯ͍͠ʯ ʮΧϨʔͬͯ৯͍෺͸ඒຯ͍Β͍͠ͳʁʯ ʮനถ͕Ұ൪ʂʂ͜ΕҎ֎ߟ͑ΒΕͳ͍ʂʂʂʯ ແ֮ࣗʹ஌Βͳ͍··ຊ൪αʔόʹΞϓϩʔν͠ͳ͍
55. Πϯγσϯτ؅ཧ
56. 責任の所在は 「このパラメーター変えてみたら？」 「サーバ落ちてね？」 この障害いつ頃に収束しますか？ 影響範囲を教えて下さい 何もしてないのに壊れた
57. Πϯγσϯτ؅ཧͷৄࡉ https://speakerdeck.com/hiboma
58. ϙετϞʔςϜ ൃੜͨ͠γεςϜো֐΍Πϯγσϯτʹରͯ͠ɺৼΓฦΓɺจॻԽ͠ɺ
 ࠜຊରԠͷ؅ཧ΍ɺະདྷ΁ͷφϨοδͱ͢Δ ൷൑ɺඇ೉Λආ͚ɺࣄ࣮Λ΋ͱʹͲ͏͢Ε͹վળͰ͖Δ͔Λߟ͑Δ
59. ࠜຊରԠ͸ ৸͔ͤͯ͸ͳΒͳ͍
60. ো֐͸ࠓ໷΋ى͖Δ DDoS߈ܸ ಛఆͷϢʔβʔʹىҼ͢ΔύϑΥʔϚϯεͷ໰୊ σʔλϕʔεͷϩοΫʹΑΔτϥϯβΫγϣϯͷ஗Ԇ ۮൃతʹൃੜͨ͠ࣄ৅͸ɺ࣍ͷॠؒʹ΋ى͖ΔՄೳੑ͕͋Δ
61. ࣮ફSRE
62. ύϑΥʔϚϯεɾνϡʔχϯά
63. ͳͥύϑΥʔϚϯεɾνϡʔχϯά͕େࣄ͔ Ϣʔβʔମݧͷ޲্ ίετμ΢ϯ ϨεϙϯελΠϜ͸ച্ʹ௚݁͢Δ CPU࣌ؒ = ίετ
64. N+1໰୊ ID Name Department ID 1 A 1 2 B 2 3 C 3 4 D 4 ID Name 1 ૯຿෦ 2 ܦཧ෦ 3 ٕज़෦ 4 ୎ٿ෦ ैۀһςʔϒϧ ෦ॺςʔϒϧ ͢΂ͯͷैۀһͷ෦ॺ໊Λऔಘ͍ͨ͠
65. N+1໰୊ result = query(“SELECT * FROM ैۀһςʔϒϧ”) result.each do |r| dr = query(“SELECT * FROM ෦ॺςʔϒϧ WHERE ID = #{result[‘Department ID’]}”) end O(n²)Ͱޮ཰͕ѱ͍
66. N+1໰୊ result = query(“SELECT ɹɹɹɹɹɹɹ * ɹɹɹɹɹɹɹFROM ैۀһςʔϒϧ INNER JOIN ෦ॺςʔϒϧ ON ैۀһςʔϒϧ.ID = ෦ॺςʔϒϧ.ID”) ݁߹͢Δ͜ͱͰܭࢉྔΛ࡟ݮ
67. ύϑΥʔϚϯεͷ՝୊ΛͲ͏ݟ͚ͭΔ͔ Application Performance Management Tool DataDog Grafana Sentry
68. ա৒ͳτϥϑΟοΫ΁ͷରԠ
70. ECαʔϏεʹେྔΞΫηε͸͖ͭ΋ͷ ͓٬༷ͷݶఆ঎඼ൢചͳͲʹΑΔେྔΞΫηε ΧʔτϘοτʹΑΔෆਖ਼ͳେྔΞΫηε DDoS߈ܸ
71. Slack͔ΒIP੍ݶ Slack͕UIʹͳΔͱ ୭Ͱ΋ରԠ͕ՄೳʹͳΔ͠ ରԠ಺༰͕ཤྺʹ࢒Δ
72. ΞΫηεूத
73. ʮϨʔτϦϛοτΛ
    ͔͚ΔͱͲ͏ͳΔʁʯ
74. ஌ΒΜͷ͔ʁ
75. ΤΠοʂʂʂ ঎඼͕
    ചΕͳ͘ͳΔͷͩ
76. ৄղϨʔτϦϛοτʹΑΔܦࡁଛࣦ 1. େྔΞΫηε͕ൃੜ͢Δ 2. ϨʔτϦϛοτΛ͔͚Δ 3. ঎඼ʹΞΫηε͕Ͱ͖ͳ͍ͷͰചΕͳ͘ͳΔ 4. ঎඼͕ചΕͳ͍ͱ͓٬༷γϣοϓͷച্্͕͕Βͳ͍ 5. ͓٬༷ͷച্্͕͕Βͳ͍ͱΧϥʔϛʔͷച্্͕͕Βͳ͍ 6. ձࣾͷച্্͕͕Βͳ͍ 7.Զͷڅྉ্͕͕Βͳ͍!!!ώϧτϯʹߦ͚ͳ͍!!1
77. Ծ૝଴߹ࣨ ઌணॱʹྲྀྔ੍ޚ͠ͳ͕Β
 αΠτ΁Ҋ಺͢Δ͜ͱͰ ߴෛՙ࣌Ͱ΋҆ఆͨ͠ΞΫηε͕Մೳ
78. Ծ૝଴߹ࣨ֓ཁ proxy role nginx waiting room proxy role nginx waiting room proxy role nginx waiting room proxy role nginx waiting room proxy role nginx waiting room proxy role nginx waiting room proxy role nginx waiting room ڐՄϦετ Site A 200 Site B ... Site C ... ΫϥΠΞϯτʹ଴ͪ൪߸Λ࠾൪ͯ͠ɺڐՄϦετͷ൪߸ΑΓ
    খ͍͞൪߸Λ͍࣋ͬͯΕ͹Ұఆ࣌ؒΞΫηε͕Մೳ Client A ΫϥΠΞϯτ൪߸:100 ΞΫηεڐՄ Client B ΫϥΠΞϯτ൪߸:300 ଴߹ࣨ΁
79. https://speakerdeck.com/pyama86/godeshi-zhuang-saretagao-su-na-jia-xiang-dai-he-shi-sabanoshi-zhuang-toxiang-jie
80. σϦόϦʔ
81. σϓϩΠͷ ޫͱҋ
82. 届ける価値 ステージングと異なるマスター 「検証環境では動いたんですけど」 環 境 変 数 このCI、パスしてるけど テストされてないじゃん 急ぎなので、緊急リリースします fi x typお
83. “SRE͸ɺ͓Αͦ70%ͷαʔϏεো֐͸ ಈ࡞தͷγεςϜͷมߋʹΑͬͯੜ͍ͯ͡Δ͜ͱΛൃݟ͠·ͨ͠” –O’REILLY SRE αΠτϦϥΠΞϏϦςΟΤϯδχΞϦϯά 1.3.5 มߋ؅ཧ ࠶ܝ
84. ϦϦʔε ϑϥά
85. ϦϦʔεϑϥάͷجຊ ϦϦʔεϑϥά ɹ֎෦ͷαʔόͱ࿈ܞͯ͠ɺιʔεΛมߋ͢Δ ɹ͜ͱͳ͘ɺΞϓϦέʔγϣϯͷڍಈΛ ɹมߋͰ͖Δ <?php /** * ఻આͷϢχίʔϯػೳϦϦʔε؅ཧ * NOTE: Ϣχίʔϯػೳ͸·ͩ఻આϨϕϧɻੈք͕४ උͰ͖͍ͯͳ͍Մೳੑ͋Γɻ */ if ($isUnicornReleased) { echo "🦄΢ϗοʂϢχίʔϯΛղ์͠Ζʂ🌈"; } else { echo "🙈·ͩͩɺϢχίʔϯ͸಺ॹͩΑʙ"; } ?>
86. ಛఆͷϢʔβʔͷΈϦϦʔε N%ͷϢʔβʔͷΈϦϦʔε ஈ֊తͳϦϦʔε͕ՄೳͳͷͰ ӨڹൣғΛݶఆͯ͠ϦϦʔε͕Ͱ͖Δ
87. ϓϩάϨογϒ σϦόϦʔ
88. ϓϩάϨογϒσϦόϦʔ ϓϩάϨογϒ ʦ໊ɾܗಈʧਐาతͳ͞·ɻֵ৽తͳ͞·ɻ·ͨɺਐาओٛऀɻ※1 ΧφϦΞϦϦʔεͳͲΛར༻ͯ͠ঃʑʹΞϓϦέʔγϣϯΛϦϦʔε͠ɺ ϝτϦΫεΛ௨ͯ͡ΞϓϦέʔγϣϯ͔Β৘ใΛऩूͯ͠ɺ ϑΟʔυόοΫ੍ޚ͠ͳ͕Β҆શʹιϑτ΢ΣΞΛϦϦʔε͢Δख๏ ※1 https://kotobank.jp/ΑΓ
89. ϓϩάϨογϒσϦόϦʔ ܧଓతσϦόϦʔͱ ϓϩάϨογϒσϦόϦʔ ϓϧϦΫΤετ ςετ ΧφϦΞϦϦʔε ϞχλϦϯά ϦϦʔε ϩʔϧόοΫ ܧଓతσϦόϦʔ ϓϩάϨογϒɾσϦόϦʔ ϓϧϦΫΤετ ϦϦʔε ςετ
90. ϦϦʔεํࣜ ୅දతͳϦϦʔεํࣜ ΧφϦΞϦϦʔε App App App App 25%͚ͩϦϦʔε͢Δ ϩʔϦϯάϦϦʔε App App App App ஈ֊తʹ৽͘͠ϦϦʔε͢Δ BlueGreenϦϦʔε App App ৽͍͠ϦϦʔεͷάϧʔϓΛ࡞Δ App App Ұ؏ੑ͕͋Γɺ੾Γ໭͠΋༰қ͕ͩ Ϧιʔε͕ഒඞཁʹͳΔ Өڹൣғ͕ݶఆ͞ΕΔ͕ɺ ΞϓϦέʔγϣϯͷ Ұ؏ੑ͸ଛͳΘΕΔ ΧφϦΞϦϦʔεͱ Ұॹʹར༻͞ΕΔ͜ͱ͕ଟ͍
91. ϞχλϦϯά • ΞϓϦέʔγϣϯΤϥʔͷൃੜ਺ • HTTPεςʔλείʔυͷมԽ • HTTPϨΠςϯγʔͷมԽ ϝτϦΫεͷѱԽͰࣗಈͰϩʔϧόοΫ͢Δ
92. GMOϖύϘ͸Kubernetes͸Argo RolloutsΛར༻ Argo Rollouts OpenSource GitOps Istio/Nginx Ingress
93. GMOϖύϘ͸Kubernetes͸Argo RolloutsΛར༻
94. VM͸OSSΛ։ൃ 1. github.com(or GHES)ΛϙʔϦϯά 2. ϦϦʔε͕͋Ε͹μ΢ϯϩʔυ 3. 1୆σϓϩΠ͢Δ 4. ࢦఆ࣌ؒϔϧενΣοΫ͕௨Ε͹ɺ શ୆ϦϦʔεɺ௨Βͳ͚Ε͹ϩʔϧ όοΫ https://ten-snapon.com/archives/2972
95. ࠓ೔࿩ͨ͜͠ͱ • Մ༻ੑ͕୲อͰ͖ͯॳΊͯച্্͕͕Δ • SRE͸SREngneer͚͕࣮ͩફ͢Δ΋ͷͰ͸ͳ͘ɺ؅ཧऀɺ։ൃऀ΋
 ࣮ફ͢Δඞཁ͕͋Δ • SREͷεΩϧཁ݅͸ଟذʹΘͨΓɺਂ͍ • Մ༻ੑͷ޲্ʹඞཁͳ͜ͱͰ͋Ε͹ͳΜͩͬͯ΍͍͍ͬͯ
96. ࣾ֎ʹͲΜͲΜग़ͯ͘ͷ͓͢͢Ί https://pyama.fun/archives/4730
97. ೖࣾͯ͘͠Εͯຊ౰ʹ͋Γ͕ͱ͏ʂ Πϕϯτ΍Δ͔ΒདྷͯͶˠ !QFQBCP