AI時代におけるSRE、 あるいはエンジニアの生存戦略

AI時代におけるSRE、あるいはエンジニアの生存戦略 - Infra Study Returns#2でお話しました。

Transcript

1. AI࣌୅ʹ͓͚ΔSREɺ ͋Δ͍͸ΤϯδχΞͷੜଘઓུ εϚϒϥɺ͍ͭ·Ͱܦͬͯ΋VIPʹͳΕͳ͍ΜͰ͚͢Ͳฤ
2. ࢁԼ
   ࿨඙
   
   !QZBNB
   (.0ϖύϘ
   ٕज़ج൫νʔϜ
   
   
   γχΞɾϓϦϯγύϧ
   
   
   ɹΩϟϯϓɺཱྀߦɺώϧτϯ८ΓɺεϚϒϥ
   
   
   
   
   
   ػցֶशɺ$*$%
3. OpenAIͷ༂ਐʹΑΓɺզʑͷ࢓ࣄ͸AIͱ͸
 ੾ͬͯ΋੾Γ཭ͤͳ͍࣌୅ͱͳΓ·ͨ͠ɻ
 ࢲ͸ਖ਼௚10೥લʹ͜͏ͳΔ͜ͱΛ·ΔͰ༧૝
 Ͱ͖·ͤΜͰͨ͠ɻ 
 AIͷൃలʹΑΓɺࠓޙՃ଎౓తʹมԽ͍ͯ͘͠Ͱ ͋Ζ͏ΤϯδχΞͷ࢓ࣄʹ͍ͭͯɺSREͱͯ͠ͷ ཱ৔͔Βߟ͑ͯΈ͍ͨͱࢥ͍·͢ɻ
4. ࠓ೔࿩͢͜ͱ • େن໛ݴޠϞσϧ(LLM) • LLMΛར༻ͨ͠αʔϏεͷࣄྫ • Site Reliability Engineering (SRE) • SREͱLLMͷؔΘΓ • ϓϩϯϓτɾΤϯδχΞϦϯά • ΤϯδχΞͷੜଘઓུ
5. େن໛ݴޠ
   Ϟσϧ
6. େن໛ݴޠϞσϧͱ͸(LLM) • ๲େͳςΩετσʔλΛ༻͍ͯࣗવݴޠॲཧλεΫΛߦ͏ͨΊʹઃܭ͞Ε ͨػցֶशϞσϧ • ༩͑ΒΕͨจ຺ʹج͍ͮͯ࣍ʹདྷΔ୯ޠ΍ϑϨʔζͷग़ݱ֬཰Λ༧ଌ ʮࠓ೔ͷఱؾ͸ʁʯ 1.݄༵೔ 2. ΧϨʔύϯ 3.੖Ε
7. LLM͕ੜΜͩมԽ • ίʔσΟϯά࡞ۀͳͲͷࣗಈԽ • จষͷཁ໿΍ղઆ • ը૾ɺಈըੜ੒ • όοΫΦϑΟεͷ࡞ۀޮ཰Խ
8. ίʔσΟϯά࡞ۀͷࣗಈԽ • ࣮૷ͷαδΣετ • ςετ࣮૷ͷࣗಈԽ • ϦϑΝΫλϦϯάͷఏҊ
9. จষͷཁ໿΍ղઆ • ௕͍ӳޠ࿦จͷ຋༁ɺཁ໿ • SlackͳͲͷσΟεΧογϣϯͷཁ໿ • ಡॻͰΘ͔Βͳ͔ͬͨՕॴΛChatGPTΛ΋͍ͪͯ୳ࡧతʹཧղ
10. ը૾ɺಈըੜ੒ • ςΩετ͔Βը૾ͷੜ੒͕༰қʹͳͬͨ • Soraͷিܸ • https://openai.com/index/sora/
11. όοΫΦϑΟεͷ࡞ۀͷޮ཰Խ • SQLͷࣗಈੜ੒ • εϓϨουγʔτͷ೉ղͳ਺ࣜͷ࣮૷ • DifyͳͲͷϫʔΫϑϩʔπʔϧͷීٴ
12. tblsͷεΩʔϚσʔλΛAIʹೖྗ͠
 ࣗવݴޠ͔ΒΫΤϦΛࣗಈੜ੒ https://github.com/kromiii/tbls-ask-agent-slack
13. --.Λར༻ͨ͠ αʔϏεͷࣄྫ
14. ςΩετΤσΟλ • GitHub Copilot • ϓϥάΠϯͱ༷ͯ͠ʑͳΤσΟλͱ࿈ܞՄೳ • Cursor • VS CodeΛϑΥʔΫͯ͠ɺAIωΠςΟϒͳମݧ͕ՄೳͳΤσΟλ
15. ਪનγεςϜ εϦεϦAIνϟοτʢβʣ
16. OpenAIͰϢʔβʔͷจষΛ
 ݕࡧՄೳͳจݴ΁มߋͯ͠ɺ SUZURIͷ঎඼Λݕࡧ LangChain LangChainͰੜ੒ͨ͠৘ใΛ΋ͱʹΫΤϦ https://js.langchain.com/docs/modules/chains/popular/api
17. Ϣʔβʔͷೖྗิॿ • B/43 AIϨγʔτಡΈऔΓػೳ ※1 • ΧϥʔϛʔAIΞγελϯτ(β) ※1 https://b43.jp/news/entry/feature-update-self-input ΑΓը૾ΛҾ༻
18. Site Reliability Engineering
19. Site Reliability Engineering GoogleͰഓΘΕͨγεςϜ؅ཧ ͱαʔϏεӡ༻ͷํ๏࿦ ࠃ಺ʹ͓͍ͯ͸຋༁ຊͷ ొ৔ʹΑͬͯҰؾʹ޿·ͬͨ https://www.oreilly.co.jp/books/9784873117911/
20. –O’REILLY SRE αΠτϦϥΠΞϏϦςΟΤϯδχΞϦϯά 1.2 αʔϏε؅ཧऀ΁ͷGoogleͷΞϓϩʔν “SREͱ͸ɺιϑτ΢ΣΞΤϯδχΞʹ ӡ༻νʔϜͷઃܭΛґཔͨ͠ͱ͖ʹͰ͖͕͋Δ΋ͷͰ͢”
21. SREͷ໾ׂ • ϞχλϦϯάͱՄ؍ଌੑͷ޲্ • Πϯγσϯτ؅ཧͱ෮چରԠ • ࣗಈԽͱޮ཰Խ
22. ϞχλϦϯά ࢮ׆؂ࢹ Ϧιʔε؂ࢹ ֎ܗ؂ࢹ γεςϜͷ݈શੑΛ؂ࢹ͢Δɺਓʑ͕ೳಈతʹߦ͏ߦҝ ྫɿαʔόɺαʔϏε͕ىಈ͍ͯ͠Δ͔ʁ ྫɿCPU΍ϝϞϦɺωοτϫʔΫͷঢ়گ͸Ͳ͏͔ʁ ྫɿhttps://pepabo.comΛ֎෦͔ΒΞΫηεͯ͠ར༻Մೳ͔ʁ
23. ΦϒβʔόϏϦςΟ γεςϜͷঢ়ଶΛ֎෦͔Βཧղ͢Δ͜ͱ͕Ͱ͖Δ=ΦϒβʔόϏϦςΟ͕ߴ͍ ͋ΔϦΫΤετͰར༻͞ΕͨϦιʔε͕୳ࡧՄೳͰ͋Δ ͋Δϓϩηεͷॲཧঢ়گ͕֎෦͔ΒΘ͔Δ ϩά͔ΒͲ͏͍ͬͨॲཧ͕ߦΘΕ͍ͯΔͷ͔Θ͔Δ Մ؍ଌੑ=γεςϜͷঢ়ଶ͕֎෦͔ΒखʹऔΔΑ͏ʹΘ͔Δ
24. Πϯγσϯτ؅ཧ
25. 責任の所在は 「このパラメーター変えてみたら？」 「サーバ落ちてね？」 この障害いつ頃に収束しますか？ 影響範囲を教えて下さい 何もしてないのに壊れた
26. Πϯγσϯτ؅ཧͷৄࡉ https://speakerdeck.com/hiboma
27. ϙετϞʔςϜ ൃੜͨ͠γεςϜো֐΍Πϯγσϯτʹରͯ͠ɺৼΓฦΓɺจॻԽ͠ɺ
 ࠜຊରԠͷ؅ཧ΍ɺະདྷ΁ͷφϨοδͱ͢Δ ൷൑ɺඇ೉Λආ͚ɺࣄ࣮Λ΋ͱʹͲ͏͢Ε͹վળͰ͖Δ͔Λߟ͑Δ
28. ࣗಈԽͱޮ཰Խ
29. τΠϧͱ͸ γεςϜͷӡ༻ʹඞཁ͕ͩɺ௕ظతʹՁ஋ͷͳ͍͜ͱ खಈʹΑΔσϓϩΠ ա৒ϦιʔεΛར༻͢ΔΫϥΠΞϯτͷ੍ݶ Զͷߟ͑ͨ࠷ڧͷεΫϦϓτͷखಈ࣮ߦ αʔϏεͷ੒௕ʹൺྫͯ͠૿͑Δ΋ͷ
30. ͳͥτΠϧΛ๾໓͢Δඞཁ͕͋Δ͔ʁ αʔϏεͷ੒௕ʹൺྫͯ͋͠ͳͨͷ࣌ؒ͸ͳ͘ͳΔ खಈʹΑΔσϓϩΠ → 1೔10ճ͔Β1೔1,000ճ΁ ա৒ϦιʔεΛར༻͢ΔΫϥΠΞϯτͷ੍ݶ → ഭΓ͘ΔDDoS Զͷߟ͑ͨ࠷ڧͷεΫϦϓτͷखಈ࣮ߦ → ࠷ڧͷεΫϦϓτϕετ1000 αʔϏεͷ੒௕ʹൺྫͯ͠૿͑Δ΋ͷ → ͓͚ۚͩ૿͑Ε͹͍͍ͷʹͶ
31. SREͱLLMͷؔΘΓ • Ξϥʔτͷ෼ੳ • ΦϖϨʔγϣϯͷิॿ
32. Ξϥʔτͷ෼ੳ • දࣔ͞ΕͨΤϥʔΛLLMͰ
 ෼ੳͨ͠Γɺղܾํ๏Λ
 ฉ͍ͨΓ
33. ΦϖϨʔγϣϯͷิॿ • TerraformͷఆٛͳͲɺ೔ৗ తͳߏங͸ࣗಈԽ
34. afaΛར༻ͨ͠ΦϖϨʔγϣϯͷࣗಈԽ ʮλʔϛφϧϑϨϯυϦʔͳAIίϚϯυɺafaΛ࡞ͬͨʯ
 https://blog.monochromegane.com/blog/2024/09/16/afa/ $ P=“഑Լʹ͋ΔgoͰऴΘΔϑΝΠϧͷҰཡΛग़ྗͯ͠" % afa new -script -Q -j command_suggestion -p $P | jq -r ". | fromjson|.suggested_command" fi nd . -type f -name '*.go'
35. LLMΛ༻͍ͨ
 ٕज़ྖҬͷ֦ு
36. LLMΛ༻͍ٕͨज़ྖҬͷ֦ு ࣮ྫ: ػցֶशΛ΋͍ͪͨΞΫηε੍ޚ
37. େྔΞΫηε ػցֶशΛ΋͍ͪͨΞϓϩʔν ECαΠτʹର͢Δɺपظੑ΍URLͷϢχʔΫੑΛ ػցֶशΛ΋͍ͪͨϞσϧͰ൑ఆ͠ɺࣗಈͰϒϩοΫ
38. Known Unknowns͔ΒKnown Knowns΁ • Known-Knowns ɹɹ஌͍ͬͯΔ͜ͱ • Known-Unknowns ɹɹ஌Βͳ͍͜ͱΛ஌͍ͬͯΔ • Unknown-Unknown ɹɹ஌Βͳ͍͜ͱΛ஌Βͳ͍ LLMΛར༻͢Δ͜ͱͰɺ ଘࡏΛ஌͍ͬͯΔٕज़Λ༻͍ͯ ࣮ݱ͢Δ͜ͱ͕ൺֱతʹ༰қʹͳͬͨ
39. ༨ஊɿϓϩϯϓτ ΤϯδχΞϦϯά
40. ϓϩϯϓτɾΤϯδχΞϦϯά • ϓϩϯϓτΛ௨ͯ͡ɺ࠷దͳճ౴ΛಘΔͨΊͷςΫχοΫ • ϓϩϯϓτɾεΫʔϧͷΑ͏ͳϏδωε΋͋Γɺʮ͋ͳͨ͸ʓʓͰ͢ʯͷ Α͏ʹ໾ׂΛ༩͑ΔΑ͏ͳςΫχοΫ΍ɺϒϥοΫϘοΫεͳ࣮૷ʹ͍ͭ ͯɺޮՌతͳʓʓͱ͍͏Α͏ʹਧௌ͢ΔςΫχοΫʹ͍ͭͯ͸pyama͸ջ ٙతͰ͢
41. ࣮ྫ:ϓϩͷϓϩάϥϚ Լهͷ࣮૷ΛϦϑΝΫλϦϯά͍ͯͩ͘͠͞ɻ p (1..10).map { |n| n**n.to_s.reverse.to_i % 11 }.join.chars.uniq.sort unique_sorted_chars result = (1..10).map do |n| exponent = n.to_s.reverse.to_i n**exponent % 11 end unique_sorted_digits = result.join.chars.uniq.sort p unique_sorted_digits
42. ࣮ྫ:ϓϩͷϓϩάϥϚ ͋ͳͨ͸ϓϩͷϓϩάϥϚͰ͢ɻ Լهͷ࣮૷ΛϦϑΝΫλϦϯά͍ͯͩ͘͠͞ɻ p (1..10).map { |n| n**n.to_s.reverse.to_i % 11 }.join.chars.uniq.sort result = (1..10).map do |n| power_result = n**n reversed_number = power_result.to_s.reverse.to_i reversed_number % 11 end unique_sorted_chars = result.join.chars.uniq.sort p unique_sorted_chars
43. ΤϯδχΞͷ ੜଘઓུ
44. ͲͷΑ͏ͳ࢓ࣄ͕࢒Δ͔ʁ • LLMͷग़ྗͷਅآΛݟۃΊΔΤϯδχΞ • LLMͷάϧʔ࣮૷ͱͯ͠ͷΤϯδχΞ • ֶशσʔλΛ৽ͨʹੜΈग़ͨ͢ΊͷΤϯδχΞ
45. LLMͷग़ྗͷਅآΛݟۃΊΔΤϯδχΞ • ϋϧγωʔγϣϯ • ӕΛݟൈ͚ͳ͍ͱΠϯλʔωοτΛ࢖͏ͷ͸೉͍͠ by ੢ଜͻΖΏ͖
46. LLMͷάϧʔ࣮૷ͱͯ͠ͷΤϯδχΞ • ݱঢ়͸ਓ͕ؒԿ͔͠ΒͷೖྗΛ༩͑ɺͦΕΛ΋ͱʹLLM͕ճ౴Λੜ੒͢Δ • RAG΍LangChainʹ͍ͭͯ΋ݱঢ়Ͱ͸ಉ༷ͷঢ়گʹ͋Δ
47. ֶशσʔλΛ৽ͨʹੜΈग़ͨ͢ΊͷΤϯδχΞ • LLM͸ਓྨ͕ੜ࢈ͨ͠๲େͳ৘ใΛֶश͍ͯ͠Δ • ྫ͑͹ίϯϐϡʔλʔݴޠ΍OSͷൃలʹ௚઀తʹLLM͕͙͢ʹ௚઀తʹ د༩͢Δ͔ʁ
48. ݱঢ়Ͱ͸LLM͕޲͍͍ͯͳ͍͜ͱ • όϦσʔγϣϯ • ܾఆͷ࠷ऴ൑அ
49. όϦσʔγϣϯ • LLM͸Ұఆͷ֬཰ͰޡΓΛൃੜͤ͞Δ • ϢʔβʔϑΥʔϜͷೖྗͷνΣοΫͱ͔͸·ͩϧʔϧϕʔεͷ΄͏͕֬౓ ͕ߴ͍έʔε͕͋Δ
50. ܾఆͷ࠷ऴ൑அ • ྫ͑͹څ༩ͷৼࠐઌࢦఆͷࣗಈԽͰLLMʹ೚ͤΒΕΔ͔Ͳ͏͔ʁ • AmazonͰຖ݄ࣗ෼ʹඞཁͳ΋ͷΛࣗಈߪೖ೚ͤΒΕΔ͔Ͳ͏͔ʁ
51. ͜ͷઌLLM͸Ͳ͏ͳ͍͔ͬͯ͘ • ϓϥοτϑΥʔϜͱͯ͠ͷLLM • ϩʔΧϧ࣮ߦ͞ΕΔLLM
52. ϓϥοτϑΥʔϜͱͯ͠ͷLLM • ༏ΕͨLLM࡞੒͢Δʹ͸๲େͳίϯϐϡʔςΟϯάϦιʔε͕ඞཁͰ͋Γɺ ࢿຊྗ͕ඞཁ • iOSɺAndroidɺGCPɺAWSͷΑ͏ʹϓϥοτϑΥʔϜԽ͕ࠓޙਐΉ
53. ϩʔΧϧͰ࣮ߦ͞ΕΔLLM • ਫ਼౓͸ྼΔ͕ɺػඍͳ৘ใͳͲΛѻ͏ͨΊͷܰྔϞσϧ͕ϩʔΧϧͰಈ͘ • LLM + RAG ΋͘͠͸ɺϩʔΧϧͰಈ͘AI AgentͷΑ͏ͳ΋ͷͰ৘ใ࿈ܞ] • “LLM for SRE“ͷੈք୳ࡧ ※ ※ https://blog.yuuk.io/entry/2024/the-world-of-llm4sre
54. ͜ͷઌpyama͸Ͳ͏͍͔ͯ͘͠ • ܧଓతͳجૅ஌ࣝͷݚᮎ • ٕज़తͳ໘ന͞ΛٻΊͯ • ৘ใͷਅآΛݟΔྗΛཆ͏
55. ܧଓతͳجૅ஌ࣝͷݚᮎ • ͜Ε·ͰͱมΘΒͣɺKnownsͳྖҬΛ͍͔ʹ૿΍͔͕͢େࣄ • ޿͘ɺਖ਼͘͠ཧղ͢ΔൣғΛ޿͛Δ͜ͱͰLLMΛ׆༻͢Δ͜ͱͰΑΓେ͖ ͍όϦϡʔΛੜΉ͜ͱ͕Ͱ͖Δ
56. ٕज़తͳ໘ന͞ΛٻΊͯ • ݸਓతʹ͸Kubernetes͕ग़͖ͯͨͱ͖ͱࣅͨɺࣗ෼͸࢖͏ଆͰ͋Δɺ
 ແྗײɺ໘ന͘ͳ͞Έ͍ͨͳ΋ͷ͸ਖ਼௚ײ͍ͯ͡Δ • fujiwara͞Μͷ伱ؒՈ۩ͷߟ͑ํ • ϓϥοτϑΥʔϜͷ্Ͱҧ͍ΛੜΉݯઘ͸ٕज़ྗͰ͋Δ͜ͱ͸͜Ε·Ͱͱ มΘΒͳ͍
57. ৘ใͷਅآΛݟΔྗΛཆ͏ • ΤϯδχΞϦϯάʹؔΘΒͣɺ৘ใͷਅآɺ෺ࣄͷળ͠ѱ͠ɺےͷྑ͞ѱ ͞ΛݟۃΊΔೳྗ • UnknownsͳྖҬʹ͍ͭͯ΋ࣗ෼ͷ౔ඨʹҾ͖ࠐΜͰKnownsʹ͢Δೳྗ • γωΫυΩ୳ࡧΛ਎ʹ͚ͭΔ ※ ※ಠֶେશ https://www.diamond.co.jp/book/9784478108536.html
58. –Platon ୳ٻͷύϥυοΫε “୳ٻ͢Δର৅Λ஌Βͳ͚Ε͹ɺͦ΋ͦ΋୳ٻͰ͖ͳ͍ɻ ͔ͦ͠͠ͷର৅Λ஌͍ͬͯΕ͹୳ٻ͢Δඞཁ͕ͳ͍”
59. 5IBOLT ࠷৽ͷ࠾༻৘ใΛνΣοΫˠ !QC@SFDSVJU