Upgrade to Pro — share decks privately, control downloads, hide ads and more …

2024年版 運用者たちのLLM

nwiizo
September 06, 2024

2024年版 運用者たちのLLM

Cloud Operator Days 2024 クロージングイベント
https://cloudopsdays.com/closing/

とても、端的に言うと「プロンプトエンジニアリングをしよう」って話。
この発表資料は、LLM(大規模言語モデル)によるIT運用の可能性と課題を探っています。AIOpsの概念を基に、LLMがインシデント対応、ドキュメンテーション、コード分析などの運用タスクをどのように改善できるかを説明しています。同時に、LLMの「幻覚」や不完全性といった課題も指摘し、適切な利用方法やプロンプトエンジニアリングの重要性を強調しています。

登壇時ブログ
https://syu-m-5151.hatenablog.com/entry/2024/09/06/154607

nwiizo

September 06, 2024
Tweet

More Decks by nwiizo

Other Decks in Technology

Transcript

  1. ໨࣍ w "CPVUTIBLF ޿ࠂ  w --.ʹΑΔӡ༻ɺෆ౎߹ͳਅ࣮ w "*0QTʹ͍ͭͯ w

    --.ͱ޲͖߹͍ͬͯ͘ w ֤ྖҬʹ͓͍ͯ--.ͷ׆༻͢Δҝʹ w ·ͱΊ
  2. ӡ༻ऀ͕֤ྖҬͰ௚໘͢Δ--.ͷ׆༻ wΠϯγσϯτରԠͱ໰୊ղܾ w --.͸աڈͷΠϯγσϯτϨϙʔτ΍ٕज़จॻΛֶश͠ɺྨࣅࣄྫͷਝ଎ͳಛఆ΍ղܾࡦͷఏҊΛߦ͏͜ ͱ͕Ͱ͖·͢ɻ͜ΕʹΑΓɺӡ༻ऀͷ໰୊ղܾೳྗ͕ڧԽ͞Εɺμ΢ϯλΠϜͷ࡟ݮʹͭͳ͕Γ·͢ɻ wυΩϡϝϯςʔγϣϯͱ஌ࣝ؅ཧ w --.Λ׆༻͢Δ͜ͱͰɺٕज़จॻͷ࡞੒΍ߋ৽ɺ2"γεςϜͷߏங͕ޮ཰Խ͞Ε·͢ɻ͜ΕʹΑΓɺ νʔϜશମͷ஌ࣝڞ༗͕ଅਐ͞Εɺ৽ਓΦϯϘʔσΟϯά΋༰қʹͳΓ·͢ɻ wίʔυ෼ੳͱϦϑΝΫλϦϯά

    w --.͸ίʔυͷ඼࣭෼ੳ΍ϕετϓϥΫςΟεͷఏҊΛߦ͏͜ͱ͕Ͱ͖·͢ɻӡ༻ऀ͸͜ΕΛ׆༻ͯ͠γ εςϜͷอकੑͱޮ཰ੑΛ޲্ͤ͞Δ͜ͱ͕Ͱ͖·͢ɻ wࣗવݴޠʹΑΔΫΤϦͱ෼ੳ w --.Λհͯࣗ͠વݴޠͰσʔλϕʔε΍ϩάϑΝΠϧʹΫΤϦΛߦ͏͜ͱ͕ՄೳʹͳΓ·͢ɻ͜ΕʹΑ Γɺٕज़తͳ஌͕ࣝݶΒΕ͍ͯΔӡ༻ऀͰ΋ෳࡶͳσʔλ෼ੳ͕ՄೳʹͳΓ·͢ɻ wΧελϚʔαϙʔτͷڧԽ w --.Λ׆༻ͨ͠νϟοτϘοτ΍αϙʔτγεςϜʹΑΓɺҰ࣍ରԠͷࣗಈԽͱ඼࣭޲্͕࣮ݱ͠·͢ɻ ӡ༻ऀ͸ෳࡶͳ໰୊ʹूத͢Δ͜ͱ͕Ͱ͖ɺϢʔβʔຬ଍౓ͷ޲্ʹͭͳ͕Γ·͢ɻ wηΩϡϦςΟ෼ੳͱڴҖݕग़ w --.͸ηΩϡϦςΟϩά΍ڴҖΠϯςϦδΣϯεΛ෼ੳ͠ɺҟৗΛݕग़ͨ͠Γɺ৽ͨͳڴҖύλʔϯΛࣝ ผͨ͠Γ͢Δ͜ͱ͕Ͱ͖·͢ɻӡ༻ऀ͸͜ΕΛ׆༻ͯ͠ɺϓϩΞΫςΟϒͳηΩϡϦςΟରࡦΛߨ͡Δ͜ ͱ͕Ͱ͖·͢ɻ w༧ଌతϝϯςφϯε w --.͸༷ʑͳσʔλιʔεΛ౷߹ɾ෼ੳ͠ɺγεςϜো֐΍ੑೳ௿ԼΛ༧ଌ͢Δ͜ͱ͕Ͱ͖·͢ɻӡ༻ऀ ͸͜ͷ৘ใΛجʹɺࣄલʹରࡦΛߨ͡Δ͜ͱ͕ՄೳʹͳΓ·͢ɻ  ίʔυ෼ੳ υΩϡϝϯςʔγϣϯ ΠϯγσϯτରԠ ༧ଌతϝϯςφϯε ηΩϡϦςΟ෼ੳ ΧελϚʔαϙʔτ ࣗવݴޠʹΑΔΫΤϦ ͍Ζ͍Ζͱ΍ΕΔ͜ͱ͋ΔΒ͍͕͠ ࣮ࡍʹऔΓೖΕํ͕෼͔Βͳ͍😭 ·ͨɺਫ਼౓͕ඞཁͳ΄Ͳग़ͳ͍ʜ
  3. ӡ༻ऀ͕֤ྖҬͰ௚໘͢Δ--.ͷ׆༻  ίʔυ෼ੳ υΩϡϝϯςʔγϣϯ ΠϯγσϯτରԠ ༧ଌతϝϯςφϯε ηΩϡϦςΟ෼ੳ ΧελϚʔαϙʔτ ࣗવݴޠʹΑΔΫΤϦ l--.GPS43&lͷੈք୳ࡧ

    IUUQTCMPHZVVLJPFOUSZUIFXPSMEPGMMNTSF --.ͷ0Zʹ৮ΕΔ IUUQTTQFBLFSEFDLDPNBCOPVNBSVTIBLFTSFUFDIUBMLOVNCFSMMNOPPZOJIPOHSFSV ͓͢͢Ίࢀߟࢿྉ
  4. "*0QT"SDIJUFDUVSF  0CTFSWF .POJUPSJOH &/("(& "OBMZUJDT "$5 "VUPNBUJPO w"*0QTͷཁૉͱͦͷ࣮ફతద༻ w

    "*0QTγεςϜ͸ओʹɺ؂ࢹɺ෼ੳɺࣗಈԽͷͭͷྖҬ͔Βߏ੒͞Ε͍ͯ·͢ɻ"*0QTͷΞʔ ΩςΫνϟ͸ɺ͜ΕΒͭͷྖҬؒͷγʔϜϨεͳ౷߹Λ࣮ݱ͢Δٕज़ͱख๏Λఏڙ͢Δ͜ͱͰɺ "*0QTͷ࣮૷Λ໨ࢦ͠·͢ɻ(BSUOFS͕ఆٛ͢Δ*5ӡ༻όϦϡʔνΣʔϯͷͭͷίΞαʔϏε ʹ͓͚Δ֤ϓϩηεͱػೳʹରͯ͠ɺ"*0QTϓϥοτϑΥʔϜͷద༻Մೳੑ͕ࣔ͞Ε͍ͯ·͢ɻ w ΠϕϯτɺϝτϦΫεɺτϨʔγϯά w աڈσʔλ෼ੳ w ҟৗݕग़ w ύϑΥʔϚϯε෼ੳ w ૬ؔؔ܎ͱจ຺Խ w ো֐ରԠɺґଘؔ܎ɺมߋ w λεΫࣗಈԽ w มߋϦεΫ෼ੳ w ύϑΥʔϚϯε෼ੳ w ,OPXMFEHF؅ཧ w 4DSJQUT w 3VOCPPL w "3" (FO0QTMFBSOJOHGSPNUIFXPSMEPGNJDSPTFSWJDFTBOEUSBEJUJPOBM%FW0QT IUUQTDMPVEHPPHMFDPNCMPHQSPEVDUTEFWPQTTSFHFOPQTMFBSOJOHTGSPNNJDSPTFSWJDFTBOEUSBEJUJPOBMEFWPQT IMFO .-0QTͷ֓೦Λ--.ͷӡ༻ʹదԠͤͨ͞ʮ(FO0QTʯͱ͍͏৽͍͠Ξϓϩʔν͕ొ৔͍ͯ͠Δɻ (FO0QT͸ɺੜ੒"*ΞϓϦέʔγϣϯͷಛ༗ͷཁ݅ʹରԠ͢ΔͨΊͷӡ༻ϑϨʔϜϫʔΫΛఏڙ͢Δɻ ؔ܎ͳ͍࿩
  5. "*0QTʹ͸ৗʹ෼ੳͱϑΟʔυόοΫͷϑΣʔζ͕͋Δ  0CTFSWF .POJUPSJOH &/("(& "OBMZUJDT "$5 "VUPNBUJPO "*0QTͷ֩৺͸ɺܧଓతͳ෼ੳͱϑΟʔυόοΫͷαΠΫϧʹ͋Γ·͢ɻ ͜ͷαΠΫϧʹ--.Λ૊ΈࠐΉ͜ͱͰɺαʔϏεӡ༻ͷޮ཰ͱ࣭Λେ෯ʹ޲্ͤ͞Δ͜ͱ͕Ͱ͖·͢ɻ

    ຊདྷͰ͋Ε͹ɺ͜ΕΒΛ࣠ʹӡ༻࣌ʹ--.ͱͲͷΑ͏ʹ޲͖߹͏΂͖͔ʹ͍ͭͯ΋ਂ͘ߟ࡯͢΂͖Ͱ͕͢ɺ ࠓճ͸ͦͷৄࡉͳٞ࿦͸ׂѪͯ͠ࢥߟͷϑϨʔϜϫʔΫͱͯ͠ͷ"*0QTʹͷΈݴٴ͠·͢ɻ "*0QTͷ֤ྖҬʹ͓͍ͯ--.ʢେن໛ݴޠϞσϧʣΛޮՌతʹ׆༻͢ΔͨΊͷ۩ମతͳϓϩϯ ϓτͷઃܭͱ࢖༻ํ๏ʹয఺Λ౰ͯ·͢ɻద੾ͳϓϩϯϓτΛ༻͍Δ͜ͱͰɺ--.ͷೳྗΛ࠷େ ݶʹҾ͖ग़͠ɺαʔϏεӡ༻ͷ༷ʑͳଆ໘ΛڧԽͰ͖·͢ɻ
  6. "$5 "VUPNBUJPO ʹؔ͢Δ໰୊ wେن໛ݴޠϞσϧ͸ݬ֮ΛݟΔ w େن໛ͳݴޠϞσϧ͸ɺҰݟͯ͠க໋తͱ΋͍͑Δ໰୊Λ๊͍͑ͯ· ͢ɻͦΕ͸ɺ࣮ࡏ͠ͳ͍৘ใΛੜΈग़͢͜ͱ͕͋Δͱ͍͏͜ͱͰ͢ɻઐ ໳Ոͨͪ͸͜ͷݱ৅Λʮݬ֮ʢIBMMVDJOBUJPOʣʯͱݺΜͰ͍·͢ɻਓ ͕ؒݬ֮ΛݟΔΑ͏ʹɺଘࡏ͠ͳ͍΋ͷΛݱ࣮ͷ΋ͷͷΑ͏ʹඳ͖ग़͢ ͜ͱ͔Βɺ͜ͷ໊લ໊͕෇͚ΒΕ·ͨ͠ɻ͞Βʹਂࠁͳͷ͸ɺ͜ΕΒͷ

    ݬ֮ʹΑͬͯੜ੒͞Εͨෆਖ਼֬ͳ৘ใ͕ɺઐ໳Ո΍Ұൠͷਓʑʹͱͬͯ ΋ฆΒΘ͘͠ɺਅ࣮ͱݟ෼͚͕͔ͭͳ͍͜ͱ͕͋Δͱ͍͏ࣄ࣮Ͱ͢ɻ w·ͩɺ࣮ߦೳྗͷܽ೗͓ͤͯ͘͞ w େن໛ݴޠϞσϧΛར༻ͨ͠γεςϜ͸ݬ֮ΛجʹॲཧΛ࣮ߦͯ͠͠· ͏Մೳੑ͕ৗʹ͋ΔͨΊɺݱஈ֊Ͱ͸௚઀తͳ࣮ߦೳྗʢ&YFDVUJPOػ ೳʣΛ੍ݶ͓ͯ͘͠ඞཁ͕͋Γ·͢ɻ͜ΕʹΑΓɺγεςϜ͕ҙਤ͠ͳ ͍ঢ়ଶʹͳͬͨ৔߹ʹ͸ɺࣗಈతʹ෮چ͢Δ͜ͱ͸Ͱ͖·ͤΜ͕ɺ҆શ ੑͷ֬อɺ৴པੑͷҡ࣋ɺਓؒͷ؂ಜͷॏཁੑɺͦͯ͠๏తɾྙཧత഑ ྀͷόϥϯεΛऔΔ͜ͱ͕Ͱ͖·͢ɻ  IUUQTXXXJXBOBNJDPKQCPPLCIUNM େن໛ݴޠϞσϧ͸৽ͨͳ஌ೳ͔ "VUPNBUJPO 3FDPNNFOEBUJPO "VUPNBUJPO &YFDVUJPO ٙ͏͜ͱ͸ݱ୅ࣾձʹඞཁͰਖ਼౰ͳඒಙ
  7. ͓͢͢Ίࢀߟࢿྉ w "*0QTͷͭͷ࢝Ίํ  ଴ͬͯ͸͍͚ͳ͍  খ࢝͘͞ΊΔ  ࣗ෼ࣗ਎͕੒௕͢Δ 

    ࣗ༝ʹ࣮ݧ͍ͯͩ͘͠͞  *5෦໳ͷ֞ࠜΛӽ͑ͯਓࡐΛٻΊɺ׆༻  ඪ४Խ  ຊ֨ಋೖΛݟਾ͑ͯߟ͑Δ  IUUQTTQFBLFSEFDLDPNZVVLJUTSFOFYU IUUQTXXXHBSUOFSDPNTNBSUFSXJUIHBSUOFSIPXUPHFUTUBSUFEXJUIBJPQT "*0QTͱ43&ʹ͍ͭͯݟࣄʹ੔ཧ͞Ε͍ͯΔ IUUQTCMPHZVVLJPFOUSZUIFXPSMEPGMMNTSF --.ͱӡ༻ͷੈքʹͲͷΑ͏ͳݚڀ͕͋Δ͔੔ཧ͞Ε͍ͯΔ
  8. എܠΛ஌Βͳ͍ͷͰࡉ෦·Ͱ͸ڭ͑ͯ͘Εͳ͍ w ໰୊ཧղͷϓϩηε w ࣦഊͨ͠ࣄ৅Λৄࡉʹ෼ੳ͠ɺͦͷഎܠʹ͋Δ໰୊Λਂ͘ཧղ͢Δ w ද໘తͳ঱ঢ়͚ͩͰͳ͘ɺࠜຊతͳݪҼΛಛఆ͢Δ͜ͱΛ໨ࢦ͢ w ԾઆཱҊ w

    ໰୊ͷݪҼʹؔ͢Δෳ਺ͷԾઆΛཱͯΔ w ֤Ծઆͷଥ౰ੑΛධՁ͠ɺ༏ઌॱҐΛ͚ͭΔ w ݕূͷ܁Γฦ͠ w ཱͯͨԾઆΛ࣮ࡍͷσʔλ΍࣮ݧΛ௨ͯ͡ݕূ͢Δ w ݕূ݁Ռʹج͍ͮͯԾઆΛमਖ਼͠ɺ࠶౓ݕূ͢ΔαΠΫϧΛ܁Γฦ͢  ೥ͩͱ ·͔ͩͳΓۤखͳҹ৅ ٯʹӡ༻΍Ծઆ͕े෼ʹݴޠԽ͞Ε͍ͯͯ ͦΕΛϫϯϥΠφʔʹ͢Δͱ͔͸͔ͳΓಘҙʜ
  9. ϓϩϯϓτΤϯδχΞϦϯάೖ໳ wϓϩϯϓτͷͭͷݪଇ  ํ޲ੑΛ༩͑Δʢ(JWF%JSFDUJPOʣ w ۩ମతͳࢦࣔ΍໨తΛ໌֬ʹࣔ͢  ϑΥʔϚοτΛࢦఆ͢Δʢ4QFDJGZ'PSNBUʣ w ๬·͍͠ग़ྗܗࣜΛ໌֬ʹఆٛ͢Δ

     ྫΛఏڙ͢Δʢ1SPWJEF&YBNQMFTʣ w ظ଴͢Δग़ྗͷ۩ମྫΛࣔ͢  ඼࣭ΛධՁ͢Δʢ&WBMVBUF2VBMJUZʣ w ੜ੒͞Εͨ݁Ռͷ඼࣭Λଌఆɾվળ͢Δํ๏Λ૊ΈࠐΉ  ࡞ۀΛ෼ׂ͢Δʢ%JWJEF-BCPSʣ w ෳࡶͳλεΫΛখ͞ͳஈ֊ʹ෼ׂ͢Δ  ଞʹ΋ϓϩϯϓτʹؔ͢ΔυΩϡϝϯτ͸ͨ͘͞Μ͋Δ $IBU(151SPNQU&OHJOFFSJOH IUUQTXXXQSPNQUJOHHVJEFBJNPEFMTDIBUHQU IUUQTXXXQSPNQUJOHHVJEFBJNPEFMTDMBVEF 1SPNQUFOHJOFFSJOHPWFSWJFX IUUQTEPDTBOUISPQJDDPNFOEPDTCVJMEXJUI DMBVEFQSPNQUFOHJOFFSJOHPWFSWJFX "*0QTͷͲ͜ͷྖҬΛ --.Ͱ΍Δ͔ʹ͍ͭͯߟ͑Δͱ ϓϩϯϓτΛ࡞Δ࣌ͷิॿઢʹͳΔ ྫͱͯ͠ΠϯγσϯτରԠ΁ͷద༻ΛऔΓ্͛·͢ ࡉ͔͍ςΫχοΫ͸ׂѪ ͜ͷͭΛ཈͓͚͑ͯͩ͘Ͱ΋ҧ͏ͷͰʜ
  10. ϓϩϯϓτͷͭͷݪଇɿΠϯγσϯτରԠ΁ͷద༻ ࡞ۀΛ෼ׂ͢Δʢ%JWJEF-BCPSʣ ྫɿҎԼͷखॱͰ෼ੳΛߦ͍ͬͯͩ͘͞ɿ  Πϯγσϯτϩάͷཁ໿  ӨڹΛड͚ͨγεςϜίϯϙʔωϯτͷಛఆ  λΠϜϥΠϯͷ࡞੒ 

    ࠜຊݪҼͷ෼ੳ  ରࡦͷఏҊ w ෳࡶͳΠϯγσϯτ෼ੳΛ؅ཧՄೳͳखॱʹ෼ׂ w ֤εςοϓͰͷਫ਼౓޲্ͱɺશମతͳ෼ੳͷ࣭ͷվળ 
  11. ଞʹ΋͋ΔϓϩϯϓτςΫχοΫू w1SPNQUFOHJOFFSJOH w IUUQTQMBUGPSNPQFOBJDPNEPDTHVJEFTQSPNQU FOHJOFFSJOH w1SPNQUFOHJOFFSJOHPWFSWJFX w IUUQTEPDTBOUISPQJDDPNFOEPDTCVJMEXJUIDMBVEFQSPNQU FOHJOFFSJOHPWFSWJFX 

    ۩ମྫ΋هࡌ͞Ε͓ͯΓɺൺֱత࢖͍΍͍͢ܗʹ·ͱ·͍ͬͯΔͷͰɺ Α͚Ε͹ࢀߟʹ͍ͯͩ͘͠͞ɻ ࡉ͔͍ςΫχοΫ͸ͦͷ࣌ͱ৔߹ͰมΘΔͷͰ஌͓ͬͯ͘ͷ͕େࣄ
  12. ϓϩϯϓτͷͭͷݪଇ·ͱΊ wݪଇͷීวੑ w ΠϯγσϯτରԠͰݟͨΑ͏ʹɺϓϩϯϓτͷͭͷݪଇ͸ӡ༻ͷଞͷྖҬͰ΋ ಉ༷ʹద༻Ͱ͖·͢ɻ w ํ޲ੑΛ༩͑Δʢ(JWF%JSFDUJPOʣ w ϑΥʔϚοτΛࢦఆ͢Δʢ4QFDJGZ'PSNBUʣ w

    ྫΛఏڙ͢Δʢ1SPWJEF&YBNQMFTʣ w ඼࣭ΛධՁ͢Δʢ&WBMVBUF2VBMJUZʣ w ࡞ۀΛ෼ׂ͢Δʢ%JWJEF-BCPSʣ w ద༻ͷϙΠϯτ w ֤ྖҬͷಛੑΛཧղ͠ɺݪଇΛॊೈʹద༻͢Δ w ۩ମతͳΰʔϧ΍ظ଴͢Δग़ྗΛ໌֬ʹ͢Δ w पғͷঢ়گʹؔ͢Δ৘ใΛ·ͱΊΔ͜ͱɺྖҬݻ༗ͷઐ໳༻ޠ΍֓೦Λϓϩϯϓτʹ૊ΈࠐΉ w 3"(΍ϑΝΠϯνϡʔχϯάͳͲͷ͍͔ͭ͘ͷٕज़͕͋Δ͕ࠓޙධՁͯ͠·ͨɺൃද͍ͨ͠ 
  13. ࢀߟࢿྉ w)PXUP(FU4UBSUFE8JUI"*0QT w IUUQTXXXHBSUOFSDPNTNBSUFSXJUIHBSUOFSIPXUPHFUTUBSUFEXJUIBJPQT w1SPNQU&OHJOFFSJOH(VJEF w IUUQTXXXQSPNQUJOHHVJEFBJ w"VUPNBUJPOBOE.BDIJOF-FBSOJOHXJUI4JUF3FMJBCJMJUZ&OHJOFFSJOH w IUUQTFWFOUTESVQBMPSHWJFOOBTFTTJPOTJOUFMMJHFOUBVUPNBUJPOBOENBDIJOFMFBSOJOHTJUFSFMJBCJMJUZFOHJOFFSJOH

    w5&.1-&4JY1JMMBSTPG0CTFSWBCJMJUZ w IUUQTNFEJVNDPN!:VSJ4ILVSPUFNQMFTJYQJMMBSTPGPCTFSWBCJMJUZBDFEFC w"*࣌୅ʹ޲͚ͨΫϥ΢υʹ͓͚Δ৴པੑΤϯδχΞϦϯάͷະདྷߏ૝%*$0.0 " w IUUQTTQFBLFSEFDLDPNZVVLJUEJDPNPB wେن໛ݴޠϞσϧ͸৽ͨͳ஌ೳ͔ʕʕ$IBU(15͕ม͑ͨੈք ؠ೾ՊֶϥΠϒϥϦʔ  w IUUQTBN[OUP0$U'; w$IBU(15ͷ಄ͷத ϋϠΧϫ৽ॻ  w IUUQTBN[OUP,N'#48 wݴޠͷຊ࣭ɹ͜ͱ͹͸Ͳ͏ੜ·ΕɺਐԽ͔ͨ͠ w IUUQTBN[OUP/R*2H 
  14. ࢀߟࢿྉ w*5ΤϯδχΞͷͨΊͷϓϩϯϓτΤϯδχΞϦϯά w IUUQT[FOOEFWZPOFLVCPCPPLTDFCGEE w"*WTڭՊॻ͕ಡΊͳ͍ࢠͲ΋ͨͪ w IUUQTBN[OUP8YW( wʲ*5*-ެೝʳ*5*-ͷجຊਤղͱ࣮ફ w IUUQTBN[OUP&"B/

    w--.ͷ0Zʹ৮ΕΔ w IUUQTTQFBLFSEFDLDPNBCOPVNBSVTIBLFTSFUFDIUBMLOVNCFS MMNOPPZOJIPOHSFSV wl--.GPS43&lͷੈք୳ࡧ w IUUQTCMPHZVVLJPFOUSZUIFXPSMEPGMMNTSF w