AzureのPrompt Flowを使ったRAG精度評価とつらみ

現場で実践！RAG活用術 Lunch LT ― 運用して分かった"つらみ"とその対策
https://findy.connpass.com/event/323129/

Transcript

1. AzureͷPrompt FlowΛ࢖ͬͨ RAGਫ਼౓ධՁͱͭΒΈ KDDI ΞδϟΠϧ։ൃηϯλʔ גࣜձࣾ 2024.07.11 Findy Lunch LT
2. ࣗݾ঺հ • ͍ͰΈͭ • KDDI ΞδϟΠϧ։ൃηϯλʔ גࣜձࣾ • ۀ຿ɿੜ੒AIΛར༻ͨ͠ΞϓϦέʔγϣϯ։ൃ • ޷͖ͳAzureαʔϏεɿDocument Intelligence
3. ͓͠ͳ͕͖ • ͸͡Ίʹ • ΞʔΩςΫνϟ঺հ • ࠓ೔఻͍͑ͨ͜ͱ • Prompt FlowͱRAGASͷ঺հ • ·ͱΊ
4. ͸͡Ίʹ • ༷ʑͳυΩϡϝϯτΛRAGͱͯ͠ੜ੒AIʹճ౴ͤ͞ΔαʔϏε • ·ͩ։ൃதͷͨΊɺϦϦʔε͸͍ͯ͠·ͤΜ • ਫ਼౓޲্ͦͷ΋ͷ͸·ͩ·ͩ໛ࡧத
5. ࠓճLTͷϕʔεͱͳΔγεςϜͷ ؆୯ͳΞʔΩςΫνϟ঺հ ར༻ऀ υΩϡϝϯτ Azure App Service Document Intelligence AI Search gpt-4o ᶃ ᶄ ᶅ ᶆ
6. ຊ೔఻͍͑ͨ͜ͱ
7. RAGͷਫ਼౓޲্ͬͯେมʂ
8. Ҋ͕݅ελʔτͨ͠λΠϛϯάͰPOͷํʹ ͜͏ݴΘΕ·ͨ͠
9. ࠓ͸·ͩճ౴ਫ਼౓͕௿͍
10. ճ౴ਫ਼౓͸80%Λ໨ࢦ͔͢Β
11. ࣗ༝ʹೖྗ͢Δ͜ͱͷͰ͖Δɺνϟοτ ϘοτͰճ౴ਫ਼౓80%ͬͯͲ͏͍͏͜ͱʁ
12. ͦ΋ͦ΋ճ౴ਫ਼౓͕ߴ͍/௿͍ͱײ͡Δͷ͸ ײ֮ͳͷͰɺ࣮ࡍͲΕ͘Β͍ͳͷ͔ΛՄࢹ Խ͍ͨ͠
13. ͦ͜Ͱ·ͣਫ਼౓ධՁʹ͍ͭͯͲ͏͢Δ΂͖ ͔ݕ౼͠·ͨ͠
14. ਫ਼౓ධՁͷඞཁੑ • ճ౴ਫ਼౓ͷՄࢹԽ • ࠓޙͷվળͷࢦ਑ • վળͷޮՌݕূ
15. ਫ਼౓ධՁͷओͳख๏ • खಈධՁ(ਓ͕ؒߦ͏ධՁ) • γεςϜʹରͯ͠QΛ౤͛ɺAͷྑ͠ѱ͠Λਓ͕ؒ൑அ͢Δ • ࣗಈධՁ(LLMͳͲ͕ߦ͏ධՁ) • γεςϜʹରͯ͠QΛ౤͛ɺAͷྑ͠ѱ͠ΛLLM͕൑அ͢Δ
16. ਫ਼౓ධՁͷओͳख๏ • खಈධՁ(ਓ͕ؒߦ͏ධՁ) • γεςϜʹରͯ͠QΛ౤͛ɺAͷྑ͠ѱ͠Λਓ͕ؒ൑அ͢Δ • ࣗಈධՁ(LLMͳͲ͕ߦ͏ධՁ) • γεςϜʹରͯ͠QΛ౤͛ɺAͷྑ͠ѱ͠ΛLLM͕൑அ͢Δ
17. ਫ਼౓ධՁʹ࢖͑ͦ͏ͳαʔϏε • Prompt Flow • 🦜⚒LangSmith • LangFuse
18. ਫ਼౓ධՁʹ࢖͑ͦ͏ͳαʔϏε • Prompt Flow • 🦜⚒LangSmith • LangFuse
19. Prompt Flowͷ֓ཁ • LLMΛ׆༻ͨ͠ΞϓϦέʔγϣϯͷ։ൃޮ཰ԽΛਤΔͨΊͷαʔ Ϗε • ࣭໰͔Βճ౴·ͰͷҰ࿈ͷFlowΛઃఆ࣮͠ߦ͢Δ͜ͱ͕Ͱ͖Δ • ֤Flow͸LLMΛ࢖ͬͨςΩετੜ੒΍ϓϩϯϓτ࡞੒ɺPython ͷ࣮ߦ͕Մೳͱͳ͓ͬͯΓɺ͜ΕΒΛ૊Έ߹Θͤͯશମͷϑϩʔ Λ࡞੒͢Δ
20. Prompt FlowΛબΜͩཧ༝ • AzureΛར༻͍ͯͨͨ͠Ίɺಋೖϋʔυϧ͕௿͍ • RAGͷධՁ͚ͩͰͳ͘։ൃͷࣄલݕূʹ΋ར༻͢Δ͜ͱ͕Ͱ͖ Δ(promptΛमਖ਼͓ͯ͠ࢼ͠౳)
21. RAGASͱ͸ • PythonͰ࡞ΒΕͨRAGධՁ༻ϑϨʔϜϫʔΫɺPrompt Flowʹ૊ΈࠐΉ͜ͱ͕Մೳ • 9ͭͷϝτϦΫεͰճ౴ΛධՁ͢Δ͜ͱ͕Մೳ • https://docs.ragas.io/en/stable/concepts/metrics/index.html
22. ࣮ࡍʹPrompt FlowͱRAGASΛ࢖ͬͯධ ՁΛͲͷΑ͏ʹߦ͏͔
23. Prompt FlowͱRAGASͷ঺հ ඪ४ϑϩʔ(ΞϓϦέʔγϣϯΛ࠶ݱͨ͠ϑϩʔ)
24. Prompt FlowͱRAGASͷ঺հ ධՁϑϩʔ(RAGASݺͿϑϩʔ)
25. Prompt FlowͱRAGASͷ঺հ RAGASͷධՁ݁Ռ
26. Prompt FlowͱRAGASͷ঺հ RAGASͷධՁ݁Ռ ճ౴ͷਖ਼֬͞ ίϯςΩετʹର͢Δճ౴ͷ஧࣮౓ ਖ਼౴ͱίϯςΩετͷؔ࿈౓ ࣭໰ٴͼਖ਼౴ʹର͢ΔίϯςΩετͷਫ਼౓
27. Prompt FlowͱRAGASΛ ࢖ͬͯྑ͔ͬͨ͜ͱ • ϒϥ΢β͔Β৮ΕΔͨΊɺΤϯδχΞ͚ͩͰͳ͘PO΋৮ΕΔ • ճ౴ਫ਼౓޲্ͷͨΊͷࢪࡦ͕ຊ౰ʹޮՌ͕͋ͬͨͷ͔Λ֬ೝ͢ Δ͜ͱ͕Ͱ͖Δ
28. Prompt Flow࠷ߴʂ
29. PO΋৮ͬͯ͘Εͯɺධ൑΋͍͍ʂ
30. Ͱ΋ʂ
31. Prompt Flowͷ͕ͭ͜͜Β͍ʂ • Prompt Flowͷιʔεߋ৽͕େม • ࣮ࡍͷΞϓϦέʔγϣϯͱPrompt Flowͷίʔυ͸ผ෺ • ैྔ՝ۚͳͷͰɺ౎౓ىಈ͍͕ͨ͠VMͷىಈʹඇৗʹ͕࣌ؒ ͔͔Δ(5෼Ҏ্)
32. ͦΜͳதɺଟ͘ͷ՝୊͸
33. Visual Studio Codeͷ֦ுػೳ΍Prompt Flow CLI toolΛ࢖͏ͱղফͰ͖Δ
35. ͦͷଞͷ՝୊ • RAGASͰධՁ͢ΔͨΊͷQAσʔλͷ࡞੒͕೉͍͠ • ݱঢ়QAͷࣗಈੜ੒͸͋·Γਫ਼౓͕ग़ͳ͔ͬͨͨΊਓͷखͰ࡞ ੒͍ͯ͠Δɻ • େྔʹ࡞Δʹ͸͕͔͔࣌ؒΔͨΊɺܧଓతʹ௥Ճ͢Δӡ༻͕ ྑͦ͞͏
36. কདྷతʹ໨ࢦ͍ͨ͜͠ͱ • Prompt FlowͱGithub Actionsͷ࿈ܞ • LangFuseΛར༻ͨ͠feedbackऔಘ • ධՁ༻ͷQAσʔλΛ࡞੒͢Δ޻਺ͷ࡟ݮ
37. ·ͱΊ • RAGͷਫ਼౓޲্ʹ͸ධՁ͕ෆՄܽ • खಈͰͷධՁ͸ݱ࣮తͰ͸ͳ͘ɺͱͯ΋େม • RAG͸ճ౴ਫ਼౓ΛධՁ͢Δ͜ͱͰɺରࡦΛߟ͑Δ͜ͱ͕Ͱ͖Δ • ఆظతʹධՁΛ͢Δ͜ͱͰɺߦͳ͍ͬͯΔࢪࡦͷޮՌΛଌఆ͢Δ͜ͱ͕Ͱ͖ Δ • QAϦετͷ࡞੒ʹ͕͔͔࣌ؒΔͷͰɺલ΋ͬͯ࣌ؒΛઃ͚࡞੒͢Δͷ͕ྑ͍
38. ͋Γ͕ͱ͏͍͟͝·ͨ͠