Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AzureのPrompt Flowを使ったRAG精度評価とつらみ
Search
id32h6kz
July 11, 2024
Technology
3
5.1k
AzureのPrompt Flowを使ったRAG精度評価とつらみ
現場で実践!RAG活用術 Lunch LT ― 運用して分かった"つらみ"とその対策
https://findy.connpass.com/event/323129/
id32h6kz
July 11, 2024
Tweet
Share
Other Decks in Technology
See All in Technology
LLMの開発と社会実装の今と未来 / AI Builders' Community (ABC) vol.2
pfn
PRO
2
190
Part1 GitHubってなんだろう?その1
tomokusaba
3
850
人間性を捧げる生成AI時代の技術選定
yo4raw
1
860
猫でもわかるS3 Tables【Apache Iceberg編】
kentapapa
2
250
大規模サーバーレスプロジェクトのリアルな零れ話
maimyyym
3
250
Serverlessだからこそコードと設計にはこだわろう
kenichirokimura
3
1.1k
dbtとリバースETLでデータ連携の複雑さに立ち向かう
morookacube
0
1k
MCP でモノが動くとおもしろい/It is interesting when things move with MCP
bitkey
3
600
WindowsでGenesisに挑戦した話
natsutan
0
120
テストコードにはテストの意図を込めよう(2025年版) #retechtalk / Put the intent of the test 2025
nihonbuson
PRO
10
1.9k
Terraform にコントリビュートしていたら Azure のコストをやらかした話 / How I Messed Up Azure Costs While Contributing to Terraform
nnstt1
1
560
MagicPod MCPサーバー開発の裏側とAIエージェント活用の展望
magicpod
0
270
Featured
See All Featured
Building Applications with DynamoDB
mza
94
6.4k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
26k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
24
2.7k
Build The Right Thing And Hit Your Dates
maggiecrowley
35
2.7k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
121
52k
Agile that works and the tools we love
rasmusluckow
329
21k
Why You Should Never Use an ORM
jnunemaker
PRO
56
9.4k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
Site-Speed That Sticks
csswizardry
6
550
Testing 201, or: Great Expectations
jmmastey
42
7.5k
Imperfection Machines: The Place of Print at Facebook
scottboms
267
13k
Transcript
AzureͷPrompt FlowΛͬͨ RAGਫ਼ධՁͱͭΒΈ KDDI ΞδϟΠϧ։ൃηϯλʔ גࣜձࣾ 2024.07.11 Findy Lunch LT
ࣗݾհ • ͍ͰΈͭ • KDDI ΞδϟΠϧ։ൃηϯλʔ גࣜձࣾ • ۀɿੜAIΛར༻ͨ͠ΞϓϦέʔγϣϯ։ൃ •
͖ͳAzureαʔϏεɿDocument Intelligence
͓͠ͳ͕͖ • ͡Ίʹ • ΞʔΩςΫνϟհ • ࠓ͍͑ͨ͜ͱ • Prompt FlowͱRAGASͷհ
• ·ͱΊ
͡Ίʹ • ༷ʑͳυΩϡϝϯτΛRAGͱͯ͠ੜAIʹճͤ͞ΔαʔϏε • ·ͩ։ൃதͷͨΊɺϦϦʔε͍ͯ͠·ͤΜ • ਫ਼্ͦͷͷ·ͩ·ͩࡧத
ࠓճLTͷϕʔεͱͳΔγεςϜͷ ؆୯ͳΞʔΩςΫνϟհ ར༻ऀ υΩϡϝϯτ Azure App Service Document Intelligence AI
Search gpt-4o ᶃ ᶄ ᶅ ᶆ
ຊ͍͑ͨ͜ͱ
RAGͷਫ਼্ͬͯେมʂ
Ҋ͕݅ελʔτͨ͠λΠϛϯάͰPOͷํʹ ͜͏ݴΘΕ·ͨ͠
ࠓ·ͩճਫ਼͕͍
ճਫ਼80%Λࢦ͔͢Β
ࣗ༝ʹೖྗ͢Δ͜ͱͷͰ͖Δɺνϟοτ ϘοτͰճਫ਼80%ͬͯͲ͏͍͏͜ͱʁ
ͦͦճਫ਼͕ߴ͍/͍ͱײ͡Δͷ ײ֮ͳͷͰɺ࣮ࡍͲΕ͘Β͍ͳͷ͔ΛՄࢹ Խ͍ͨ͠
ͦ͜Ͱ·ͣਫ਼ධՁʹ͍ͭͯͲ͏͢Δ͖ ͔ݕ౼͠·ͨ͠
ਫ਼ධՁͷඞཁੑ • ճਫ਼ͷՄࢹԽ • ࠓޙͷվળͷࢦ • վળͷޮՌݕূ
ਫ਼ධՁͷओͳख๏ • खಈධՁ(ਓ͕ؒߦ͏ධՁ) • γεςϜʹରͯ͠QΛ͛ɺAͷྑ͠ѱ͠Λਓ͕ؒஅ͢Δ • ࣗಈධՁ(LLMͳͲ͕ߦ͏ධՁ) • γεςϜʹରͯ͠QΛ͛ɺAͷྑ͠ѱ͠ΛLLM͕அ͢Δ
ਫ਼ධՁͷओͳख๏ • खಈධՁ(ਓ͕ؒߦ͏ධՁ) • γεςϜʹରͯ͠QΛ͛ɺAͷྑ͠ѱ͠Λਓ͕ؒஅ͢Δ • ࣗಈධՁ(LLMͳͲ͕ߦ͏ධՁ) • γεςϜʹରͯ͠QΛ͛ɺAͷྑ͠ѱ͠ΛLLM͕அ͢Δ
ਫ਼ධՁʹ͑ͦ͏ͳαʔϏε • Prompt Flow • 🦜⚒LangSmith • LangFuse
ਫ਼ධՁʹ͑ͦ͏ͳαʔϏε • Prompt Flow • 🦜⚒LangSmith • LangFuse
Prompt Flowͷ֓ཁ • LLMΛ׆༻ͨ͠ΞϓϦέʔγϣϯͷ։ൃޮԽΛਤΔͨΊͷαʔ Ϗε • ࣭͔Βճ·ͰͷҰ࿈ͷFlowΛઃఆ࣮͠ߦ͢Δ͜ͱ͕Ͱ͖Δ • ֤FlowLLMΛͬͨςΩετੜϓϩϯϓτ࡞ɺPython ͷ࣮ߦ͕Մೳͱͳ͓ͬͯΓɺ͜ΕΒΛΈ߹Θͤͯશମͷϑϩʔ
Λ࡞͢Δ
Prompt FlowΛબΜͩཧ༝ • AzureΛར༻͍ͯͨͨ͠Ίɺಋೖϋʔυϧ͕͍ • RAGͷධՁ͚ͩͰͳ͘։ൃͷࣄલݕূʹར༻͢Δ͜ͱ͕Ͱ͖ Δ(promptΛमਖ਼͓ͯ͠ࢼ͠)
RAGASͱ • PythonͰ࡞ΒΕͨRAGධՁ༻ϑϨʔϜϫʔΫɺPrompt FlowʹΈࠐΉ͜ͱ͕Մೳ • 9ͭͷϝτϦΫεͰճΛධՁ͢Δ͜ͱ͕Մೳ • https://docs.ragas.io/en/stable/concepts/metrics/index.html
࣮ࡍʹPrompt FlowͱRAGASΛͬͯධ ՁΛͲͷΑ͏ʹߦ͏͔
Prompt FlowͱRAGASͷհ ඪ४ϑϩʔ(ΞϓϦέʔγϣϯΛ࠶ݱͨ͠ϑϩʔ)
Prompt FlowͱRAGASͷհ ධՁϑϩʔ(RAGASݺͿϑϩʔ)
Prompt FlowͱRAGASͷհ RAGASͷධՁ݁Ռ
Prompt FlowͱRAGASͷհ RAGASͷධՁ݁Ռ ճͷਖ਼֬͞ ίϯςΩετʹର͢Δճͷ࣮ ਖ਼ͱίϯςΩετͷؔ࿈ ࣭ٴͼਖ਼ʹର͢ΔίϯςΩετͷਫ਼
Prompt FlowͱRAGASΛ ͬͯྑ͔ͬͨ͜ͱ • ϒϥβ͔Β৮ΕΔͨΊɺΤϯδχΞ͚ͩͰͳ͘PO৮ΕΔ • ճਫ਼্ͷͨΊͷࢪࡦ͕ຊʹޮՌ͕͋ͬͨͷ͔Λ֬ೝ͢ Δ͜ͱ͕Ͱ͖Δ
Prompt Flow࠷ߴʂ
PO৮ͬͯ͘Εͯɺධ͍͍ʂ
Ͱʂ
Prompt Flowͷ͕ͭ͜͜Β͍ʂ • Prompt Flowͷιʔεߋ৽͕େม • ࣮ࡍͷΞϓϦέʔγϣϯͱPrompt Flowͷίʔυผ • ैྔ՝ۚͳͷͰɺىಈ͍͕ͨ͠VMͷىಈʹඇৗʹ͕࣌ؒ
͔͔Δ(5Ҏ্)
ͦΜͳதɺଟ͘ͷ՝
Visual Studio Codeͷ֦ுػೳPrompt Flow CLI toolΛ͏ͱղফͰ͖Δ
None
ͦͷଞͷ՝ • RAGASͰධՁ͢ΔͨΊͷQAσʔλͷ࡞͕͍͠ • ݱঢ়QAͷࣗಈੜ͋·Γਫ਼͕ग़ͳ͔ͬͨͨΊਓͷखͰ࡞ ͍ͯ͠Δɻ • େྔʹ࡞Δʹ͕͔͔࣌ؒΔͨΊɺܧଓతʹՃ͢Δӡ༻͕ ྑͦ͞͏
কདྷతʹࢦ͍ͨ͜͠ͱ • Prompt FlowͱGithub Actionsͷ࿈ܞ • LangFuseΛར༻ͨ͠feedbackऔಘ • ධՁ༻ͷQAσʔλΛ࡞͢Δͷݮ
·ͱΊ • RAGͷਫ਼্ʹධՁ͕ෆՄܽ • खಈͰͷධՁݱ࣮తͰͳ͘ɺͱͯେม • RAGճਫ਼ΛධՁ͢Δ͜ͱͰɺରࡦΛߟ͑Δ͜ͱ͕Ͱ͖Δ • ఆظతʹධՁΛ͢Δ͜ͱͰɺߦͳ͍ͬͯΔࢪࡦͷޮՌΛଌఆ͢Δ͜ͱ͕Ͱ͖ Δ
• QAϦετͷ࡞ʹ͕͔͔࣌ؒΔͷͰɺલͬͯ࣌ؒΛઃ͚࡞͢Δͷ͕ྑ͍
͋Γ͕ͱ͏͍͟͝·ͨ͠