LLMアプリをRagasで評価して、Langfuseで可視化しよう！

【生成AI/LLM LT大会】今注目している技術や最新動向を共有！
https://blueish.connpass.com/event/333518/

Transcript

1. ΈͷΔΜ !NJOPSVO --.ΞϓϦΛ 3BHBTͰධՁͯ͠ -BOHGVTFͰՄࢹԽ͠Α͏ʂ
2. 
   XIPBNJ ޚా ູʢΈͷΔΜʣ!NJOPSVO ςοΫΤόϯδΣϦετ ,%%*ΞδϟΠϧ։ൃηϯλʔגࣜձࣾʢ,"(ʣ +"846(ӡӦ ౦ژࢧ෦ 
   43&ࢧ෦ 
   /8+"84 • "84
   $PNNVOJUZ
   )FSP • "84
   4BNVSBJ
    • 
   +BQBO
   "84
   5PQ
   &OHJOFFS • 
   +BQBO
   "84
   "MM
   $FSUT
   &OHJOFFS
3. Έͳ͞Μɺ --.ΞϓϦ࡞ͬͯ·͔͢ʁ
4. ͦΖͦΖɺ3"(νϟοτϘοτͷ1P$͸ ๞͖͖ͯͨํ΋͍ΔͷͰ͸ʜʁ
5. ੜ੒"*ΞϓϦͷ1P$Λଔۀͯ͠ ຊ൪ӡ༻΁ਐΉͨΊʹ ͔ܽͤͳ͍ཁૉͱ͍͑͹ʜ
6. ੜ੒"*ΞϓϦͷ1P$Λଔۀͯ͠ ຊ൪ӡ༻΁ਐΉͨΊʹ ͔ܽͤͳ͍ཁૉͱ͍͑͹ʜ ؂ࢹͱධՁʂ
7. ᶃ ؂ࢹฤ
8. ͱ͋ΔΞδϟΠϧ։ൃاۀͷ ΤϯδχΞɺΧάΧά͘Μ͸ 3"(νϟοτϘοτΛߏங͠·ͨ͠
9. ͋Δ೔ɺ͓٬͞·͔Β࿈བྷ͕ʜ ࠷ۙɺࣾһ͔Β ʮճ౴඼࣭͕མͪͨʯ ͱ͍͏ਃࠂ͕ ૿͍͑ͯΔΜͰ͕͢ʜ
10. ͔֬ʹɺલ͸ਖ਼౴Ͱ͖͍ͯͨࣾ಺φϨοδ2"ʹ ޡ౴͢ΔΑ͏ʹͳ͍ͬͯΔ ,"(ࣾͷ ެࣜΏΔΩϟϥ͸ʁ ʢώϯτɿௗྨʣ ΧάόʔυͰ͢ʢେӕʣ
11. ͍͍ͬͨྼԽՕॴ͸Ͳͩ͜Ζ͏ʜ ϓϩϯϓτ ςϯϓϨʔτ ݕࡧΫΤϦʔ ݕࡧ݁Ռ ճ౴ੜ੒
12. ϓϩϯϓτͱੜ੒݁Ռ͚ͩͰ͸Θ͔Βͳ͍ʂ ,"(ࣾͷϚείοτ ΩϟϥΫλʔ͸ʁ ʢώϯτɿௗྨʣ ΧάόʔυͰ͢ʢେӕʣ ॾʑͷॲཧ
13. ͔ͱ͍ͬͯɺຖճϩάړΔͷ͸͍ͩͿਏ͍ʜ
14. ҆৺͍ͯͩ͘͠͞ɺ --.ΞϓϦઐ༻ͷ ؂ࢹπʔϧ͕͋Γ·͢Α
15. ༗໊ͳ--.ΞϓϦ؂ࢹπʔϧ -BOH$IBJO͕ࣾఏڙɻ 4BB4͕ͩɺ՝ۚ͢Ε͹ ηϧϑϗετ΋Մೳ -BOH4NJUI෩ͷػೳΛ 044ͱͯ͠ެ։ɻ खܰʹࣗ؀ڥͰಈ͔ͤΔ
16. ࠓճ͸ܖ໿ͳ͠ͰࢼͤΔ-BOHGVTFΛ঺հ -BOH$IBJO͕ࣾఏڙɻ 4BB4͕ͩɺ՝ۚ͢Ε͹ ηϧϑϗετ΋Մೳ -BOH4NJUI෩ͷػೳΛ 044ͱͯ͠ެ։ɻ खܰʹࣗ؀ڥͰಈ͔ͤΔ
17. ίϯςφͱ%#͕༻ҙͰ͖Ε͹0,ɻ "84ͳΒ"QQ
    3VOOFSʴ3%4ͳͲ "84ΞΧ΢ϯτ "QQ
    3VOOFS 3%4 GPS
    1PTUHSF42- -BOHGVTF αʔόʔ σʔλϕʔε
18. ΞϓϦ΁ͷܭ૷΋؆୯ʂ ᶃ ؀ڥม਺ʹೝূΩʔͱαʔόʔ63-Λઃఆ ᶄ ؂ࢹ͍ͨؔ͠਺ΛσίΔ PS
    -BOH$IBJOͳΒίʔϧόοΫΛ౉͢ Ҏ্ʂ FOW -"/('64&@4&$3&5@,&: -"/('64&@16#-*$@,&: -"/('64&@)045
19. ܭ૷ޙɺ࣮ࡍʹΞϓϦΛಈ͔ͯ͠ΈΔͱʜ ಺෦ॲཧ͕Ұ໨ྎવʹʂ ॲཧ࣌ؒɺ τʔΫϯ਺ɺ ίετ ֤۠ؒͷ ೖग़ྗ಺༰ τϨʔεͷ ۠ؒ෼ྨ
20. Ͳ͜ʹ͕͔͔͍࣌ؒͬͯΔ͔΋ಛఆͰ͖Δ ΄ͱΜͲ͕--.ͷਪ࿦࣌ؒ
21. ϓϩϯϓτςϯϓϨʔτ΋ (6*Ͱ؅ཧˍߋ৽Ͱ͖Δʂ
22. ςετ༻ͷσʔληοτ΋؅ཧͰ͖Δʂ
23. ΧάΧά͘Μ΋ɺແࣄʹ ໰୊ՕॴΛಛఆͰ͖·ͨ͠👏 ͸͸͊ɺͯ͞͸ Ϣʔβʔ͞Μ͕ؒҧͬͯ σʔλফͪ͠Όͬͯͨͷ͔ʜ
24. ᶄ ධՁฤ
25. ࠓ౓͸͓٬͞·͔ΒΫϨʔϜ͕ʂ ͦ΋ͦ΋ɺ ඼࣭ྼԽʹ΋ͬͱ ૣ͘ؾ͚ͮͳ͍ͷʁʁ
26. ͜ͷ੡඼͸ िؒεϓϦϯτͰ සൟʹΞϓσ͢Δ͠ɺ ຖճ໢ཏతͳධՁ͸ ݱ࣮తͰͳ͍ʜ
27. ҆৺͍ͯͩ͘͠͞ɺ --.ΞϓϦઐ༻ͷ ධՁπʔϧ͕͋Γ·͢Α
28. ͦΕ͸3BHBTʂ
29. ࣮ଶ͸1ZUIPOϥΠϒϥϦɻ ৭ΜͳϝτϦΫεͰճ౴඼࣭Λ఺਺Խͯ͘͠ΕΔ 'BJUIGVMOFTT ʢ৴པੑʣ 3FTQPOTF
    3FMFWBODZ ʢԠ౴ͷؔ࿈ੑʣ $POUFYU
    1SFTJDJPO ʢจ຺ਫ਼౓ʣ $POUFYU
    3FDBMM ʢจ຺ճऩʣ
30. -BOHGVTFʹ΋ධՁϝτϦΫε͸͋Γ·͕͢ɺ 3BHBT͸ಛʹఆධ͕͋Γ·͢
31. ͪͳΈʹ࠷ۙɺW΁Ξϓσ͞Ε·ͨ͠ɻ 3"(͚ͩͰͳ͘ΤʔδΣϯτʹ΋ରԠ 🎉
32. ͦΜͳ3BHBTͷ࢖͍ํ͸؆୯ʂ ᶃ ࢖͍͍ͨϝτϦΫε ʴධՁʹ࢖͏"*ϞσϧΛࢦఆ ᶄ --.ΞϓϦͷೖग़ྗ஋Λ σʔληοτʹઃఆͯ͠ɺ ධՁϝιουΛ࣮ߦʢඇಉظʣ ᶅ ࢦఆͨ͠ϝτϦΫεͷ ఺਺͕ग़ྗ͞ΕΔʂ
33. ͨͩɺ͜ͷ఺਺͕ίϯιʔϧ΍ ϩάʹग़͖ͯͨͱ͜ΖͰѻ͍ʹࠔΔ😅 Ͱ͍ͬͯ͏
34. ͦ͏ͩɺ͖ͬ͞ͷ-BOHGVTFʹ ৯ΘͤΕ͹͍͍ͷͰ͸ʁ
35. -BOHGVTFΫϥΠΞϯτͷTDPSFϝιουͰ τϨʔεʹͿͪࠐΉ͚ͩʂ
36. ͋ͱ͸τϨʔεҰཡΛோΊΔ͚ͩͰɺ ඼࣭ྼԽͨ͠ΒҰ໨ͰߜΓࠐΊΔʂ
37. ΧάΧά͘Μ΋ ʮDPOUFYU@SFDBMMʯϝτϦΫεͷมԽʹΑΓɺ ໰୊࠶ൃ࣌ʹඵͰؾ͚ͮ·ͨ͠👏 ͓΍ɺͳΜ͔ٸʹ ݕࡧ݁ՌΛ ࢖Θͳ͘ͳͬͨͳ 3FDBMM཰͕ ௿͍΍ͭ͋ΔͰ
38. αΫοͱࢼͤΔ೔ຊޠͷೖ໳هࣄ΋ॻ͖·ͨ͠ʂ
39. ࠷ޙʹએ఻
40. ɺϥεϕΨεͷ"84
    SF*OWFOUͰొஃ͠·͢ʂ ʮΈͷΔΜʯͰ ݕࡧ͢Δͱʜ ۭ੮͋ͱΘ͔ͣʂ ݱ஍ߦ͔ͳ͍ਓ΋ ഑৴͋Δ͔΋ʁ