Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
LLMアプリをRagasで評価して、Langfuseで可視化しよう!
Search
みのるん
PRO
October 27, 2024
Technology
7
1.5k
LLMアプリをRagasで評価して、Langfuseで可視化しよう!
【生成AI/LLM LT大会】今注目している技術や最新動向を共有!
https://blueish.connpass.com/event/333518/
みのるん
PRO
October 27, 2024
Tweet
Share
More Decks by みのるん
See All by みのるん
AIエージェント最前線! Amazon Bedrock、Amazon Q、そしてMCPを使いこなそう
minorun365
PRO
17
6.2k
本部長の代わりに提案書レビュー! KDDI営業が毎日使うAIエージェント「A-BOSS」開発秘話
minorun365
PRO
15
3.1k
やさしい認証認可
minorun365
PRO
31
13k
やさしいClaude Code入門
minorun365
PRO
44
38k
地味にいろいろあった! 2025春のAmazon Bedrockアップデートおさらい
minorun365
PRO
2
760
30代からでも遅くない! 内製開発の世界に飛び込み、最前線で戦うLLMアプリ開発エンジニアになろう
minorun365
PRO
16
6.1k
やさしいMCP入門
minorun365
PRO
197
160k
マネコン操作いらず! TerraformでAWSインフラのコーディングに入門しよう
minorun365
PRO
7
2.4k
Qiita Organizationを導入したら、アウトプッターが爆増して会社がちょっと有名になった件
minorun365
PRO
2
870
Other Decks in Technology
See All in Technology
VS CodeとGitHub Copilotで爆速開発!アップデートの波に乗るおさらい会 / Rapid Development with VS Code and GitHub Copilot: Catch the Latest Wave
yamachu
3
460
TLSから見るSREの未来
atpons
2
310
How Do I Contact Jetblue Airlines® Reservation Number: Fast Support Guide
thejetblueairhelpsupport
0
150
microCMSではじめるAIライティング
himaratsu
0
150
PHPからはじめるコンピュータアーキテクチャ / From Scripts to Silicon: A Journey Through the Layers of Computing
tomzoh
2
120
三視点LLMによる複数観点レビュー
mhlyc
0
230
SREのためのeBPF活用ステップアップガイド
egmc
2
1.3k
全部AI、全員Cursor、ドキュメント駆動開発 〜DevinやGeminiも添えて〜
rinchsan
10
5.1k
AWS 怖い話 WAF編 @fillz_noh #AWSStartup #AWSStartup_Kansai
fillznoh
0
130
Copilot coding agentにベットしたいCTOが開発組織で取り組んだこと / GitHub Copilot coding agent in Team
tnir
0
190
CDK Toolkit Libraryにおけるテストの考え方
smt7174
1
550
【あのMCPって、どんな処理してるの?】 AWS CDKでの開発で便利なAWS MCP Servers特集
yoshimi0227
6
950
Featured
See All Featured
Large-scale JavaScript Application Architecture
addyosmani
512
110k
Music & Morning Musume
bryan
46
6.7k
What’s in a name? Adding method to the madness
productmarketing
PRO
23
3.5k
GraphQLの誤解/rethinking-graphql
sonatard
71
11k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
233
17k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
34
3.1k
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
A better future with KSS
kneath
238
17k
The Invisible Side of Design
smashingmag
301
51k
Visualization
eitanlees
146
16k
Git: the NoSQL Database
bkeepers
PRO
430
65k
Scaling GitHub
holman
460
140k
Transcript
ΈͷΔΜ !NJOPSVO --.ΞϓϦΛ 3BHBTͰධՁͯ͠ -BOHGVTFͰՄࢹԽ͠Α͏ʂ
XIPBNJ ޚా ູʢΈͷΔΜʣ!NJOPSVO ςοΫΤόϯδΣϦετ ,%%*ΞδϟΠϧ։ൃηϯλʔגࣜձࣾʢ,"(ʣ +"846(ӡӦ ౦ژࢧ෦ 43&ࢧ෦ /8+"84 •
"84$PNNVOJUZ)FSP • "844BNVSBJ • +BQBO"845PQ&OHJOFFS • +BQBO"84"MM$FSUT&OHJOFFS
Έͳ͞Μɺ --.ΞϓϦ࡞ͬͯ·͔͢ʁ
ͦΖͦΖɺ3"(νϟοτϘοτͷ1P$ ͖͖ͯͨํ͍ΔͷͰʜʁ
ੜ"*ΞϓϦͷ1P$Λଔۀͯ͠ ຊ൪ӡ༻ਐΉͨΊʹ ͔ܽͤͳ͍ཁૉͱ͍͑ʜ
ੜ"*ΞϓϦͷ1P$Λଔۀͯ͠ ຊ൪ӡ༻ਐΉͨΊʹ ͔ܽͤͳ͍ཁૉͱ͍͑ʜ ࢹͱධՁʂ
ᶃ ࢹฤ
ͱ͋ΔΞδϟΠϧ։ൃاۀͷ ΤϯδχΞɺΧάΧά͘Μ 3"(νϟοτϘοτΛߏங͠·ͨ͠
͋Δɺ͓٬͞·͔Β࿈བྷ͕ʜ ࠷ۙɺࣾһ͔Β ʮճ࣭͕མͪͨʯ ͱ͍͏ਃࠂ͕ ૿͍͑ͯΔΜͰ͕͢ʜ
͔֬ʹɺલਖ਼Ͱ͖͍ͯͨࣾφϨοδ2"ʹ ޡ͢ΔΑ͏ʹͳ͍ͬͯΔ ,"(ࣾͷ ެࣜΏΔΩϟϥʁ ʢώϯτɿௗྨʣ ΧάόʔυͰ͢ʢେӕʣ
͍͍ͬͨྼԽՕॴͲͩ͜Ζ͏ʜ ϓϩϯϓτ ςϯϓϨʔτ ݕࡧΫΤϦʔ ݕࡧ݁Ռ ճੜ
ϓϩϯϓτͱੜ݁Ռ͚ͩͰΘ͔Βͳ͍ʂ ,"(ࣾͷϚείοτ ΩϟϥΫλʔʁ ʢώϯτɿௗྨʣ ΧάόʔυͰ͢ʢେӕʣ ॾʑͷॲཧ
͔ͱ͍ͬͯɺຖճϩάړΔͷ͍ͩͿਏ͍ʜ
҆৺͍ͯͩ͘͠͞ɺ --.ΞϓϦઐ༻ͷ ࢹπʔϧ͕͋Γ·͢Α
༗໊ͳ--.ΞϓϦࢹπʔϧ -BOH$IBJO͕ࣾఏڙɻ 4BB4͕ͩɺ՝ۚ͢Ε ηϧϑϗετՄೳ -BOH4NJUI෩ͷػೳΛ 044ͱͯ͠ެ։ɻ खܰʹࣗڥͰಈ͔ͤΔ
ࠓճܖͳ͠ͰࢼͤΔ-BOHGVTFΛհ -BOH$IBJO͕ࣾఏڙɻ 4BB4͕ͩɺ՝ۚ͢Ε ηϧϑϗετՄೳ -BOH4NJUI෩ͷػೳΛ 044ͱͯ͠ެ։ɻ खܰʹࣗڥͰಈ͔ͤΔ
ίϯςφͱ%#͕༻ҙͰ͖Ε0,ɻ "84ͳΒ"QQ3VOOFSʴ3%4ͳͲ "84ΞΧϯτ "QQ3VOOFS 3%4 GPS1PTUHSF42- -BOHGVTF αʔόʔ σʔλϕʔε
ΞϓϦͷܭ؆୯ʂ ᶃ ڥมʹೝূΩʔͱαʔόʔ63-Λઃఆ ᶄ ࢹ͍ͨؔ͠ΛσίΔ PS-BOH$IBJOͳΒίʔϧόοΫΛ͢ Ҏ্ʂ FOW -"/('64&@4&$3&5@,&: -"/('64&@16#-*$@,&:
-"/('64&@)045
ܭޙɺ࣮ࡍʹΞϓϦΛಈ͔ͯ͠ΈΔͱʜ ෦ॲཧ͕Ұྎવʹʂ ॲཧ࣌ؒɺ τʔΫϯɺ ίετ ֤۠ؒͷ ೖग़ྗ༰ τϨʔεͷ ۠ؒྨ
Ͳ͜ʹ͕͔͔͍࣌ؒͬͯΔ͔ಛఆͰ͖Δ ΄ͱΜͲ͕--.ͷਪ࣌ؒ
ϓϩϯϓτςϯϓϨʔτ (6*Ͱཧˍߋ৽Ͱ͖Δʂ
ςετ༻ͷσʔληοτཧͰ͖Δʂ
ΧάΧά͘Μɺແࣄʹ ՕॴΛಛఆͰ͖·ͨ͠👏 ͊ɺͯ͞ Ϣʔβʔ͞Μ͕ؒҧͬͯ σʔλফͪ͠Όͬͯͨͷ͔ʜ
ᶄ ධՁฤ
ࠓ͓٬͞·͔ΒΫϨʔϜ͕ʂ ͦͦɺ ࣭ྼԽʹͬͱ ૣ͘ؾ͚ͮͳ͍ͷʁʁ
͜ͷ िؒεϓϦϯτͰ සൟʹΞϓσ͢Δ͠ɺ ຖճཏతͳධՁ ݱ࣮తͰͳ͍ʜ
҆৺͍ͯͩ͘͠͞ɺ --.ΞϓϦઐ༻ͷ ධՁπʔϧ͕͋Γ·͢Α
ͦΕ3BHBTʂ
࣮ଶ1ZUIPOϥΠϒϥϦɻ ৭ΜͳϝτϦΫεͰճ࣭ΛԽͯ͘͠ΕΔ 'BJUIGVMOFTT ʢ৴པੑʣ 3FTQPOTF3FMFWBODZ ʢԠͷؔ࿈ੑʣ $POUFYU1SFTJDJPO ʢจ຺ਫ਼ʣ $POUFYU3FDBMM ʢจ຺ճऩʣ
-BOHGVTFʹධՁϝτϦΫε͋Γ·͕͢ɺ 3BHBTಛʹఆධ͕͋Γ·͢
ͪͳΈʹ࠷ۙɺWΞϓσ͞Ε·ͨ͠ɻ 3"(͚ͩͰͳ͘ΤʔδΣϯτʹରԠ 🎉
ͦΜͳ3BHBTͷ͍ํ؆୯ʂ ᶃ ͍͍ͨϝτϦΫε ʴධՁʹ͏"*ϞσϧΛࢦఆ ᶄ --.ΞϓϦͷೖग़ྗΛ σʔληοτʹઃఆͯ͠ɺ ධՁϝιουΛ࣮ߦʢඇಉظʣ ᶅ ࢦఆͨ͠ϝτϦΫεͷ
͕ग़ྗ͞ΕΔʂ
ͨͩɺ͜ͷ͕ίϯιʔϧ ϩάʹग़͖ͯͨͱ͜ΖͰѻ͍ʹࠔΔ😅 Ͱ͍ͬͯ͏
ͦ͏ͩɺ͖ͬ͞ͷ-BOHGVTFʹ ৯ΘͤΕ͍͍ͷͰʁ
-BOHGVTFΫϥΠΞϯτͷTDPSFϝιουͰ τϨʔεʹͿͪࠐΉ͚ͩʂ
͋ͱτϨʔεҰཡΛோΊΔ͚ͩͰɺ ࣭ྼԽͨ͠ΒҰͰߜΓࠐΊΔʂ
ΧάΧά͘Μ ʮDPOUFYU@SFDBMMʯϝτϦΫεͷมԽʹΑΓɺ ࠶ൃ࣌ʹඵͰؾ͚ͮ·ͨ͠👏 ͓ɺͳΜ͔ٸʹ ݕࡧ݁ՌΛ Θͳ͘ͳͬͨͳ 3FDBMM͕ ͍ͭ͋ΔͰ
αΫοͱࢼͤΔຊޠͷೖهࣄॻ͖·ͨ͠ʂ
࠷ޙʹએ
ɺϥεϕΨεͷ"84SF*OWFOUͰొஃ͠·͢ʂ ʮΈͷΔΜʯͰ ݕࡧ͢Δͱʜ ۭ੮͋ͱΘ͔ͣʂ ݱߦ͔ͳ͍ਓ ৴͋Δ͔ʁ