Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
レンズの下のLLM / LLM under the Lens
Search
Henry Cui
December 30, 2023
Programming
0
160
レンズの下のLLM / LLM under the Lens
Henry Cui
December 30, 2023
Tweet
Share
More Decks by Henry Cui
See All by Henry Cui
プロダクション言語モデルの情報を盗む攻撃 / Stealing Part of a Production Language Model
zchenry
0
110
Direct Preference Optimization
zchenry
0
310
Diffusion Model with Perceptual Loss
zchenry
0
270
Go with the Prompt Flow
zchenry
0
140
Mojo Dojo
zchenry
1
180
ことのはの力で画像の異常検知 / Anomaly Detection by Language
zchenry
0
430
驚愕の事実!LangChainが抱える問題 / Problems of LangChain
zchenry
0
180
MLOps初心者がMLflowを触る / MLflow Brief Introduction
zchenry
0
90
{{guidance}}のガイダンス / Guidance of guidance
zchenry
0
150
Other Decks in Programming
See All in Programming
Scalaから始めるOpenFeature入門 / Scalaわいわい勉強会 #4
arthur1
1
390
iOS開発におけるCopilot For XcodeとCode Completion / copilot for xcode
fuyan777
1
1.3k
Fibonacci Function Gallery - Part 2
philipschwarz
PRO
0
210
オニオンアーキテクチャを使って、 Unityと.NETでコードを共有する
soi013
0
350
watsonx.ai Dojo #6 継続的なAIアプリ開発と展開
oniak3ibm
PRO
0
120
PHPUnitしか使ってこなかった 一般PHPerがPestに乗り換えた実録
mashirou1234
0
400
React 19でお手軽にCSS-in-JSを自作する
yukukotani
5
550
KubeCon NA 2024の全DB関連セッションを紹介
nnaka2992
0
110
Fibonacci Function Gallery - Part 1
philipschwarz
PRO
0
270
20年もののレガシープロダクトに 0からPHPStanを入れるまで / phpcon2024
hirobe1999
0
990
快速入門可觀測性
blueswen
0
490
テストケースの名前はどうつけるべきか?
orgachem
PRO
1
180
Featured
See All Featured
Become a Pro
speakerdeck
PRO
26
5.1k
jQuery: Nuts, Bolts and Bling
dougneiner
62
7.6k
How to train your dragon (web standard)
notwaldorf
88
5.8k
Bash Introduction
62gerente
609
210k
Designing for Performance
lara
604
68k
Code Reviewing Like a Champion
maltzj
521
39k
For a Future-Friendly Web
brad_frost
176
9.5k
The Power of CSS Pseudo Elements
geoffreycrofte
74
5.4k
Why You Should Never Use an ORM
jnunemaker
PRO
54
9.1k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
160
15k
Agile that works and the tools we love
rasmusluckow
328
21k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
19
2.3k
Transcript
レンズの下のLLM 機械学習の社会実装勉強会第30回 Henry 2023/12/30
LLM開発 ▪ LLM開発に必要な機能 • プロンプトエンジニアリングの繰り返し • 実験管理・性能評価・結果比較 ▪ これらの機能を達成する急成長のレポジトリ trulens
2
TruLens-Eval ▪ カルフォルニアにある会社TruEraのプロダクト • MLのMonitor. Debug. Test.にフォーカス ▪ TruLens-EvalはLLMの実験管理のために開発された ▪
TruLens-Explainは深層モデルの解釈性のために開発された ▪ 今日はTruLens-Evalに入門 3
TruLens-Evalを使う ▪ ライブラリインストール pip install trulens-eval==0.19.0 • 最新版の0.20.0では不明のエラーでimportできなかった ▪ シンプルなllm_app
• 2つの引数はサポートされてない ▪ Feedbackのカスタマイズ ▪ trulens-evalコマンドでstreamlitを開く • streamlit-javascriptが必要 4
まとめ ▪ TruLens-Evalの基本的な使い方 ▪ 余力ある方はLangChainなどとの組み合わせ 5