Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
レンズの下のLLM / LLM under the Lens
Search
Henry Cui
December 30, 2023
Programming
0
98
レンズの下のLLM / LLM under the Lens
Henry Cui
December 30, 2023
Tweet
Share
More Decks by Henry Cui
See All by Henry Cui
Direct Preference Optimization
zchenry
0
140
Diffusion Model with Perceptual Loss
zchenry
0
72
Go with the Prompt Flow
zchenry
0
100
Mojo Dojo
zchenry
1
140
ことのはの力で画像の異常検知 / Anomaly Detection by Language
zchenry
0
190
驚愕の事実!LangChainが抱える問題 / Problems of LangChain
zchenry
0
120
MLOps初心者がMLflowを触る / MLflow Brief Introduction
zchenry
0
61
{{guidance}}のガイダンス / Guidance of guidance
zchenry
0
110
MLOps初心者がApache Airflowを触る / Apache Airflow Introduction for an MLOps Beginner
zchenry
0
160
Other Decks in Programming
See All in Programming
Elm Form Validation
bkuhlmann
0
510
Code Reviews
bkuhlmann
4
890
#phpcon_odawara オープン・クローズドなテストフィクスチャを求めて / open closed test fixtures
77web
3
230
Goのエラースタックトレースの歴史と今後
sonatard
9
1.6k
PostmanでAPIの動作確認が楽になった話
h455h1
0
170
"config" ってなんだ? / What is "config"?
okashoi
0
240
Node.js v22 で変わること
yosuke_furukawa
PRO
10
3.5k
SIMD Parallel Programming with the Vector API
josepaumard
0
200
Elm 0.19.0 Changes
bkuhlmann
0
490
try! Swift Tokyo 初参加報告LT
hinakko2
0
220
冗長なエラーログを削減し、スタックトレースを手に入れる / Reducing Verbose Error Logs and Obtaining Stack Traces
upamune
0
840
What We Can Learn From OSS
inouehi
0
420
Featured
See All Featured
It's Worth the Effort
3n
180
27k
Navigating Team Friction
lara
178
13k
The Cult of Friendly URLs
andyhume
74
5.7k
jQuery: Nuts, Bolts and Bling
dougneiner
59
7.1k
Automating Front-end Workflow
addyosmani
1356
200k
Java REST API Framework Comparison - PWX 2021
mraible
PRO
18
6.9k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
125
32k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
227
16k
Designing with Data
zakiwarfel
96
4.8k
Designing for humans not robots
tammielis
248
25k
The Brand Is Dead. Long Live the Brand.
mthomps
49
29k
Creatively Recalculating Your Daily Design Routine
revolveconf
210
11k
Transcript
レンズの下のLLM 機械学習の社会実装勉強会第30回 Henry 2023/12/30
LLM開発 ▪ LLM開発に必要な機能 • プロンプトエンジニアリングの繰り返し • 実験管理・性能評価・結果比較 ▪ これらの機能を達成する急成長のレポジトリ trulens
2
TruLens-Eval ▪ カルフォルニアにある会社TruEraのプロダクト • MLのMonitor. Debug. Test.にフォーカス ▪ TruLens-EvalはLLMの実験管理のために開発された ▪
TruLens-Explainは深層モデルの解釈性のために開発された ▪ 今日はTruLens-Evalに入門 3
TruLens-Evalを使う ▪ ライブラリインストール pip install trulens-eval==0.19.0 • 最新版の0.20.0では不明のエラーでimportできなかった ▪ シンプルなllm_app
• 2つの引数はサポートされてない ▪ Feedbackのカスタマイズ ▪ trulens-evalコマンドでstreamlitを開く • streamlit-javascriptが必要 4
まとめ ▪ TruLens-Evalの基本的な使い方 ▪ 余力ある方はLangChainなどとの組み合わせ 5