Upgrade to Pro — share decks privately, control downloads, hide ads and more …

レンズの下のLLM / LLM under the Lens

Avatar for Henry Cui Henry Cui
December 30, 2023
Programming
0
180

レンズの下のLLM / LLM under the Lens

Avatar for Henry Cui

Henry Cui

December 30, 2023
Tweet

More Decks by Henry Cui

See All by Henry Cui
プロダクション言語モデルの情報を盗む攻撃 / Stealing Part of a Production Language Model
Avatar for Henry Cui zchenry
1
190
Direct Preference Optimization
Avatar for Henry Cui zchenry
0
370
Diffusion Model with Perceptual Loss
Avatar for Henry Cui zchenry
0
370
Go with the Prompt Flow
Avatar for Henry Cui zchenry
0
160
Mojo Dojo
Avatar for Henry Cui zchenry
0
200
ことのはの力で画像の異常検知 / Anomaly Detection by Language
Avatar for Henry Cui zchenry
0
550
驚愕の事実！LangChainが抱える問題 / Problems of LangChain
Avatar for Henry Cui zchenry
0
240
MLOps初心者がMLflowを触る / MLflow Brief Introduction
Avatar for Henry Cui zchenry
0
110
{{guidance}}のガイダンス / Guidance of guidance
Avatar for Henry Cui zchenry
0
160

Other Decks in Programming

See All in Programming
型付きアクターモデルがもたらす分散シミュレーションの未来
Avatar for Takatomo Torigoe piyo7
0
800
エンジニア向け採用ピッチ資料
Avatar for 犬飼嵩 inusan
0
140
コードの90%をAIが書く世界で何が待っているのか / What awaits us in a world where 90% of the code is written by AI
Avatar for r-kagaya rkaga
41
28k
Effect の双対、Coeffect
Avatar for ゆきくらげ yukikurage
5
1.4k
Gleamという選択肢
Avatar for Comamoca comamoca
6
740
A comprehensive view of refactoring
Avatar for Marabesi marabesi
0
970
GoのGenericsによるslice操作との付き合い方
Avatar for syumai syumai
2
670
『自分のデータだけ見せたい！』を叶える──Laravel × Casbin で複雑権限をスッキリ解きほぐす 25 分
Avatar for AkitoTsukahara akitotsukahara
1
360
Team topologies and the microservice architecture: a synergistic relationship
Avatar for Chris Richardson cer
PRO
0
930
Using AI Tools Around Software Development
Avatar for inouehi inouehi
0
1.2k
A2A プロトコルを試してみる
Avatar for azukiazusa azukiazusa1
2
860
git worktree × Claude Code × MCP ～生成AI時代の並列開発フロー～
Avatar for hisuzuya hisuzuya
0
160

Featured

See All Featured
How to Ace a Technical Interview
Avatar for Jacob Kaplan-Moss jacobian
277
23k
Testing 201, or: Great Expectations
Avatar for Joseph Mastey jmmastey
42
7.5k
Improving Core Web Vitals using Speculation Rules API
Avatar for Sergey Chernyshev sergeychernyshev
16
940
Optimizing for Happiness
Avatar for Tom Preston-Werner mojombo
379
70k
Easily Structure & Communicate Ideas using Wireframe
Avatar for Afnizar Nur Ghifari afnizarnur
194
16k
10 Git Anti Patterns You Should be Aware of
Avatar for Lemi Orhan Ergin lemiorhan
PRO
657
60k
How To Stay Up To Date on Web Technology
Avatar for Chris Coyier chriscoyier
790
250k
Fireside Chat
Avatar for paigeccino paigeccino
37
3.5k
[RailsConf 2023] Rails as a piece of cake
Avatar for Vladimir Dementyev palkan
55
5.6k
YesSQL, Process and Tooling at Scale
Avatar for Rocio Delgado rocio
173
14k
Documentation Writing (for coders)
Avatar for Carmen Chung carmenintech
71
4.9k
Building Better People: How to give real-time feedback that sticks.
Avatar for Will Jessup wjessup
367
19k

Transcript

  1. レンズの下のLLM 機械学習の社会実装勉強会第30回 Henry 2023/12/30

  2. LLM開発 ▪ LLM開発に必要な機能 • プロンプトエンジニアリングの繰り返し • 実験管理・性能評価・結果比較 ▪ これらの機能を達成する急成長のレポジトリ trulens

    2

  3. TruLens-Eval ▪ カルフォルニアにある会社TruEraのプロダクト • MLのMonitor. Debug. Test.にフォーカス ▪ TruLens-EvalはLLMの実験管理のために開発された ▪

    TruLens-Explainは深層モデルの解釈性のために開発された ▪ 今日はTruLens-Evalに入門 3

  4. TruLens-Evalを使う ▪ ライブラリインストール pip install trulens-eval==0.19.0 • 最新版の0.20.0では不明のエラーでimportできなかった ▪ シンプルなllm_app

    • 2つの引数はサポートされてない ▪ Feedbackのカスタマイズ ▪ trulens-evalコマンドでstreamlitを開く • streamlit-javascriptが必要 4

  5. まとめ ▪ TruLens-Evalの基本的な使い方 ▪ 余力ある方はLangChainなどとの組み合わせ 5