Upgrade to Pro — share decks privately, control downloads, hide ads and more …

レンズの下のLLM / LLM under the Lens

Avatar for Henry Cui Henry Cui
December 30, 2023
Programming
0
180

レンズの下のLLM / LLM under the Lens

Avatar for Henry Cui

Henry Cui

December 30, 2023
Tweet

More Decks by Henry Cui

See All by Henry Cui
プロダクション言語モデルの情報を盗む攻撃 / Stealing Part of a Production Language Model
Avatar for Henry Cui zchenry
0
190
Direct Preference Optimization
Avatar for Henry Cui zchenry
0
360
Diffusion Model with Perceptual Loss
Avatar for Henry Cui zchenry
0
360
Go with the Prompt Flow
Avatar for Henry Cui zchenry
0
150
Mojo Dojo
Avatar for Henry Cui zchenry
0
200
ことのはの力で画像の異常検知 / Anomaly Detection by Language
Avatar for Henry Cui zchenry
0
540
驚愕の事実！LangChainが抱える問題 / Problems of LangChain
Avatar for Henry Cui zchenry
0
230
MLOps初心者がMLflowを触る / MLflow Brief Introduction
Avatar for Henry Cui zchenry
0
110
{{guidance}}のガイダンス / Guidance of guidance
Avatar for Henry Cui zchenry
0
160

Other Decks in Programming

See All in Programming
ワンバイナリWebサービスのススメ
Avatar for mackee mackee
10
7.5k
Cloudflare Realtime と Workers でつくるサーバーレス WebRTC
Avatar for Taiyu Yoshizawa nekoya3
0
240
TypeScript だけを書いて Tauri でデスクトップアプリを作ろう / Tauri with only TypeScript
Avatar for tris tris5572
2
540
TypeScript LSP の今までとこれから
Avatar for Yosuke Kurami quramy
0
110
MLOps Japan 勉強会 #52 - 特徴量を言語を越えて一貫して管理する, 『特徴量ドリブン』な MLOps の実現への試み
Avatar for Tomohiro Tani taniiicom
2
570
UPDATEがシステムを複雑にする？ イミュータブルデータモデルのすすめ
Avatar for a.shimomura shimomura
0
220
TSConfigからTypeScriptの世界を覗く
Avatar for らいと planck16
2
1.3k
がんばりすぎないコーディングルール運用術
Avatar for Keita Tsukamoto tsukakei
1
180
インターフェース設計のコツとツボ
Avatar for おぎ togishima
2
490
TSConfig Solution Style & subpath imports to switch types on a per-file basis
Avatar for South maminami373
1
180
〜可視化からアクセス制御まで〜 BigQuery×Looker Studioで コスト管理とデータソース認証制御する方法
Avatar for CUEBiC Inc. cuebic9bic
2
270
Use Perl as Better Shell Script
Avatar for karupanerura karupanerura
0
660

Featured

See All Featured
Fight the Zombie Pattern Library - RWD Summit 2016
Avatar for Marcelo Somers marcelosomers
233
17k
Improving Core Web Vitals using Speculation Rules API
Avatar for Sergey Chernyshev sergeychernyshev
15
890
The Invisible Side of Design
Avatar for Vitaly Friedman smashingmag
299
50k
jQuery: Nuts, Bolts and Bling
Avatar for Doug Neiner dougneiner
63
7.8k
Docker and Python
Avatar for Tania Allard trallard
44
3.4k
The Art of Programming - Codeland 2020
Avatar for Erika Heidi erikaheidi
54
13k
Building a Modern Day 
E-commerce SEO Strategy
Avatar for Aleyda Solis aleyda
40
7.3k
Music & Morning Musume
Avatar for Bryan Veloso bryan
47
6.6k
For a Future-Friendly Web
Avatar for Brad Frost brad_frost
178
9.7k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
Avatar for Eileen M. Uchitelle eileencodes
137
34k
Helping Users Find Their Own Way: Creating Modern Search Experiences
Avatar for Dan Newman danielanewman
29
2.6k
Easily Structure & Communicate Ideas using Wireframe
Avatar for Afnizar Nur Ghifari afnizarnur
194
16k

Transcript

  1. レンズの下のLLM 機械学習の社会実装勉強会第30回 Henry 2023/12/30

  2. LLM開発 ▪ LLM開発に必要な機能 • プロンプトエンジニアリングの繰り返し • 実験管理・性能評価・結果比較 ▪ これらの機能を達成する急成長のレポジトリ trulens

    2

  3. TruLens-Eval ▪ カルフォルニアにある会社TruEraのプロダクト • MLのMonitor. Debug. Test.にフォーカス ▪ TruLens-EvalはLLMの実験管理のために開発された ▪

    TruLens-Explainは深層モデルの解釈性のために開発された ▪ 今日はTruLens-Evalに入門 3

  4. TruLens-Evalを使う ▪ ライブラリインストール pip install trulens-eval==0.19.0 • 最新版の0.20.0では不明のエラーでimportできなかった ▪ シンプルなllm_app

    • 2つの引数はサポートされてない ▪ Feedbackのカスタマイズ ▪ trulens-evalコマンドでstreamlitを開く • streamlit-javascriptが必要 4

  5. まとめ ▪ TruLens-Evalの基本的な使い方 ▪ 余力ある方はLangChainなどとの組み合わせ 5