Upgrade to Pro — share decks privately, control downloads, hide ads and more …
Sign up for free

レンズの下のLLM / LLM under the Lens

Avatar for Henry Cui Henry Cui
December 30, 2023
Programming
250
0

レンズの下のLLM / LLM under the Lens

Avatar for Henry Cui

Henry Cui

December 30, 2023

More Decks by Henry Cui

See All by Henry Cui
プロダクション言語モデルの情報を盗む攻撃 / Stealing Part of a Production Language Model
Avatar for Henry Cui zchenry
1
260
Direct Preference Optimization
Avatar for Henry Cui zchenry
0
490
Diffusion Model with Perceptual Loss
Avatar for Henry Cui zchenry
0
540
Go with the Prompt Flow
Avatar for Henry Cui zchenry
0
260
Mojo Dojo
Avatar for Henry Cui zchenry
0
290
ことのはの力で画像の異常検知 / Anomaly Detection by Language
Avatar for Henry Cui zchenry
0
770
驚愕の事実！LangChainが抱える問題 / Problems of LangChain
Avatar for Henry Cui zchenry
0
350
MLOps初心者がMLflowを触る / MLflow Brief Introduction
Avatar for Henry Cui zchenry
0
230
{{guidance}}のガイダンス / Guidance of guidance
Avatar for Henry Cui zchenry
0
220

Other Decks in Programming

See All in Programming
Workers Cache を知る
Avatar for syumai syumai
0
350
Herb in Rails 8.2: Your ERB views, now HTML-aware @ Rails World 2026, Austin, Texas
Avatar for Marco Roth marcoroth
0
200
mrbgem 三角測量 開発
Avatar for ogom ogom
0
230
contenteditable と日本語入力に向き合う
Avatar for taki colorful12
0
180
JAWS-UG 東京支部が始める、JAWS-UG支部コラボ / JAWS-UG lunchtime LT Collaboration
Avatar for y-ohgi y0hgi
0
220
Apple Intelligence を用いた個人情報誤送信防止、及びユーザーリクエスト体験の改善について
Avatar for Yuki Kuwashima yukiny
0
330
プロダクトコードからライブラリの境界を見つける
Avatar for elmetal elmetal
PRO
0
110
Vue Fes Japan の “作る側”に関わってみて
Avatar for Naoki Haba naokihaba
0
140
Verilogで学ぶCPU自作入門
Avatar for uyuki uyuki234
8
4.1k
速習iPhone Duo対応
Avatar for 野瀬田　裕樹 yuukiw00w
2
980
なぜCTOを降りてFDEを選んだのか？〜なぜプロダクト企業がFDEで顧客の現場に踏み込むのか〜
Avatar for ryuta sakamoto gonta
1
180
パーソナライズPodcastを作った話
Avatar for repunit11 repunit11
0
130

Featured

See All Featured
RailsConf 2023
Avatar for Aaron Patterson tenderlove
30
1.6k
Site-Speed That Sticks
Avatar for Harry Roberts csswizardry
13
1.6k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
Avatar for Rebecca Miller-Webster rmw
35
3.8k
BBQ
Avatar for Matthew Crist matthewcrist
90
10k
Testing 201, or: Great Expectations
Avatar for Joseph Mastey jmmastey
46
8.3k
So, you think you're a good person
Avatar for Per Axbom axbom
PRO
2
2.2k
Introduction to Domain-Driven Design and Collaborative software design
Avatar for Kenny Baas-Schwegler baasie
1
1k
Building a A Zero-Code AI SEO Workflow
Avatar for Ian Lurie portentint
PRO
0
770
Mind Mapping
Avatar for Hélio Medeiros helmedeiros
1
400
The Pragmatic Product Professional
Avatar for Laura Van Doore lauravandoore
37
7.5k
How Software Deployment tools have changed in the past 20 years
Avatar for Geshan Manandhar geshan
2
35k
Information Architects: The Missing Link in Design Systems
Avatar for Michelle Chin soysaucechin
1
1.2k

Transcript

  1. レンズの下のLLM 機械学習の社会実装勉強会第30回 Henry 2023/12/30

  2. LLM開発 ▪ LLM開発に必要な機能 • プロンプトエンジニアリングの繰り返し • 実験管理・性能評価・結果比較 ▪ これらの機能を達成する急成長のレポジトリ trulens

    2

  3. TruLens-Eval ▪ カルフォルニアにある会社TruEraのプロダクト • MLのMonitor. Debug. Test.にフォーカス ▪ TruLens-EvalはLLMの実験管理のために開発された ▪

    TruLens-Explainは深層モデルの解釈性のために開発された ▪ 今日はTruLens-Evalに入門 3

  4. TruLens-Evalを使う ▪ ライブラリインストール pip install trulens-eval==0.19.0 • 最新版の0.20.0では不明のエラーでimportできなかった ▪ シンプルなllm_app

    • 2つの引数はサポートされてない ▪ Feedbackのカスタマイズ ▪ trulens-evalコマンドでstreamlitを開く • streamlit-javascriptが必要 4

  5. まとめ ▪ TruLens-Evalの基本的な使い方 ▪ 余力ある方はLangChainなどとの組み合わせ 5