Upgrade to Pro — share decks privately, control downloads, hide ads and more …

レンズの下のLLM / LLM under the Lens

Henry Cui
December 30, 2023
Programming
0
170

レンズの下のLLM / LLM under the Lens

Henry Cui

December 30, 2023
Tweet

More Decks by Henry Cui

See All by Henry Cui
プロダクション言語モデルの情報を盗む攻撃 / Stealing Part of a Production Language Model
zchenry
0
140
Direct Preference Optimization
zchenry
0
340
Diffusion Model with Perceptual Loss
zchenry
0
310
Go with the Prompt Flow
zchenry
0
150
Mojo Dojo
zchenry
0
190
ことのはの力で画像の異常検知 / Anomaly Detection by Language
zchenry
0
490
驚愕の事実！LangChainが抱える問題 / Problems of LangChain
zchenry
0
210
MLOps初心者がMLflowを触る / MLflow Brief Introduction
zchenry
0
98
{{guidance}}のガイダンス / Guidance of guidance
zchenry
0
150

Other Decks in Programming

See All in Programming
今から始めるCursor / Windsurf / Cline
kengo_hayano
0
110
自分のために作ったアプリが、グローバルに使われるまで / Indie App Development Lunch LT
pixyzehn
1
120
PHPUnit 高速化テクニック / PHPUnit Speedup Techniques
pinkumohikan
1
1.2k
ステートソーシング型イベント駆動の視点で捉えるCQRS+ES
shinnosuke0522
1
320
家族・子育て重視/沖縄在住を維持しながらエンジニアとしてのキャリアをどのように育てていくか？
ug
0
240
remix + cloudflare workers (DO) docker上でいい感じに開発する
yoshidatomoaki
0
120
Devin入門と最近のアップデートから見るDevinの進化 / Introduction to Devin and the Evolution of Devin as Seen in Recent Update
rkaga
7
3.7k
Node.js, Deno, Bun 最新動向とその所感について
yosuke_furukawa
PRO
6
3k
Going Structural with Named Tuples
bishabosha
0
170
RailsでCQRS/ESをやってみたきづき
suzukimar
2
1.5k
AIエージェントを活用したアプリ開発手法の模索
kumamotone
1
740
Devin , 正しい付き合い方と使い方 / Living and Working with Devin
yukinagae
1
520

Featured

See All Featured
Writing Fast Ruby
sferik
628
61k
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
Building Flexible Design Systems
yeseniaperezcruz
328
38k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
4
490
Optimizing for Happiness
mojombo
377
70k
Building a Modern Day 
E-commerce SEO Strategy
aleyda
39
7.2k
Testing 201, or: Great Expectations
jmmastey
42
7.4k
Scaling GitHub
holman
459
140k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
Building Your Own Lightsaber
phodgson
104
6.3k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
34
2.9k
How GitHub (no longer) Works
holman
314
140k

Transcript

  1. レンズの下のLLM 機械学習の社会実装勉強会第30回 Henry 2023/12/30

  2. LLM開発 ▪ LLM開発に必要な機能 • プロンプトエンジニアリングの繰り返し • 実験管理・性能評価・結果比較 ▪ これらの機能を達成する急成長のレポジトリ trulens

    2

  3. TruLens-Eval ▪ カルフォルニアにある会社TruEraのプロダクト • MLのMonitor. Debug. Test.にフォーカス ▪ TruLens-EvalはLLMの実験管理のために開発された ▪

    TruLens-Explainは深層モデルの解釈性のために開発された ▪ 今日はTruLens-Evalに入門 3

  4. TruLens-Evalを使う ▪ ライブラリインストール pip install trulens-eval==0.19.0 • 最新版の0.20.0では不明のエラーでimportできなかった ▪ シンプルなllm_app

    • 2つの引数はサポートされてない ▪ Feedbackのカスタマイズ ▪ trulens-evalコマンドでstreamlitを開く • streamlit-javascriptが必要 4

  5. まとめ ▪ TruLens-Evalの基本的な使い方 ▪ 余力ある方はLangChainなどとの組み合わせ 5