Upgrade to Pro — share decks privately, control downloads, hide ads and more …

レンズの下のLLM / LLM under the Lens

Henry Cui
December 30, 2023
Programming
0
170

レンズの下のLLM / LLM under the Lens

Henry Cui

December 30, 2023
Tweet

More Decks by Henry Cui

See All by Henry Cui
プロダクション言語モデルの情報を盗む攻撃 / Stealing Part of a Production Language Model
zchenry
0
150
Direct Preference Optimization
zchenry
0
350
Diffusion Model with Perceptual Loss
zchenry
0
320
Go with the Prompt Flow
zchenry
0
150
Mojo Dojo
zchenry
0
190
ことのはの力で画像の異常検知 / Anomaly Detection by Language
zchenry
0
520
驚愕の事実！LangChainが抱える問題 / Problems of LangChain
zchenry
0
220
MLOps初心者がMLflowを触る / MLflow Brief Introduction
zchenry
0
100
{{guidance}}のガイダンス / Guidance of guidance
zchenry
0
150

Other Decks in Programming

See All in Programming
エンジニアが挑む、限界までの越境
nealle
1
210
Exit 8 for SwiftUI
ojun9
0
130
Unlock the Potential of Swift Code Generation
rockname
0
250
The Nature of Complexity in John Ousterhout’s Philosophy of Software Design
philipschwarz
PRO
0
100
リアルタイムレイトレーシング + ニューラルレンダリング簡単紹介 / Real-Time Ray Tracing & Neural Rendering: A Quick Introduction (2025)
shocker_0x15
1
310
AI Agents with JavaScript
slobodan
0
230
Rollupのビルド時間高速化によるプレビュー表示速度改善とバンドラとASTを駆使したプロダクト開発の難しさ
plaidtech
PRO
1
170
Thank you <💅>, What's the Next?
ahoxa
1
180
Building Scalable Mobile Projects: Fast Builds, High Reusability and Clear Ownership
cyrilmottier
2
290
Chrome Extension Techniques from Hell
moznion
1
160
SEAL - Dive into the sea of search engines - Symfony Live Berlin 2025
alexanderschranz
1
140
The Implementations of Advanced LR Parser Algorithm
junk0612
1
310

Featured

See All Featured
Optimising Largest Contentful Paint
csswizardry
36
3.2k
How STYLIGHT went responsive
nonsquared
99
5.5k
The Pragmatic Product Professional
lauravandoore
33
6.5k
Java REST API Framework Comparison - PWX 2021
mraible
30
8.5k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
13
670
Site-Speed That Sticks
csswizardry
5
490
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
1.6k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
32
2.2k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Imperfection Machines: The Place of Print at Facebook
scottboms
267
13k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
34
2.2k
Gamification - CAS2011
davidbonilla
81
5.2k

Transcript

  1. レンズの下のLLM 機械学習の社会実装勉強会第30回 Henry 2023/12/30

  2. LLM開発 ▪ LLM開発に必要な機能 • プロンプトエンジニアリングの繰り返し • 実験管理・性能評価・結果比較 ▪ これらの機能を達成する急成長のレポジトリ trulens

    2

  3. TruLens-Eval ▪ カルフォルニアにある会社TruEraのプロダクト • MLのMonitor. Debug. Test.にフォーカス ▪ TruLens-EvalはLLMの実験管理のために開発された ▪

    TruLens-Explainは深層モデルの解釈性のために開発された ▪ 今日はTruLens-Evalに入門 3

  4. TruLens-Evalを使う ▪ ライブラリインストール pip install trulens-eval==0.19.0 • 最新版の0.20.0では不明のエラーでimportできなかった ▪ シンプルなllm_app

    • 2つの引数はサポートされてない ▪ Feedbackのカスタマイズ ▪ trulens-evalコマンドでstreamlitを開く • streamlit-javascriptが必要 4

  5. まとめ ▪ TruLens-Evalの基本的な使い方 ▪ 余力ある方はLangChainなどとの組み合わせ 5