Upgrade to Pro — share decks privately, control downloads, hide ads and more …

レンズの下のLLM / LLM under the Lens

Sponsored · SiteGround - Reliable hosting with speed, security, and support you can count on. →
Avatar for Henry Cui Henry Cui
December 30, 2023
Programming
0
210

レンズの下のLLM / LLM under the Lens

Avatar for Henry Cui

Henry Cui

December 30, 2023
Tweet

More Decks by Henry Cui

See All by Henry Cui
プロダクション言語モデルの情報を盗む攻撃 / Stealing Part of a Production Language Model
Avatar for Henry Cui zchenry
1
240
Direct Preference Optimization
Avatar for Henry Cui zchenry
0
430
Diffusion Model with Perceptual Loss
Avatar for Henry Cui zchenry
0
490
Go with the Prompt Flow
Avatar for Henry Cui zchenry
0
200
Mojo Dojo
Avatar for Henry Cui zchenry
0
240
ことのはの力で画像の異常検知 / Anomaly Detection by Language
Avatar for Henry Cui zchenry
0
670
驚愕の事実！LangChainが抱える問題 / Problems of LangChain
Avatar for Henry Cui zchenry
0
300
MLOps初心者がMLflowを触る / MLflow Brief Introduction
Avatar for Henry Cui zchenry
0
170
{{guidance}}のガイダンス / Guidance of guidance
Avatar for Henry Cui zchenry
0
190

Other Decks in Programming

See All in Programming
AI Assistants for Your Angular Solutions
Avatar for Manfred Steyer manfredsteyer
PRO
0
140
Agentic AI: Evolution oder Revolution
Avatar for Lars Roewekamp mobilelarson
PRO
0
180
maplibre-gl-layers - 地図に移動体たくさん表示したい
Avatar for Kouji Matsui kekyo
PRO
0
270
最初からAWS CDKで技術検証してもいいんじゃない？
Avatar for アキキー | Akihisa Ikeda akihisaikeda
4
150
How to stabilize UI tests using XCTest
Avatar for Akio Itaya akkeylab
0
130
守る「だけ」の優しいEMを抜けて、 事業とチームを両方見る視点を身につけた話
Avatar for Mitsui maroon8021
3
970
どんと来い、データベース信頼性エンジニアリング / Introduction to DBRE
Avatar for nnaka2992 nnaka2992
1
290
2026年は Rust 置き換えが流行る！ / 20260220-niigata-5min-tech
Avatar for girigiribauer girigiribauer
0
240
AHC061解説
Avatar for Shun_PI shun_pi
0
380
エージェント開発初心者の僕が エージェントを作った話と今後やりたいこと
Avatar for ta-hasunuma thasu0123
0
250
モダンOBSプラグイン開発
Avatar for Kaito Udagawa umireon
0
140
CDIの誤解しがちな仕様とその対処TIPS
Avatar for futokiyo futokiyo
0
220

Featured

See All Featured
Done Done
Avatar for chrislema chrislema
186
16k
VelocityConf: Rendering Performance Case Studies
Avatar for Addy Osmani addyosmani
333
24k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
Avatar for Sam Stephenson sstephenson
162
16k
The Curse of the Amulet
Avatar for Matthew Lei leimatthew05
1
10k
For a Future-Friendly Web
Avatar for Brad Frost brad_frost
183
10k
What's in a price? How to price your products and services
Avatar for Michael Herold michaelherold
247
13k
How STYLIGHT went responsive
Avatar for nonsquared nonsquared
100
6k
The Limits of Empathy - UXLibs8
Avatar for Cassini Nazir cassininazir
1
260
Context Engineering - Making Every Token Count
Avatar for Addy Osmani addyosmani
9
750
Helping Users Find Their Own Way: Creating Modern Search Experiences
Avatar for Dan Newman danielanewman
31
3.1k
Thoughts on Productivity
Avatar for Jon Yablonski jonyablonski
75
5.1k
jQuery: Nuts, Bolts and Bling
Avatar for Doug Neiner dougneiner
65
8.4k

Transcript

  1. レンズの下のLLM 機械学習の社会実装勉強会第30回 Henry 2023/12/30

  2. LLM開発 ▪ LLM開発に必要な機能 • プロンプトエンジニアリングの繰り返し • 実験管理・性能評価・結果比較 ▪ これらの機能を達成する急成長のレポジトリ trulens

    2

  3. TruLens-Eval ▪ カルフォルニアにある会社TruEraのプロダクト • MLのMonitor. Debug. Test.にフォーカス ▪ TruLens-EvalはLLMの実験管理のために開発された ▪

    TruLens-Explainは深層モデルの解釈性のために開発された ▪ 今日はTruLens-Evalに入門 3

  4. TruLens-Evalを使う ▪ ライブラリインストール pip install trulens-eval==0.19.0 • 最新版の0.20.0では不明のエラーでimportできなかった ▪ シンプルなllm_app

    • 2つの引数はサポートされてない ▪ Feedbackのカスタマイズ ▪ trulens-evalコマンドでstreamlitを開く • streamlit-javascriptが必要 4

  5. まとめ ▪ TruLens-Evalの基本的な使い方 ▪ 余力ある方はLangChainなどとの組み合わせ 5