Upgrade to Pro — share decks privately, control downloads, hide ads and more …

レンズの下のLLM / LLM under the Lens

Avatar for Henry Cui Henry Cui
December 30, 2023
Programming
0
190

レンズの下のLLM / LLM under the Lens

Avatar for Henry Cui

Henry Cui

December 30, 2023
Tweet

More Decks by Henry Cui

See All by Henry Cui
プロダクション言語モデルの情報を盗む攻撃 / Stealing Part of a Production Language Model
Avatar for Henry Cui zchenry
1
210
Direct Preference Optimization
Avatar for Henry Cui zchenry
0
380
Diffusion Model with Perceptual Loss
Avatar for Henry Cui zchenry
0
410
Go with the Prompt Flow
Avatar for Henry Cui zchenry
0
170
Mojo Dojo
Avatar for Henry Cui zchenry
0
220
ことのはの力で画像の異常検知 / Anomaly Detection by Language
Avatar for Henry Cui zchenry
0
580
驚愕の事実！LangChainが抱える問題 / Problems of LangChain
Avatar for Henry Cui zchenry
0
260
MLOps初心者がMLflowを触る / MLflow Brief Introduction
Avatar for Henry Cui zchenry
0
130
{{guidance}}のガイダンス / Guidance of guidance
Avatar for Henry Cui zchenry
0
170

Other Decks in Programming

See All in Programming
ECS初心者の仲間 – TUIツール「e1s」の紹介
Avatar for Xing Yahao keidarcy
0
150
rage against annotate_predecessor
Avatar for Junichi Kobayashi junk0612
0
160
TanStack DB ~状態管理の新しい考え方~
Avatar for じょうげん bmthd
2
480
旅行プランAIエージェント開発の裏側
Avatar for Ippo Matsui / 令和トラベル ippo012
2
850
Kiroの仕様駆動開発から見えてきたAIコーディングとの正しい付き合い方
Avatar for clshinji clshinji
1
200
Laravel Boost 超入門
Avatar for Arlo fire_arlo
2
200
FindyにおけるTakumi活用と脆弱性管理のこれから
Avatar for adachi.ryo rvirus0817
0
420
🔨 小さなビルドシステムを作る
Avatar for Mutsuha Asada momeemt
3
660
Ruby Parser progress report 2025
Avatar for yui-knk yui_knk
1
300
もうちょっといいRubyプロファイラを作りたい (2025)
Avatar for osyoyu osyoyu
0
290
開発チーム・開発組織の設計改善スキルの向上
Avatar for 増田 亨 masuda220
PRO
18
9.8k
サーバーサイドのビルド時間87倍高速化
Avatar for PLAID Tech plaidtech
PRO
0
700

Featured

See All Featured
The Illustrated Children's Guide to Kubernetes
Avatar for Chris Short chrisshort
48
50k
Distributed Sagas: A Protocol for Coordinating Microservices
Avatar for Caitie McCaffrey caitiem20
333
22k
A Tale of Four Properties
Avatar for Chris Coyier chriscoyier
160
23k
Faster Mobile Websites
Avatar for Dean Hume deanohume
309
31k
Side Projects
Avatar for Sacha Greif sachag
455
43k
RailsConf 2023
Avatar for Aaron Patterson tenderlove
30
1.2k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
Avatar for Tammy Everts tammyeverts
53
2.9k
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
Avatar for Tammy Everts tammyeverts
8
520
Become a Pro
Avatar for Speaker Deck speakerdeck
PRO
29
5.5k
Six Lessons from altMBA
Avatar for Skipper Chong Warson skipperchong
28
4k
Keith and Marios Guide to Fast Websites
Avatar for Keith Pitt keithpitt
411
22k
BBQ
Avatar for Matthew Crist matthewcrist
89
9.8k

Transcript

  1. レンズの下のLLM 機械学習の社会実装勉強会第30回 Henry 2023/12/30

  2. LLM開発 ▪ LLM開発に必要な機能 • プロンプトエンジニアリングの繰り返し • 実験管理・性能評価・結果比較 ▪ これらの機能を達成する急成長のレポジトリ trulens

    2

  3. TruLens-Eval ▪ カルフォルニアにある会社TruEraのプロダクト • MLのMonitor. Debug. Test.にフォーカス ▪ TruLens-EvalはLLMの実験管理のために開発された ▪

    TruLens-Explainは深層モデルの解釈性のために開発された ▪ 今日はTruLens-Evalに入門 3

  4. TruLens-Evalを使う ▪ ライブラリインストール pip install trulens-eval==0.19.0 • 最新版の0.20.0では不明のエラーでimportできなかった ▪ シンプルなllm_app

    • 2つの引数はサポートされてない ▪ Feedbackのカスタマイズ ▪ trulens-evalコマンドでstreamlitを開く • streamlit-javascriptが必要 4

  5. まとめ ▪ TruLens-Evalの基本的な使い方 ▪ 余力ある方はLangChainなどとの組み合わせ 5