Upgrade to Pro — share decks privately, control downloads, hide ads and more …

レンズの下のLLM / LLM under the Lens

Sponsored · SiteGround - Reliable hosting with speed, security, and support you can count on. →
Avatar for Henry Cui Henry Cui
December 30, 2023
Programming
0
200

レンズの下のLLM / LLM under the Lens

Avatar for Henry Cui

Henry Cui

December 30, 2023
Tweet

More Decks by Henry Cui

See All by Henry Cui
プロダクション言語モデルの情報を盗む攻撃 / Stealing Part of a Production Language Model
Avatar for Henry Cui zchenry
1
230
Direct Preference Optimization
Avatar for Henry Cui zchenry
0
420
Diffusion Model with Perceptual Loss
Avatar for Henry Cui zchenry
0
470
Go with the Prompt Flow
Avatar for Henry Cui zchenry
0
190
Mojo Dojo
Avatar for Henry Cui zchenry
0
230
ことのはの力で画像の異常検知 / Anomaly Detection by Language
Avatar for Henry Cui zchenry
0
650
驚愕の事実！LangChainが抱える問題 / Problems of LangChain
Avatar for Henry Cui zchenry
0
290
MLOps初心者がMLflowを触る / MLflow Brief Introduction
Avatar for Henry Cui zchenry
0
160
{{guidance}}のガイダンス / Guidance of guidance
Avatar for Henry Cui zchenry
0
180

Other Decks in Programming

See All in Programming
Architectural Extensions
Avatar for Denys Poltorak denyspoltorak
0
270
[KNOTS 2026登壇資料]AIで拡張‧交差する プロダクト開発のプロセス および携わるメンバーの役割
Avatar for hisatake hisatake
0
240
Fluid Templating in TYPO3 14
Avatar for Simon Praetorius s2b
0
120
LLM Observabilityによる 対話型音声AIアプリケーションの安定運用
Avatar for Hiroyuki Moriya gekko0114
2
410
Basic Architectures
Avatar for Denys Poltorak denyspoltorak
0
660
GISエンジニアから見たLINKSデータ
Avatar for nokonoko1203 nokonoko1203
0
200
生成AIを使ったコードレビューで定性的に品質カバー
Avatar for Chiaki Okamoto chiilog
0
220
Vibe codingでおすすめの言語と開発手法
Avatar for uyuki uyuki234
0
220
ZJIT: The Ruby 4 JIT Compiler / Ruby Release 30th Anniversary Party
Avatar for Takashi Kokubun k0kubun
1
390
MUSUBIXとは
Avatar for Hisaho nahisaho
0
120
AI時代の認知負荷との向き合い方
Avatar for OptFit Corp. optfit
0
130
ThorVG Viewer In VS Code
Avatar for Nor-s nors
0
760

Featured

See All Featured
[RailsConf 2023] Rails as a piece of cake
Avatar for Vladimir Dementyev palkan
59
6.3k
How to audit for AI Accessibility on your Front & Back End
Avatar for davetheseo davetheseo
0
170
Speed Design
Avatar for Sergey Chernyshev sergeychernyshev
33
1.5k
The Art of Delivering Value - GDevCon NA Keynote
Avatar for David Neal reverentgeek
16
1.8k
Amusing Abliteration
Avatar for ianozsvald ianozsvald
0
92
Statistics for Hackers
Avatar for Jake VanderPlas jakevdp
799
230k
VelocityConf: Rendering Performance Case Studies
Avatar for Addy Osmani addyosmani
333
24k
Making Projects Easy
Avatar for Brett Harned brettharned
120
6.6k
Mobile First: as difficult as doing things right
Avatar for Swwweet swwweet
225
10k
Building a Scalable Design System with Sketch
Avatar for Laura Van Doore lauravandoore
463
34k
SEO for Brand Visibility & Recognition
Avatar for Aleyda Solis aleyda
0
4.2k
Lightning Talk: Beautiful Slides for Beginners
Avatar for Ines Montani inesmontani
PRO
1
430

Transcript

  1. レンズの下のLLM 機械学習の社会実装勉強会第30回 Henry 2023/12/30

  2. LLM開発 ▪ LLM開発に必要な機能 • プロンプトエンジニアリングの繰り返し • 実験管理・性能評価・結果比較 ▪ これらの機能を達成する急成長のレポジトリ trulens

    2

  3. TruLens-Eval ▪ カルフォルニアにある会社TruEraのプロダクト • MLのMonitor. Debug. Test.にフォーカス ▪ TruLens-EvalはLLMの実験管理のために開発された ▪

    TruLens-Explainは深層モデルの解釈性のために開発された ▪ 今日はTruLens-Evalに入門 3

  4. TruLens-Evalを使う ▪ ライブラリインストール pip install trulens-eval==0.19.0 • 最新版の0.20.0では不明のエラーでimportできなかった ▪ シンプルなllm_app

    • 2つの引数はサポートされてない ▪ Feedbackのカスタマイズ ▪ trulens-evalコマンドでstreamlitを開く • streamlit-javascriptが必要 4

  5. まとめ ▪ TruLens-Evalの基本的な使い方 ▪ 余力ある方はLangChainなどとの組み合わせ 5