Upgrade to Pro — share decks privately, control downloads, hide ads and more …
Sign up for free

レンズの下のLLM / LLM under the Lens

Sponsored · Ship Features Fearlessly Turn features on and off without deploys. Used by thousands of Ruby developers. →
Avatar for Henry Cui Henry Cui
December 30, 2023
Programming
250
0

レンズの下のLLM / LLM under the Lens

Avatar for Henry Cui

Henry Cui

December 30, 2023

More Decks by Henry Cui

See All by Henry Cui
プロダクション言語モデルの情報を盗む攻撃 / Stealing Part of a Production Language Model
Avatar for Henry Cui zchenry
1
270
Direct Preference Optimization
Avatar for Henry Cui zchenry
0
500
Diffusion Model with Perceptual Loss
Avatar for Henry Cui zchenry
0
550
Go with the Prompt Flow
Avatar for Henry Cui zchenry
0
260
Mojo Dojo
Avatar for Henry Cui zchenry
0
300
ことのはの力で画像の異常検知 / Anomaly Detection by Language
Avatar for Henry Cui zchenry
0
780
驚愕の事実！LangChainが抱える問題 / Problems of LangChain
Avatar for Henry Cui zchenry
0
350
MLOps初心者がMLflowを触る / MLflow Brief Introduction
Avatar for Henry Cui zchenry
0
240
{{guidance}}のガイダンス / Guidance of guidance
Avatar for Henry Cui zchenry
0
220

Other Decks in Programming

See All in Programming
Performance Optimization With LLMs
Avatar for xLeitix xleitix
0
230
[Dev Group Paris Octobre 26] Agentforce, SIforce, Claudeforce, Slackbot… on s'y retrouve ?
Avatar for Nathan Abondance nabondance
0
120
あなたの await、OS まで届いてる？ strace で覗く JavaScript の非同期
Avatar for hasuto sasaki hasutosasaki
1
1.8k
パスワード再設定メールのURLについて知っておこう
Avatar for uyuki uyuki234
0
200
私なりのハーネスエンジニアリング ～独自の言語処理系の開発を通して～
Avatar for 瀬尾佳隆 seosoft
0
160
PumaからFalconに移行したRailsアプリケーションでの実践
Avatar for Hayato OKUMOTO falcon8823
0
320
高橋メソッドでCVE解説シリーズ 〜CVE-2026-112816〜
Avatar for Hakkadaikon hakkadaikon
0
160
AI時代のIaC入門 〜なぜインフラをコードで管理したいのか？〜 / Introduction to IaC in the AI Era
Avatar for アキキー | Akihisa Ikeda akihisaikeda
6
1.3k
全ての永続トークンを、生まれる前に消し去りたい！
Avatar for sylph01 sylph01
2
1.6k
우리의 Nitro Modules는 당신의 Turbo Modules보다 아름답다
Avatar for HyunWoo Lee l2hyunwoo
0
250
Spec-Driven Development - Why Vaadin Is the Perfect Fit
Avatar for Simon Martinelli simas
PRO
0
200
AI主導のプログラミング学習アプリを作ってみた
Avatar for econanringo econanringo
0
210

Featured

See All Featured
How to Talk to Developers About Accessibility
Avatar for Jason CranfordTeague jct
2
600
Into the Great Unknown - MozCon
Avatar for Noah Learner thekraken
41
2.8k
The Impact of AI in SEO - AI Overviews June 2024 Edition
Avatar for Aleyda Solis aleyda
6
1.3k
The Illustrated Children's Guide to Kubernetes
Avatar for Chris Short chrisshort
51
53k
Save Time (by Creating Custom Rails Generators)
Avatar for Garrett Dimon garrettdimon
PRO
33
5.5k
A better future with KSS
Avatar for Kyle Neath kneath
240
18k
GraphQLとの向き合い方2022年版
Avatar for Yosuke Kurami quramy
50
15k
Become a Pro
Avatar for Speaker Deck speakerdeck
PRO
31
6.3k
SEO for Brand Visibility & Recognition
Avatar for Aleyda Solis aleyda
0
4.8k
Test your architecture with Archunit
Avatar for Yoan thirion
2
2.5k
Building the Perfect Custom Keyboard
Avatar for Naoto Takai takai
2
930
First, design no harm
Avatar for Per Axbom axbom
PRO
2
1.4k

Transcript

  1. レンズの下のLLM 機械学習の社会実装勉強会第30回 Henry 2023/12/30

  2. LLM開発 ▪ LLM開発に必要な機能 • プロンプトエンジニアリングの繰り返し • 実験管理・性能評価・結果比較 ▪ これらの機能を達成する急成長のレポジトリ trulens

    2

  3. TruLens-Eval ▪ カルフォルニアにある会社TruEraのプロダクト • MLのMonitor. Debug. Test.にフォーカス ▪ TruLens-EvalはLLMの実験管理のために開発された ▪

    TruLens-Explainは深層モデルの解釈性のために開発された ▪ 今日はTruLens-Evalに入門 3

  4. TruLens-Evalを使う ▪ ライブラリインストール pip install trulens-eval==0.19.0 • 最新版の0.20.0では不明のエラーでimportできなかった ▪ シンプルなllm_app

    • 2つの引数はサポートされてない ▪ Feedbackのカスタマイズ ▪ trulens-evalコマンドでstreamlitを開く • streamlit-javascriptが必要 4

  5. まとめ ▪ TruLens-Evalの基本的な使い方 ▪ 余力ある方はLangChainなどとの組み合わせ 5