Upgrade to Pro — share decks privately, control downloads, hide ads and more …

レンズの下のLLM / LLM under the Lens

Avatar for Henry Cui Henry Cui
December 30, 2023
Programming
240
0

レンズの下のLLM / LLM under the Lens

Avatar for Henry Cui

Henry Cui

December 30, 2023

More Decks by Henry Cui

See All by Henry Cui
プロダクション言語モデルの情報を盗む攻撃 / Stealing Part of a Production Language Model
Avatar for Henry Cui zchenry
1
260
Direct Preference Optimization
Avatar for Henry Cui zchenry
0
470
Diffusion Model with Perceptual Loss
Avatar for Henry Cui zchenry
0
530
Go with the Prompt Flow
Avatar for Henry Cui zchenry
0
230
Mojo Dojo
Avatar for Henry Cui zchenry
0
270
ことのはの力で画像の異常検知 / Anomaly Detection by Language
Avatar for Henry Cui zchenry
0
740
驚愕の事実！LangChainが抱える問題 / Problems of LangChain
Avatar for Henry Cui zchenry
0
330
MLOps初心者がMLflowを触る / MLflow Brief Introduction
Avatar for Henry Cui zchenry
0
220
{{guidance}}のガイダンス / Guidance of guidance
Avatar for Henry Cui zchenry
0
210

Other Decks in Programming

See All in Programming
霧の中の代数的エフェクト
Avatar for funnycat funnyycat
1
420
Claude Team Plan導入・ガイド
Avatar for tk3fftk tk3fftk
0
220
The Past, Present, and Future of Enterprise Java
Avatar for ivargrimstad ivargrimstad
0
370
act2-costs.pdf
Avatar for Sumedh Bala sumedhbala
0
120
AIを活用したE2Eテスト実装効率化のあゆみ / ebisu-mobile-14-kotetu
Avatar for kotetu (kotetuco) kotetuco
0
180
Built Our Own Background Agent at LayerX #aidevex_findy
Avatar for LayerX layerx
PRO
8
3.1k
言語を使う側から、作る側へ。 自作 Lisp で得た新たな気づき。
Avatar for ANDPAD inc andpad
0
130
Terraform標準の組織で AWS CDKをどう使うか
Avatar for mu7889yoon / Yuta Nakamura mu7889yoon
1
350
全PRの83%がAIレビューだけでマージできるようになった開発組織はその後どうなったか
Avatar for a-thug athug
0
290
鹿野さんに聞く！『TypeScriptコードレシピ集』で磨く実践力
Avatar for tonkotsuboy_com tonkotsuboy_com
4
1.1k
AI時代、エンジニアはどう育つのか -未経験エンジニアの成長を間近で見て考えたこと-
Avatar for ta-hasunuma thasu0123
0
140
ITヒヤリハットを整理してみた ～ライフサイクルと原因から考える再発防止策～
Avatar for kouki.miura koukimiura
1
110

Featured

See All Featured
Mobile First: as difficult as doing things right
Avatar for Swwweet swwweet
225
10k
Building Experiences: Design Systems, User Experience, and Full Site Editing
Avatar for Michelle Schulp Hunt marktimemedia
0
560
HTML-Aware ERB: The Path to Reactive Rendering @ RubyCon 2026, Rimini, Italy
Avatar for Marco Roth marcoroth
3
360
How STYLIGHT went responsive
Avatar for nonsquared nonsquared
100
6.2k
Building Flexible Design Systems
Avatar for Yesenia Perez-Cruz yeseniaperezcruz
330
40k
<Decoding/> the Language of Devs - We Love SEO 2024
Avatar for Nikki Halliwell nikkihalliwell
1
280
エンジニアに許された特別な時間の終わり
Avatar for watany watany
108
250k
Designing Powerful Visuals for Engaging Learning
Avatar for Mike Taylor tmiket
1
460
Performance Is Good for Brains [We Love Speed 2024]
Avatar for Tammy Everts tammyeverts
12
1.7k
10 Git Anti Patterns You Should be Aware of
Avatar for Lemi Orhan Ergin lemiorhan
PRO
659
62k
Speed Design
Avatar for Sergey Chernyshev sergeychernyshev
33
1.9k
Optimising Largest Contentful Paint
Avatar for Harry Roberts csswizardry
37
3.8k

Transcript

  1. レンズの下のLLM 機械学習の社会実装勉強会第30回 Henry 2023/12/30

  2. LLM開発 ▪ LLM開発に必要な機能 • プロンプトエンジニアリングの繰り返し • 実験管理・性能評価・結果比較 ▪ これらの機能を達成する急成長のレポジトリ trulens

    2

  3. TruLens-Eval ▪ カルフォルニアにある会社TruEraのプロダクト • MLのMonitor. Debug. Test.にフォーカス ▪ TruLens-EvalはLLMの実験管理のために開発された ▪

    TruLens-Explainは深層モデルの解釈性のために開発された ▪ 今日はTruLens-Evalに入門 3

  4. TruLens-Evalを使う ▪ ライブラリインストール pip install trulens-eval==0.19.0 • 最新版の0.20.0では不明のエラーでimportできなかった ▪ シンプルなllm_app

    • 2つの引数はサポートされてない ▪ Feedbackのカスタマイズ ▪ trulens-evalコマンドでstreamlitを開く • streamlit-javascriptが必要 4

  5. まとめ ▪ TruLens-Evalの基本的な使い方 ▪ 余力ある方はLangChainなどとの組み合わせ 5