Upgrade to Pro — share decks privately, control downloads, hide ads and more …

レンズの下のLLM / LLM under the Lens

Sponsored · SiteGround - Reliable hosting with speed, security, and support you can count on. →
Avatar for Henry Cui Henry Cui
December 30, 2023
Programming
230
0

レンズの下のLLM / LLM under the Lens

Avatar for Henry Cui

Henry Cui

December 30, 2023

More Decks by Henry Cui

See All by Henry Cui
プロダクション言語モデルの情報を盗む攻撃 / Stealing Part of a Production Language Model
Avatar for Henry Cui zchenry
1
250
Direct Preference Optimization
Avatar for Henry Cui zchenry
0
450
Diffusion Model with Perceptual Loss
Avatar for Henry Cui zchenry
0
520
Go with the Prompt Flow
Avatar for Henry Cui zchenry
0
220
Mojo Dojo
Avatar for Henry Cui zchenry
0
260
ことのはの力で画像の異常検知 / Anomaly Detection by Language
Avatar for Henry Cui zchenry
0
710
驚愕の事実！LangChainが抱える問題 / Problems of LangChain
Avatar for Henry Cui zchenry
0
320
MLOps初心者がMLflowを触る / MLflow Brief Introduction
Avatar for Henry Cui zchenry
0
200
{{guidance}}のガイダンス / Guidance of guidance
Avatar for Henry Cui zchenry
0
200

Other Decks in Programming

See All in Programming
「なんか〇〇ライブラリで脆弱性あるみたいなんだけど。。。」から始める脆弱性対応 / First Steps in Vulnerability Response
Avatar for mackey0225 mackey0225
2
130
Modding RubyKaigi for Myself
Avatar for yui-knk yui_knk
0
310
Spec-Driven Development with AI-Agents: From High-Level Requirements to Working Software
Avatar for Anton Arhipov antonarhipov
1
190
When benchmarks go bad - what I learned from measuring performance wrong
Avatar for Holly Cummins hollycummins
0
400
TypeSpec で繋ぐ複数プロダクトの型安全
Avatar for Mitsui maroon8021
1
130
AI時代になぜ書くのか
Avatar for Mutz mutsumix
0
430
次世代リンターで探る、tsgo 時代における型認識カスタムルールの現実解
Avatar for Yuta Takahashi ytakahashii
1
410
【ディップ｜26年新卒研修資料】OpenAPI/Swagger REST API研修
Avatar for ディップ株式会社 dip_tech
PRO
0
240
How We Practice Exploratory Testing in Iterative Development( #scrumniigata ) / 反復開発の中で、探索的テストをどう実施しているか
Avatar for teyamagu teyamagu
PRO
3
980
Firefoxにコントリビューションして得られた学び
Avatar for ken7253 ken7253
2
170
My daily life on Ruby
Avatar for Akira Matsuda a_matsuda
3
420
サーバーレスで作る、動画データ管理基盤
Avatar for Keigo Ibaraki oyasumipants
0
230

Featured

See All Featured
New Earth Scene 8
Avatar for Sydney Stone popppiees
3
2.2k
Paper Plane (Part 1)
Avatar for Katie Cordina Lindsey katiecoart
PRO
0
7.6k
Unsuck your backbone
Avatar for Amy Palamountain ammeep
672
58k
Introduction to Domain-Driven Design and Collaborative software design
Avatar for Kenny Baas-Schwegler baasie
1
790
Imperfection Machines: The Place of Print at Facebook
Avatar for Scott Boms scottboms
270
14k
The Hidden Cost of Media on the Web [PixelPalooza 2025]
Avatar for Tammy Everts tammyeverts
2
300
The Power of CSS Pseudo Elements
Avatar for Geoffrey Crofte geoffreycrofte
82
6.2k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
Avatar for Kevin Liebholz kevinliebholz
37
6.4k
AI: The stuff that nobody shows you
Avatar for John Nunemaker jnunemaker
PRO
7
650
Large-scale JavaScript Application Architecture
Avatar for Addy Osmani addyosmani
515
110k
Lightning talk: Run Django tests with GitHub Actions
Avatar for Sarah Abderemane sabderemane
0
180
Jess Joyce - The Pitfalls of Following Frameworks
Avatar for Tech SEO Connect techseoconnect
PRO
1
150

Transcript

  1. レンズの下のLLM 機械学習の社会実装勉強会第30回 Henry 2023/12/30

  2. LLM開発 ▪ LLM開発に必要な機能 • プロンプトエンジニアリングの繰り返し • 実験管理・性能評価・結果比較 ▪ これらの機能を達成する急成長のレポジトリ trulens

    2

  3. TruLens-Eval ▪ カルフォルニアにある会社TruEraのプロダクト • MLのMonitor. Debug. Test.にフォーカス ▪ TruLens-EvalはLLMの実験管理のために開発された ▪

    TruLens-Explainは深層モデルの解釈性のために開発された ▪ 今日はTruLens-Evalに入門 3

  4. TruLens-Evalを使う ▪ ライブラリインストール pip install trulens-eval==0.19.0 • 最新版の0.20.0では不明のエラーでimportできなかった ▪ シンプルなllm_app

    • 2つの引数はサポートされてない ▪ Feedbackのカスタマイズ ▪ trulens-evalコマンドでstreamlitを開く • streamlit-javascriptが必要 4

  5. まとめ ▪ TruLens-Evalの基本的な使い方 ▪ 余力ある方はLangChainなどとの組み合わせ 5