Upgrade to Pro — share decks privately, control downloads, hide ads and more …

レンズの下のLLM / LLM under the Lens

Avatar for Henry Cui Henry Cui
December 30, 2023
Programming
0
170

レンズの下のLLM / LLM under the Lens

Avatar for Henry Cui

Henry Cui

December 30, 2023
Tweet

More Decks by Henry Cui

See All by Henry Cui
プロダクション言語モデルの情報を盗む攻撃 / Stealing Part of a Production Language Model
Avatar for Henry Cui zchenry
0
170
Direct Preference Optimization
Avatar for Henry Cui zchenry
0
350
Diffusion Model with Perceptual Loss
Avatar for Henry Cui zchenry
0
340
Go with the Prompt Flow
Avatar for Henry Cui zchenry
0
150
Mojo Dojo
Avatar for Henry Cui zchenry
0
190
ことのはの力で画像の異常検知 / Anomaly Detection by Language
Avatar for Henry Cui zchenry
0
530
驚愕の事実！LangChainが抱える問題 / Problems of LangChain
Avatar for Henry Cui zchenry
0
230
MLOps初心者がMLflowを触る / MLflow Brief Introduction
Avatar for Henry Cui zchenry
0
110
{{guidance}}のガイダンス / Guidance of guidance
Avatar for Henry Cui zchenry
0
150

Other Decks in Programming

See All in Programming
ドメイン駆動設計とXPで支える子どもの未来 / Domain-Driven Design and XP Supporting Children's Future
Avatar for nrs nrslib
0
290
JAWS DAYS 2025 re_Cheers: WEB
Avatar for komakichi komakichi
0
120
AWS Summit Hong Kong 2025: Reinventing Programming - How AI Transforms Our Enterprise Coding Approach
Avatar for Ernest Chiang dwchiang
0
140
Носок на сок
Avatar for Bo0oM bo0om
0
1.3k
AIコーディングエージェントを 「使いこなす」ための実践知と現在地 in ログラス / How to Use AI Coding Agent in Loglass
Avatar for r-kagaya rkaga
4
1.4k
GitHub Copilot for Azureを使い倒したい
Avatar for Kento.Yamada ymd65536
1
330
20250429 - CNTUG Meetup #67 / DevOps Taiwan Meetup #69 - Deep Dive into Tetragon: Building Runtime Security and Observability with eBPF
Avatar for ChengHao Yang tico88612
0
180
開発者フレンドリーで顧客も満足？Platformの秘密
Avatar for ALGO ARTIS algoartis
0
230
最速Green Tea 🍵 Garbage Collector
Avatar for kuro kuro_kurorrr
1
130
Vibe Coding の話をしよう
Avatar for schroneko schroneko
14
3.8k
SwiftDataのカスタムデータストアを試してみた
Avatar for 1mash0 1mash0
0
150
ASP.NETアプリケーションのモダナイゼーションについて
Avatar for tomokusaba tomokusaba
0
260

Featured

See All Featured
KATA
Avatar for Megan Lloyd mclloyd
29
14k
Designing for Performance
Avatar for Lara Hogan lara
608
69k
Gamification - CAS2011
Avatar for David Bonilla davidbonilla
81
5.3k
Adopting Sorbet at Scale
Avatar for Ufuk Kayserilioglu ufuk
76
9.4k
Principles of Awesome APIs and How to Build Them.
Avatar for Keavy McMinn keavy
126
17k
How to Think Like a Performance Engineer
Avatar for Harry Roberts csswizardry
23
1.6k
Fireside Chat
Avatar for paigeccino paigeccino
37
3.4k
Building Better People: How to give real-time feedback that sticks.
Avatar for Will Jessup wjessup
368
19k
Put a Button on it: Removing Barriers to Going Fast.
Avatar for kastner kastner
60
3.8k
Practical Tips for Bootstrapping Information Extraction Pipelines
Avatar for Matthew Honnibal honnibal
PRO
19
1.2k
Sharpening the Axe: The Primacy of Toolmaking
Avatar for Bryan Cantrill bcantrill
41
2.3k
Side Projects
Avatar for Sacha Greif sachag
453
42k

Transcript

  1. レンズの下のLLM 機械学習の社会実装勉強会第30回 Henry 2023/12/30

  2. LLM開発 ▪ LLM開発に必要な機能 • プロンプトエンジニアリングの繰り返し • 実験管理・性能評価・結果比較 ▪ これらの機能を達成する急成長のレポジトリ trulens

    2

  3. TruLens-Eval ▪ カルフォルニアにある会社TruEraのプロダクト • MLのMonitor. Debug. Test.にフォーカス ▪ TruLens-EvalはLLMの実験管理のために開発された ▪

    TruLens-Explainは深層モデルの解釈性のために開発された ▪ 今日はTruLens-Evalに入門 3

  4. TruLens-Evalを使う ▪ ライブラリインストール pip install trulens-eval==0.19.0 • 最新版の0.20.0では不明のエラーでimportできなかった ▪ シンプルなllm_app

    • 2つの引数はサポートされてない ▪ Feedbackのカスタマイズ ▪ trulens-evalコマンドでstreamlitを開く • streamlit-javascriptが必要 4

  5. まとめ ▪ TruLens-Evalの基本的な使い方 ▪ 余力ある方はLangChainなどとの組み合わせ 5