Upgrade to Pro — share decks privately, control downloads, hide ads and more …

レンズの下のLLM / LLM under the Lens

Avatar for Henry Cui Henry Cui
December 30, 2023
Programming
0
180

レンズの下のLLM / LLM under the Lens

Avatar for Henry Cui

Henry Cui

December 30, 2023
Tweet

More Decks by Henry Cui

See All by Henry Cui
プロダクション言語モデルの情報を盗む攻撃 / Stealing Part of a Production Language Model
Avatar for Henry Cui zchenry
1
190
Direct Preference Optimization
Avatar for Henry Cui zchenry
0
370
Diffusion Model with Perceptual Loss
Avatar for Henry Cui zchenry
0
390
Go with the Prompt Flow
Avatar for Henry Cui zchenry
0
160
Mojo Dojo
Avatar for Henry Cui zchenry
0
200
ことのはの力で画像の異常検知 / Anomaly Detection by Language
Avatar for Henry Cui zchenry
0
560
驚愕の事実！LangChainが抱える問題 / Problems of LangChain
Avatar for Henry Cui zchenry
0
240
MLOps初心者がMLflowを触る / MLflow Brief Introduction
Avatar for Henry Cui zchenry
0
120
{{guidance}}のガイダンス / Guidance of guidance
Avatar for Henry Cui zchenry
0
160

Other Decks in Programming

See All in Programming
Hack Claude Code with Claude Code
Avatar for Akihiro Okuno choplin
4
2k
“いい感じ“な定量評価を求めて - Four Keysとアウトカムの間の探求 -
Avatar for Nealle nealle
1
10k
Goで作る、開発・CI環境
Avatar for Shinpei Mine sin392
0
230
ソフトウェア品質を数字で捉える技術。事業成長を支えるシステム品質の マネジメント
Avatar for takuya542 takuya542
1
13k
20250628_非エンジニアがバイブコーディングしてみた
Avatar for ponponmikan ponponmikankan
0
680
RailsGirls IZUMO スポンサーLT
Avatar for 16bit_idol 16bitidol
0
180
AIエージェントはこう育てる - GitHub Copilot Agentとチームの共進化サイクル
Avatar for Akira Kobori koboriakira
0
590
猫と暮らす Google Nest Cam生活🐈 / WebRTC with Google Nest Cam
Avatar for Yutaro Muta yutailang0119
0
120
Webの外へ飛び出せ NativePHPが切り拓くPHPの未来
Avatar for Takuya Katsusa takuyakatsusa
2
550
NPOでのDevinの活用
Avatar for みんなのコード codeforeveryone
0
830
『自分のデータだけ見せたい！』を叶える──Laravel × Casbin で複雑権限をスッキリ解きほぐす 25 分
Avatar for AkitoTsukahara akitotsukahara
2
640
PHP 8.4の新機能「プロパティフック」から学ぶオブジェクト指向設計とリスコフの置換原則
Avatar for 武田 憲太郎 kentaroutakeda
2
890

Featured

See All Featured
GitHub's CSS Performance
Avatar for Jon Rohan jonrohan
1031
460k
KATA
Avatar for Megan Lloyd mclloyd
30
14k
Embracing the Ebb and Flow
Avatar for Simon Collison colly
86
4.7k
Bash Introduction
Avatar for André Augusto Costa Santos 62gerente
613
210k
Sharpening the Axe: The Primacy of Toolmaking
Avatar for Bryan Cantrill bcantrill
44
2.4k
The Cost Of JavaScript in 2023
Avatar for Addy Osmani addyosmani
51
8.5k
The Success of Rails: Ensuring Growth for the Next 100 Years
Avatar for Eileen M. Uchitelle eileencodes
45
7.5k
The Pragmatic Product Professional
Avatar for Laura Van Doore lauravandoore
35
6.7k
The Language of Interfaces
Avatar for Des Traynor destraynor
158
25k
Helping Users Find Their Own Way: Creating Modern Search Experiences
Avatar for Dan Newman danielanewman
29
2.7k
Balancing Empowerment & Direction
Avatar for Lara Hogan lara
1
430
Site-Speed That Sticks
Avatar for Harry Roberts csswizardry
10
690

Transcript

  1. レンズの下のLLM 機械学習の社会実装勉強会第30回 Henry 2023/12/30

  2. LLM開発 ▪ LLM開発に必要な機能 • プロンプトエンジニアリングの繰り返し • 実験管理・性能評価・結果比較 ▪ これらの機能を達成する急成長のレポジトリ trulens

    2

  3. TruLens-Eval ▪ カルフォルニアにある会社TruEraのプロダクト • MLのMonitor. Debug. Test.にフォーカス ▪ TruLens-EvalはLLMの実験管理のために開発された ▪

    TruLens-Explainは深層モデルの解釈性のために開発された ▪ 今日はTruLens-Evalに入門 3

  4. TruLens-Evalを使う ▪ ライブラリインストール pip install trulens-eval==0.19.0 • 最新版の0.20.0では不明のエラーでimportできなかった ▪ シンプルなllm_app

    • 2つの引数はサポートされてない ▪ Feedbackのカスタマイズ ▪ trulens-evalコマンドでstreamlitを開く • streamlit-javascriptが必要 4

  5. まとめ ▪ TruLens-Evalの基本的な使い方 ▪ 余力ある方はLangChainなどとの組み合わせ 5