Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Direct Preference Optimization
Search
Henry Cui
February 24, 2024
Science
0
230
Direct Preference Optimization
Henry Cui
February 24, 2024
Tweet
Share
More Decks by Henry Cui
See All by Henry Cui
プロダクション言語モデルの情報を盗む攻撃 / Stealing Part of a Production Language Model
zchenry
0
34
Diffusion Model with Perceptual Loss
zchenry
0
140
レンズの下のLLM / LLM under the Lens
zchenry
0
130
Go with the Prompt Flow
zchenry
0
110
Mojo Dojo
zchenry
1
160
ことのはの力で画像の異常検知 / Anomaly Detection by Language
zchenry
0
280
驚愕の事実!LangChainが抱える問題 / Problems of LangChain
zchenry
0
140
MLOps初心者がMLflowを触る / MLflow Brief Introduction
zchenry
0
70
{{guidance}}のガイダンス / Guidance of guidance
zchenry
0
130
Other Decks in Science
See All in Science
大規模言語モデルの開発
chokkan
PRO
80
27k
All-in-One Bioinformatics Platform Realized with Snowflake ~ From In Silico Drug Discovery, Disease Variant Analysis, to Single-Cell RNA-seq
ktatsuya
0
120
Machine Learning for Materials (Lecture 4)
aronwalsh
0
730
AI(人工知能)の過去・現在・未来 —AIは人間を超えるのか—
tagtag
0
270
ABEMAの効果検証事例〜効果の異質性を考える〜
s1ok69oo
4
1.8k
ultraArmをモニター提供してもらった話
miura55
0
150
『データ可視化学入門』を PythonからRに翻訳した話
bob3bob3
1
430
解説!データ基盤の進化を後押しする手順とタイミング
shomaekawa
1
280
Improving Search @scale with efficient query experimentation @BerlinBuzzwords 2024
searchhub
0
200
Machine Learning for Materials (Lecture 7)
aronwalsh
0
770
拡散モデルの概要 −§2. スコアベースモデルについて−
nearme_tech
PRO
0
220
HAS Dark Site Orientation
astronomyhouston
0
5.1k
Featured
See All Featured
Docker and Python
trallard
37
2.9k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
90
47k
The Language of Interfaces
destraynor
151
23k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
16
1.6k
BBQ
matthewcrist
82
9k
Building Adaptive Systems
keathley
34
2k
RailsConf 2023
tenderlove
16
720
Fontdeck: Realign not Redesign
paulrobertlloyd
79
5.1k
Writing Fast Ruby
sferik
623
60k
KATA
mclloyd
20
13k
Designing Experiences People Love
moore
136
23k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
26
1.6k
Transcript
Direct Preference Optimization 機械学習の社会実装勉強会第32回 Henry 2024/2/24
内容 ▪ NeurIPS 2023 Outstanding Main Track Runner-Ups 受賞 ▪
著者に有名な先生が多い 2
モチベーション ▪ 大量テキストで学習した言語モデルを望ましい挙動に微調整 する必要(Alignment) • 大量コードの平均能力でなく、少量存在の優れたコードに • 一般大衆のもつ誤認識でなく、それを修正すべき ▪ Alignmentを達成するために、現状2段階の複雑な強化学習
手法を使うので、それと理論上等価なシンプルな手法を提案 3
RLHFアプローチの3ステップ ▪ SFT: Supervised fine-tuning ▪ Rewardモデルを学習する • RewardモデルがBradley-Terry (BT)に従う想定
• BTの仮定で導出する損失関数 ▪ RL Fine-tune • Rewardモデルを使って、下記損失関数でfine-tune ▪ 提案法はRewardとRL Fine-tuneをまとめて、rewardモデルを 使わずに学習 4
提案法DPO ▪ RL Fine-tuneの損失関数の最適解 ▪ 上記最適解をrewardモデルを取り出すよう書き換える • Your Language Model
Is Secretly a Reward Model ▪ Rewardモデルを学習する損失関数に代入する • BTモデルのお陰で、Zが消える • Directに言語モデルを最適化できるようになる 5
実験 ▪ 3つのタスクで評価 • controlled sentiment generation • summarization •
single-turn dialogue ▪ 複数スケールのデータセットでRHLFと同等またはそれ以上の 性能を確認 ▪ 多数のオープンソース言語モデルに実装 6