Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Diffusion Model with Perceptual Loss
Search
Henry Cui
January 26, 2024
Research
0
72
Diffusion Model with Perceptual Loss
Henry Cui
January 26, 2024
Tweet
Share
More Decks by Henry Cui
See All by Henry Cui
Direct Preference Optimization
zchenry
0
140
レンズの下のLLM / LLM under the Lens
zchenry
0
98
Go with the Prompt Flow
zchenry
0
100
Mojo Dojo
zchenry
1
140
ことのはの力で画像の異常検知 / Anomaly Detection by Language
zchenry
0
190
驚愕の事実!LangChainが抱える問題 / Problems of LangChain
zchenry
0
120
MLOps初心者がMLflowを触る / MLflow Brief Introduction
zchenry
0
61
{{guidance}}のガイダンス / Guidance of guidance
zchenry
0
110
MLOps初心者がApache Airflowを触る / Apache Airflow Introduction for an MLOps Beginner
zchenry
0
160
Other Decks in Research
See All in Research
精神疾患患者のアクティビティデータを利用したリハビリテーションのためのシステムに関する研究
comfortdesignlab
0
140
20240127_熊本から今いちど真面目に都市交通~めざせ「車1割削減、渋滞半減、公共交通2倍」~ 全国路面電車サミット2024宇都宮
trafficbrain
1
660
First Authorに俺はなるっ!! IROS’23 CCC2023 FY
shota_nishiyama
0
180
Equivalence of Geodesics and Importance Weighting from the Perspective of Information Geometry
mkimura
0
140
第12回全日本コンピュータビジョン勉強会:画像の自己教師あり学習における大規模データセット
naok615
0
520
データで診て考える合志市の渋滞と公共交通 ~めざせ 車1割削減、渋滞半減、公共交通2倍~
trafficbrain
0
460
自己教師あり学習による事前学習(CVIMチュートリアル)
naok615
2
1.4k
センサデータを活用した 肌質改善への支援システムに関する研究
comfortdesignlab
0
160
訓練データ作成のためのCloudCompareを利用した点群の手動ラベリング
kentaitakura
0
550
Julia Tokyo #11 トーク: 「Juliaで歩く自動微分」
abap34
2
1.3k
Ground Metric Learning with applications in genomics
gpeyre
0
360
Alexander Mielke Hellinger--Kantorovich (a.k.a. Wasserstein-Fisher-Rao) Spaces and Gradient Flows
jjzhu
3
180
Featured
See All Featured
Producing Creativity
orderedlist
PRO
337
39k
How to train your dragon (web standard)
notwaldorf
73
5.2k
In The Pink: A Labor of Love
frogandcode
138
21k
Intergalactic Javascript Robots from Outer Space
tanoku
266
26k
Keith and Marios Guide to Fast Websites
keithpitt
408
22k
The Cult of Friendly URLs
andyhume
74
5.7k
Making Projects Easy
brettharned
108
5.5k
BBQ
matthewcrist
80
8.8k
Done Done
chrislema
178
15k
Infographics Made Easy
chrislema
238
18k
The Brand Is Dead. Long Live the Brand.
mthomps
49
29k
Art, The Web, and Tiny UX
lynnandtonic
289
19k
Transcript
Diffusion Model with Perceptual Loss 機械学習の社会実装勉強会第31回 Henry 2024/1/27
論文の紹介 ▪ Diffusion Model with Perceptual Loss, Lin and Yang
▪ ByteDanceの研究者が去年12月30日にarxivに投稿 ▪ Diffusionモデルの損失関数を改良 2
提案モチベーション ▪ 下図のように既存の損失関数では分布の多峰性を学習でき ない 3
従来の損失関数 ▪ 予測したい目標(拡散過程で発生するノイズ)のMSE ▪ 拡散する式 ▪ 予測したい目標 ▪ MSE損失 4
提案の損失関数 ▪ 学習済み重みで抽出する中間層でのMSE ▪ 予測された値で、拡散ステップの最初に戻してから拡散させる ▪ 学習済み重みで中間特徴量を取り出してMSEを取る ▪ 考察 •
差分は拡散過程を戻すのと中間層を使うの2箇所ある • 著者がこの損失関数をperceptualと解釈する 5
定量評価 ▪ Vanilla MSEよりよいが、Classifier-free guidanced MSEに 負けてしまう 6
Ablation Study 抜粋 ▪ 下記項目を変えて実験したが、CFG MSEには勝てなかった • 中間層、拡散ステップ、距離関数(Mean Absolute Distance)、差分を
取る特徴量、学習済みモデル ▪ CFG + 提案方でも負けてしまう 7
まとめ ▪ Diffusion Modelの損失関数を改良する提案手法 ▪ 中間層を使うヒントになる 8