Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Diffusion Model with Perceptual Loss
Search
Henry Cui
January 26, 2024
Research
0
390
Diffusion Model with Perceptual Loss
Henry Cui
January 26, 2024
Tweet
Share
More Decks by Henry Cui
See All by Henry Cui
プロダクション言語モデルの情報を盗む攻撃 / Stealing Part of a Production Language Model
zchenry
1
200
Direct Preference Optimization
zchenry
0
370
レンズの下のLLM / LLM under the Lens
zchenry
0
180
Go with the Prompt Flow
zchenry
0
160
Mojo Dojo
zchenry
0
210
ことのはの力で画像の異常検知 / Anomaly Detection by Language
zchenry
0
560
驚愕の事実!LangChainが抱える問題 / Problems of LangChain
zchenry
0
240
MLOps初心者がMLflowを触る / MLflow Brief Introduction
zchenry
0
120
{{guidance}}のガイダンス / Guidance of guidance
zchenry
0
160
Other Decks in Research
See All in Research
SkySense : A Multi-Modal Remote Sensing Foundation Model Towards Universal Interpretation for Earth Observation Imagery
satai
3
260
Pix2Poly: A Sequence Prediction Method for End-to-end Polygonal Building Footprint Extraction from Remote Sensing Imagery
satai
3
500
When Submarine Cables Go Dark: Examining the Web Services Resilience Amid Global Internet Disruptions
irvin
0
240
Mechanistic Interpretability:解釈可能性研究の新たな潮流
koshiro_aoki
1
350
Sosiaalisen median katsaus 03/2025 + tekoäly
hponka
0
1.4k
Collaborative Development of Foundation Models at Japanese Academia
odashi
2
560
数理最適化に基づく制御
mickey_kubo
5
680
RHO-1: Not All Tokens Are What You Need
sansan_randd
1
140
SSII2025 [TS2] リモートセンシング画像処理の最前線
ssii
PRO
7
2.9k
Google Agent Development Kit (ADK) 入門 🚀
mickey_kubo
2
1.2k
SSII2025 [TS1] 光学・物理原理に基づく深層画像生成
ssii
PRO
4
3.9k
とあるSREの博士「過程」 / A Certain SRE’s Ph.D. Journey
yuukit
6
3.3k
Featured
See All Featured
Imperfection Machines: The Place of Print at Facebook
scottboms
267
13k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
34
5.9k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
A better future with KSS
kneath
238
17k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
Building a Modern Day E-commerce SEO Strategy
aleyda
42
7.4k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
2.9k
What's in a price? How to price your products and services
michaelherold
246
12k
Build your cross-platform service in a week with App Engine
jlugia
231
18k
Embracing the Ebb and Flow
colly
86
4.8k
A Tale of Four Properties
chriscoyier
160
23k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
161
15k
Transcript
Diffusion Model with Perceptual Loss 機械学習の社会実装勉強会第31回 Henry 2024/1/27
論文の紹介 ▪ Diffusion Model with Perceptual Loss, Lin and Yang
▪ ByteDanceの研究者が去年12月30日にarxivに投稿 ▪ Diffusionモデルの損失関数を改良 2
提案モチベーション ▪ 下図のように既存の損失関数では分布の多峰性を学習でき ない 3
従来の損失関数 ▪ 予測したい目標(拡散過程で発生するノイズ)のMSE ▪ 拡散する式 ▪ 予測したい目標 ▪ MSE損失 4
提案の損失関数 ▪ 学習済み重みで抽出する中間層でのMSE ▪ 予測された値で、拡散ステップの最初に戻してから拡散させる ▪ 学習済み重みで中間特徴量を取り出してMSEを取る ▪ 考察 •
差分は拡散過程を戻すのと中間層を使うの2箇所ある • 著者がこの損失関数をperceptualと解釈する 5
定量評価 ▪ Vanilla MSEよりよいが、Classifier-free guidanced MSEに 負けてしまう 6
Ablation Study 抜粋 ▪ 下記項目を変えて実験したが、CFG MSEには勝てなかった • 中間層、拡散ステップ、距離関数(Mean Absolute Distance)、差分を
取る特徴量、学習済みモデル ▪ CFG + 提案方でも負けてしまう 7
まとめ ▪ Diffusion Modelの損失関数を改良する提案手法 ▪ 中間層を使うヒントになる 8