Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
Diffusion Model with Perceptual Loss
Search
Henry Cui
January 26, 2024
Research
550
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
Diffusion Model with Perceptual Loss
Henry Cui
January 26, 2024
Transcript
8 slides
Diffusion Model with Perceptual Loss 機械学習の社会実装勉強会第31回 Henry 2024/1/27
論文の紹介 ▪ Diffusion Model with Perceptual Loss, Lin and Yang
▪ ByteDanceの研究者が去年12月30日にarxivに投稿 ▪ Diffusionモデルの損失関数を改良 2
提案モチベーション ▪ 下図のように既存の損失関数では分布の多峰性を学習でき ない 3
従来の損失関数 ▪ 予測したい目標(拡散過程で発生するノイズ)のMSE ▪ 拡散する式 ▪ 予測したい目標 ▪ MSE損失 4
提案の損失関数 ▪ 学習済み重みで抽出する中間層でのMSE ▪ 予測された値で、拡散ステップの最初に戻してから拡散させる ▪ 学習済み重みで中間特徴量を取り出してMSEを取る ▪ 考察 •
差分は拡散過程を戻すのと中間層を使うの2箇所ある • 著者がこの損失関数をperceptualと解釈する 5
定量評価 ▪ Vanilla MSEよりよいが、Classifier-free guidanced MSEに 負けてしまう 6
Ablation Study 抜粋 ▪ 下記項目を変えて実験したが、CFG MSEには勝てなかった • 中間層、拡散ステップ、距離関数(Mean Absolute Distance)、差分を
取る特徴量、学習済みモデル ▪ CFG + 提案方でも負けてしまう 7
まとめ ▪ Diffusion Modelの損失関数を改良する提案手法 ▪ 中間層を使うヒントになる 8
More Decks by Henry Cui
See All by Henry Cui
プロダクション言語モデルの情報を盗む攻撃 / Stealing Part of a Production Language Model
zchenry
1
270
Direct Preference Optimization
zchenry
0
500
レンズの下のLLM / LLM under the Lens
zchenry
0
260
Go with the Prompt Flow
zchenry
0
270
Mojo Dojo
zchenry
0
300
ことのはの力で画像の異常検知 / Anomaly Detection by Language
zchenry
0
780
驚愕の事実!LangChainが抱える問題 / Problems of LangChain
zchenry
0
360
MLOps初心者がMLflowを触る / MLflow Brief Introduction
zchenry
0
240
{{guidance}}のガイダンス / Guidance of guidance
zchenry
0
220
Other Decks in Research
See All in Research
完全自律LLMエージェントでDIVER OSINT CTF 2026に挑戦してみた
analokmaus
0
840
Work in progress: How have changes in the labour market over the past decade affected attitudes to work?
resolutionfoundation
0
400
L’albédo:levier d’atténuation du changement climatique dans les systèmes fourragers
institutdelelevage
PRO
0
170
量子サマースクール2026「量子計算機アーキテクチャ分野の概観」
youten622
1
1k
TESSERA: Temporal Embeddings of Surface Spectra for Earth Representation and Analysis
satai
3
130
PHTalks Bengaluru - SSRF When All Else Fails
dk999
0
1.3k
山中市政の総括:相反する二つの顔
sishi
0
240
La génomique au service de la fromageabilité du lait grâce aux spectres MIR
institutdelelevage
PRO
0
230
超効率化への挑戦:1bit LLMの現状と展望
yumaichikawa
1
1k
AI時代に学術情報をどう探し、どう使うか: 研究の様々な場面と一研究者の経験から
masao
0
240
[最先端NLP勉強会2026] Checklists Are Better Than Reward Models For Aligning Language Models
nzw0301
1
360
宛先から考えるデジタルアーカイブ:――ジャック・デリダの〈痕跡〉と三輪田米山日記
ktanishima
0
130
Featured
See All Featured
Code Reviewing Like a Champion
maltzj
529
40k
Six Lessons from altMBA
skipperchong
29
4.6k
Chasing Engaging Ingredients in Design
codingconduct
0
400
StorybookのUI Testing Handbookを読んだ
zakiyama
31
7.1k
世界の人気アプリ100個を分析して見えたペイウォール設計の心得
akihiro_kokubo
PRO
73
43k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
37
6.7k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
128
56k
Skip the Path - Find Your Career Trail
mkilby
1
300
Testing 201, or: Great Expectations
jmmastey
46
8.4k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
35
3.9k
More Than Pixels: Becoming A User Experience Designer
marktimemedia
3
640
Building AI with AI
inesmontani
PRO
1
1.4k