Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Diffusion Model with Perceptual Loss
Search
Henry Cui
January 26, 2024
Research
0
280
Diffusion Model with Perceptual Loss
Henry Cui
January 26, 2024
Tweet
Share
More Decks by Henry Cui
See All by Henry Cui
プロダクション言語モデルの情報を盗む攻撃 / Stealing Part of a Production Language Model
zchenry
0
120
Direct Preference Optimization
zchenry
0
320
レンズの下のLLM / LLM under the Lens
zchenry
0
160
Go with the Prompt Flow
zchenry
0
140
Mojo Dojo
zchenry
1
180
ことのはの力で画像の異常検知 / Anomaly Detection by Language
zchenry
0
440
驚愕の事実!LangChainが抱える問題 / Problems of LangChain
zchenry
0
190
MLOps初心者がMLflowを触る / MLflow Brief Introduction
zchenry
0
92
{{guidance}}のガイダンス / Guidance of guidance
zchenry
0
150
Other Decks in Research
See All in Research
アプリケーションから知るモデルマージ
maguro27
0
230
文献紹介:A Multidimensional Framework for Evaluating Lexical Semantic Change with Social Science Applications
a1da4
1
250
メールからの名刺情報抽出におけるLLM活用 / Use of LLM in extracting business card information from e-mails
sansan_randd
2
360
Composed image retrieval for remote sensing
satai
2
150
Tiaccoon: コンテナネットワークにおいて複数トランスポート方式で統一的なアクセス制御
hiroyaonoe
0
270
QGISハンズオン事に質問のあったProjectのGeoPackageへの保存方法についての、補足の資料です。
wata909
0
110
ラムダ計算の拡張に基づく 音楽プログラミング言語mimium とそのVMの実装
tomoyanonymous
0
370
新規のC言語処理系を実装することによる 組込みシステム研究にもたらす価値 についての考察
zacky1972
1
310
NeurIPS 2024 参加報告 & 論文紹介 (SACPO, Ctrl-G)
reisato12345
0
170
地理空間情報と自然言語処理:「地球の歩き方旅行記データセット」の高付加価値化を通じて
hiroki13
1
160
Poster: Feasibility of Runtime-Neutral Wasm Instrumentation for Edge-Cloud Workload Handover
chikuwait
0
280
[輪講] Transformer Layers as Painters
nk35jk
4
580
Featured
See All Featured
Stop Working from a Prison Cell
hatefulcrawdad
267
20k
Git: the NoSQL Database
bkeepers
PRO
427
64k
Bash Introduction
62gerente
610
210k
How to Ace a Technical Interview
jacobian
276
23k
A Philosophy of Restraint
colly
203
16k
The Cost Of JavaScript in 2023
addyosmani
46
7.2k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
33
2.7k
Measuring & Analyzing Core Web Vitals
bluesmoon
5
210
Understanding Cognitive Biases in Performance Measurement
bluesmoon
27
1.5k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
330
21k
The Art of Programming - Codeland 2020
erikaheidi
53
13k
Designing for humans not robots
tammielis
250
25k
Transcript
Diffusion Model with Perceptual Loss 機械学習の社会実装勉強会第31回 Henry 2024/1/27
論文の紹介 ▪ Diffusion Model with Perceptual Loss, Lin and Yang
▪ ByteDanceの研究者が去年12月30日にarxivに投稿 ▪ Diffusionモデルの損失関数を改良 2
提案モチベーション ▪ 下図のように既存の損失関数では分布の多峰性を学習でき ない 3
従来の損失関数 ▪ 予測したい目標(拡散過程で発生するノイズ)のMSE ▪ 拡散する式 ▪ 予測したい目標 ▪ MSE損失 4
提案の損失関数 ▪ 学習済み重みで抽出する中間層でのMSE ▪ 予測された値で、拡散ステップの最初に戻してから拡散させる ▪ 学習済み重みで中間特徴量を取り出してMSEを取る ▪ 考察 •
差分は拡散過程を戻すのと中間層を使うの2箇所ある • 著者がこの損失関数をperceptualと解釈する 5
定量評価 ▪ Vanilla MSEよりよいが、Classifier-free guidanced MSEに 負けてしまう 6
Ablation Study 抜粋 ▪ 下記項目を変えて実験したが、CFG MSEには勝てなかった • 中間層、拡散ステップ、距離関数(Mean Absolute Distance)、差分を
取る特徴量、学習済みモデル ▪ CFG + 提案方でも負けてしまう 7
まとめ ▪ Diffusion Modelの損失関数を改良する提案手法 ▪ 中間層を使うヒントになる 8