Upgrade to Pro — share decks privately, control downloads, hide ads and more …
Sign up for free

Diffusion Model with Perceptual Loss

Avatar for Henry Cui Henry Cui
January 26, 2024
Research
540
0

Diffusion Model with Perceptual Loss

Avatar for Henry Cui

Henry Cui

January 26, 2024

More Decks by Henry Cui

See All by Henry Cui
プロダクション言語モデルの情報を盗む攻撃 / Stealing Part of a Production Language Model
Avatar for Henry Cui zchenry
1
260
Direct Preference Optimization
Avatar for Henry Cui zchenry
0
490
レンズの下のLLM / LLM under the Lens
Avatar for Henry Cui zchenry
0
250
Go with the Prompt Flow
Avatar for Henry Cui zchenry
0
260
Mojo Dojo
Avatar for Henry Cui zchenry
0
290
ことのはの力で画像の異常検知 / Anomaly Detection by Language
Avatar for Henry Cui zchenry
0
770
驚愕の事実！LangChainが抱える問題 / Problems of LangChain
Avatar for Henry Cui zchenry
0
350
MLOps初心者がMLflowを触る / MLflow Brief Introduction
Avatar for Henry Cui zchenry
0
230
{{guidance}}のガイダンス / Guidance of guidance
Avatar for Henry Cui zchenry
0
220

Other Decks in Research

See All in Research
量子サマースクール2026「量子計算機アーキテクチャ分野の概観」
Avatar for Yosuke Ueno youten622
1
990
HAKARI-Bench - 実運用視点での情報検索モデル評価ベンチマーク
Avatar for Yuichi Tateno hotchpotch
1
830
[IEICE-Soceity-Conf2026] セマンティック通信を見据えたマルチスケールセンシングと 学習の融合によるデジタルツイン基盤 / Digital Twin Infrastructure via the Fusion of Multi-Scale Sensing and Learning toward Semantic Communications
Avatar for Shigemi ISHIDA pman0214
0
130
某助成金プロジェクト採択に向けて企業研究所のアウトリーチ専任者がやったこと
Avatar for afroscript afroscript
0
220
高性能計算機クラスタを用いた大規模点群処理による森林の単木抽出と構造解析
Avatar for Kenta Itakura kentaitakura
1
170
【中間報告】国会議員の立法・政策実務を支える環境を巡る現状と課題
Avatar for 株式会社PoliPoli/PoliPoli.Inc polipoli
0
830
HackSick vol.7 LT資料【LLMアーキテクチャ入門・事前学習時の躓き所解説】 スパースなAttention・状態空間モデル
Avatar for Rikka Botan rikkabotan7
0
230
XDPerf: A High-Performance Traffic Generator Built with WASM and eBPF
Avatar for Takeru Hayasaka takehaya
1
360
視覚若手の会LENSって何？？
Avatar for 小島瑞貴 mickey_0226
0
370
La longévité des troupeaux laitiers: état des lieux et perspectives
Avatar for Idele institutdelelevage
PRO
0
120
モデル評価を効率的にする方法
Avatar for fumihiko takahashi ftakahashi
0
230
最先端NLP勉強会2026 論文紹介：Reasoning with Sampling: Your Base Model is Smarter Than You Think (ICLR 2026 paper)
Avatar for Kogoro kogoro
4
730

Featured

See All Featured
WENDY [Excerpt]
Avatar for Tessa Abrams tessaabrams
14
40k
Bridging the Design Gap: How Collaborative Modelling removes blockers to flow between stakeholders and teams @FastFlow conf
Avatar for Kenny Baas-Schwegler baasie
0
740
Darren the Foodie - Storyboard
Avatar for Kevinho.art khoart
PRO
4
4k
Balancing Empowerment & Direction
Avatar for Lara Hogan lara
6
1.3k
Six Lessons from altMBA
Avatar for Skipper Chong Warson skipperchong
29
4.5k
Context Engineering - Making Every Token Count
Avatar for Addy Osmani addyosmani
9
1.2k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
Avatar for Addy Osmani addyosmani
10
1.4k
How to Build an AI Search Optimization Roadmap - Criteria and Steps to Take #SEOIRL
Avatar for Aleyda Solis aleyda
1
2.2k
Distributed Sagas: A Protocol for Coordinating Microservices
Avatar for Caitie McCaffrey caitiem20
333
23k
Intergalactic Javascript Robots from Outer Space
Avatar for Vicent Martí tanoku
273
28k
Dealing with People You Can't Stand - Big Design 2015
Avatar for Cassini Nazir cassininazir
367
27k
B2B Lead Gen: Tactics, Traps & Triumph
Avatar for Sophie Logan marketingsoph
1
290

Transcript

  1. Diffusion Model with Perceptual Loss 機械学習の社会実装勉強会第31回 Henry 2024/1/27

  2. 論文の紹介 ▪ Diffusion Model with Perceptual Loss, Lin and Yang

    ▪ ByteDanceの研究者が去年12月30日にarxivに投稿 ▪ Diffusionモデルの損失関数を改良 2

  3. 提案モチベーション ▪ 下図のように既存の損失関数では分布の多峰性を学習でき ない 3

  4. 従来の損失関数 ▪ 予測したい目標（拡散過程で発生するノイズ）のMSE ▪ 拡散する式 ▪ 予測したい目標 ▪ MSE損失 4

  5. 提案の損失関数 ▪ 学習済み重みで抽出する中間層でのMSE ▪ 予測された値で、拡散ステップの最初に戻してから拡散させる ▪ 学習済み重みで中間特徴量を取り出してMSEを取る ▪ 考察 •

    差分は拡散過程を戻すのと中間層を使うの2箇所ある • 著者がこの損失関数をperceptualと解釈する 5

  6. 定量評価 ▪ Vanilla MSEよりよいが、Classifier-free guidanced MSEに 負けてしまう 6

  7. Ablation Study 抜粋 ▪ 下記項目を変えて実験したが、CFG MSEには勝てなかった • 中間層、拡散ステップ、距離関数（Mean Absolute Distance）、差分を

    取る特徴量、学習済みモデル ▪ CFG + 提案方でも負けてしまう 7

  8. まとめ ▪ Diffusion Modelの損失関数を改良する提案手法 ▪ 中間層を使うヒントになる 8