Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Progressive Growing of GANs for Improved Qualit...
Search
kiyo
August 08, 2019
Technology
1
160
Progressive Growing of GANs for Improved Quality, Stability, and Variation
PGGANについての説明資料です。8月8日に内輪の勉強会に使用しました。
kiyo
August 08, 2019
Tweet
Share
More Decks by kiyo
See All by kiyo
Active Retrieval Augmented Generation
kiyohiro8
3
820
Reinforcement Learning: An Introduction 輪読会 第5回
kiyohiro8
0
390
Reinforcement Learning: An Introduction 輪読会 第3回
kiyohiro8
0
530
TransGAN: Two Transformers Can Make One Strong GAN
kiyohiro8
0
340
CycleGAN and InstaGAN
kiyohiro8
0
1.5k
Bridging_by_Word__Image-Grounded_Vocabulary_Construction_for_Visual_Captioning.pdf
kiyohiro8
0
970
Attention on Attention for Image Captioning
kiyohiro8
1
500
Graph-Based Global Reasoning Networks
kiyohiro8
0
1.3k
Other Decks in Technology
See All in Technology
kubellが挑むBPaaSにおける、人とAIエージェントによるサービス開発の最前線と技術展望
kubell_hr
1
310
kotlin-lsp を Emacs で使えるようにしてみた / use kotlin-lsp in Emacs
nabeo
0
150
Whats_new_in_Podman_and_CRI-O_2025-06
orimanabu
3
180
産業機械をElixirで制御する
kikuyuta
0
170
DenoとJSRで実現する最速MCPサーバー開発記 / Building MCP Servers at Lightning Speed with Deno and JSR
yamanoku
1
100
“プロダクトを好きになれるか“も QAエンジニア転職の大事な判断基準だと思ったの
tomodakengo
0
140
「実体」で築く共通認識: 開発現場のコミュニケーション最適化 / Let's Get on the Same Page with Concrete Artifacts: Optimization of Communication in dev teams
kazizi55
0
140
"SaaS is Dead" は本当か!? 生成AI時代の医療 Vertical SaaS のリアル
kakehashi
PRO
3
220
Amplifyとゼロからはじめた AIコーディング 成果と展望
mkdev10
1
270
「規約、知識、オペレーション」から考える中規模以上の開発組織のCursorルールの 考え方・育て方 / Cursor Rules for Coding Styles, Domain Knowledges and Operations
yuitosato
6
1.8k
Web3 のリアリティ / Web3 Reality
ks91
PRO
0
100
型システムを知りたい人のための型検査器作成入門
mame
15
3.8k
Featured
See All Featured
Learning to Love Humans: Emotional Interface Design
aarron
273
40k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
52
2.8k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
15
1.5k
The Cost Of JavaScript in 2023
addyosmani
50
8.4k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
How to train your dragon (web standard)
notwaldorf
92
6.1k
BBQ
matthewcrist
89
9.7k
Agile that works and the tools we love
rasmusluckow
329
21k
Producing Creativity
orderedlist
PRO
346
40k
Reflections from 52 weeks, 52 projects
jeffersonlam
351
20k
Why You Should Never Use an ORM
jnunemaker
PRO
56
9.4k
Large-scale JavaScript Application Architecture
addyosmani
512
110k
Transcript
Progressive Growing of GANs for Improved Quality, Stability, and Variation
自己紹介 Twitter : @hrs1985 https://qiita.com/hrs1985 機械学習エンジニアをしています。最近転職して 7月から東京で働いてます。 前々職では実験生物学やってました。 • 深層生成モデル
• 強化学習 • 画像処理 に興味があります。最近はグラフも面白そうだなと思っています。 2
論文の概要 ▪ GAN の学習安定化のための Progressive Growing を提案 ▪ その他の工夫 (Equalized
Learning Rate, Pixelwise Normalization) を提案 3 3
Progressive Growing 学習が不安定になる一因は生成するデータが高次元すぎること →低次元のデータから徐々に学習を進める 4
Progressive Growing 新しいレイヤーを加える時、新しいレイヤーの出力/入力と その直前のレイヤーの出力/入力を α : 1 - α で足して用いる。
5
Progressive Growing を実装したいとき (Pytorch) 6 4x4 8x8 16x16 32x32 Upsampling
block 4x4 8x8 16x16 32x32 noise 4x4 image To RGB block
Progressive Growing を実装したいとき (Pytorch) 7 4x4 8x8 16x16 32x32 Upsampling
block 4x4 8x8 16x16 32x32 To RGB block noise 8x8 image
Progressive Growing を実装したいとき (Pytorch) 8 4x4 8x8 16x16 32x32 Upsampling
block 4x4 8x8 16x16 32x32 To RGB block noise 16x16 image
Progressive Growing を実装したいとき (Pytorch) 9 4x4 8x8 16x16 32x32 Upsampling
block 4x4 8x8 16x16 32x32 To RGB block noise 32x32 image
その他の工夫 Pixelwise Normalization 各ピクセルをチャンネル方向の 2-ノルムで割る Generator 側でのみ用いている Equalized Learning Rate
各レイヤーの weight をチャンネル数で正規化して使う 出力 (と誤差の逆伝搬) のダイナミックレンジがチャンネル数に対して変動しにくくなる 10 Minibatch Discrimination ミニバッチ内の標準偏差を Discriminator に与える
Ablation study 11
顔画像の生成 12
やってみた 13 ちゃんとした比較はできてないけど、卵以外の具材の破綻が少なそう?