Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Progressive Growing of GANs for Improved Quality, Stability, and Variation
Search
kiyo
August 08, 2019
Technology
1
120
Progressive Growing of GANs for Improved Quality, Stability, and Variation
PGGANについての説明資料です。8月8日に内輪の勉強会に使用しました。
kiyo
August 08, 2019
Tweet
Share
More Decks by kiyo
See All by kiyo
Active Retrieval Augmented Generation
kiyohiro8
3
560
Reinforcement Learning: An Introduction 輪読会 第5回
kiyohiro8
0
300
Reinforcement Learning: An Introduction 輪読会 第3回
kiyohiro8
0
420
TransGAN: Two Transformers Can Make One Strong GAN
kiyohiro8
0
270
CycleGAN and InstaGAN
kiyohiro8
0
1.3k
Bridging_by_Word__Image-Grounded_Vocabulary_Construction_for_Visual_Captioning.pdf
kiyohiro8
0
920
Attention on Attention for Image Captioning
kiyohiro8
1
450
Graph-Based Global Reasoning Networks
kiyohiro8
0
1.2k
Other Decks in Technology
See All in Technology
RAGのサービスをリリースして1年3ヶ月が経ちました
segavvy
4
910
大規模ドラレコデータ収集・機械学習基盤を支える AWS CDK 〜導入・運用事例紹介〜
pemugi
0
110
データベース研修 DB基礎【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
210
DDDにおける認可の扱いとKotlinにおける実装パターン / authorization-for-ddd-and-kotlin-implement-pattern
urmot
4
390
クラウド利用者の「責任」をどう果たす?AWSセキュリティ対策のススメ #AWSSummit
hiashisan
0
270
サーバーレスAPI(API Gateway+Lambda)とNext.jsで 個人ブログを作ろう!
shuntaka
PRO
0
560
ソフトウェアエンジニアリングの知見を活かして データ基盤をいい感じにする on Snowflake [MIERUNE BBQ #10]
mtpooh
2
150
CEL(Common Expression Language)で書いた条件にマッチしたIAM Policyを見つける / iam-policy-finder
fujiwara3
0
710
初中級者用如何使用backlog -VALE TUDOEDITION-
in0u
0
140
たくさん本を読んだけど 1年後には綺麗サッパリ!を乗り越えて 学習の鬼になるぞ👹
yum3
0
160
スレットハンティングについて知っておきたいこと
hacket
0
130
Git 研修 Basic【MIXI 24新卒技術研修】
mixi_engineers
PRO
0
310
Featured
See All Featured
How to name files
jennybc
67
96k
Java REST API Framework Comparison - PWX 2021
mraible
PRO
20
7.2k
Atom: Resistance is Futile
akmur
261
25k
Embracing the Ebb and Flow
colly
81
4.3k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
17
1.5k
Facilitating Awesome Meetings
lara
46
5.8k
Being A Developer After 40
akosma
72
580k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
360
22k
Leading Effective Engineering Teams 2024
addyosmani
3
300
Producing Creativity
orderedlist
PRO
340
39k
The Cost Of JavaScript in 2023
addyosmani
31
4.7k
Building Adaptive Systems
keathley
34
2k
Transcript
Progressive Growing of GANs for Improved Quality, Stability, and Variation
自己紹介 Twitter : @hrs1985 https://qiita.com/hrs1985 機械学習エンジニアをしています。最近転職して 7月から東京で働いてます。 前々職では実験生物学やってました。 • 深層生成モデル
• 強化学習 • 画像処理 に興味があります。最近はグラフも面白そうだなと思っています。 2
論文の概要 ▪ GAN の学習安定化のための Progressive Growing を提案 ▪ その他の工夫 (Equalized
Learning Rate, Pixelwise Normalization) を提案 3 3
Progressive Growing 学習が不安定になる一因は生成するデータが高次元すぎること →低次元のデータから徐々に学習を進める 4
Progressive Growing 新しいレイヤーを加える時、新しいレイヤーの出力/入力と その直前のレイヤーの出力/入力を α : 1 - α で足して用いる。
5
Progressive Growing を実装したいとき (Pytorch) 6 4x4 8x8 16x16 32x32 Upsampling
block 4x4 8x8 16x16 32x32 noise 4x4 image To RGB block
Progressive Growing を実装したいとき (Pytorch) 7 4x4 8x8 16x16 32x32 Upsampling
block 4x4 8x8 16x16 32x32 To RGB block noise 8x8 image
Progressive Growing を実装したいとき (Pytorch) 8 4x4 8x8 16x16 32x32 Upsampling
block 4x4 8x8 16x16 32x32 To RGB block noise 16x16 image
Progressive Growing を実装したいとき (Pytorch) 9 4x4 8x8 16x16 32x32 Upsampling
block 4x4 8x8 16x16 32x32 To RGB block noise 32x32 image
その他の工夫 Pixelwise Normalization 各ピクセルをチャンネル方向の 2-ノルムで割る Generator 側でのみ用いている Equalized Learning Rate
各レイヤーの weight をチャンネル数で正規化して使う 出力 (と誤差の逆伝搬) のダイナミックレンジがチャンネル数に対して変動しにくくなる 10 Minibatch Discrimination ミニバッチ内の標準偏差を Discriminator に与える
Ablation study 11
顔画像の生成 12
やってみた 13 ちゃんとした比較はできてないけど、卵以外の具材の破綻が少なそう?