JointGAN: Multi-Domain Joint Distribution Learning with Generative Adversarial Nets 論文紹介 / 20190123-icml-2018-joint-gan

JointGAN: Multi-Domain Joint Distribution Learning with Generative Adversarial Nets (ICML2018)

NN論文を肴に酒を飲む会 #8にて発表したスライドです。
https://tfug-tokyo.connpass.com/event/113532/

誤りや疑問点等がありましたら、Twitterでご連絡ください。
https://twitter.com/__t2kasa__

Transcript

1. JointGAN: Multi-Domain Joint Distribution Learning with Generative Adversarial Nets @__t2kasa__ 髙木 士 (Tsukasa Takagi) 2019/01/23 NN論文を肴に酒を飲む会 #8 1
2. 自己紹介  髙木 士 (Tsukasa Takagi)  2019/01 – Preferred Networks Engineer  最近の興味：Domain Adaptation / GAN  Twitter: @__t2kasa__  Wiki & Blog: https://t2kasa.github.io/ 2
3. 紹介論文：JointGAN (ICML2018) 1 Facebook, 2 Duke University, 3 Microsoft Research  選出理由：「結合分布を学習するGAN」という点が面白そうだと感じたから 3
4. JointGAN 概要  複数の確率変数からなる結合分布をGANによってfullに学習するJointGANを提案 従来手法は条件付き分布のみを学習する手法しかなかった [Gan+ 2017] Triangle GAN [Dumoulin+ 2016] Adversarially Learned Inference (ALI) [Zhu+ 2017] CycleGAN 4
5. 従来手法の概要 (ALI, CycleGAN等) CycleGANのFig.1から  , = | = | と分解  条件付き分布 | や | をGANで学習  周辺分布 や は入力として与える必要がある  具体例：CycleGANによるImage-to-Image Translation  モデルを入力するときに入力画像を与える必要がある 5
6. ノイズだけで結合分布 , からサンプリング可能 JointGANの特徴 6
7. 問題設定  問題設定：  ~ , ~ （ペアとは限らない）サンプル集合： , が与えられる 結合分布 , をモデル化したい  生成プロセスと学習についての違いを次スライド以降で紹介  GAN  Conditonals (ALI, Triangle GAN, CycleGAN)  JointGAN ~ ~ 7
8. 生成プロセスと学習： Marginal (GAN)の場合  GAN：周辺分布 , をGANで学習…結合分布 , を学習していない ∙ : sigmoid function : -parameterized critic function ノイズ NN 8
9. 生成プロセスと学習： Conditional (ALI, Triangle GAN, CycleGAN)の場合 ∙ : sigmoid function : -parameterized critic function  , = | = | として条件付き分布 | , | をGANで学習 … , はデータからサンプリングする必要がある ノイズ NN データ 9
10. 生成プロセスと学習： Joint (JointGAN)の場合 (1/2)  , = | = | として , , | , | をGANで学習 ノイズ NN ∙ が入力を持つ点のみ ∙ と異なる ∙ が入力を持つ点のみ ∙ と異なる , および, はパラメータを共有するNNで実装 → Conditionalと同程度のパラメータ数で済む 10
11. 生成プロセスと学習： Joint (JointGAN)の場合 (2/2) ペアのデータが利用できる場合：以下の5つのどれであるかを識別できるようにJointGANを学習 …損失関数はsoftmax cross entropy ペアのデータが利用できない場合：以下の4つのどれであるかを識別できるようにJointGANを学習 …損失関数はsoftmax cross entropy + cycle consistency loss 11
12. JointGANの学習概要図 https://zhegan27.github.io/Papers/JointGAN_slides.pdf 12
13. 生成例：画像と画像 13
14. 生成例：キャプション 画像→キャプション の順に生成 キャプション→画像 の順に生成 14
15. JointGAN：3変数以上の結合分布への拡張  変数の場合の結合分布は!通りの分解方法がある（例：3変数では6通り） …全ての分解方法をカバーするのは困難なので限定された分解方法のみ考える  ここでは3変数の結合分布 , , で以下の分解方法のみ考える  3つ組 , , のサンプルを得るのは一般的に困難 ⇒ , , , というペアのみ利用できるとすると以下の6通りを識別できるようにJointGANを学習 15
16. 生成例：3変数のJointGAN facades↔labels↔cityscapesで学習…左から順に生成 3つのドメインともある程度対応した画像が生成されている 16
17. 比較実験  アーキテクチャ Generator: U-Net Discriminaor: PatchGAN (Pix2Pixで用いられたDiscriminator)  以下の2 step modelをbaselineとしてJointGANと比較 Step1: 周辺分布 , をWGAN-GPで学習 Step2: 条件付き分布 | , | をPix2PixまたはCycleGANで学習 （ペアのデータが利用できる/利用できない場合はPix2Pix/CycleGAN） 17
18. Baseline (WGAN-GP + Pix2Pix/CycleGAN) JointGAN 比較実験（定性的評価） (1/2) 18
19. 比較実験（定性的評価） (2/2)  baselineとJointGANのどちらが realism, relevanceであるかを生 成されたサンプルをAmazon Mechanical Turkでアンケート  JointGANのほうがrealism, relevanceともに良い評価を得た 19
20. 比較実験（定量的評価）  [[Huang+ 2013] Deep Structured Semantic Models (DSSM)という手法で画像ペアを共通の潜在空間上で表現  潜在空間上でのコサイン類似度をrelevance scoreとして比較  WGAN-GP + Pix2Pix/CycleGANよりもJointGANの方がrelevance scoreが高い 20
21. まとめ  結合分布を周辺分布と条件付き分布の積に分解し、各確率分布を同時に GANの枠組みによって学習するJointGANを提案  ノイズのみからサンプルを生成可能  3変数以上の確率分布への拡張も限定的に可能  結合分布と条件付き分布を2 stepで学習するよりも定性的・定量的に良い結果を得た 21
22. References ① [Gan+ 2017] Triangle Generative Adversarial Networks. NIPS2017 ② [Dumoulin+ 2016] Adversarially Learned Inference. ICLR2017 ③ [Zhu+ 2017] Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks. ICCV2017 ④ [Phillip Isola+ 2016] Image-to-Image Translation with Conditional Adversarial Networks. CVPR2017 ⑤ [Huang+ 2013] Learning Deep Structured Semantic Models for Web Search using Clickthrough Data. CIKM2013 22