$30 off During Our Annual Pro Sale. View Details »

A Unified Feature Disentangler for Multi-Domai...

A Unified Feature Disentangler for Multi-Domain Image Translation and Manipulation(NeurIPSʼ18)

Yamato.OKAMOTO

January 26, 2019
Tweet

More Decks by Yamato.OKAMOTO

Other Decks in Technology

Transcript

  1. NeurIPS 2018 読み会 @PFN 岡本⼤和 2019/01/26 A Unified Feature Disentangler

    for Multi-Domain Image Translation and Manipulation(NeurIPSʼ18) https://neurips.cc/ https://connpass.com/event/115476/
  2. 本⽇紹介する論⽂ A Unified Feature Disentangler for Multi-Domain Image Translation and

    Manipulation (NeurIPSʼ18) Alexander H. Liu, Yen-Cheng Liu, Yu-Ying Yeh, Yu-Chiang Frank Wang National Taiwan University, Georgia Institute of Technology, University of California, MOST Joint Research Center for AI Technology and All Vista Healthcare なぜこの論⽂を選んだのか? - 特徴量を分離する『Feature disentangle』が最近盛り上がっているから - NeurIPS2018で『disentangle』をタイトルに含む論⽂は約10件あった - 関⻄CVPRML勉強会で紹介されたCVPRʼ18の論⽂を読んで興味を持った https://www.slideshare.net/atsushihasimoto/cvprml-cvpr2018-feature-disentangling
  3. Motivation ごちゃまぜの特徴量を分離/整理して取り出したい (disentangle) ①ドメイン特徴量、②それ以外(=ドメイン不変な特徴量) Unsupervised Domain Adaptation Cross-domain image translation

    http://openaccess.thecvf.com/content_cvpr_2017/papers/Tzeng_Adversarial_Discriminative_Domain_CV PR_2017_paper.pdf http://sse.tongji.edu.cn/linzhang/CV/ReadingMaterials/Image-To-Image_Translation.pdf
  4. Related Work この⼿法の課題 ドメイン特徴量の分布を寄せる過程で、 意味ある情報( semantic information )を損失しているリスクがある。 Unsupervised Domain

    Adaptation 補⾜︓こんな感じ 0~9の⽂字クラスの特徴量分布 ドメイン(⾚と⻘)が異なると、 分布が若⼲異なる。 これが重なるよう調整する。 http://proceedings.mlr.press/v37/ganin15.pdf
  5. Related Work Image-to-Image Translation with Conditional Adversarial Networks (CVPRʼ17) 2ドメインの画像ペアについて敵対学習する。

    Image Translationで⽣成した画像ペアだと⾒抜かれないよう学習する。 この⼿法の課題 2ドメイン専⽤⼿法なので拡張性が低い。 マルチドメインに展開した場合は計算量が膨⼤になる。 Cross-domain image translation
  6. Key Idea (detail) Encoderによって ドメイン不変の 特徴量 z を抽出したい ドメイン識別タスクで 敵対学習をする

    Dv はzからドメイン識別できるように学習、 Encoderはドメイン識別されないような特徴量 z を抽出できるよう学習
  7. Experiment ① Unsupervised domain adaption state-of-the-art !! MNIST USPS SVHN

    残り3パターンは どうだったんだろ・・︖
  8. Experiment ① Unsupervised domain adaption state-of-the-art !! MNIST USPS SVHN

    →SVHN のパターンは ダメだったんだろうな…
  9. Experiment ② image-to-image translation マルチドメイン(ここでは3)でimage translationに成功 (a) 左端の元画像に対してimage translationした結果 (b)

    zをランダムサンプリングして画像⽣成した結果 ※上下⽅向ではドメイン以外の特徴量(z)が異なり、左右⽅向ではドメイン特徴量(v)が異なる
  10. Experiment ② image-to-image translation マルチドメイン(ここでは3)でimage translationに成功 (a) 左端の元画像に対してimage translationした結果 (b)

    zをランダムサンプリングして画像⽣成した結果 ※上下⽅向ではドメイン以外の特徴量(z)が異なり、左右⽅向ではドメイン特徴量(v)が異なる Sketch と Paint の間や、 3ドメインの中間はどうなるんだろう… [1/3, 1/3, 1/3]を⼊⼒してみたい