Lock in $30 Savings on PRO—Offer Ends Soon! ⏳

Domain Adaptation 発展と動向まとめ

Domain Adaptation 発展と動向まとめ

Yamato.OKAMOTO

August 01, 2018
Tweet

More Decks by Yamato.OKAMOTO

Other Decks in Technology

Transcript

  1. 自己紹介 岡本大和(おかもとやまと)  2013 京都大学 情報学研究科 修士課程修了(美濃研究室所属)  画像処理やパターン認識の研究に着手 

    卒業後、オムロンに入社(京都企業!!)  R&D担当、機械学習・IoT・データ分析を扱う(バズワードばかり……) twitter.com/RoadRoller_DESU イラストレーターの友人が 描いてくれた似顔絵キャラ (※お気に入り)
  2. Generative Adversarial Networks Goodfellowら(NIPS’14) 初めてGANが提案された論文 Task『特徴量の抽出源は ”SampleData” か ”GenerativeData”か?』 黒線

    x :Data Generating Distribution 緑線 G(z):Generative Distribution 青線 D(x):Discriminative Distribution (正データである確率、0.5に近づけたい。) z :sampled uniformly D X Sample Z noize G
  3. Generative Adversarial Networks Goodfellowら(NIPS’14) 初めてGANが提案された論文 Task『特徴量の抽出源は ”SampleData” か ”GenerativeData”か?』 黒線

    x :Data Generating Distribution 緑線 G(z):Generative Distribution 青線 D(x):Discriminative Distribution (正データである確率、0.5に近づけたい。) z :sampled uniformly D X Sample Z noize G 【Problem】 特徴量の分布が似通うだけで Semanticな情報がKeepされない. (異なるクラスの特徴量が近傍に分布する)
  4. Deep Reconstruction-Classification Networks for Unsupervised Domain Adaptation Ghifaryら(ECCV’16) Target-Domainに対してUnsupervisedでSemanticな情報をKeepする Task①:Supervised

    classification of labeled source data Task②:Unsupervised reconstruction of unlabeled target data. 【Contribute】 Reconstruction Lossにより Semantic情報が残るようにした 【Contribute】 TargetのLabelがゼロの場合に対応
  5. Few-Shot Adversarial Domain Adaptation Mottianら(NIPS’17) Same class Different class Same

    Domain Different Domain Semanticな情報をKeepするには、 Classification-Taskを教師あり学習させるのが手っ取り早い。 そこで、Target-Domainのデータやラベルが少ない場合でも、 教師あり学習できる手法が提案された。 *Discriminator:4クラス分類を解けるよう学習 *Generator :ClassがSameかDifferentか見抜かれないよう学習 【Contribute】 Targetデータが少ない場合に対応
  6. M-ADDA: Unsupervised Domain Adaptation with Deep Metric Learning Laradjiら(ICML’18) クラス重心の近接度合に着目したCenter

    Magnet Lossを提案 1. SourceでClassification-TaskをSupervised Learning 2. SourceとTargetから抽出した特徴量でAdversarial Learning 3. Sourceにおいて各Classの重心Cを算出 4. Targetの特徴量がいずれかのClassの重心Cに近づくよう学習 1 2 3 4
  7. Learning Semantic Representations for Unsupervised Domain Adaptation Xieら(ICML’18) 異なるドメインの同一クラスの重心が一致するよう学習 1.

    SourceでClassification-TaskをSupervised Learning 2. SourceとTargetから抽出した特徴量でAdversarial Learning 3. 学習したモデルでTargetをClassificationしてラベル生成する (※このラベリングの正確性は保証されない) 4. 異なるドメインの同一クラスの重心が一致するよう学習 1 2 3 4 1