F S (X T )で敵対学習してDomain-Confusionさせる点は従来通り • X S とF T (X S )の識別結果の一貫性、X T とF S (X T )の識別結果の一貫性につい てのLOSSをくっつた点が新しい(…実は、そんなに新しくもないけど) • この類の研究はLOSS-Weightが黒魔術なことが多い。もうお腹いっぱ いというのが正直なところ 参照: https://www.citi.sinica.edu.tw/papers/yylin/6688-F.pdf
• These problems essentially arise from poor estimation of the distance metric responsible for training these networks. • we introduce an additional regularisation term which performs optimal transport in parallel within a low dimensional representation space. 参照: http://openaccess.thecvf.com/content_CVPR_2019/papers/Avraham_Parallel_Optimal_Transport_GAN _CVPR_2019_paper.pdf
数とGAPがある • 例えば、同一物体を複数角度から撮影した画像は同じデータか異なるデータか?という問い • 従来のClassBalancedLossはクラスのデータ数 n y の逆数を学習の重みとしたが、提案では本 質的なクラスのデータ数 E ny を学習の重みとする • ハイパーパラメータβ[0..1]は大きいほど本質的なデータ数が多いと仮定することになる 参照: https://arxiv.org/abs/1901.05555
(Autoencoderは非線形のPCAだ!という説もあるくらいだし) • Variational-Autoencoderがやってることの方向性はPCAと同じだぜ! と証明した(つまり理にかなっているということを論旨保証した) • Tradeoff: local orthogonality reconstruction • Well known: liner autoencoder span the same latent space as PCA • New insight: VAEs additionally pursue the same principal direction 参照: http://openaccess.thecvf.com/content_CVPR_2019/papers/Rolinek_Variational_Autoencoders_Pursue _PCA_Directions_by_Accident_CVPR_2019_paper.pdf