Upgrade to Pro — share decks privately, control downloads, hide ads and more …

MixPoet

 MixPoet

Zhang Yixiao

April 30, 2020
Tweet

More Decks by Zhang Yixiao

Other Decks in Research

Transcript

  1. Overview • Idea: 诗人经历、历史背景等 => 诗歌风格多样化 • Methods: • semi-supervised

    VAE • disentangling latent space to sub-spaces • each sub-space corresponds to one factor conditioning • adversarial training
  2. Related Work • 诗歌生成模型 (RNNs, Memory Models, etc. ) •

    多样性的先前研究: • MRL system: 强化学习,鼓励选用高TF-IDF的词汇 • USPG: 无监督最大化style vector和诗歌的mutual information
  3. Related Work • VAE文本生成/诗歌生成 • Yang et. al, 2018b: 学习context-conditioned

    latent variable • Hu et al. 2017: 对生成的诗歌进行对抗训练,增强topic相关性 • CVAE 对话多样性: Learning Discourse-level Diversity for Neural Dialog Models using Conditional Variational Autoencoders, ACL 2017 • 本文的对抗:在latent space上做对抗训练
  4. Method: Semi-supervised C-VAE • 目的是学习 • 引入z • 由于style与semantics耦合 •

    不假设y与z的独立性,而是: • 顺序: w => y => z => x (无y label时)
  5. Method: Semi-supervised C-VAE • then for labeled data: • 估计先验

    • 和后验 分别使用一个network计算, recon时最小化KL散度。
  6. Method: Semi-supervised C-VAE • labeled data is too limited •

    将y看作另一个latent variable • 估计先验 • 和后验 分别使用一个MLP network计算, recon y时最小化KL散度。
  7. Method: Latent Space Mixture • How to learn mixed latent

    space? • For Isotropic Gaussian Space:
  8. Method: Latent Space Mixture • How to learn mixed latent

    space? • For Universal Space: 对于condition: ita是噪声,delta是脉冲函数,c是w, y => 从分布中sample出一个值
  9. Experiments • Baseline: • Ground Truth • C-VAE • USPG

    • MRL: SOTA • fBasic, 监督学习模型
  10. Experiments • 多样性,使用Jaccard Similarity指数评价,越低越好 • 诗歌质量:使用Language Model Score(LMS)评价 • 观察:

    • 大多数模型倾向生成重复的短语 • MRL与Basic在intra部分只能生成极其相似的诗歌 • C-VAE情况类似