Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
MixPoet
Search
Zhang Yixiao
April 30, 2020
Research
4
380
MixPoet
Zhang Yixiao
April 30, 2020
Tweet
Share
More Decks by Zhang Yixiao
See All by Zhang Yixiao
CoCon
ldzhangyx
0
340
vq-cpc
ldzhangyx
0
340
diora
ldzhangyx
0
250
drummernet
ldzhangyx
0
200
ON-LSTM
ldzhangyx
0
160
Other Decks in Research
See All in Research
情報処理学会関西支部2024年度定期講演会「自然言語処理と大規模言語モデルの基礎」
ksudoh
10
2.7k
ことばの意味を計算するしくみ
verypluming
10
2k
Weekly AI Agents News! 1月号 アーカイブ
masatoto
1
220
Introduction of NII S. Koyama's Lab (AY2025)
skoyamalab
0
160
移動ビッグデータに基づく地理情報の埋め込みベクトル化
tam1110
0
270
20241226_くまもと公共交通新時代シンポジウム
trafficbrain
0
480
Poster: Feasibility of Runtime-Neutral Wasm Instrumentation for Edge-Cloud Workload Handover
chikuwait
0
430
Weekly AI Agents News! 12月号 論文のアーカイブ
masatoto
0
250
ウッドスタックチャン:木材を用いた小型エージェントロボットの開発と印象評価 / ec75-sato
yumulab
0
120
Optimal and Diffusion Transports in Machine Learning
gpeyre
0
1.4k
大規模言語モデルを用いたニュースデータのセンチメント判定モデルの開発および実体経済センチメントインデックスの構成
nomamist
1
150
大規模日本語VLM Asagi-VLMにおける合成データセットの構築とモデル実装
kuehara
5
1.7k
Featured
See All Featured
Understanding Cognitive Biases in Performance Measurement
bluesmoon
28
1.6k
Making Projects Easy
brettharned
116
6.1k
Speed Design
sergeychernyshev
28
860
Rails Girls Zürich Keynote
gr2m
94
13k
Into the Great Unknown - MozCon
thekraken
36
1.7k
Testing 201, or: Great Expectations
jmmastey
42
7.4k
Build The Right Thing And Hit Your Dates
maggiecrowley
34
2.6k
How GitHub (no longer) Works
holman
314
140k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
44
7.1k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
8
700
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
129
19k
Fontdeck: Realign not Redesign
paulrobertlloyd
83
5.4k
Transcript
MixPoet: Diverse Poetry Generation via Learning Controllable Mixed Latent Space
ArXiv: 2003.06094v1 Presenter: Yixiao Zhang
Overview • Idea: 诗人经历、历史背景等 => 诗歌风格多样化 • Methods: • semi-supervised
VAE • disentangling latent space to sub-spaces • each sub-space corresponds to one factor conditioning • adversarial training
Introduction • 近年的研究,主要考虑语义连贯、主题相关 • 存在diversity的困扰 • diversity: • 主题间多样性:给定两个topic words,生成不同的诗歌
• 主题内多样性:给定一个topic word,生成不同的诗歌 • * 现有的模型倾向于记住常见pattern
Introduction • 生活经历、历史背景、文学流派 => 影响风格
Introduction • MixPoet: semi-supervised VAE • 将latent space分解为sub-spaces,与影响因子一一对应 • 训练阶段:模型预测无label诗歌的factors
• 测试阶段:指定factor的值,生成风格化的诗歌
Related Work • 诗歌生成模型 (RNNs, Memory Models, etc. ) •
多样性的先前研究: • MRL system: 强化学习,鼓励选用高TF-IDF的词汇 • USPG: 无监督最大化style vector和诗歌的mutual information
Related Work • VAE文本生成/诗歌生成 • Yang et. al, 2018b: 学习context-conditioned
latent variable • Hu et al. 2017: 对生成的诗歌进行对抗训练,增强topic相关性 • CVAE 对话多样性: Learning Discourse-level Diversity for Neural Dialog Models using Conditional Variational Autoencoders, ACL 2017 • 本文的对抗:在latent space上做对抗训练
Method • topic keyword: mixture empirical distributions: labeled/ unlabeled
Method: Generator • GRU based model • 是length embedding
Method: Semi-supervised C-VAE • 目的是学习 • 引入z • 由于style与semantics耦合 •
不假设y与z的独立性,而是: • 顺序: w => y => z => x (无y label时)
Method: Semi-supervised C-VAE • then for labeled data: • 估计先验
• 和后验 分别使用一个network计算, recon时最小化KL散度。
Method: Semi-supervised C-VAE • labeled data is too limited •
将y看作另一个latent variable • 估计先验 • 和后验 分别使用一个MLP network计算, recon y时最小化KL散度。
Method: Semi-supervised C-VAE • Total Loss:
Method: Latent Space Mixture • 多个factor时的情形: • 独立性假设:
Method: Latent Space Mixture • How to learn mixed latent
space? • For Isotropic Gaussian Space:
Method: Latent Space Mixture • How to learn mixed latent
space? • For Universal Space: 对于condition: ita是噪声,delta是脉冲函数,c是w, y => 从分布中sample出一个值
Method: Latent Space Mixture • 之后使得discriminator区分这两个z • 估计KL散度: • 其中
就是discriminator
Experiments • factors: • 军旅生涯, 乡村生活, 其他 • 时代繁荣, 时代衰落
• => 6种style
Experiments • Baseline: • Ground Truth • C-VAE • USPG
• MRL: SOTA • fBasic, 监督学习模型
Experiments • 多样性,使用Jaccard Similarity指数评价,越低越好 • 诗歌质量:使用Language Model Score(LMS)评价 • 观察:
• 大多数模型倾向生成重复的短语 • MRL与Basic在intra部分只能生成极其相似的诗歌 • C-VAE情况类似
Experiments • Factor Control Results: • 测试生成的诗歌是否与给定因子类别一致
Experiments • 主观实验
Analysis: Style Mixture
Analysis