Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
MixPoet
Search
Zhang Yixiao
April 30, 2020
Research
4
360
MixPoet
Zhang Yixiao
April 30, 2020
Tweet
Share
More Decks by Zhang Yixiao
See All by Zhang Yixiao
CoCon
ldzhangyx
0
330
vq-cpc
ldzhangyx
0
340
diora
ldzhangyx
0
240
drummernet
ldzhangyx
0
190
ON-LSTM
ldzhangyx
0
150
Other Decks in Research
See All in Research
Introducing Research Units of Matsuo-Iwasawa Laboratory
matsuolab
0
650
LLM based AI Agents Overview -What, Why, How-
masatoto
2
590
「確率的なオウム」にできること、またそれがなぜできるのかについて
eumesy
PRO
7
3k
いしかわ暮らしセミナー~移住にまつわるお金の話~
matyuda
0
140
Language is primarily a tool for communication rather than thought
ryou0634
4
720
20240719_第2回熊本の交通を語る会
trafficbrain
0
510
大規模言語モデルを用いた日本語視覚言語モデルの評価方法とベースラインモデルの提案 【MIRU 2024】
kentosasaki
2
500
医療分野におけるLLMの現状と応用可能性について
kento1109
11
3.5k
第79回 産総研人工知能セミナー 発表資料
agiats
1
120
MIRU2024チュートリアル「様々なセンサやモダリティを用いたシーン状態推定」
miso2024
3
2.1k
クラウドソーシングによる学習データ作成と品質管理(セキュリティキャンプ2024全国大会D2講義資料)
takumi1001
0
250
20240918 交通くまもとーく 未来の鉄道網編(太田恒平)
trafficbrain
0
160
Featured
See All Featured
VelocityConf: Rendering Performance Case Studies
addyosmani
325
24k
Teambox: Starting and Learning
jrom
132
8.7k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
46
2.1k
Keith and Marios Guide to Fast Websites
keithpitt
408
22k
RailsConf 2023
tenderlove
29
880
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
250
21k
Optimising Largest Contentful Paint
csswizardry
33
2.9k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
92
16k
Code Review Best Practice
trishagee
64
17k
Being A Developer After 40
akosma
86
590k
The Cult of Friendly URLs
andyhume
78
6k
Designing for humans not robots
tammielis
249
25k
Transcript
MixPoet: Diverse Poetry Generation via Learning Controllable Mixed Latent Space
ArXiv: 2003.06094v1 Presenter: Yixiao Zhang
Overview • Idea: 诗人经历、历史背景等 => 诗歌风格多样化 • Methods: • semi-supervised
VAE • disentangling latent space to sub-spaces • each sub-space corresponds to one factor conditioning • adversarial training
Introduction • 近年的研究,主要考虑语义连贯、主题相关 • 存在diversity的困扰 • diversity: • 主题间多样性:给定两个topic words,生成不同的诗歌
• 主题内多样性:给定一个topic word,生成不同的诗歌 • * 现有的模型倾向于记住常见pattern
Introduction • 生活经历、历史背景、文学流派 => 影响风格
Introduction • MixPoet: semi-supervised VAE • 将latent space分解为sub-spaces,与影响因子一一对应 • 训练阶段:模型预测无label诗歌的factors
• 测试阶段:指定factor的值,生成风格化的诗歌
Related Work • 诗歌生成模型 (RNNs, Memory Models, etc. ) •
多样性的先前研究: • MRL system: 强化学习,鼓励选用高TF-IDF的词汇 • USPG: 无监督最大化style vector和诗歌的mutual information
Related Work • VAE文本生成/诗歌生成 • Yang et. al, 2018b: 学习context-conditioned
latent variable • Hu et al. 2017: 对生成的诗歌进行对抗训练,增强topic相关性 • CVAE 对话多样性: Learning Discourse-level Diversity for Neural Dialog Models using Conditional Variational Autoencoders, ACL 2017 • 本文的对抗:在latent space上做对抗训练
Method • topic keyword: mixture empirical distributions: labeled/ unlabeled
Method: Generator • GRU based model • 是length embedding
Method: Semi-supervised C-VAE • 目的是学习 • 引入z • 由于style与semantics耦合 •
不假设y与z的独立性,而是: • 顺序: w => y => z => x (无y label时)
Method: Semi-supervised C-VAE • then for labeled data: • 估计先验
• 和后验 分别使用一个network计算, recon时最小化KL散度。
Method: Semi-supervised C-VAE • labeled data is too limited •
将y看作另一个latent variable • 估计先验 • 和后验 分别使用一个MLP network计算, recon y时最小化KL散度。
Method: Semi-supervised C-VAE • Total Loss:
Method: Latent Space Mixture • 多个factor时的情形: • 独立性假设:
Method: Latent Space Mixture • How to learn mixed latent
space? • For Isotropic Gaussian Space:
Method: Latent Space Mixture • How to learn mixed latent
space? • For Universal Space: 对于condition: ita是噪声,delta是脉冲函数,c是w, y => 从分布中sample出一个值
Method: Latent Space Mixture • 之后使得discriminator区分这两个z • 估计KL散度: • 其中
就是discriminator
Experiments • factors: • 军旅生涯, 乡村生活, 其他 • 时代繁荣, 时代衰落
• => 6种style
Experiments • Baseline: • Ground Truth • C-VAE • USPG
• MRL: SOTA • fBasic, 监督学习模型
Experiments • 多样性,使用Jaccard Similarity指数评价,越低越好 • 诗歌质量:使用Language Model Score(LMS)评价 • 观察:
• 大多数模型倾向生成重复的短语 • MRL与Basic在intra部分只能生成极其相似的诗歌 • C-VAE情况类似
Experiments • Factor Control Results: • 测试生成的诗歌是否与给定因子类别一致
Experiments • 主观实验
Analysis: Style Mixture
Analysis