Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
CoCon
Search
Zhang Yixiao
December 16, 2020
Science
0
340
CoCon
Zhang Yixiao
December 16, 2020
Tweet
Share
More Decks by Zhang Yixiao
See All by Zhang Yixiao
vq-cpc
ldzhangyx
0
340
MixPoet
ldzhangyx
4
380
diora
ldzhangyx
0
250
drummernet
ldzhangyx
0
200
ON-LSTM
ldzhangyx
0
160
Other Decks in Science
See All in Science
06_浅井雄一郎_株式会社浅井農園代表取締役社長_紹介資料.pdf
sip3ristex
0
310
機械学習 - pandas入門
trycycle
PRO
0
150
地質研究者が苦労しながら運用する情報公開システムの実例
naito2000
0
140
03_草原和博_広島大学大学院人間社会科学研究科教授_デジタル_シティズンシップシティで_新たな_学び__をつくる.pdf
sip3ristex
0
300
SciPyDataJapan 2025
schwalbe10
0
210
統計学入門講座 第1回スライド
techmathproject
0
290
حبوب الاجهاض للبيع في الامارات - 00971547952044 - اتصل واتساب
cyt_gcc
0
100
FRAM - 複雑な社会技術システムの理解と分析
__ymgc__
1
130
局所保存性・相似変換対称性を満たす機械学習モデルによる数値流体力学
yellowshippo
1
210
テンソル分解による糖尿病の組織特異的遺伝子発現の統合解析を用いた関連疾患の予測
tagtag
2
130
統計学入門講座 第4回スライド
techmathproject
0
110
オンプレミス環境にKubernetesを構築する
koukimiura
0
180
Featured
See All Featured
Intergalactic Javascript Robots from Outer Space
tanoku
270
27k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
31
1.1k
Building Applications with DynamoDB
mza
94
6.3k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
34
2.2k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
356
30k
Scaling GitHub
holman
459
140k
A better future with KSS
kneath
239
17k
Being A Developer After 40
akosma
91
590k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
119
51k
KATA
mclloyd
29
14k
A Tale of Four Properties
chriscoyier
158
23k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
47
5.3k
Transcript
CoCon: A Self-Supervised Approach for Controlled Text Generation Presenter: Yixiao
Zhang
TL;DR • 任务:用文本指导文本,进行可控生成 • 亮点: • 让文本成为控制变量:更加灵活 • 漂亮的损失函数 •
模型是自监督训练的 • 结果表明显著加强了语言模型的可控性
Introduction • 基于Transformer的预训练LM成为了新的浪潮,但是从头训练LM 的成本巨大 • 问题:不改变预训练LM的情况下,LM如何进行控制? • 解决办法1:PPLM,通过属性模型控制生成文本 • 缺点:不够精细,可能造成巨大差异
Sumanth Dathathri, Andrea Madotto, Janice Lan, Jane Hung, Eric Frank, Piero Molino, Jason Yosinski, and Rosanne Liu. Plug and play language models: a simple approach to controlled text generation. arXiv preprint arXiv:1912.02164, 2019.
Related Work • 生成包含所需属性的文本 • 早期工作 • 条件生成模型,可通过RL或GAN训练 • 缺陷:对预定属性的要求限制了生成文本的可能类型
• CTRL • 使用control code(预置的metadata)生成文本 • 缺陷:control code也是预先设定的 • PPLM(最相似) • 在LM上插拔一个模块,不重新训练实现生成 • 区别: • 本文旨在在更局部的内容上控制 • CoCon自监督学习,免去了标签数据
Related Work • 文本风格迁移 • 少数研究采用AE以分离表示 • 另外一些模型能识别attribute markers •
一些特定风格相关的n-grams • 通过替换的方式编辑文本风格
CoCon • 模型目标: • 给定引导文本1:−1 和控制文本,模型 生成: • 过程: •
分别编码c和x • 自注意力交互,得 到新的特征 • 进行下一个词预测
CoCon • CoCon是一个单层 Transformer Block • 首先得到x和c的QKV • 将KV拼起来过self-attn
Loss Function • 自重构损失(Self Reconstruction Loss) • 令c = ,使得模型能够学习结合控制文本的内容
• 无文本损失(Null Content Loss) • 令 = ∅,使得模型退化成LM,以生成流畅的文本
Loss Function • 循环重构损失(Cycle Reconstruction Loss) • 在inference中,生成文本不太可能与引导文本共存 • 给定两个不同的文本(,
′)
Loss Function • 对抗损失(Adversarial Loss) • 总优化目标
实验 • 文本引导的文本生成评估指标有BLEU、NIST、METEOR、PPL和 Dist-1/2/3
实验 • 文本引导的文本生成评估指标有BLEU、NIST、METEOR、PPL和 Dist-1/2/3
例子
多个控制