Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
CoCon
Search
Zhang Yixiao
December 16, 2020
Science
0
350
CoCon
Zhang Yixiao
December 16, 2020
Tweet
Share
More Decks by Zhang Yixiao
See All by Zhang Yixiao
vq-cpc
ldzhangyx
0
350
MixPoet
ldzhangyx
4
380
diora
ldzhangyx
0
250
drummernet
ldzhangyx
0
210
ON-LSTM
ldzhangyx
0
160
Other Decks in Science
See All in Science
データベース12: 正規化(2/2) - データ従属性に基づく正規化
trycycle
PRO
0
840
データマイニング - グラフ構造の諸指標
trycycle
PRO
0
140
academist Prize 4期生 研究トーク延長戦!「美は世界を救う」っていうけど、どうやって?
jimpe_hitsuwari
0
150
「美は世界を救う」を心理学で実証したい~クラファンを通じた新しい研究方法
jimpe_hitsuwari
1
140
03_草原和博_広島大学大学院人間社会科学研究科教授_デジタル_シティズンシップシティで_新たな_学び__をつくる.pdf
sip3ristex
0
520
ウェブ・ソーシャルメディア論文読み会 第25回: Differences in misinformation sharing can lead to politically asymmetric sanctions (Nature, 2024)
hkefka385
0
120
白金鉱業Meetup Vol.16_【初学者向け発表】 数理最適化のはじめの一歩 〜身近な問題で学ぶ最適化の面白さ〜
brainpadpr
11
2.3k
Explanatory material
yuki1986
0
360
データベース08: 実体関連モデルとは?
trycycle
PRO
0
840
Gemini Prompt Engineering: Practical Techniques for Tangible AI Outcomes
mfonobong
2
130
科学で迫る勝敗の法則(電気学会・SICE若手セミナー講演 2024年12月) / The principle of victory discovered by science (Lecture for young academists in IEEJ-SICE))
konakalab
0
110
システム数理と応用分野の未来を切り拓くロードマップ・エンターテインメント(スポーツ)への応用 / Applied mathematics for sports entertainment
konakalab
1
350
Featured
See All Featured
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
7
760
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
34
5.9k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
50k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
47
9.6k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
234
17k
Adopting Sorbet at Scale
ufuk
77
9.5k
The Cult of Friendly URLs
andyhume
79
6.5k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
357
30k
The Straight Up "How To Draw Better" Workshop
denniskardys
235
140k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
34
3.1k
Transcript
CoCon: A Self-Supervised Approach for Controlled Text Generation Presenter: Yixiao
Zhang
TL;DR • 任务:用文本指导文本,进行可控生成 • 亮点: • 让文本成为控制变量:更加灵活 • 漂亮的损失函数 •
模型是自监督训练的 • 结果表明显著加强了语言模型的可控性
Introduction • 基于Transformer的预训练LM成为了新的浪潮,但是从头训练LM 的成本巨大 • 问题:不改变预训练LM的情况下,LM如何进行控制? • 解决办法1:PPLM,通过属性模型控制生成文本 • 缺点:不够精细,可能造成巨大差异
Sumanth Dathathri, Andrea Madotto, Janice Lan, Jane Hung, Eric Frank, Piero Molino, Jason Yosinski, and Rosanne Liu. Plug and play language models: a simple approach to controlled text generation. arXiv preprint arXiv:1912.02164, 2019.
Related Work • 生成包含所需属性的文本 • 早期工作 • 条件生成模型,可通过RL或GAN训练 • 缺陷:对预定属性的要求限制了生成文本的可能类型
• CTRL • 使用control code(预置的metadata)生成文本 • 缺陷:control code也是预先设定的 • PPLM(最相似) • 在LM上插拔一个模块,不重新训练实现生成 • 区别: • 本文旨在在更局部的内容上控制 • CoCon自监督学习,免去了标签数据
Related Work • 文本风格迁移 • 少数研究采用AE以分离表示 • 另外一些模型能识别attribute markers •
一些特定风格相关的n-grams • 通过替换的方式编辑文本风格
CoCon • 模型目标: • 给定引导文本1:−1 和控制文本,模型 生成: • 过程: •
分别编码c和x • 自注意力交互,得 到新的特征 • 进行下一个词预测
CoCon • CoCon是一个单层 Transformer Block • 首先得到x和c的QKV • 将KV拼起来过self-attn
Loss Function • 自重构损失(Self Reconstruction Loss) • 令c = ,使得模型能够学习结合控制文本的内容
• 无文本损失(Null Content Loss) • 令 = ∅,使得模型退化成LM,以生成流畅的文本
Loss Function • 循环重构损失(Cycle Reconstruction Loss) • 在inference中,生成文本不太可能与引导文本共存 • 给定两个不同的文本(,
′)
Loss Function • 对抗损失(Adversarial Loss) • 总优化目标
实验 • 文本引导的文本生成评估指标有BLEU、NIST、METEOR、PPL和 Dist-1/2/3
实验 • 文本引导的文本生成评估指标有BLEU、NIST、METEOR、PPL和 Dist-1/2/3
例子
多个控制