Upgrade to Pro — share decks privately, control downloads, hide ads and more …

CoCon

Zhang Yixiao
December 16, 2020

 CoCon

Zhang Yixiao

December 16, 2020
Tweet

More Decks by Zhang Yixiao

Other Decks in Science

Transcript

  1. Introduction • 基于Transformer的预训练LM成为了新的浪潮,但是从头训练LM 的成本巨大 • 问题:不改变预训练LM的情况下,LM如何进行控制? • 解决办法1:PPLM,通过属性模型控制生成文本 • 缺点:不够精细,可能造成巨大差异

    Sumanth Dathathri, Andrea Madotto, Janice Lan, Jane Hung, Eric Frank, Piero Molino, Jason Yosinski, and Rosanne Liu. Plug and play language models: a simple approach to controlled text generation. arXiv preprint arXiv:1912.02164, 2019.
  2. Related Work • 生成包含所需属性的文本 • 早期工作 • 条件生成模型,可通过RL或GAN训练 • 缺陷:对预定属性的要求限制了生成文本的可能类型

    • CTRL • 使用control code(预置的metadata)生成文本 • 缺陷:control code也是预先设定的 • PPLM(最相似) • 在LM上插拔一个模块,不重新训练实现生成 • 区别: • 本文旨在在更局部的内容上控制 • CoCon自监督学习,免去了标签数据
  3. CoCon • 模型目标: • 给定引导文本1:−1 和控制文本,模型 生成: • 过程: •

    分别编码c和x • 自注意力交互,得 到新的特征 • 进行下一个词预测
  4. Loss Function • 自重构损失(Self Reconstruction Loss) • 令c = ,使得模型能够学习结合控制文本的内容

    • 无文本损失(Null Content Loss) • 令 = ∅,使得模型退化成LM,以生成流畅的文本