Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Fast Abstractive Summarization With Reinforce S...
Search
sobamchan
April 09, 2019
Science
0
130
Fast Abstractive Summarization With Reinforce Selected Sentence Rewriting
Not detailed.
sobamchan
April 09, 2019
Tweet
Share
More Decks by sobamchan
See All by sobamchan
Knowledge Supports Visual Language Grounding_ A Case Study on Colour Terms
sobamchan
1
930
Event Representations for Automated Story Generation with Deep Neural Nets
sobamchan
0
79
Fader Networks: Manipulating Images by Sliding Attributes
sobamchan
1
320
Other Decks in Science
See All in Science
Hakonwa-Quaternion
hiranabe
1
120
深層学習を用いた根菜類の個数カウントによる収量推定法の開発
kentaitakura
0
180
Accelerated Computing for Climate forecast
inureyes
PRO
0
120
ド文系だった私が、 KaggleのNCAAコンペでソロ金取れるまで
wakamatsu_takumu
2
1.2k
KH Coderチュートリアル(スライド版)
koichih
1
45k
テンソル分解による糖尿病の組織特異的遺伝子発現の統合解析を用いた関連疾患の予測
tagtag
2
220
3次元点群を利用した植物の葉の自動セグメンテーションについて
kentaitakura
2
1.3k
機械学習 - pandas入門
trycycle
PRO
0
300
コンピュータビジョンによるロボットの視覚と判断:宇宙空間での適応と課題
hf149
1
300
機械学習 - SVM
trycycle
PRO
1
870
学術講演会中央大学学員会府中支部
tagtag
0
300
データマイニング - ノードの中心性
trycycle
PRO
0
260
Featured
See All Featured
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
33
2.4k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
32
1.4k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
283
13k
YesSQL, Process and Tooling at Scale
rocio
173
14k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
How to Think Like a Performance Engineer
csswizardry
25
1.8k
A Tale of Four Properties
chriscoyier
160
23k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
48
9.6k
Rebuilding a faster, lazier Slack
samanthasiow
83
9.1k
Documentation Writing (for coders)
carmenintech
73
5k
GraphQLとの向き合い方2022年版
quramy
49
14k
Stop Working from a Prison Cell
hatefulcrawdad
271
21k
Transcript
Fast Abstractive Summarization With Reinforce Selected Sentence Rewriting M2 竹下
颯太郎
Abstract どんなもの? Abstractive summarizationに対して policy gradient法を適応して、階層的に積 み上げた2つのNNsで取り組んだ。 2 先行研究と比較してなにがすごい? salient
sentenceを選択するのと、 それを短くして書き換えるっていう微分不可能な 2つのタスクを、 Sentence-level policy gradientで同時に最適 化した。
“Summarization” Abstractive 山田は彼の犬と踊るのが好きだ。 ある日、山田は彼の犬に隠れて六本木の ダンスクラブに遊びに行った。 それを知った犬は激怒した。 ↓ 山田はダンス好きの犬を怒らせた。 • より内容を汲んだ要約文を生成する
ことができる。 • 生成自体が困難。 3 Extractive 山田は彼の犬と踊るのが好きだ。 ある日、山田は彼の犬に隠れて六本木の ダンスクラブに遊びに行った。 それを知った犬は激怒した。 ↓ それを知った犬は激怒した。 • 文が崩壊することはない。 • 柔軟性に限りがある。
技術や手法のキモはどこ? 1. CNN, RNNで階層的にDocumentをencode (Extractor)。 2. 得られた特徴量から重要な文を選択。 3. 2. を受け取ったAbstractorはEncoder-Decoder
w/ attn, copy mechanismで要 約文(gt)に変換。 Maximum Likelihood • Extractor: 入力D内の文中でgtに最も近い(Rouge)文を教師として分類問題として 学習。 • Abstractor: 普通にcross-entropy lossを最小化するように学習。 Reinforce • Rougeを直接最大化するように、報酬として Extractorを最適化。 4
技術や手法のキモはどこ? 1. CNN, RNNで階層的にDocumentをencode (Extractor)。 2. 得られた特徴量から重要な文を選択。 3. 2. を受け取ったAbstractorはEncoder-Decoder
w/ attn, copy mechanismで要 約文(gt)に変換。 Maximum Likelihood • Extractor: 入力D内の文中でgtに最も近い(Rouge)文を教師として分類問題として 学習。 • Abstractor: 普通にcross-entropy lossを最小化するように学習。 Reinforce • Rougeを直接最大化するように、報酬として Extractorを最適化。 5
技術や手法のキモはどこ? 1. CNN, RNNで階層的にDocumentをencode (Extractor)。 2. 得られた特徴量から重要な文を選択。 3. 2. を受け取ったAbstractorはEncoder-Decoder
w/ attn, copy mechanismで要 約文(gt)に変換。 Maximum Likelihood • Extractor: 入力D内の文中でgtに最も近い(Rouge)文を教師として分類問題として 学習。 • Abstractor: 普通にcross-entropy lossを最小化するように学習。 Reinforce • Rougeを直接最大化するように、報酬として Extractorを最適化。 6
SOTA CNN/Daily Mail for training DUC-2002 for testing 7
SOTA CNN/Daily Mail for training DUC-2002 for testing 8