Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Fast Abstractive Summarization With Reinforce S...
Search
sobamchan
April 09, 2019
Science
0
130
Fast Abstractive Summarization With Reinforce Selected Sentence Rewriting
Not detailed.
sobamchan
April 09, 2019
Tweet
Share
More Decks by sobamchan
See All by sobamchan
Knowledge Supports Visual Language Grounding_ A Case Study on Colour Terms
sobamchan
1
930
Event Representations for Automated Story Generation with Deep Neural Nets
sobamchan
0
80
Fader Networks: Manipulating Images by Sliding Attributes
sobamchan
1
320
Other Decks in Science
See All in Science
Ignite の1年間の軌跡
ktombow
0
160
KH Coderチュートリアル(スライド版)
koichih
1
49k
知能とはなにかーヒトとAIのあいだー
tagtag
0
150
研究って何だっけ / What is Research?
ks91
PRO
1
140
データマイニング - グラフデータと経路
trycycle
PRO
1
230
データベース15: ビッグデータ時代のデータベース
trycycle
PRO
0
370
点群ライブラリPDALをGoogleColabにて実行する方法の紹介
kentaitakura
1
470
NDCG is NOT All I Need
statditto
2
450
データマイニング - グラフ構造の諸指標
trycycle
PRO
0
200
データベース05: SQL(2/3) 結合質問
trycycle
PRO
0
820
データベース06: SQL (3/3) 副問い合わせ
trycycle
PRO
1
650
風の力で振れ幅が大きくなる振り子!? 〜タコマナローズ橋はなぜ落ちたのか〜
syotasasaki593876
1
110
Featured
See All Featured
Principles of Awesome APIs and How to Build Them.
keavy
127
17k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
21
1.2k
Optimizing for Happiness
mojombo
379
70k
[RailsConf 2023] Rails as a piece of cake
palkan
57
5.9k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
37
2.6k
KATA
mclloyd
PRO
32
15k
Building Applications with DynamoDB
mza
96
6.7k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
12
1.2k
How GitHub (no longer) Works
holman
315
140k
Unsuck your backbone
ammeep
671
58k
Transcript
Fast Abstractive Summarization With Reinforce Selected Sentence Rewriting M2 竹下
颯太郎
Abstract どんなもの? Abstractive summarizationに対して policy gradient法を適応して、階層的に積 み上げた2つのNNsで取り組んだ。 2 先行研究と比較してなにがすごい? salient
sentenceを選択するのと、 それを短くして書き換えるっていう微分不可能な 2つのタスクを、 Sentence-level policy gradientで同時に最適 化した。
“Summarization” Abstractive 山田は彼の犬と踊るのが好きだ。 ある日、山田は彼の犬に隠れて六本木の ダンスクラブに遊びに行った。 それを知った犬は激怒した。 ↓ 山田はダンス好きの犬を怒らせた。 • より内容を汲んだ要約文を生成する
ことができる。 • 生成自体が困難。 3 Extractive 山田は彼の犬と踊るのが好きだ。 ある日、山田は彼の犬に隠れて六本木の ダンスクラブに遊びに行った。 それを知った犬は激怒した。 ↓ それを知った犬は激怒した。 • 文が崩壊することはない。 • 柔軟性に限りがある。
技術や手法のキモはどこ? 1. CNN, RNNで階層的にDocumentをencode (Extractor)。 2. 得られた特徴量から重要な文を選択。 3. 2. を受け取ったAbstractorはEncoder-Decoder
w/ attn, copy mechanismで要 約文(gt)に変換。 Maximum Likelihood • Extractor: 入力D内の文中でgtに最も近い(Rouge)文を教師として分類問題として 学習。 • Abstractor: 普通にcross-entropy lossを最小化するように学習。 Reinforce • Rougeを直接最大化するように、報酬として Extractorを最適化。 4
技術や手法のキモはどこ? 1. CNN, RNNで階層的にDocumentをencode (Extractor)。 2. 得られた特徴量から重要な文を選択。 3. 2. を受け取ったAbstractorはEncoder-Decoder
w/ attn, copy mechanismで要 約文(gt)に変換。 Maximum Likelihood • Extractor: 入力D内の文中でgtに最も近い(Rouge)文を教師として分類問題として 学習。 • Abstractor: 普通にcross-entropy lossを最小化するように学習。 Reinforce • Rougeを直接最大化するように、報酬として Extractorを最適化。 5
技術や手法のキモはどこ? 1. CNN, RNNで階層的にDocumentをencode (Extractor)。 2. 得られた特徴量から重要な文を選択。 3. 2. を受け取ったAbstractorはEncoder-Decoder
w/ attn, copy mechanismで要 約文(gt)に変換。 Maximum Likelihood • Extractor: 入力D内の文中でgtに最も近い(Rouge)文を教師として分類問題として 学習。 • Abstractor: 普通にcross-entropy lossを最小化するように学習。 Reinforce • Rougeを直接最大化するように、報酬として Extractorを最適化。 6
SOTA CNN/Daily Mail for training DUC-2002 for testing 7
SOTA CNN/Daily Mail for training DUC-2002 for testing 8