Fast Abstractive Summarization With Reinforce Selected Sentence Rewriting

Not detailed.

Transcript

1. Fast Abstractive Summarization With Reinforce Selected Sentence Rewriting M2 竹下 颯太郎
2. Abstract どんなもの？ Abstractive summarizationに対して policy gradient法を適応して、階層的に積 み上げた２つのNNsで取り組んだ。 2 先行研究と比較してなにがすごい？ salient sentenceを選択するのと、 それを短くして書き換えるっていう微分不可能な ２つのタスクを、 Sentence-level policy gradientで同時に最適 化した。
3. “Summarization” Abstractive 山田は彼の犬と踊るのが好きだ。 ある日、山田は彼の犬に隠れて六本木の ダンスクラブに遊びに行った。 それを知った犬は激怒した。 ↓ 山田はダンス好きの犬を怒らせた。 • より内容を汲んだ要約文を生成する ことができる。 • 生成自体が困難。 3 Extractive 山田は彼の犬と踊るのが好きだ。 ある日、山田は彼の犬に隠れて六本木の ダンスクラブに遊びに行った。 それを知った犬は激怒した。 ↓ それを知った犬は激怒した。 • 文が崩壊することはない。 • 柔軟性に限りがある。
4. 技術や手法のキモはどこ？ 1. CNN, RNNで階層的にDocumentをencode (Extractor)。 2. 得られた特徴量から重要な文を選択。 3. 2. を受け取ったAbstractorはEncoder-Decoder w/ attn, copy mechanismで要 約文（gt）に変換。 Maximum Likelihood • Extractor: 入力D内の文中でgtに最も近い(Rouge)文を教師として分類問題として 学習。 • Abstractor: 普通にcross-entropy lossを最小化するように学習。 Reinforce • Rougeを直接最大化するように、報酬として Extractorを最適化。 4
5. 技術や手法のキモはどこ？ 1. CNN, RNNで階層的にDocumentをencode (Extractor)。 2. 得られた特徴量から重要な文を選択。 3. 2. を受け取ったAbstractorはEncoder-Decoder w/ attn, copy mechanismで要 約文（gt）に変換。 Maximum Likelihood • Extractor: 入力D内の文中でgtに最も近い(Rouge)文を教師として分類問題として 学習。 • Abstractor: 普通にcross-entropy lossを最小化するように学習。 Reinforce • Rougeを直接最大化するように、報酬として Extractorを最適化。 5
6. 技術や手法のキモはどこ？ 1. CNN, RNNで階層的にDocumentをencode (Extractor)。 2. 得られた特徴量から重要な文を選択。 3. 2. を受け取ったAbstractorはEncoder-Decoder w/ attn, copy mechanismで要 約文（gt）に変換。 Maximum Likelihood • Extractor: 入力D内の文中でgtに最も近い(Rouge)文を教師として分類問題として 学習。 • Abstractor: 普通にcross-entropy lossを最小化するように学習。 Reinforce • Rougeを直接最大化するように、報酬として Extractorを最適化。 6
7. SOTA CNN/Daily Mail for training DUC-2002 for testing 7
8. SOTA CNN/Daily Mail for training DUC-2002 for testing 8