Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Fast Abstractive Summarization With Reinforce S...

sobamchan
April 09, 2019

Fast Abstractive Summarization With Reinforce Selected Sentence Rewriting

Not detailed.

sobamchan

April 09, 2019
Tweet

More Decks by sobamchan

Other Decks in Science

Transcript

  1. Abstract どんなもの? Abstractive summarizationに対して policy gradient法を適応して、階層的に積 み上げた2つのNNsで取り組んだ。 2 先行研究と比較してなにがすごい? salient

    sentenceを選択するのと、 それを短くして書き換えるっていう微分不可能な 2つのタスクを、 Sentence-level policy gradientで同時に最適 化した。
  2. “Summarization” Abstractive 山田は彼の犬と踊るのが好きだ。 ある日、山田は彼の犬に隠れて六本木の ダンスクラブに遊びに行った。 それを知った犬は激怒した。 ↓ 山田はダンス好きの犬を怒らせた。 • より内容を汲んだ要約文を生成する

    ことができる。 • 生成自体が困難。 3 Extractive 山田は彼の犬と踊るのが好きだ。 ある日、山田は彼の犬に隠れて六本木の ダンスクラブに遊びに行った。 それを知った犬は激怒した。 ↓ それを知った犬は激怒した。 • 文が崩壊することはない。 • 柔軟性に限りがある。
  3. 技術や手法のキモはどこ? 1. CNN, RNNで階層的にDocumentをencode (Extractor)。 2. 得られた特徴量から重要な文を選択。 3. 2. を受け取ったAbstractorはEncoder-Decoder

    w/ attn, copy mechanismで要 約文(gt)に変換。 Maximum Likelihood • Extractor: 入力D内の文中でgtに最も近い(Rouge)文を教師として分類問題として 学習。 • Abstractor: 普通にcross-entropy lossを最小化するように学習。 Reinforce • Rougeを直接最大化するように、報酬として Extractorを最適化。 4
  4. 技術や手法のキモはどこ? 1. CNN, RNNで階層的にDocumentをencode (Extractor)。 2. 得られた特徴量から重要な文を選択。 3. 2. を受け取ったAbstractorはEncoder-Decoder

    w/ attn, copy mechanismで要 約文(gt)に変換。 Maximum Likelihood • Extractor: 入力D内の文中でgtに最も近い(Rouge)文を教師として分類問題として 学習。 • Abstractor: 普通にcross-entropy lossを最小化するように学習。 Reinforce • Rougeを直接最大化するように、報酬として Extractorを最適化。 5
  5. 技術や手法のキモはどこ? 1. CNN, RNNで階層的にDocumentをencode (Extractor)。 2. 得られた特徴量から重要な文を選択。 3. 2. を受け取ったAbstractorはEncoder-Decoder

    w/ attn, copy mechanismで要 約文(gt)に変換。 Maximum Likelihood • Extractor: 入力D内の文中でgtに最も近い(Rouge)文を教師として分類問題として 学習。 • Abstractor: 普通にcross-entropy lossを最小化するように学習。 Reinforce • Rougeを直接最大化するように、報酬として Extractorを最適化。 6