論文読み会 EMNLP2021 | Decision-Focused Summarization

論文読み会の資料です．

(A slide for the paper-reading activity at my company, written in Japanese.)

Transcript

1. Decision-Focused Summarization 著者: Hsu, C.-C. and Tan, C. (Univ. of Chicago) 学会: EMNLP2021 @cocomoff 1/18
2. 概要 文書要約: 何らかの基準によって文書情報を抽出するタスク 抽出型要約 (extractive): 文書集合から文書を選んでくるタイプ 抽象型要約 (abstractive): 特徴量を抽出して、文書を生成するタイプ 本論文では「抽出型要約」のタスクにおいて「後段タスクを考慮した手法」を提案した 提案手法が評価指標と人の評価の両方で優れていることを実験で確認した 後段タスク？ 学習とか最適化した後に行う、本当に解きたいタスクのこと 本論文では「Yelpのレート予測」が後段のタスク ナイーブ: Yelpのレートを予測するモデル を学習する 抽出型文書要約: を選択する Decision-focused要約: が っぽくなるように要約する 最適化 + 学習 でタスクを解く 2/18
3. どういう旨味があるか？ 後段を気にしないPreSummは、スコアが良いものを選んで終わり モデルベースの説明手法（IG）は、真ん中を選べなかった 提案手法のDecSumは、分布をいい感じにカバーしつつ選ぶ 3/18
4. 著者のTwitterに貼られてた図 4/18
5. 目次 概要 定義 ロス 実装 モデルについて、実験、その他 5/18
6. 定義 Decision-focused summarization 入力の文書集合（ 文） から、決定 をサポートする部分集合 を抽出する 学習データがある Yelpデータにおける問題 : 最初の レビューのテキスト : 最初の レビューにおける平均レート（ ） タスク: 最初の レビューのうち、 レビュー以降のレート予測に役立つ 文章だけを要約として抽出してくる は普通の教師あり学習を思えばいい 6/18
7. ロス: 3 desideratum Loss: 1: Decision faithfulness と は、後段のタスクで似た役割を果たしてほしい: ロス 2: Decision representativeness 値だけではなく分布レベルでも元のデータを近似してほしい = Wasserstein 元データ 、抽出したデータ ロス 3: Textual non-redundancy 文書レベルに相互に似ていない集合が望ましい 文書 のSentBERTによる埋め込みベクトルを として ロス 7/18
8. アルゴリズム: 1つずつ選ぶ 個のセンテンスを選ぶまで、ロス最小になる文を選び続ける（パラメータ と最 初の文 のときのみ、出来るだけ全体から取ってくる例外がある） 8/18
9. モデルについて（Yelpデータセットでの実装方法） Yelpデータセットを64%/16%/20% に分けた (Train/Val/Test) モデル 文が長い（平均1621トークン）ので、Longformer を使って回帰モデルを fine-tune する（ここが一番計算時間がかかる。これを除くと、他の部分はテス トデータに対して1時間以内でスッと終わる、と書いてあった） 他のモデルとしてはロジスティック回帰とDAN (deep averaging networks 知らない) を使って比較した 文が長いのでLongformerがreasonableだった 9/18
10. 補足 何がreasonableかよく分からんけど… Group 2/3/4/5 (レート [1.5, 2.5), [2.5, 3.5), ... の群) 10/18
11. 実験設定 比較手法 モデル単体: PreSumm、BART、Random モデルベースの手法 (w/ Longfomer): IG (Integrated Gradients)、Attention 評価指標（人以外） 最初の レビューでのFaithfulness （ロス1項目） Representativenessスコア = （ロス2項目） テキストを使った要約評価スコア SUM-QE レビュー以降での予測誤差MSE イントロで言っていた後段タスクにおける誤差 評価指標（人） レビューで同じ平均スコアぐらいのレストランを2つ出してきて、 以降 でどちらが良いレストランになりそうか？をAMTで人に聞く 11/18
12. 図 (AMT) 12/18
13. 実験結果: Decision Faithfulness MSE full: 最初の レビューに対 するMSE 提案手法は後段の予測誤差を下げ ようとしているので、文書のみ手法・ モデルベース手法より低い : deep-ver. MMR だけでも強い MSE: レビュー以降の真のレー トと予測レートの比較 全データを使う場合（0.135）と比較 して、近い数値（0.135～0.565）が 得られた（要約出来た） 他の手法はこれを下げる目的がない ので悪い 13/18
14. 実験結果: Representativeness (Wasserstein Distance) 全体ロスに入っているので（ ）、一番良い の場合でも良い → Decision-focusedの良さ は他の手法より のpaired -testで有意に良い 14/18
15. 実験結果: 選んだ文のsentiment 広範囲のsentimentな文を選んでいる（BERT-based fine-tuned sentiment analysis toolを使った） 15/18
16. 実験結果: SUM-QEによる評価 SUM-QE = BERT-based summary quality estimation model (EMNLP- IJCNLP2019で提案) 他の手法と比較して遜色ない（たぶん） 16/18
17. 実験結果: 人間評価 DecSumは他の手法より精度が高い（76.1%） 4手法（DecSum、Random、PreSumm、IG）で作った要約を見て人が当てられる か？を調べると、DecSumはチャンスレートを超えた（54.7%） DecSumは唯一90%以上正解する参加者がいた 17/18
18. 例 18/18