Improving Grammatical Error Correction via Pre-Training a Copy-Augmented Architecture with Unlabeled Data

長岡技術科学大学
自然言語処理研究室
文献紹介（2019-04-17）
Improving Grammatical Error Correction via Pre-Training a Copy-Augmented Architecture with Unlabeled Data
https://arxiv.org/pdf/1903.00138.pdf

Transcript

1. Improving Grammatical Error Correction via Pre-Training a Copy-Augmented Architecture with Unlabeled Data Wei Zhao, Liang Wang, Kewei Shen, Ruoyu Jia, Jingming Liu arXiv:1903.00138 (Accepted by NAACL 2019) 長岡技術科学大学 自然言語処理研究室 小川耀一朗 文献紹介（2019-04-17） 1
2. Abstract 方向性 • Copy mechanism をGECに応用することで，変更しなくていい単語 およびOOVをそのまま出力するようにする +α • Denoising auto-encoder を使ってCopyNet を事前学習 • Token-level と Sentence-level の Multi-task learning 結果 • CoNLL-2014 test set において state-of-the-art を達成した 2
3. GECではTranslationとは違い，ほとんどの単語がコピーされる 変更しない単語やOOVをそのままコピーする機構が必要 Introduction 3
4. Copy Mechanism (CopyNet) 4
5. Copy Mechanism (CopyNet) 入力単語をコピーする確率の分布 5
6. Copy Mechanism (CopyNet) Decoderの予測分布とmixする 6
7. Denoising auto-encoders CopyNetにより単語をコピーすることを覚えさせたい 正しい文にノイズを加え，それを復元させる CopyNet を事前学習 ノイズの加え方： ◦ 10%の確率で単語を[削除，挿入，置換] ◦ 正規分布に従って単語をシャッフル 7
8. ◾ Token-level Labeling Task 単語の予測ごとに，正しいか間違っているかを学習させる ◾ Sentence-level Copying Task 正しい文が入力された時，DecoderのAttentionを無くす Attentionの無い予測は難しい → よりコピーすることを学習させる Multi-Task Learning 8
9. Training and Evaluation Corpus 9
10. Experimental Results 10
11. Comparison Results 11
12. Conclusion • Copy mechanismを応用することで，ほとんどの単語が変 化しないというGECの特徴を考慮した訂正を行なった • Denoising auto-encoderによるモデルの事前学習 ，Multi-task learningによってスコアの向上を確認した 12
14. Recall on Different Error Types 14 明確な/機械的な誤りはスコアが 高いが，主観的な/文化的な誤り はまだ人間とのギャップが大き い
15. Attention Visualization 15 Generationする時は長距離の情報を捉えようとしている