Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Neural Grammatical Error Correction with Finite...

Neural Grammatical Error Correction with Finite State Transducers

長岡技術科学大学
自然言語処理研究室
文献紹介(2019-05-15)
Neural Grammatical Error Correction with Finite State Transducers
https://arxiv.org/abs/1903.10625

youichiro

May 15, 2019
Tweet

More Decks by youichiro

Other Decks in Research

Transcript

  1. Neural Grammatical Error Correction with Finite State Transducers Felix Stahlberg

    and Christopher Bryant and Bill Byrne arXiv:1903.10625 (Accepted by NAACL 2019) 長岡技術科学大学 自然言語処理研究室 小川耀一朗 文献紹介(2019-05-15) 1
  2. Introduction • 文法誤り訂正(GEC)タスクでは Neural machine translation (NMT) が高 い性能を示しているが,予測空間は広大である. •

    しかしこのタスクは,局所的で語彙的な訂正を行う問題であり,強い制約 のある問題であるはずだ. • Finite state transducer (FST) を用いてNMTの予測空間を制限する. 3
  3. Weighted finite state transducer ◼ 重み付き有限状態トランスデューサ (Weighted finite state transducer:

    WFST) 状態遷移に対して重みを付与することで,コストや確率といった概念の導入を可能 にしたモデル 6 入力“ab”に対しては“AB”と重み4.0(=0.5+1.0+3.0)を出力する
  4. Constructing the Hypothesis Space 提案手法:予測空間 H をFSTによって構築する  → H を使って

    Neural beam decoder に制約を与える H を構築するために5つのtransducerが登場 (1) I:Input lattice (2) E:Edit transducer (3) P:Penalization transducer (4) L:Language model transducer (5) T:Tokenization words to subwords (BPE) transducer 10
  5. (1) I : 入力単語列にそのまま変換する遷移 (2) E: (Bryant and Briscoe 2018)

    が提案したconfusion sets を表す遷移 Unsupervised FST method 11 (3) P: <corr>をペナルティ(λcorr)に変換する遷移 (4) L: 5-gram LM を表す遷移 way ↓ <corr> ways
  6. Supervised FST method 13 I : 訓練させたSMTの n-best list の遷移

    SMT出力の編集距離の数だけ <mcorr>を追加 ↑ 予測空間
  7. • Language models ◦ 5-gram LM: KenLM ◦ Neural LM:

    Transformer decoder architecture ◦ Dataset: One Billion Word Benchmark dataset • Seq2seq models ◦ SMT: (Junczys-Dowmunt and Grundkiewicz 2016) ◦ NMT: Transformer ◦ Datasets: NUCLE, Lang-8 • NMT, NLMはbyte pair encoding(BPE)を使用 • Beam size: 12 Experimental setup 15
  8. • Finite state transducer(FST) を文法誤り訂正に応用し,予測空間を制限する手 法を提案 • Unsupervised手法では,先行のLanguage model based

    GECの性能を大きく上 回った. • Supervised手法では,FSTをSMTラティスに適用し,NLM,NMTと組み合わせる ことで,CoNLL-2014において最高性能を達成した. Conclusion 18
  9. • 重み付き有限状態トランスデューサによる音声認識 ◦ 特集 音声情報処理技術の最先端.掘 貴明,塚田 元. • Weighted Finite-state

    Transducerについて - SlideShare ◦ https://www.slideshare.net/phyllo/weighted-finitestatetransducer • 重み付き有限状態トランスデューサ (WFST) をOpenFstで作成する ◦ http://blog.algolab.jp/post/2016/09/13/openfst/ References 19
  10. 20