Upgrade to Pro — share decks privately, control downloads, hide ads and more …

文献紹介: Bag-of-Words as Target for Neural Machine...

Yumeto Inaoka
January 22, 2019

文献紹介: Bag-of-Words as Target for Neural Machine Translation

2019/1/22の文献紹介で発表

Yumeto Inaoka

January 22, 2019
Tweet

More Decks by Yumeto Inaoka

Other Decks in Research

Transcript

  1. 1 Bag-of-Words as Target for Neural Machine Translation 文献紹介 2019/1/22

    長岡技術科学大学 自然言語処理研究室 稲岡 夢人
  2. Literature • Bag-of-Words as Target for Neural Machine Translation •

    Shuming Ma, Xu SUN, Yizhong Wang, Junyang Lin • Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 2: Short Papers), pages 332-338, 2018. 2
  3. Abstract  翻訳において正解はひとつじゃない  既存のNMTではひとつのみを正解として使用 → 他の正解は誤りとして学習される  正解同士は似たBag-of-Words (BoW)

    を共有する → BoWによって正解とそれ以外を区別できる  学習セットにない正解を考慮するためにBoWを利用 → 中国語-英語の翻訳において優位性を確認 3
  4. Seq2Seq (Overview) 5 私 は 元気だ <BOS> I am fine

    <EOS> 入力文 出力文 Encoder Decoder
  5. Seq2Seq (Decoder) 7 I <BOS> I am fine am fine

    <EOS> One-hot vector Embedding layer Recurrent layer One-hot vector Output layer 出力文
  6. Targets and Loss Function  文の翻訳とBoWの生成でそれぞれ損失関数(1 , 2 )を定義 

    重み で2つの損失を足し合わせる() (𝑖𝑖 : epoch , k, : fixed-value) 1 = − � =1 log l2 = − � =1 log = 1 + 2 = min(, + 𝛼𝛼) 13 𝑖𝑖