Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Multi-Agent Dual Learning

youichiro
February 10, 2020

Multi-Agent Dual Learning

長岡技術科学大学
自然言語処理研究室
文献紹介(2020-02-13)
Multi-Agent Dual Learning
https://openreview.net/pdf?id=HyGhN2A5tm

youichiro

February 10, 2020
Tweet

More Decks by youichiro

Other Decks in Research

Transcript

  1. Multi-Agent Dual Learning Yiren Wang, Yingce Xia, Tianyu He, Fei

    Tian, Tao Qin, Cheng Xiang Zhai, Tie Yan Liu 7th International Conference on Learning Representations, ICLR 2019 ⻑岡技術科学⼤学 ⾃然⾔語処理研究室 ⼩川耀⼀朗 ⽂献紹介(2020-02-13) 0
  2. Dual Learning Itʼs been a hard dayʼs night. それは⾟い⼀⽇の夜だった。 It

    was a hard dayʼs night. ⽇本語訳 英語訳 誤差 Δ , ' = ' ü 英語→⽇本語→英語と翻訳した時の翻訳⽂と原⽂との誤差をフィードバックする 2
  3. 従来のDual Learning → two-agent dual learning - 1つの順⽅向モデル 4 ,

    1つの逆⽅向モデル 4 を⽤いる 提案⼿法 → multi-agent dual learning - 複数の順⽅向モデル 5 , 逆⽅向モデル 5 を⽤いる - ∈ {1, 2, … , − 1} Multi-Agent Dual Learning 5
  4. Multi-Agent Dual Learningのロス: Multi-Agent Dual Learning X→Y→Xの誤差 Y→X→Yの誤差 - 4~ABC,

    4~ABC をそれぞれ⾜し合わせたモデル E, G を⽤いる - 重み α5, β5 は単純に1/N - C~ABC, C~ABC は事前学習したパラメータで固定し、 4, 4 のみを学習させる 6
  5. モデルは Transformer ベースライン: - back translation (BT) - 逆翻訳モデル: →

    を⽤いて , を作成し, 翻訳モデルの訓練データに追加 - knowledge distillation (KD) - 事前学習した教師モデルL: → を⽤いて , L を作成し,翻訳モデルの訓練 データに追加 - two-agent dual learning (Dual-1) - 4, 4 のみ使⽤ Experiment 8
  6. Results on IWSLT - 4B, 8B: 訓練時の各エージェント(Transformer)のブロック数 - Standard: Transformer

    - KD-{1,5}: knowledge distillation - BT-{1,5}: back translation {1,5}:翻訳モデルの数(アンサンブル?) - Dual-1: two-agent dual learning - Dual-5: multi-agent dual learning 9
  7. 13