Upgrade to Pro — share decks privately, control downloads, hide ads and more …

文献紹介: Quantity doesn’t buy quality syntax with ...

Yumeto Inaoka
February 21, 2020

文献紹介: Quantity doesn’t buy quality syntax with neural language models

2020/02/21の文献紹介で発表

Yumeto Inaoka

February 21, 2020
Tweet

More Decks by Yumeto Inaoka

Other Decks in Research

Transcript

  1. Quantity doesn’t buy quality syntax with neural language models 文献紹介

    2020/02/21 長岡技術科学大学 自然言語処理研究室 稲岡 夢人 1
  2. Literature Title: Quantity doesn’t buy quality syntax with neural language

    models Authors: Marten van Schijndel, Aaron Mueller, Tal Linzen Volume: Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP) Pages: 5831–5837 Year: 2019 Publisher: Association for Computational Linguistics 2
  3. 訓練する言語モデルの構造 • 2つのLSTM層を持つRNN • 100, 200, 400, 800, 1600次元の隠れ層を設定 •

    入力と出力の埋め込みの重みを同じにする → 入力の埋め込みと隠れ層は同じ次元 9 実験
  4. 評価データ • データセットはMarvin and Linzen challenge set • 導入で説明したテストで評価 •

    動詞をis/are, was/were, has/haveに置換 ← 小さなコーパスで訓練されたモデルの比較のため 14 評価
  5. ベイズ因子 • L個のモデル ( = 1, … )を比較する場合を考える • モデルは観測されたデータ上の確率分布

    • モデルの事後分布は ∝ • はデータから見たモデルの好み (エビデンス) 16 評価 [参考] パターン認識と機械学習上: ベイズ理論による統計的予測
  6. ベイズ因子 • モデルの事後分布から予測分布は以下で与えられる , ) = � =1 , ,

    • 一番もっともらしいモデルを1つ選ぶモデル選択は 上混合分布の単純な近似である • エビデンスの比 / )をベイズ因子と呼ぶ 17 評価 [参考] パターン認識と機械学習上: ベイズ理論による統計的予測