Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Scalable Bayesian Learning of Recurrent Neural ...

Atom
November 11, 2019
120

Scalable Bayesian Learning of Recurrent Neural Networks for Language Modeling

文献紹介

Atom

November 11, 2019
Tweet

More Decks by Atom

Transcript

  1. Scalable Bayesian Learning of Recurrent Neural Networks for Language Modeling

    文献紹介 2019/11/11 長岡技術科学大学 自然言語処理研究室 吉澤 亜斗武
  2. 5.1 Language Modeling 11 ・文字レベル データ:the War and Peace (WP)

    novel training/validation/test : 260/32/33 batches 128次元,隠れ層2層のRNNを使用
  3. 5.1 Language Modeling 12 ・単語レベル データ:The Penn Treebank (PTB) corpus

    training/validation/test : 929k/73k/10k words 2layer-LSTM:small/medium/large : 200/650/1500 units/layer 連続ミニバッチ :最終的な隠れ状態を次のミニバッチに使用 ランダムミニバッチ:初期の隠れ状態はゼロベクトル
  4. 5.3 Sentence Classification 19 データ:MR, CR, SUBJ, MPQA, TREC TRECのみ6class,

    その他は2class 分類 モデル:単層双方向LSTM, 400 hidden units TREC以外,10-fold cross-validation TRECはtrain/test:5952/500