Upgrade to Pro — share decks privately, control downloads, hide ads and more …

文献紹介

Atom
September 02, 2019
52

 文献紹介

Atom

September 02, 2019
Tweet

More Decks by Atom

Transcript

  1. 1. Introduction ・先行研究ではSparse Variational Dropout (Sparse VD) がある. ・RNNへの適用は調査されていない. ・自然言語処理のタスクでは語彙との関連がつよい最初の層

    (埋め込み層)にRNNの重みの大部分が集中する. ・一部のタスクでは不要な単語が存在する場合があり, フィルタリングが必要 3
  2. 3.2 Sparse variational dropout for RNNs 9 reparametrization trick(積分を計算可能に) 先行研究では,local

    reparametrization trickを用いているが, RNNでは時系列データを用いるため,厳密には使えない .
  3. 3.2 Sparse variational dropout for RNNs 10 reparametrization trick(積分を計算可能に) どのタイミングでサンプリングするかが問題になる.

    先行研究では,local reparametrization trickを用いているが, RNNでは時系列データを用いるため,厳密には使えない .
  4. 3.3 Multiplicative weights for vocabulary sparsification 12 ・ベイジアンスパース化の利点は,グループ(層)ごとの スパース化に拡張できる. ・入力のone-hot

    ベクトルに確率的重み ∈ をかける ・ はミニバッチごとに重み同様に因子分解された正規分布で近似 ・トレーニング後, の要素が低いものをθとσの比率をもとに 削除し,その語彙に対応する単語を使用せず,重み行列から 該当する行を削除.