Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
文献紹介:A Latent Variable Recurrent Neural Network...
Search
Atom
October 21, 2019
0
63
文献紹介:A Latent Variable Recurrent Neural Network for Discourse Relation Language Models
Atom
October 21, 2019
Tweet
Share
More Decks by Atom
See All by Atom
文献紹介 / Structure-based Knowledge Tracing: An Influence Propagation View
roraidolaurent
0
88
文献紹介 / Knowledge Tracing with GNN
roraidolaurent
0
92
文献紹介 / Non-Intrusive Parametric Reduced Order Models withHigh-Dimensional Inputs via Gradient-Free Active Subspace
roraidolaurent
0
55
ニューラルネットワークのベイズ推論 / Bayesian inference of neural networks
roraidolaurent
1
2.8k
Graph Convolutional Networks
roraidolaurent
0
230
文献紹介 / A Probabilistic Annotation Model for Crowdsourcing Coreference
roraidolaurent
0
64
文献紹介Deep Temporal-Recurrent-Replicated-Softmax for Topical Trends over Time
roraidolaurent
0
96
文献紹介/ Bayesian Learning for Neural Dependency Parsing
roraidolaurent
0
110
ポッキー数列の加法定理 / Pocky number additon theorem
roraidolaurent
0
210
Featured
See All Featured
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
6
660
Why Our Code Smells
bkeepers
PRO
336
57k
Fontdeck: Realign not Redesign
paulrobertlloyd
84
5.5k
Bash Introduction
62gerente
614
210k
Building Applications with DynamoDB
mza
95
6.4k
Mobile First: as difficult as doing things right
swwweet
223
9.6k
Rails Girls Zürich Keynote
gr2m
94
13k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
180
53k
Rebuilding a faster, lazier Slack
samanthasiow
81
9k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
32
5.8k
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
1
82
Stop Working from a Prison Cell
hatefulcrawdad
269
20k
Transcript
A Latent Variable Recurrent Neural Network for Discourse Relation Language
Models 文献紹介 2019/10/21 長岡技術科学大学 自然言語処理研究室 吉澤 亜斗武
Abstract ・単語のシーケンスや隣接する文の潜在的な談話関係を モデル化する潜在変数RNN(LVRNN)を提案 ・談話関係を潜在変数で表し,タスクに応じて予測または 周辺化することが可能 ・談話関係の分類,対話行為の分類,談話における言語モデルの タスクで先行研究よりも優れていることを示した. 2
1. Introduction ・ニューラルモデルは確率的グラフィカルモデルと比べ, 柔軟性がない. ・先行研究では,きれいに複数の言語を扱うモデルを扱えている. ・確率的グラフィカルモデルは層が多すぎるとtrainが困難 ・RNN言語モデルと談話関係を表す潜在変数モデルを 組み合わせたハイブリッドモデルを提案 3
1. Introduction ・また,提案モデルはVAE を必要とするRNNの複雑なモデル でなく,実装及びトレーニングが簡単である. ・提案モデルでは浅い談話関係に焦点を当てており, 談話全体の内容を補足していない. ・先行研究より談話関係分類,対話行為分類においては有効 ・提案モデルは当時のSotAよりも優れている. 4
2. Background 5 RNNLM token in a sentence by ,
∈ 1 … and = , ∈ 1…
2. Background 6 RNNLMの欠点の一つは文間の情報を伝搬できない. Document Context Language Model (DCLM) −1
:前の文の最後の隠れ状態
3.1 Discourse Relation Language Models 7 浅い談話関係をもつ潜在変数 を導入
3.1 Discourse Relation Language Models 8 潜在変数 はコンテキスト情報のベクトルの要約
3.2 Inference 9 談話関係は少数なので推論が簡単に
3.3 Learning 10 Joint likelihood objective : 言語モデルと談話関係予測のタスク Conditional objective:談話関係予測のタスク
4.1 Data 11 ・Penn Discourse Treebank (PDTB) annotated on a
corpus of Wall Street Journal acticles ・ Switchboard dialogue act corpus (SWDA) annotated on a collections of phone conversations 両方とも談話関係と対話関係の注釈が含まれている.
4.2 Implementation 12 詳細は論文で ・単層LSTM ・初期化:ランダム(ただし, は別途設定) ・学習:AdaGrad 初期学習率λ=0.1, ドロップアウトτ=0.5
・ハイパーパラメータ:次元数などはグリッドサーチ
5.1 Implicit discourse relation prediction on the PDTB 13 両方の提案手法が既存の
手法よりも優れた結果に. 二項検定の結果も良い
5.2 Dialogue Act tagging 14 精度が既存のものよりもよ く,二項検定も良い結果に (F1非公開)
5.3 Discourse-aware language modeling 15
5.3 Discourse-aware language modeling 16 ・ベースラインに談話関連情報を追加することで, 談話関係の曖昧さを解消がおき,優れた結果になった. ・トレーニングに談話注釈が必要なため大規模なデータセットに 対応した言語モデリングではない. ・談話関係は周辺化しているので,
もっと良いトレーニング方法があるのではと考察
7 Conclusion 17 ・隣接するシーケンス間の浅い談話の関係に関する 確率的ニューラルモデルを提案 ・確率的表現を維持しながら識別訓練されたベクトル表現を学習 ・2つの談話関係検出タスクでStoAよりも優れており, 言語モデルとしても適用できることがわかった. ・モデルのスケールアップが今後の課題