Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
文献紹介Deep Temporal-Recurrent-Replicated-Softmax ...
Search
Atom
January 10, 2020
0
93
文献紹介Deep Temporal-Recurrent-Replicated-Softmax for Topical Trends over Time
Atom
January 10, 2020
Tweet
Share
More Decks by Atom
See All by Atom
文献紹介 / Structure-based Knowledge Tracing: An Influence Propagation View
roraidolaurent
0
80
文献紹介 / Knowledge Tracing with GNN
roraidolaurent
0
82
文献紹介 / Non-Intrusive Parametric Reduced Order Models withHigh-Dimensional Inputs via Gradient-Free Active Subspace
roraidolaurent
0
50
ニューラルネットワークのベイズ推論 / Bayesian inference of neural networks
roraidolaurent
1
2.8k
Graph Convolutional Networks
roraidolaurent
0
220
文献紹介 / A Probabilistic Annotation Model for Crowdsourcing Coreference
roraidolaurent
0
62
文献紹介/ Bayesian Learning for Neural Dependency Parsing
roraidolaurent
0
100
ポッキー数列の加法定理 / Pocky number additon theorem
roraidolaurent
0
200
Scalable Bayesian Learning of Recurrent Neural Networks for Language Modeling
roraidolaurent
1
130
Featured
See All Featured
What’s in a name? Adding method to the madness
productmarketing
PRO
22
3.4k
Optimising Largest Contentful Paint
csswizardry
35
3.2k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
3.8k
Optimizing for Happiness
mojombo
377
70k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
30
1.1k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
102
18k
VelocityConf: Rendering Performance Case Studies
addyosmani
328
24k
Thoughts on Productivity
jonyablonski
69
4.5k
Into the Great Unknown - MozCon
thekraken
36
1.7k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
16
1.1k
Reflections from 52 weeks, 52 projects
jeffersonlam
349
20k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
Transcript
Deep Temporal-Recurrent-Replicated- Softmax for Topical Trends over Time 文献紹介 2020/1/10
長岡技術科学大学 自然言語処理研究室 吉澤 亜斗武
Abstract ・ニューラルベースの動的トピックモデル RNN-Replicated Softmax Model (RNN-RSM)を提案 ・最先端のモデルと比較して精度、コヒーレンスが良く より一般化したモデルであることを示した。 ・SPANというメトリックを導入し、トピックの単語を時系列で 追跡
2
1. Introduction ・先行研究においてSoftmaxによって確率を求めるモデル RSM が従来のLDAよりも精度が良く、より一般化されていることが 知られている。 ・しかし、現在の動的トピックモデルではLDAをベースとした モデルであり、明示的に単語を追跡できていない。 ・RNN-RSMを提案し、特定のトピックに関する単語を長期に わたって明示的にモデル化した。
3
2. The RNN-RSM model 4
2. The RNN-RSM model 5 () = () =1
() () ∶ × () ∶ dictionary size overall the time step () ∶ document size
2. The RNN-RSM model 6
2. The RNN-RSM model 7
2. The RNN-RSM model 8
3.1 Dataset and Experimental Setup ACLとEMNLPの論文 ExpandRank を使用して各論文についてユニグラムとバイグラム を含む上位100個のキーフレーズを抽出し、辞書を作成 9
3.1 Dataset and Experimental Setup 10
3.2 Generalization in Dynamic Topic Models 11
3.4 Topic Interpretability 12
3.5 TTC: Trending Keywords over time SPAN : キーワード出現の最長シーケンスの長さ 13
3.5 TTC: Trending Keywords over time 14 言語モデルや機械翻訳 は昔からキワードであ る一方、ニューラルや
単語埋め込みは最近
3.5 TTC: Trending Keywords over time 15
3.5 TTC: Trending Keywords over time 16 LDAやRSMでは長期的なトピック(言 語モデルや機械翻訳)は完全には追跡で きなく、DTMは新しいトピック
(ニューラルや単語埋め込み)には対応 できないが、RNN-RSMは両方とも対応 できる。
6 Conclusion 17 ・RNNと確率的グラフィカルモデルRSMに基づいた RNN-RSMを提案 ・従来のモデルより精度が高く一般化されたモデルであり、 コヒーレンスも高いことを示した。 ・よりトピックの追跡を説明するためにSPANを導入。 ・今後は、学習時間などの学習過程について調査し改善したい