Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Nonparametric Spherical Topic Modeling with Wor...
Search
Atom
May 14, 2019
0
100
Nonparametric Spherical Topic Modeling with Word Embeddings
Atom
May 14, 2019
Tweet
Share
More Decks by Atom
See All by Atom
文献紹介 / Structure-based Knowledge Tracing: An Influence Propagation View
roraidolaurent
0
72
文献紹介 / Knowledge Tracing with GNN
roraidolaurent
0
72
文献紹介 / Non-Intrusive Parametric Reduced Order Models withHigh-Dimensional Inputs via Gradient-Free Active Subspace
roraidolaurent
0
41
ニューラルネットワークのベイズ推論 / Bayesian inference of neural networks
roraidolaurent
1
2.7k
Graph Convolutional Networks
roraidolaurent
0
200
文献紹介 / A Probabilistic Annotation Model for Crowdsourcing Coreference
roraidolaurent
0
52
文献紹介Deep Temporal-Recurrent-Replicated-Softmax for Topical Trends over Time
roraidolaurent
0
80
文献紹介/ Bayesian Learning for Neural Dependency Parsing
roraidolaurent
0
85
ポッキー数列の加法定理 / Pocky number additon theorem
roraidolaurent
0
180
Featured
See All Featured
Debugging Ruby Performance
tmm1
73
12k
Fontdeck: Realign not Redesign
paulrobertlloyd
81
5.2k
How GitHub (no longer) Works
holman
311
140k
4 Signs Your Business is Dying
shpigford
180
21k
Documentation Writing (for coders)
carmenintech
65
4.4k
Build The Right Thing And Hit Your Dates
maggiecrowley
32
2.3k
Six Lessons from altMBA
skipperchong
26
3.4k
Robots, Beer and Maslow
schacon
PRO
157
8.2k
Java REST API Framework Comparison - PWX 2021
mraible
PRO
28
7.5k
Music & Morning Musume
bryan
46
6.1k
Visualization
eitanlees
143
15k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
249
21k
Transcript
Nonparametric Spherical Topic Modeling with Word Embeddings Nematollah Kayhan Batmanghelich,
Ardavan Saeedi, Karthik R. Narasimhan, Samuel J. Gershman 文献紹介 2019/5/14 長岡技術科学大学 自然言語処理研究室 吉澤 亜斗武 Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pages 537–542, Berlin, Germany, August 7-12, 2016.
References [1]わかばテクノロジ フォンミーゼスフィッシャー分布サンプリング http://wakaba-technica.sakura.ne.jp/library/random_vonmises_fisher.html [2] issei_sato Bayesian Nonparametrics入門 DPからHDPまで https://www.slideshare.net/issei_sato/bayesian-nonparametricsdphdp
2
Abstract ・トピックモデルに階層ディリクレ過程を使用し,確率変分推論 に基づく推論アルゴリズムを提案 ・このモデルはトピック数を柔軟に発見して,単語埋め込みの 意味構造を自然に活用することができる ・効率的な推論でかつ,2つのテキストコーパスにおいて トピックの一貫性に関して他のアプローチよりも優れている 3
1. Introduction ・単語埋め込み間のコサイン距離は意味的関連性を表す一つの 尺度である. ・von Mises-Fisher 分布(vMF)は方向データをモデル化に 非常に適しているが,これまでのトピックモデルには適用され ていない. ・本研究では,観測分布にvMFを使用する.
4
1. Introduction ・各単語は単位球面上のトピックの規準方向を伴う点であると みなすことができる. ・トピック数を自動的に推論するために,LDAのベイズ ノンパラメトリックに変形したモデルである階層ディリクレ 過程(HDP)を使用する. ・確率的変分推論(SVI)に基づく効率的な推論を実装する 5
2. von Mises-Fisher (vMF) distribution 6
3. DP and HDP 7
3. DP and HDP 8
3. DP and HDP 9
3. DP and HDP 10
3. DP and HDP 11
3. DP and HDP 12
3. DP and HDP 13
4. Model 14 ・文書dから単語nは正規化された M次元ベクトルxdn で表される. ・トピックベクトルの方向はμkで表される ・xdnとμkのコサイン距離はvMFの対数尤度に 等しくなる.
5. Stochastic variational inference 15 変分下限ELBOを最大化
5. Experiments 16 ・データセット 20NEWS-GROUPS :11266 documents NIPS :1566 documents
・単語ベクトル:50次元(Wikipediaで学習,word2vec) L2ノルム正則化で正規化 ・PMIはWikipediaの300k documents を使用して求める (20-word sliding windows)
5. Experiments 17
5. Experiments 18
6. Conclusion 19 ・HDPを使用した確率的変分推論に基づく効率的な アルゴリズムを提案した. ・自然に単語埋め込みの意味を利用しながら,トピック数を 柔軟に推論することができる. ・2つのデータセットにおいてトピックのコヒーレンスが他の アプローチよりも優れていることを示した.