4ページで理解するディリクレ過程混合モデル

ディリクレ過程混合モデルによるクラスタリングの実装の際に作成した資料です。
https://github.com/ground0state/dpmmlearn
https://github.com/ground0state/irmlearn

Transcript

1. XX University 4ページで理解するディリクレ過程 2021.09.20 Abeta
2. 2 クラスタ数固定の混合モデル 混合分布を推定したい。混合分布モデルは下記のように書けた。クラスタ数(混合数)𝐾は固定とする。 𝒙! 𝑁 𝜽 𝛽 𝑃 𝜽|𝛽 𝑃 𝒙! |𝜽, 𝒛 = 𝑃(𝒙𝒏 |𝜽#! ) Cat(𝒔|𝝅) 𝑠! 𝜶 𝝅 Dir(𝝅|𝜶) 𝐾 𝜶が𝐾次元ベクトル
3. 3 ディリクレ過程混合モデル クラスタ数𝑐を動的にしたい。 𝝅を積分し、ギブスサンプリングにすることで事前クラスタ数を無限にする。 パラメータの推定𝑠! をデータから推定、 𝑠! に対応する𝜽#! をデータから推定、の順に繰り返して求める。 𝑠! 𝒙! 𝑁 𝜽 𝛽 パラメータは尤度𝑃 𝒔, 𝜽|𝒙 ∝ 𝑃 𝒔 𝑃 𝜽 𝑃 𝒙|𝜽, 𝒔 が最⼤のものを選ぶ 𝑃 𝜽|𝛽 𝑃 𝒙! |𝜽, 𝒔 = 𝑃(𝒙𝒏 |𝜽#! ) 𝑃 𝒔|𝛼 = CRP 𝛼 = ∫ 𝑑𝝅 𝑃 𝒔 𝝅 𝑃 𝝅|𝛼 = ∫ 𝑑𝝅 Cat 𝒔 𝝅 Dir 𝝅| 𝛼! = 𝛼 𝐾 ! 𝑐 ギブスサンプリング𝑃 𝑠𝒊 |𝒔#𝒊 , 𝛼 で𝐾 → ∞の極限を取る 𝛼 どこらへんがディリクレ過程？ → 𝛼と𝑃 𝜽|𝛽 を⼊⼒として𝑃 𝜽$! をディ リクレ過程で⽣成し、𝑃(𝒙𝒏 |𝜽$! )でデー タを⽣成するのがディリクレ過程混合⽣ 成モデル
4. 4 ディリクレ過程の定義 可測空間(Φ, ℱ)の基底分布を𝐺$ 、集中度パラメータを𝛼とする。確率測度𝐺が、 Φのいかなる可測な排他的分 割、 ∪%&' ( 𝐴% = Φ, 𝐴% ∩ 𝐴) = ∅, に対して∀𝑟次元確率ベクトル 𝐺 𝐴' , … , 𝐺(𝐴* ) がディリクレ分布Dir 𝛼𝐺$ 𝐴' , … , 𝛼𝐺$ (𝐴* ) に従うとき、 𝐺は ディリクレ過程に従うという。 𝐺 ∼ DP 𝛼, 𝐺$ 𝐺は離散分布𝐺 𝜃 = ∑%&' + 𝜋% 𝛿,,," になる。 𝐴' 𝐴. 𝐴/ 𝐴0 𝐴1 𝐴2 𝜃 𝐺$ 𝐴' 𝐴. 𝐴/ 𝐴0 𝐴1 𝐴2 𝜃 𝐺 𝛼が⼤きいほどクラス タ数が⼤きくなる
5. 5 ディリクレ過程混合モデル再び ディリクレ過程混合モデルによる⽣成モデル 𝐺 𝜃 ∼ DP 𝛼, 𝐺$ 𝜃 𝜃#! ∼ 𝐺 𝜃 𝒙! ∼ 𝑝 𝒙|𝜃#! 上記の実現であるCRPによるディリクレ過程混合モデル 𝑠' , … , 𝑠3 ∼ CRP 𝛼 𝜃% ∼ 𝐺$ 𝜃|𝛽 𝒙! ∼ 𝑝 𝒙|𝜃#! = 𝑝 𝒙 𝜃, 𝒔 ディリクレ過程混合モデルによる⽣成モデルは、CRPと事前分布からのサンプリングに⼀致する。 𝑃 𝜃#! ∈ 𝐴% |𝜃## , … , 𝜃#!$# ∼ ∫ 𝑑𝐺 𝑃 𝜃#! ∈ 𝐴% |𝐺 𝑃 𝐺|𝜃## , … , 𝜃#!$# = 𝛼 𝑛 − 1 + 𝛼 𝐺$ 𝜃#! + S %&' ( 𝑛% 𝑛 − 1 + 𝛼 𝛿,",,%! = 𝑃 𝑠! ∈ 𝑤456 |𝑠' , … , 𝑠!7' 𝐺$ 𝜃#! + S %&' ( 𝑃 𝑠! ∈ 𝑤% 𝑠' , … , 𝑠!7' 𝑃(𝜃#! = 𝜃% ) !! !" !# !$ !% !& " # !! "! # $ % & '