Carl E. Rasmussen. "PILCO: A model-based and data-efficient approach to policy search." Proceedings of the 28th International Conference on machine learning (ICML-11). 2011. [2] Levine, Sergey, et al. "End-to-end training of deep visuomotor policies." The Journal of Machine Learning Research 17.1 (2016): 1334-1373.
) ( ) , p x N = ( ) ( ) ( ) * * | | , , | p x X p x p X d d = 確率分布 事後分布 予測分布 もっと複雑なモデルへ ( ) ( ) ( ) ( ) | , , , | p X p p X p X =
音声波形[1] ‐ IMUの時刻歴[2] 2019/7/17 9 [1] https://www.gavo.t.u-tokyo.ac.jp/~mine/japanese/nlp+slp/IPSJ-MGN451003.pdf [1] [2] F. Dadashi et al., "A Hidden Markov Model of the breaststroke swimming temporal phases using wearable inertial measurement units,“ 2013 IEEE International Conference on Body Sensor Networks, Cambridge, MA, USA, 2013, pp. 1-6.doi: 10.1109/BSN.2013.6575461 [2]
) 1 | | , k K k k k p N = = s x s x μ Σ ( ) 1 k K k k p = = s s パラメータθ ( ) ( ) 1 | | N n n p p = = S π s π Gaussian Mixture Model (複数のガウス分布を混合) ➔潜在変数は各データ間で独立 ( ) ( ) 1 | | N n n p p = = X x 潜在変数 の発生過程 1 2 3 , , ,... = S s s s
( ) ( ) ( ) 1 1 2 | , | | , N n n n p p p − = = S π A s π s s A 1 2 3 , , ,... = S s s s ( ) 1 | p s π :初期確率 A :状態遷移確率 0,0,1,0,0... n = s 1 2 3 0, 0, 1,... n n n = = = s s s n s nk s :あるn番目データ点の潜在変数ベクトル :あるn番目データ点の潜在変数ベクトルのk個目の値 (どの(状態)クラスに所属しているか?) 潜在変数について補足
1 1 | | k K k k p Cat = = = s s π s π 1 s がどのクラスに所属するかの確率分布 パラメータ の事前分布は (カテゴリカル分布の共役事前分布) ( ) ( ) | p Dir = π π α π 0,0,1,0,0... n = s 1 2 3 0, 0, 1,... n n n = = = s s s n s nk s :あるn番目データ点の潜在変数ベクトル :あるn番目データ点の潜在変数ベクトルのk個目の値 (どの(状態)クラスに所属しているか?) 潜在変数について補足
) ( ) 1 1 1 1 | , ni n j K K n n ji i j p − − = = = s s s s A A ( ) ( ) ( ) 1 1 2 | , | | , N n n n p p p − = = S π A s π s s A 0,0,1,0,0... n = s 1 2 3 0, 0, 1,... n n n = = = s s s n s nk s :あるn番目データ点の潜在変数ベクトル :あるn番目データ点の潜在変数ベクトルのk個目の値 (どの(状態)クラスに所属しているか?) 潜在変数について補足 0.5 0.25 0.25 0.5 0.5 0.0 0.5 0.0 0.5 = A n-1番目の状態 n番目の状態 パラメータ の事前分布は (カテゴリカル分布の共役事前分布) ( ) ( ) , , , | i column i column i column p A Dir = A β A 各行はカテゴリカル分布
) | , n n p x s Θ n s Θ 好きなように定義してください. ( ) ( ) 1 | , , | , nk K n n n k k k p N = = s x s μ Σ x μ Σ 例:ガウス分布 0,0,1,0,0... n = s 1 2 3 0, 0, 1,... n n n = = = s s s 潜在変数について補足
と ある潜在変数系列 の同時分布 ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) 1 1 1 1 2 , , , , | , | , | , | | , | , N n n n n n p p p p p p p p p p p p p − = = = X S Θ π A X S Θ S π A Θ A π Θ A π x s Θ s π x s Θ s s A 各パラメータは独立 1 2 3 , , ,... = S s s s 1 2 3 , , ,... = X x x x 初期状態の分布