Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
【輪読資料】多次元正規分布でGibbs Sampling (情報工学機械学習9.3.4)
Search
Yuiga Wada (和田唯我)
November 29, 2022
Technology
0
38
【輪読資料】多次元正規分布でGibbs Sampling (情報工学機械学習9.3.4)
https://yuiga.dev/blog/posts/gibbs_mulnorm/
Yuiga Wada (和田唯我)
November 29, 2022
Tweet
Share
More Decks by Yuiga Wada (和田唯我)
See All by Yuiga Wada (和田唯我)
機械学習基礎 TAレクチャー回「学部二年生はどう生きるべきか」
yuigawada
1
32
【AIC】Image Captioningにおける自動評価の最前線
yuigawada
0
10
未踏ブースト会議資料
yuigawada
0
93
論文速読24
yuigawada
0
43
【授業スライド】Well-beingとカルトの関係
yuigawada
0
240
論文速読23
yuigawada
0
130
自己紹介スライド
yuigawada
0
480
【ミニハッカソン】 arXiv Slider
yuigawada
0
300
【授業スライド】Sugar Visualizer
yuigawada
0
390
Other Decks in Technology
See All in Technology
PHPStan をできる限り高速化してみる
colopl
0
250
モジュラーモノリスでスケーラブルなシステムを作る - BASE のリアーキテクチャのいま
panda_program
7
2k
LINE Notify互換のボットを作った話
kenichirokimura
0
170
17年のQA経験が導いたスクラムマスターへの道 / 17 Years in QA to Scrum Master
toma_sm
0
380
Riverpod & Riverpod Generatorを利用して状態管理部分の処理を書き換えてみる簡単な事例紹介
fumiyasac0921
0
100
Multitenant 23ai の全貌 - 機能・設計・実装・運用からマイクロサービスまで
oracle4engineer
PRO
2
110
ドメインイベントを活用したPHPコードのリファクタリング
kajitack
2
1.1k
AWS のポリシー言語 Cedar を活用した高速かつスケーラブルな認可技術の探求 #phperkaigi / PHPerKaigi 2025
ytaka23
7
1.5k
アプリケーション固有の「ロジックの脆弱性」を防ぐ開発者のためのセキュリティ観点
flatt_security
17
6.8k
移行できそうでやりきれなかった 10年超えのシステムを葬るための戦略 / phper-kaigi-2025-ryu
carta_engineering
0
680
Engineering Managementのグローバルトレンド #emoasis / Engineering Management Global Trend
kyonmm
PRO
6
980
[CATS]Amazon Bedrock GenUハンズオン座学資料 #2 GenU環境でRAGを体験してみよう
tsukuboshi
0
140
Featured
See All Featured
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
12
1.4k
Optimizing for Happiness
mojombo
377
70k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
28
9.4k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
60k
How to Think Like a Performance Engineer
csswizardry
22
1.5k
Designing for Performance
lara
606
69k
A Philosophy of Restraint
colly
203
16k
How STYLIGHT went responsive
nonsquared
99
5.4k
A designer walks into a library…
pauljervisheath
205
24k
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
VelocityConf: Rendering Performance Case Studies
addyosmani
328
24k
Being A Developer After 40
akosma
90
590k
Transcript
情報⼯学機械学習 §9.3.4 B3 和⽥唯我 2022/3/1
⽬次 2 • 9.3.4 条件付き確率 • a. 多次元正規分布における Gibbs Sampling
• b. ブロック⾏列の逆⾏列の導出 • c. Demo: Gibbs Samplingの実装
⽬次 3 • 9.3.4 条件付き確率 • a. 多次元正規分布における Gibbs Sampling
• b. ブロック⾏列の逆⾏列の導出 • c. Demo: Gibbs Samplingの実装
a. 特徴と⽬標の整理 4 • Gibbs Sampling の特徴 • ⼀次元だけサンプルを更新するので, 条件付き確率の計算が必要
→ ⼀般に条件付き確率の計算は困難 • ⽬標 • 多次元正規分布における条件付き確率を計算し, Gibbs Samplingに具体的なア ルゴリズムの⼀例を与える.
a. 設定の整理 5 • ベクトル 𝒛 • ⼀次元だけサンプルを更新 • →
第⼀番⽬の変数 𝑥 とベクトル 𝒚 で構成されているとする • 平均・共分散⾏列・精度⾏列 • 以下のようにブロック⾏列で記述
a. 過程の整理 6 • アルゴリズム導出の流れ 1. 提案分布を正規分布 𝒩 µ, Σ
とし, ⼀次元のみに着⽬ (→ 𝑥 ). 2. 𝑝 𝒛 𝝁, Σ (=: 𝑝 𝒚, 𝑥 )から 𝑝 𝑥 | 𝒚 を計算し, パラメタ µ!|# , σ!|# $ を計算. 3. 𝑝 𝑥 | 𝒚 と 𝑝 𝑧% | 𝑧& '(& 𝑧$ '(& , … , 𝑧%)& '(& , 𝑧%(& ' , … , 𝑧* (') との対応を与える.
a. 式の整理 7 • 𝒛 ~ 𝒩 µ, Σ のとき
𝑝 𝒛 𝝁, Σ は以下の通り • 共分散⾏列 Σを精度⾏列 Λ で書き換えると
a. パラメタ µ!|# , σ!|# $ の計算 8 • パラメタ
の計算 • σ!|# $ → 𝑥 に関する2次の項と対応 • µ!|# → 𝑥 に関する1次の項と対応 • ⇒ 𝑝(𝒚) は 𝑥 に関与しないので 𝑝 𝒛 𝝁, Σ を 𝑥 について係数⽐較 疑問: 𝑥 と 𝒚 って相関ゼロ?
a. パラメタ µ!|# , σ!|# $ の計算 9 • 𝑝
𝒛 𝝁, Σ の 𝑒𝑥𝑝 内を 𝑥 について展開すると
a. パラメタ σ!|# $ の計算 10 • 2次の項について 𝑝 𝒛
𝝁, Σ 𝑝(𝑥|𝒚)
a. パラメタ µ!|# の計算 11 • 1次の項について 𝑝 𝒛 𝝁,
Σ 𝑝(𝑥|𝒚)
a. パラメタ µ!|# , σ!|# $ の計算 12 • 求めた各パラメタは,
精度⾏列に依存している • → 精度⾏列を共分散⾏列で書き下す必要がある • ブロック⾏列の逆⾏列が問題となる • → ブロック⾏列の逆⾏列を求めよう
⽬次 13 • 9.3.4 条件付き確率 • a. 多次元正規分布における Gibbs Sampling
• b. ブロック⾏列の逆⾏列の導出 • c. Demo: Gibbs Samplingの実装
b. ブロック⾏列の逆⾏列 – LDU分解 14 • ブロック⾏列Pをブロック⾏列 X, Y, Z,
Wを⽤いてLDU分解する • 逆⾏列といえばLU分解じゃない? • なんでここではLDU? • ブロック⾏列なのでUの対⾓⽅向のブロックを I にしたほうが楽 (個⼈的な感想) L (下三⾓) D (対⾓) U (上三⾓)
b. ブロック⾏列の逆⾏列 – LDU分解 15 • Pの各ブロックと⽐較すれば, 以下のようにLDU分解が構成できる
b. ブロック⾏列の逆⾏列 – LDU分解 16 • 逆⾏列を求めるには, ブロック⾏列L,D,Uの逆⾏列が求まれば良い.
b. ブロック⾏列の逆⾏列 – LDU分解 17 • ブロック⾏列L,D,Uの逆⾏列 • 同じ形のブロック⾏列で, 4つのブロックを適当な⽂字に置けば求まる
b. ブロック⾏列の逆⾏列 – LDU分解 18 • ブロック⾏列L,D,Uの逆⾏列が求まったので, 所望の逆⾏列は • 各ブロックについて
• Woodburyの公式が簡略化に有効
b. ブロック⾏列の逆⾏列 – Woodburyの公式 19 • Woodburyの公式 ブロック⾏列の逆⾏列 𝐷 ←
−𝐷−1, 𝑇 ≔ 𝐴 − 𝐵𝐷−1𝐶 と置けば式が綺麗に
b. ブロック⾏列の逆⾏列 20 • よって, ブロック⾏列の逆⾏列は以下の式で与えられる ただし, 𝑇 = 𝐴
− 𝐵𝐷−1𝐶
b. ブロック⾏列の逆⾏列 – 結果 21 • 本題に戻ると… • 以上の議論より, 平均・分散に⽤いる精度⾏列のブロックは
⽬次 22 • 9.3.4 条件付き確率 • a. 多次元正規分布における Gibbs Sampling
• b. ブロック⾏列の逆⾏列の導出 • c. Demo: Gibbs Samplingの実装
c. Demo: Gibbs Samplingの実装 23
c. Demo: Gibbs Samplingの実装 24 コードはgistに上げたので遊んでみてね ⇒ https://gist.github.com/YuigaWada/4929fc479027af6f05ef4950a093ba33