Gaussian_Process_Models.pdf

Transcript

1. Bayesian Data Analysis §21 Gaussian Process Models 久保知生 商品開発本部 DataBrain課 2024-12-02
2. （復習）パラメトリックモデル • 以下のパラメトリックな設定を考える。 – 𝑦𝑖 ∈ 𝒴 – 𝑦𝑖 |𝐹 ∼ 𝑖𝑖𝑑 𝐹 – 𝐹 ∈ ℱ∗, 𝑤ℎ𝑒𝑟𝑒 ℱ∗ = 𝑁 𝑦|𝜇, 𝜏2 • ℱ∗はℱ = {𝒴上のすべての分布}に比べて小さいことがわか る。
3. （復習）ノンパラメトリックモデル • ノンパラメトリックベイズでは、より大きなℱの部分集合を 考える。 • そこで、2つのアプローチが考えられる。 – 基底関数によるアプローチ • 𝑔 𝑥; 𝜃 = σ𝑘=1 𝐾 𝜃𝑘 ℎ𝑘 𝑥 • ただし、ℎ𝑘 𝑥 は基底関数。 – process realizationによるアプローチ • {𝑔 𝑥 : 𝑥 ∈ 𝒳} • 例えば、𝑔 𝑥 はガウス過程からの観測結果。
4. （復習）基底関数モデル • ガウス分布の形をした基底関数を用意する。 – 𝜙ℎ 𝑥 = exp{− 𝑥−𝑥ℎ 2 𝑙2 } – 𝑥ℎ ∈ {−𝐻, ⋯ , −2, −1,0,1,2, ⋯ , 𝐻} • この基底関数を𝑥ℎ 上にグリッド状に多数配置し、𝑤ℎ ∈ 𝑅で適 当に重みづける。 – 𝑦 = 𝛴ℎ=−𝐻 𝐻 𝑤ℎ ⋅ exp{− 𝑥−𝑥ℎ 2 𝜎2 } • これにより、ほとんど任意の形の関数を表すことができる。
5. （復習）基底関数モデル
6. （復習）基底関数モデル • ノットの数（ℎ）が多すぎると計算が大変。 – 入力𝑥の次元が増えてパラメータ𝑤の次元が指数的に増える現 象を「次元の呪い」という。 • ノットの数（ℎ）が少なすぎると柔軟な回帰モデルを表 現ができない。
7. ガウス過程 • 簡単のため、誤差なく𝑦を𝑥の特徴ベクトル𝜙 𝑥 = 𝜙0 𝑥 , ⋯ , 𝜙𝐻 𝑥 ′に回帰することを考える。 – 𝑦 = 𝑤0 𝜙0 𝑥 + ⋯ + 𝑤𝐻 𝜙𝐻 𝑥 – 行列形式では：𝑦 = 𝛷𝑤 • 𝑤 ∼ 𝑁 0, 𝜆2𝐼 • このとき、𝑦の期待値と分散はそれぞれ – 𝐸 𝑦 = 𝐸 𝛷𝑤 = 𝛷𝐸 𝑤 = 0 – 𝑉 𝑦 = 𝐸 𝑦𝑦′ − 𝐸 𝑦 𝐸 𝑦 ′ = 𝐸{ 𝛷𝑤 𝛷𝑤 ′} = 𝛷 𝑤𝑤′ 𝛷′ = 𝜆2𝛷𝛷′
8. ガウス過程 • したがって、𝑦 ∼ 𝑁 0, 𝜆2𝛷𝛷′ – 𝑦の分布を考えるにあたり、𝑤が消去されていることに注意。 • 𝐾 = 𝜆2𝛷𝛷′とおくと、𝐾の 𝑛, 𝑛′ 要素は以下で与えられる。 – 𝐾𝑛𝑛′ = 𝜆2𝜙 𝑥𝑛 ′𝜙 𝑥𝑛′ – つまり、𝐾はあらゆる入力𝜙0 𝑥 , ⋯ , 𝜙𝐻 𝑥 の共分散。 • 𝐾𝑛𝑛′ の値を与える関数をカーネル関数という。 – 𝐾𝑛𝑛′ = 𝑘 𝑥𝑛 , 𝑥𝑛′ = 𝜆2𝜙 𝑥𝑛 ′𝜙 𝑥𝑛′
9. ガウス過程 • 無限個の入力𝑥 = 𝑥1 , 𝑥2 , ⋯ に対応する出力𝑓 = 𝑓 𝑥1 , 𝑓 𝑥2 , ⋯ の同時分布が多変量ガウス過程に従う とき、以下のように表現する。 – 𝑓 ∼ 𝐺𝑃 𝑚, 𝐾 • 入力𝑥間の類似度は、以下で表される。 – 𝑘 𝑥, 𝑥′ = 𝜏exp{− 𝑥−𝑥ℎ 2 2𝑙2 }
10. 𝜏で振れ幅、𝑙で密度を調整
11. さまざまなカーネル • 線形カーネル – 𝑘 𝑥, 𝑥′ = 𝑥𝑇𝑥′ • 指数カーネル – 𝑘 𝑥, 𝑥′ = exp{− 𝑥−𝑥′ 𝑙 } • 周期カーネル – 𝑘 𝑥, 𝑥′ = exp{𝜏cos 𝑥−𝑥′ 𝑙 }
12. 例：出生日の分析 • 誕生日ごとの誕生頻度が知りたい。 • 1969年-1988年のアメリカが対象。 • 𝑦𝑡 𝑡 = 𝑓1 𝑡 + 𝑓2 𝑡 + 𝑓3 𝑡 + 𝑓4 𝑡 + 𝑓5 𝑡 + 𝜖𝑡 – 𝑡は1969年1月1日から数えた日数
13. 長期トレンド 𝑓1 𝑡 ∼ 𝐺𝑃 0, 𝑘1 , 𝑘1 𝑡, 𝑡′ = 𝜎1 2exp − 𝑡 − 𝑡′ 2 2𝑙1 2
14. 短期トレンド 𝑓2 𝑡 ∼ 𝐺𝑃 0, 𝑘2 , 𝑘2 𝑡, 𝑡′ = 𝜎2 2exp − 𝑡 − 𝑡′ 2 2𝑙2 2
15. 曜日トレンド 𝑓3 𝑡 ∼ 𝐺𝑃 0, 𝑘3 , 𝑘3 𝑡, 𝑡′ = 𝜎3 2exp − 2𝑠𝑖𝑛2 𝜋 𝑡 − 𝑡′ /7 2𝑙3,1 2 exp − 𝑡 − 𝑡′ 2 2𝑙3,2 2
16. 日次トレンド（季節トレンド） 𝑓4 𝑡 ∼ 𝐺𝑃 0, 𝑘4 , 𝑘4 𝑡, 𝑡′ = 𝜎4 2exp − 2𝑠𝑖𝑛2 𝜋 𝑡 − 𝑡′ /365.25 2𝑙4,1 2 exp − 𝑡 − 𝑡′ 2 2𝑙4,2 2
17. 特定の日のトレンド 𝑓5 𝑡 = 𝐼𝑠𝑝𝑒𝑐𝑖𝑎𝑙𝑑𝑎𝑦 𝑡 𝛽𝑎 + 𝐼𝑤𝑒𝑒𝑘𝑒𝑛𝑑 𝑡 𝐼𝑠𝑝𝑒𝑐𝑖𝑎𝑙𝑑𝑎𝑦 𝑡 𝛽𝑏
18. APPENDIX
19. 非ガウス尤度への対応 • 潜在関数𝑓の事後分布 – 𝑝 𝑓|𝑥, 𝑦, 𝜃, 𝜙 ∝ 𝑝 𝑦|𝑓, 𝜙 𝑝 𝑓|𝑥, 𝜃 • 正規分布で近似 – 𝑝 𝑓|𝑥, 𝑦, 𝜃, 𝜙 ≈ 𝑁 𝑓| መ 𝑓, 𝛴 – 𝛴−1 = 𝐾 𝑥, 𝑥 + 𝑊 – 𝑊 = 𝑑2 𝑑𝑓2 log𝑝(𝑦 𝑓𝑖 , 𝜙) 𝑓𝑖=෢ 𝑓𝑖 • 予測分布も得られる – 𝑝 ෤ 𝑦𝑖 |෤ 𝑥𝑖 , 𝑥, 𝑦, 𝜃, 𝜙
20. さらに柔軟なモデリング • 𝑝 𝑦|𝑓 = 𝑒𝑓 𝑦 ∫ 𝑒𝑓 𝑦′ 𝑑𝑦′ – 𝑓 ∼ 𝐺𝑃 𝑚, 𝐾 – 𝑘 𝑦, 𝑦′ = 𝜏2exp − 𝑦−𝑦′ 2 2𝑙2 – 𝑓の積分が難しいので、有限の基底関数などを使おう。