Upgrade to Pro — share decks privately, control downloads, hide ads and more …

oku-slide-stat2-8

 oku-slide-stat2-8

数理統計学特論II
おまけ ベイズ法
奥 牧人 (未病研究センター)

Makito Oku

March 29, 2022
Tweet

More Decks by Makito Oku

Other Decks in Education

Transcript

  1. 今回の位置付け 1. 前置きと準備 2. 確率と1次元の確率変数 3. 多次元の確率変数 4. 統計量と標本分布 5.

    統計的決定理論の枠組み 6. ⼗分統計量 7. 推定論 8. 検定論 9. 区間推定 10. 正規分布、2項分布に関する推測 その他の話題 11. 線形モデル 12. ノンパラメトリック法 13. 漸近理論 14. ベイズ法 確率と統計の基礎 良い点推定とは︖ 良い検定とは︖ 問題設定と準備 7章と8章に関する証明 回帰分析と分散分析を統⼀的に理解 常⽤される⼿法を改めて整理 ベイズ統計を簡単に紹介 ノンパラを簡単に紹介 3 / 35
  2. 事前分布と事後分布 ベイズの定理の式にパラメータ と観測データ を代入 を 事前分布 (prior distribution) という。 を

    事後分布 (posterior distribution) という。 は尤度関数 θ x = (x1 , … , xn ) p(θ|x) = p(x|θ)p(θ) p(x) ∝ p(x|θ)p(θ) p(θ) p(θ|x) p(x|θ) 11 / 35
  3. 例、分母の計算 分母の を計算 ベータ関数 p(x) p(x) = ∫ 1 0

    p(x, θ)dθ = ∫ 1 0 p(x|θ)p(θ)dθ = ∫ 1 0 ( )θ x (1 − θ) n−x 1 B(α, β) θ α−1 (1 − θ) β−1 dθ = ( ) B(α + x, β + n − x) B(α, β) n x n x B(a, b) = ∫ 1 0 y a−1 (1 − y) b−1 dy 14 / 35
  4. 例、平均値の変化 事前分布の平均値 事後分布の平均値 (ベイズ推定量) と との内分点 E[θ] = α α

    + β E[θ|x] = α + x α + β + n = α + β α + β + n ⋅ α α + β + n α + β + n ⋅ x n E[θ] x/n 16 / 35
  5. 点推定 以降では事後分布が連続分布の場合について説明する。 ベイズ推定量 (事後分布の平均値) MAP (maximum a posteriori) 推定量 (事後分布の最頻値)

    MAP 推定量は分子の のみを使って計算できる。 ^ θ = E[θ|x] = ∫ θ p(θ|x)dθ ^ θ = arg max θ p(θ|x) p(x|θ)p(θ) 17 / 35
  6. 検定、複合仮説の場合 帰無仮説と対立仮説がともに複合仮説の場合 ただし , とする 事前分布 検定は、事後確率の大きい方を採用 H0 : θ

    ∈ Θ0 vs. H1 : θ ∈ Θ1 Θ0 ∪ Θ1 = Θ Θ0 ∩ Θ1 = ∅ p(θ) ∫ Θ 0 p(θ)dθ = π0 , ∫ Θ 1 p(θ)dθ = π1 = 1 − π0 ∫ Θ 1 p(θ|x)dθ > ∫ Θ 0 p(θ|x)dθ ⇒ reject 20 / 35
  7. 無情報事前分布 事前の情報が無いときには 無情報事前分布 を使う。 積分すると にならない場合が多いが、広義の分布と考える。 位置母数 に対する無情報事前分布 尺度母数 に対する無情報事前分布

    ジェフリーズの事前分布 (母数の変換に対して不変) 1 μ p(μ) = c, c > 0, − ∞ < μ < ∞ τ p(τ ) = c τ , c > 0, 0 < τ < ∞ p(θ) ∝ (det I(θ)) 1/2 23 / 35
  8. 複数の候補がある場合 先ほどのコイン投げの例では事前分布を と仮定した。 一様分布が適切だと考えるなら ジェフリーズの事前分布が適切だと考えるなら 一方、事後分布が なので、 を事前の 成功回数、 を事前の失敗回数とみなすことが出来る。

    事前の回数をともに とするのが適切だと考えるなら、 に対応する広義の分布が適切 Be(α, β) Be(1, 1) Be(1/2, 1/2) Be(α + x, β + n − x) α β 0 α = β = 0 p(θ) ∝ θ −1 (1 − θ) −1 24 / 35
  9. 統計的決定理論の復習 推定と検定をまとめて扱うための理論的枠組み 決定 推定の場合、パラメータの推定値 検定の場合、 を選ぶなら 、 を選ぶなら 損失関数 推定の場合、

    検定の場合、合っていれば 、間違っていれば リスク関数 d = δ(x) H0 0 H1 1 L(θ, d) (θ − d) 2 0 1 R(θ, δ) = E x|θ [L(θ, d)] 26 / 35
  10. 統計的決定理論の復習、続き 2つの決定関数 があるとき、全ての について なら「 は より良いか同等」といい、 と書く。 少なくとも1つの で等号が外れていれば

    と書く。 ある決定関数 に対して、 となる が存在しなければ、 は 許容的 という。 δ1 , δ2 θ R(θ, δ1 ) ≤ R(θ, δ2 ) δ1 δ2 δ1 ⪰ δ2 θ δ1 ≻ δ2 δ δ ∗ ≻ δ δ ∗ δ 27 / 35
  11. まとめ ベイズ統計学の基本用語の意味を説明しました。 1. ベイズ統計学と古典的統計学 ! ベイズの定理の式を書くことができる? 2. 事前分布と事後分布 ! 事前分布と事後分布の意味を説明できる?

    ! MAP推定の意味を説明できる? 3. 事前分布の選択 ! 共役事前分布の意味を説明できる? 4. 統計的決定理論から見たベイズ法 5. ミニマックス決定関数と最も不利な分布 34 / 35