oku-slide-stat1-6

数理統計学特論I
第6回 十分統計量
奥 牧人 (未病研究センター)
2022/05/25
2023/05/24
2024/05/22

Transcript

1. 数理統計学特論I 第6回 十分統計量 奥 牧人 (未病研究センター) 2024/05/22 1 / 27
2. 前回の復習 前回の目的 推定と検定を統一的に扱うための理論的枠組みを理解すること 前回の達成目標 損失関数の意味を説明できる。 決定関数の意味を説明できる。 リスク関数の意味を説明できる。 ミニマックス基準の意味を説明できる。 2 / 27
3. 今回の位置付け 1. 前置きと準備 2. 確率と1次元の確率変数 3. 多次元の確率変数 4. 統計量と標本分布 5. 統計的決定理論の枠組み 6. ⼗分統計量 7. 推定論 8. 検定論 9. 区間推定 10. 正規分布、2項分布に関する推測 その他の話題 11. 線形モデル 12. ノンパラメトリック法 13. 漸近理論 14. ベイズ法 確率と統計の基礎 良い点推定とは︖ 良い検定とは︖ 問題設定と準備 7章と8章に関する証明 回帰分析と分散分析を統⼀的に理解 常⽤される⼿法を改めて整理 ベイズ統計を簡単に紹介 ノンパラを簡単に紹介 3 / 27
4. 今回の目的と達成目標 目的 十分統計量とその関連用語の意味を理解すること 達成目標 十分統計量の意味を説明できる。 十分統計量の分解定理を説明できる。 ラオ・ブラックウェルの定理を説明できる。 完備十分統計量の意味を説明できる。 4 / 27
5. 予習用キーワードの確認 十分統計量 5 / 27
6. Outline 1. 十分統計量の定義と分解定理 2. 統計的決定理論における十分統計量 3. 完備十分統計量 4. 最小十分統計量 6 / 27
7. Outline 1. 十分統計量の定義と分解定理 2. 統計的決定理論における十分統計量 3. 完備十分統計量 4. 最小十分統計量 7 / 27
8. 十分統計量 例えば、正規分布の母平均 と母分散 を推定したいとする。 このとき、標本平均 と標本分散 の2つだけ分かれば十分で あり、個々の の値は無視しても , の推定には影響がなさ そうである。 [十分統計量の定義] 個の統計量 がパラメー タ に関する 次元の十分統計量であるとは、 を与えたとき の の条件付き分布が に依存しないことで ある。 μ σ 2 ¯ X s 2 Xi μ σ 2 k T = (T1 , … , Tk ) θ k T X = (X1 , … , Xn ) θ 8 / 27
9. 例 とする。 統計量 について考える。 直感的には が分かればパラメータ に関する情報としては 十分と考えられる。実際に条件付き確率を計算すると、 となり、確かに に依存していないことが分かる。 X1 , … , Xn i.i.d. ∼ Bin(1, p) Y = ∑ n i=1 Xi Y p p(x1 , … , xn |y) = p(x1 , … , xn , y) p(y) = p(x1 , … , xn ) p(y) = p y (1 − p) n−y ( )py (1 − p)n−y = ( ) −1 n y n y p 9 / 27
10. 分解定理 より簡単に十分統計量であることを示す方法がある。 [分解定理] 統計量 がパラメータ の十分統計量であるための 必要十分条件は、 の確率質量関数または確率 密度関数 が の形に分解出来ることである。ただし は を含まない。 でも良い。先ほどの例でいうと、 T θ X = (X1 , … , Xn ) p(x) p(x) = g(T , θ)h(x) h(x) θ h(x) = 1 p(x) = p y (1 − p) n−y = g(y, p) × 1 10 / 27
11. 正規分布の例 のとき 従って、 とおけば は十分統計量 (この場合も ) X1 , … , Xn i.i.d. ∼ N (μ, σ2 ) p(x) = n ∏ i=1 ( 1 √2πσ exp (− (xi − μ) 2 2σ2 )) = 1 (2π)n/2 σn exp (− n(¯ x − μ) 2 2σ2 − ∑ n i=1 (xi − ¯ x) 2 2σ2 ) T1 = ¯ X, T2 = n ∑ i=1 (Xi − ¯ X) 2 T = (T1 , T2 ) h(x) = 1 11 / 27
12. の例 のとき ここで とみなせば、 が十分統計量 h(x) ≠ 1 X1 , … , Xn i.i.d. ∼ P o(λ) p(x) = n ∏ i=1 e−λ λxi xi ! = e −nλ λ ∑ n i=1 xi ( n ∏ i=1 xi !) −1 g(T , λ) = e −nλ λ ∑ n i=1 x i h(x) = ( n ∏ i=1 xi !) −1 T = ∑ n i=1 xi 12 / 27
13. Outline 1. 十分統計量の定義と分解定理 2. 統計的決定理論における十分統計量 3. 完備十分統計量 4. 最小十分統計量 13 / 27
14. 統計的決定理論における十分統計量 十分統計量はパラメータ に関する十分な情報を含んでいる。 決定関数 も、十分統計量 の関数 の場合だけ考えれば 良さそうである。 実際に、任意の に対して、確率化決定関数を許せば、リス クが同等の が常に存在する θ δ T δ(T ) δ(X) δ ∗ (T ) R(θ, δ) = R(θ, δ ∗ ), ∀θ 14 / 27
15. ラオ・ブラックウェルの定理 リスク関数として平均二乗誤差を仮定 ある決定関数 に対して、以下の決定関数を作る ラオ・ブラックウェルの定理 等号成立は のときのみ R(θ, δ) = E[(θ − δ) 2 ] δ(X) δ ∗ (T ) = E[δ(X)|T ] R(θ, δ ∗ ) ≤ R(θ, δ), ∀θ P (δ(X) = δ ∗ (T )) = 1 15 / 27
16. 証明 を書き直すと ただし、2行目で期待値の繰り返しの公式と を使っ た R(δ, θ) E[(δ − θ) 2 ] = E[(δ − δ ∗ + δ ∗ − θ) 2 ] = E[(δ − δ ∗ ) 2 ] + E[(δ ∗ − θ) 2 ] + 0 ≥ E[(δ ∗ − θ) 2 ] = R(δ ∗ , θ) E[δ|T ] = δ ∗ E[(δ − δ ∗ )(δ ∗ − θ)] = E T [E[(δ − δ ∗ )(δ ∗ − θ)|T ]] = E T [(δ ∗ − θ)E[(δ − δ ∗ )|T ]] = 0 16 / 27
17. Outline 1. 十分統計量の定義と分解定理 2. 統計的決定理論における十分統計量 3. 完備十分統計量 4. 最小十分統計量 17 / 27
18. 完備十分統計量 統計量 が完備であるとは、以下が成り立つこと 言い換えると、期待値が同じ関数は一意に定まる 詳しくは次回話すが、完備十分統計量 を使った不偏推定量 は一意に定まり、不偏推定の中で最も良いものとなる。 T (X) E[g(T )] = 0, ∀θ ⇒ g(T ) ≡ 0 E[g1 (T )] = E[g2 (T )], ∀θ ⇒ g1 (T ) ≡ g2 (T ) T δ(T ) 18 / 27
19. 指数型分布族 指数型分布族 指数分布とは無関係 分解定理より は十分統計量 を自然母数と呼ぶ [定理] の属する母数空間が 次元ユークリッド空間の開集合 であり、 の共分散行列が正則のとき、 は完備である。 p(x, ψ) = h(x) exp ( k ∑ j=1 ψj Tj (x) − c(ψ)) T = (T 1 , … , T k ) ψ = (ψ1 , … , ψk ) ψ k T T 19 / 27
20. 例 2項分布を指数型分布族の形に変形する 指数型分布族 (再掲) この場合 で、 , に対応 従って、 は完備十分統計量 ( )p x (1 − p) n−x = ( ) exp (x log p 1 − p + n log(1 − p)) n x n x p(x, ψ) = h(x) exp ( k ∑ j=1 ψj Tj (x) − c(ψ)) k = 1 ψ1 = log(p/(1 − p)) T1 (x) = x x 20 / 27
21. 正規分布の例 のとき 従って、 , は完備十分統計量 X1 , … , Xn i.i.d. ∼ N (μ, σ2 ) p(x) = n ∏ i=1 ( 1 √2πσ exp (− (xi − μ) 2 2σ2 )) = 1 (2π)n/2 σn exp (− ∑ n i=1 x 2 i 2σ2 + μ ∑ n i=1 xi σ2 − nμ 2 2σ2 ) = exp (− ∑ n i=1 x 2 i 2σ2 + μ ∑ n i=1 xi σ2 − nμ 2 2σ2 − n 2 log(2πσ 2 )) T1 (x) = ∑ xi T2 = ∑ x 2 i 21 / 27
22. Outline 1. 十分統計量の定義と分解定理 2. 統計的決定理論における十分統計量 3. 完備十分統計量 4. 最小十分統計量 22 / 27
23. 最小十分統計量 例えば、コインを 回投げ、前半の 回の表の数を , 後半の 回の表の数を とする。 は十分統計量だが、 だけで十分 十分統計量 が以下の性質を満たすなら、弱い意味で最小十分 が十分統計量 が 対 (単射) 十分性を失うことなく の情報を縮約することが出来ない 十分統計量 が以下の性質を満たすなら、強い意味で最小十分 任意の十分統計量 に対して となる が存在 任意の十分統計量の情報を に縮約出来る 2n n Y1 n Y2 (Y1 , Y2 ) Y = Y1 + Y2 T U = g(T ) ⇒ g 1 1 T T S T = h(S) h T 23 / 27
24. 完備十分統計量と最小十分統計量 完備十分統計量は、弱い意味で最小十分統計量である。 強い意味の最小十分統計量が存在する場合、弱い意味の最小十分 統計量は強い意味の最小十分統計量になる。 その場合、完備十分統計量は強い意味でも最小十分になる。 24 / 27
25. まとめ 十分統計量とその関連用語の意味を説明しました。 1. 十分統計量の定義と分解定理 ! 十分統計量の意味を説明できる? ! 十分統計量の分解定理を説明できる? 2. 統計的決定理論における十分統計量 ! ラオ・ブラックウェルの定理を説明できる? 3. 完備十分統計量 ! 完備十分統計量の意味を説明できる? 4. 最小十分統計量 25 / 27
26. 小テスト Moodleで小テストに回答して下さい。 期限は今週中 (日曜の23:59まで) とします。 繰り返し受験して構いません。最高得点で成績をつけます。 26 / 27
27. 次回の予習用キーワード 不偏推定 尤度関数 27 / 27