oku-slide-stat1-7

数理統計学特論I 第7回推定論奥牧人 (未病研究センター) 2024/05/29 1 / 37

前回の復習前回の目的十分統計量とその関連用語の意味を理解すること前回の達成目標十分統計量の意味を説明できる。十分統計量の分解定理を説明できる。ラオ・ブラックウェルの定理を説明できる。完備十分統計量の意味を説明できる。 2 /
37

今回の位置付け 1. 前置きと準備 2. 確率と1次元の確率変数 3. 多次元の確率変数 4. 統計量と標本分布 5.
統計的決定理論の枠組み 6. ⼗分統計量 7. 推定論 8. 検定論 9. 区間推定 10. 正規分布、2項分布に関する推測その他の話題 11. 線形モデル 12. ノンパラメトリック法 13. 漸近理論 14. ベイズ法確率と統計の基礎良い点推定とは︖ 良い検定とは︖ 問題設定と準備 7章と8章に関する証明回帰分析と分散分析を統⼀的に理解常⽤される⼿法を改めて整理ベイズ統計を簡単に紹介ノンパラを簡単に紹介 3 / 37

今回の目的と達成目標目的点推定の最適性に関する理論について理解すること達成目標不偏推定量の意味を説明できる。フィッシャー情報量の意味を説明できる。クラメル・ラオの不等式の意味を説明できる。不偏推定の問題点を説明できる。最尤推定量の意味と漸近有効性を説明できる。 4
/ 37

予習用キーワードの確認不偏推定尤度関数 5 / 37

Outline 1. 点推定論の枠組み 2. 不偏推定量とフィッシャー情報量 3. 完備十分統計量に基づく不偏推定量 4. 不偏推定の問題点 5.
最尤推定量 6. クラメル・ラオの不等式の一般化 6 / 37

推定における記法と設定推定では、決定関数のことをまたは単にと書き、推定量と呼ぶリスク関数として平均二乗誤差を使うバイアス-バリアンス分解 (ここだけとおく)
をバイアスと呼ぶ δ(X) ^ θ(X) ^ θ R(θ, ^ θ) = E[( ^ θ − θ) 2 ] E[ ^ θ] = μ E[( ^ θ − θ) 2 ] = E[( ^ θ − μ + μ − θ) 2 ] = E[( ^ θ − μ) 2 ] + E[(μ − θ) 2 ] + 0 = V [ ^ θ] + (μ − θ) 2 μ − θ 8 / 37

バイアスとバリアンス母集団から標本を抽出してを計算、を何度も行うとする。バリアンスは、推定値のバラツキの大きさを表す。バイアスは、推定値の平均と真の値のズレを表す。 ^ θ V
[ ^ θ] E[ ^ θ] − θ 9 / 37

不偏推定量が不偏推定量であるとは、以下が成り立つこと例、不偏分散 (参考) 最尤推定の場合 ^ θ E[ ^ θ]
= θ, ∀θ s 2 = 1 n − 1 n ∑ i=1 (Xi − ¯ X) 2 s 2 n = 1 n n ∑ i=1 (Xi − ¯ X) 2 10 / 37

一様最小分散不偏推定量不偏推定の場合、平均二乗誤差は分散のみになる従って、不偏推定量の中では、分散が最小となるものが最適一様最小分散不偏推定量 (Uniformly Minimum Variance Unbiaced estimator,
略して UMVU と書く) 不偏推定量が UMVU であるとは、任意の不偏推定量に対して以下が成り立つこと V [ ^ θ] E[( ^ θ − θ) 2 ] = V [ ^ θ] ^ θ ∗ ^ θ V [ ^ θ ∗ ] ≤ V [ ^ θ], ∀θ 12 / 37

話の流れを整理不偏推定量 UMVU (不偏の中で最適) UMVU であることを示す方法 1. クラメル・ラオの不等式を使う方法 (フィッシャー情報量を含む)
2. 完備十分統計量を使う方法最尤推定量 13 / 37

フィッシャー情報量の確率質量関数または確率密度関数を、パラメータを明示してと書くフィッシャー情報量対数尤度関数とし、と書けば、以下のように略記できる
の場合が成り立つ X = (X1 , … , Xn ) p(x) θ f(x, θ) In (θ) = E [( ∂ ∂θ log f(x, θ)) 2 ] ℓ(θ) = log f(x, θ) ℓ ′ (θ) = ∂ℓ(θ)/∂θ In (θ) = E[ℓ ′ (θ) 2 ] X1 , … , Xn i.i.d. ∼ F In (θ) = nI1 (θ) 14 / 37

クラメル・ラオの不等式クラメル・ラオの不等式 ( は不偏推定量) ただし、と、微分と積分が交換可能なこと (正則条件) を仮定 [定理] クラメル・ラオの不等式が成り立つ場合、不偏推定量
が以下を満たせば UMVU である ^ θ V [ ^ θ] ≥ 1 In (θ) In (θ) > 0 ^ θ ∗ V [ ^ θ ∗ ] = 1 In (θ) , ∀θ 15 / 37

例のの推定量について計算の確率密度関数 ( より個分で良い) 対数尤度関数で偏微分
X1 , … , Xn i.i.d. ∼ N (μ, σ2 ) μ ¯ X Xi In (θ) = nI1 (θ) 1 f(xi , μ) = 1 √2πσ exp (− (xi − μ) 2 2σ2 ) ℓ(μ) = log f(xi , μ) = − (xi − μ)2 2σ2 − 1 2 log(2πσ 2 ) μ ℓ ′ (μ) = ∂ ∂μ ℓ(μ) = xi − μ σ2 16 / 37

例、続きフィッシャー情報量クラメル・ラオの不等式の下界は、これはに一致するので、は確かに UMVU である。 I1 (μ)
= E[ℓ ′ (μ) 2 ] = E [ (Xi − μ) 2 σ4 ] = 1 σ2 1 In (μ) = 1 nI1 (μ) = σ2 n V [ ¯ X] ¯ X ¯ X ∼ N (μ, σ2 n ) 17 / 37

分散は? クラメル・ラオの不等式では不偏分散が UMVU であることを示せない UMVU なのだが、下界を達成しない次に紹介する別の方法で証明する s
2 18 / 37

完備十分統計量とUMVU [定理] 完備十分統計量の関数である不偏推定量は一意に定まり UMVU となる。また、任意の不偏推定量をとするとき
はに一致する。 T ^ θ∗ (T ) ^ θ E[ ^ θ|T ] ^ θ∗ (T ) 20 / 37

証明完備統計量の関数となる不偏推定量は一意であることを示す , を不偏推定量とし、とおけばなので、完備性の定義より続いて、任意の不偏推定量に対して、を完備十分としを作ると、不偏となるので一意に定まる。
は十分統計量なのでラオ・ブラックウェルの定理を適用すれば ^ θ 1 ^ θ 2 g(T ) = ^ θ 1 (T ) − ^ θ 2 (T ) E[g(T )] = θ − θ = 0, ∀θ ^ θ1 (T ) ≡ ^ θ2 (T ) ^ θ T ^ θ ∗ (T ) = E[ ^ θ|T ] T V [ ^ θ ∗ ] ≤ V [ ^ θ], ∀θ 21 / 37

例母集団が正規分布のとき、以下は完備十分統計量 , は完備十分統計量の関数の形をしている , は不偏である従って、 ,
は UMVU である N (μ, σ 2 ) T1 = n ∑ i=1 Xi , T2 = n ∑ i=1 X 2 i ¯ X s 2 T = (T1 , T2 ) ¯ X = T1 n , s 2 = T2 − T 2 1 /n n − 1 ¯ X s 2 E[ ¯ X] = μ, E[s 2 ] = σ 2 ¯ X s 2 22 / 37

不偏推定の問題点母数の変換に対して不変ではない例、は不偏推定だが、は不偏ではない標準偏差の UMVU (複雑過ぎて使う人はいない) s2 s
E[s] < σ s ′ = √n − 1 Γ((n − 1)/2) √2 Γ(n/2) s 24 / 37

不偏推定量の問題点、続き存在しない場合がある例、正規分布のの不偏推定量は存在しない不合理な場合がある例、正規分布のの UMVU は負の値になる場合がある例2、幾何分布
のの不偏推定量は、標本サイズがの場合 |μ| μ 2 p(x) = (1 − p) x p, x = 0, 1, 2, … p 1 ^ p = { 1 if x = 0 0 if x ≥ 1 25 / 37

スタインのパラドックス UMVU は不偏推定の中で最適なもの不偏に限らなければ、より良いものが存在する場合もある意外な例として、スタインのパラドックスがある , のとき、の UMVU は
自身であるのとき、各要素を以下のようにした推定量の方が平均二乗誤差が常に小さいことが示されている Xi ∼ N (μi , 1) i = 1, … , n (μ1 , … , μn ) (X1 , … , Xn ) n ≥ 3 ^ μi = (1 − n − 2 ∑ n j=1 X 2 j )Xi 26 / 37

最尤推定量尤度関数確率質量関数または確率密度関数をパラメータの関数とみなしたもの対数尤度関数最尤推定量漸近有効性を持つ十分統計量の関数になる変数変換に対して不変
L(θ) θ ℓ(θ) = log L(θ) ^ θ ^ θ = arg max θ L(θ) = arg max θ ℓ(θ) 28 / 37

例二項分布の場合をで微分してとおくと、従って、最尤推定量は L(p) = ( )p
x (1 − p) n−x ℓ(p) = x log p + (n − x) log(1 − p) + log ( ) n x n x ℓ(θ) p 0 x p − n − x 1 − p = x − np p(1 − p) = 0 ^ p = x/n 29 / 37

正規分布の例とおくと、まずをで偏微分してとおくと、これを代入し、で微分してとおくと、より、
を得る。 τ = σ 2 L(μ, τ ) = n ∏ i=1 1 (2πτ )1/2 exp (− (xi − μ) 2 2τ ) ℓ(μ, τ ) = − n 2 log(2πτ ) − 1 2τ n ∑ i=1 (xi − μ) 2 ℓ(μ, τ ) μ 0 ^ μ = ¯ x τ 0 − n 2 2π 2πτ + 1 2τ 2 n ∑ i=1 (xi − ¯ x) 2 = 0 ^ τ = s 2 n 30 / 37

漸近有効性が大きければ最尤推定量は UMVU とほぼ同じになるサイズの標本に基づく最尤推定量をと書く幾つかの条件の下で、のとき以下が成り立つ 1つ目の性質を一致性と呼ぶ
2つ目は、バイアスがよりも速く減少するという意味 3つ目は、クラメル・ラオの不等式の下界に相当 n n ^ θ n n → ∞ ^ θn p → θ √n(E[ ^ θn ] − θ) → 0 nV [ ^ θ n ] → 1 I1 (θ) 1/√n 31 / 37

クラメル・ラオの不等式の一般化クラメル・ラオの不等式 (再掲) 多次元の場合 ( とする) ここではの共分散行列であり、は以下で定義される
フィッシャー情報行列また、行列 , についてはが半正定値の意 V [ ^ θ] ≥ 1 In (θ) θ = (θ1 , … , θk ) V [ ^ θ] ≥ I(θ) −1 V [ ^ θ] ^ θ I(θ) Iij (θ) = E [ ∂ℓ(θ) ∂θi ∂ℓ(θ) ∂θj ] A B A ≥ B A − B 33 / 37

まとめ (前半) 点推定の最適性に関する理論について説明しました。 1. 点推定論の枠組み 2. 不偏推定量とフィッシャー情報量 ! 不偏推定量の意味を説明できる? !
フィッシャー情報量の意味を説明できる? ! クラメル・ラオの不等式の意味を説明できる? 3. 完備十分統計量に基づく不偏推定量 34 / 37

まとめ (後半) 点推定の最適性に関する理論について説明しました。 4. 不偏推定の問題点 ! 不偏推定の問題点を説明できる? 5. 最尤推定量 !
最尤推定量の意味と漸近有効性を説明できる? 6. クラメル・ラオの不等式の一般化 35 / 37

小テスト Moodleで小テストに回答して下さい。期限は今週中 (日曜の23:59まで) とします。繰り返し受験して構いません。最高得点で成績をつけます。 36 / 37

期末試験来週は期末試験 (60分) と解説 (30分) です。鉛筆またはシャープペンシル、消しゴムを持ってきて下さい。スマホ、ノートPC、本などの持ち込み可
とします。 37 / 37

oku-slide-stat1-7

oku-slide-stat1-7

More Decks by Makito Oku

Other Decks in Education

Featured

Transcript