Upgrade to Pro — share decks privately, control downloads, hide ads and more …

oku-slide-stat2-7

 oku-slide-stat2-7

数理統計学特論II
第7回 漸近理論
奥 牧人 (未病研究センター)
2022/07/27
2023/08/02
2024/07/31

Makito Oku

March 29, 2022
Tweet

More Decks by Makito Oku

Other Decks in Education

Transcript

  1. 今回の位置付け 1. 前置きと準備 2. 確率と1次元の確率変数 3. 多次元の確率変数 4. 統計量と標本分布 5.

    統計的決定理論の枠組み 6. ⼗分統計量 7. 推定論 8. 検定論 9. 区間推定 10. 正規分布、2項分布に関する推測 その他の話題 11. 線形モデル 12. ノンパラメトリック法 13. 漸近理論 14. ベイズ法 確率と統計の基礎 良い点推定とは︖ 良い検定とは︖ 問題設定と準備 7章と8章に関する証明 回帰分析と分散分析を統⼀的に理解 常⽤される⼿法を改めて整理 ベイズ統計を簡単に紹介 ノンパラを簡単に紹介 3 / 32
  2. 最尤推定量の復習 尤度関数 確率質量関数または確率密度関数 をパラメータ の 関数とみなしたもの 対数尤度関数 最尤推定量 計算方法 L(θ)

    = f(x, θ) f(x, θ) θ ℓ(θ) = log L(θ) ^ θn ^ θn = arg max θ L(θ) = arg max θ ℓ(θ) ℓ ′ (θ) = ∂ℓ(θ) ∂θ = 0 9 / 32
  3. クラメル・ラオの不等式の復習 フィッシャー情報量 の場合 が成り立つ クラメル・ラオの不等式 ( は不偏推定量) ただし、 と、微分と積分が交換可能なこと (正則条

    件) を仮定 不変推定量で下界を達成するものは UMVU In (θ0 ) = E[ℓ ′ (θ0 ) 2 ] = −E[ℓ ′′ (θ0 )] X1 , … , Xn i.i.d. ∼ F In (θ0 ) = nI1 (θ0 ) ^ θ V [ ^ θ] ≥ 1 I n (θ 0 ) In (θ0 ) > 0 11 / 32
  4. カルバック・ライブラー情報量 , を確率密度関数とする。 カルバック・ライブラー情報量 かつ の箇所は とする。 かつ の箇所は とする。

    となる は積分範囲から除く。 分布間の距離のようなものを表すが、距離ではない f(x) g(x) D(f, g) = ∫ ∞ −∞ f(x) log ( f(x) g(x) )dx f(x) > 0 g(x) = 0 ∞ f(x) = 0 g(x) ≠ 0 0 log 0 = 0 f(x) = g(x) = 0 x D(f, g) ≠ D(g, f) 13 / 32
  5. 非負性 のグラフより なので 両辺に をかけて で積分すると 等号成立はほとんど全ての について のとき 「ほとんど全て」とは、測度

    の集合を除くという意味 y = log x log x ≤ x − 1, ∀x > 0 log ( f(x) g(x) ) = − log ( g(x) f(x) ) ≥ 1 − g(x) f(x) f(x) x D(f, g) ≥ ∫ x:f(x)>0 f(x) (1 − g(x) f(x) )dx = 1 − ∫ x:f(x)>0 g(x)dx ≥ 1 − ∫ ∞ −∞ g(x)dx = 0 x f(x) = g(x) 0 14 / 32
  6. 一致性の証明 対数尤度の の (真のパラメータ のもとでの) 期待値 大数の法則 より、 とおけば 左辺を最大化するのは

    で、右辺を最大化するのは 1/n θ0 E [ 1 n ℓ(θ)] = E [ 1 n n ∑ i=1 log f(Xi , θ)] = E[log f(Xi , θ)] = ∫ ∞ −∞ f(x, θ0 ) log f(x, θ)dx = η(θ) ¯ X p → μ Yi = log f(Xi , θ) ¯ Y = 1 n ℓ(θ) p → η(θ) (n → ∞) ^ θn θ0 16 / 32
  7. 漸近分布の証明 続いて、漸近分布に関する以下の性質を示す 中間値の定理 (一定の条件下で が存在) これに を当てはめると、 ここで は と

    の間の値、また、 も成立 √n( ^ θn − θ0 ) d → N (0, 1 I1 (θ0 ) ) c ∈ (a, b) f ′ (c) = f(b) − f(a) b − a f = ℓ ′ ℓ ′′ (θ ∗ ) = ℓ ′ ( ^ θn ) − ℓ ′ (θ0 ) ^ θn − θ0 θ ∗ ^ θn θ0 ℓ ′ ( ^ θn ) = 0 18 / 32
  8. 漸近分布の証明、続き 式変形 分子には中心極限定理を適用出来る とおけば、 , より √n( ^ θn −

    θ0 ) = −√n ℓ ′ (θ0 ) ℓ′′ (θ∗ ) = − √n 1 n ℓ ′ (θ0 ) 1 n ℓ′′ (θ∗ ) √n 1 n ℓ ′ (θ0 ) = √n 1 n n ∑ i=1 ∂ ∂θ log f(Xi , θ0 ) Yi = ∂ log f(Xi , θ0 )/∂θ E[Yi ] = 0 V [Yi ] = I1 (θ0 ) √n ¯ Y = √n 1 n ℓ ′ (θ0 ) d → N (0, I1 (θ0 )) 19 / 32
  9. 漸近分布の証明、続き 分母は大数の法則が適用できる は と の間の値だが、 より、 に確率収束 とおけば、 より 分子は

    に分布収束するので、分母と合わせると 1 n ℓ ′′ (θ ∗ ) = 1 n n ∑ i=1 ∂ 2 ∂θ2 log f(Xi , θ ∗ ) θ ∗ ^ θn θ0 ^ θn p → θ0 θ0 Yi = ∂ 2 log f(Xi , θ0 )/∂θ 2 E[Yi ] = −I1 (θ0 ) ¯ Y = 1 n ℓ ′′ (θ ∗ ) p → −I1 (θ0 ) N (0, I1 (θ0 )) √n( ^ θn − θ0 ) d → N (0, 1 I1 (θ0 ) ) 21 / 32
  10. 補題 のとき、 が 成り立つ。 証明 を満たす を使うと、 従って、 とおくと、 X

    = (X1 , … , Xp ) ∼ N (0, Σ) X T Σ −1 X ∼ χ 2 (p) Σ = BB T B B −1 X ∼ N (0, B −1 Σ(B −1 ) T ) = N (0, I) Y = B −1 X X T Σ −1 X = X T (BB T ) −1 X = X T (B T ) −1 B −1 X = Y T Y = p ∑ i=1 Y 2 i 26 / 32
  11. 証明 この授業では局外母数が無い場合のみを扱う。そのとき、 を のまわりで展開すると ここで はヘッセ行列で、 は と を結ぶ線分上の点 これを上式に代入すると、

    より、 2 log L = 2ℓ( ^ θn ) − 2ℓ(θ0 ) ℓ(θ0 ) ^ θn ℓ(θ0 ) = ℓ( ^ θn ) + (θ0 − ^ θn ) T ∇ℓ( ^ θn ) + 1 2 (θ0 − ^ θn ) T H(θ0 − ^ θn ) Hij = ∂ 2 ∂θi ∂θj ℓ(θ ∗ ) H θ∗ θ 0 ^ θ n ∇ℓ( ^ θ) = 0 2 log L = −(θ0 − ^ θn ) T H(θ0 − ^ θn ) 27 / 32
  12. 証明、続き 一方、 のフィッシャー情報行列 の各要素は 従って、 の一致性の証明のときと同様に考えると 大数の法則より n = 1

    I(θ) I ij (θ) = E [ ∂ ∂θi ℓ(θ) ∂ ∂θj ℓ(θ)] = −E [ ∂ 2 ∂θi ∂θj ℓ(θ)] ^ θn E [ 1 n Hij ] = E [ 1 n n ∑ i=1 ∂ 2 ∂θi ∂θj log f(Xi , θ ∗ )] = −Iij (θ ∗ ) 1 n H p → E [ 1 n H] = −I(θ ∗ ) 28 / 32
  13. 証明、続き 改めて を書き直すと 多次元の場合にも となる。 より となる。 , とおけば前述の補題が当てはま るので

    2 log L 2 log L = −(θ0 − ^ θn ) T H(θ0 − ^ θn ) = √n( ^ θn − θ0 ) T (− 1 n H)√n( ^ θn − θ0 ) √n( ^ θ n − θ 0 ) d → N (0, I(θ 0 )−1 ) θ ∗ p → θ0 −H/n p → I(θ0 ) X = √n( ^ θn − θ0 ) Σ = I(θ0 ) −1 2 log L d → χ 2 (p) 29 / 32