Upgrade to Pro — share decks privately, control downloads, hide ads and more …

oku-slide-stat2-6

 oku-slide-stat2-6

数理統計学特論II
第6回 ノンパラメトリック法
奥 牧人 (未病研究センター)
2022/07/20
2023/07/26
2024/07/24

Makito Oku

March 29, 2022
Tweet

More Decks by Makito Oku

Other Decks in Education

Transcript

  1. 今回の位置付け 1. 前置きと準備 2. 確率と1次元の確率変数 3. 多次元の確率変数 4. 統計量と標本分布 5.

    統計的決定理論の枠組み 6. ⼗分統計量 7. 推定論 8. 検定論 9. 区間推定 10. 正規分布、2項分布に関する推測 その他の話題 11. 線形モデル 12. ノンパラメトリック法 13. 漸近理論 14. ベイズ法 確率と統計の基礎 良い点推定とは︖ 良い検定とは︖ 問題設定と準備 7章と8章に関する証明 回帰分析と分散分析を統⼀的に理解 常⽤される⼿法を改めて整理 ベイズ統計を簡単に紹介 ノンパラを簡単に紹介 3 / 38
  2. 問題設定 標本問題: 累積分布関数 は連続とし、 となる全ての に おいて と仮定する。 このとき となる中央値

    が一意に定まる。 両側検定 片側検定 1 X1 , … , Xn i.i.d. ∼ F F 0 < F (x) < 1 x f(x) = F ′ (x) > 0 F (ξ) = 1/2 ξ H0 : ξ = ξ0 vs. H1 : ξ ≠ ξ0 H0 : ξ ≤ ξ0 vs. H1 : ξ > ξ0 10 / 38
  3. ウィルコクソンの符号順位検定 が に関して対称な分布であると仮定する。 対称とは限らない に従う対応あり 標本問題の差の検定 を 標本問題に帰着させる場合は成立 とする。 が全て異なるとして、小さい順に並べ

    から までの順位をつけたときの の順位を とおく。 変数 を、 のとき , のとき とする。 検定統計量 F 0 F ′ 2 1 ξ0 = 0 |X1 |, … , |Xn | 1 n Xi Ri εi Xi > 0 1 Xi ≤ 0 0 W = n ∑ i=1 εi Ri 12 / 38
  4. 例 標本 絶対値を取り、小さい順に並べる 順位を割り当てる の符号が正のもののみの順位を足す (x1 , x2 , x3

    ) = (−2.5, 4.1, 0.5) |0.5| < | − 2.5| < |4.1| (R 1 , R 2 , R 3 ) = (2, 3, 1) xi W = R2 + R3 = 4 13 / 38
  5. 検定統計量 の標本分布 を固定したとき、 この条件下で の分布は以下の の分布と同じ これが に依存しないので、条件つきでない の 分布も同じ

    が小さいときは の全パターンを計算すれば良い。 が大きいときは正規分布近似を用いる W |X1 |, … , |Xn | ε1 , … , εn i.i.d. ∼ Bin(1, 1/2) W ~ W ~ W = n ∑ i=1 iεi |X1 |, … , |Xn | W n {0, 1} n n W ⋅ ∼ N ( n(n + 1) 4 , n(n + 1)(2n + 1) 24 ) 14 / 38
  6. の平均と分散の計算 公式 平均 分散 W n ∑ k=1 k =

    n(n + 1) 2 , n ∑ k=1 k 2 = n(n + 1)(2n + 1) 6 E[W ] = n ∑ i=1 i 2 = n(n + 1) 4 V [W ] = n ∑ i=1 V [iεi ] = n ∑ i=1 i 2 4 = n(n + 1)(2n + 1) 24 15 / 38
  7. マン・ホイットニーの 検定 対応のない 標本問題 (分布の形は同じだと仮定) 両側検定問題 (片側検定も同様) , の各値を並べたもの 検定統計量

    ( の順位を とした) U 2 X1 , … , Xm i.i.d. ∼ F (x), Y1 , … , Yn i.i.d. ∼ F (y − Δ) H0 : Δ = 0 vs. H1 : Δ ≠ 0 X Y (Z1 , … , Zm+n ) = (Y1 , … , Yn , X1 , … , Xm ) Zi Ri W = n ∑ i=1 R i 18 / 38
  8. 例 標本 両方混ぜて小さい順に並べる 順位を割り当てる に関する順位のみを足す (x1 , x2 , x3

    ) = (0.5, 1.2, 2.5), (y1 , y2 ) = (1.0, 2.1) 0.5 < 1.0 < 1.2 < 2.1 < 2.5 (R 1 , R 2 , R 3 , R 4 , R 5 ) = (2, 4, 1, 3, 5) y W = R 1 + R 2 = 6 19 / 38
  9. 非復元抽出と有限修正 一般に、平均 、分散 、サイズ の母集団から 個を非復 元抽出したとき、標本平均 について以下が成り立つ 分散の係数 を有限修正という。

    これを当てはめると、母集団は なので、 とおくと μ σ 2 N n ¯ X E[ ¯ X] = μ, V [ ¯ X] = N − n N − 1 σ 2 n (N − n)/(N − 1) {1, … , m + n} N = m + n μ = 1 N N ∑ i=1 i = N + 1 2 , σ 2 = 1 N N ∑ i=1 i 2 − μ 2 = N 2 − 1 12 21 / 38
  10. 検定統計量 の平均と分散 平均 分散 W E[W ] = E[n ¯

    X] = n N + 1 2 = n(m + n + 1) 2 V [W ] = V [n ¯ X] = n 2 V [ ¯ X] = n 2 N − n N − 1 N 2 − 1 12n = mn(m + n + 1) 12 22 / 38
  11. タイのある場合 観測値に同じ値があるとき、タイ (tie) があるという。 中間順位を使うことが多い。 例えば、 という観測値に対して、順位を で はなく とする。

    式で書くと次のようになる ここで は定義関数 (指示関数) (10, 10, 30) (1, 2, 3) (1.5, 1.5, 3) R i = 1 2 + n ∑ j=1 (I [x j <x i ] + 1 2 I [x j =x i ] ) I IA = { 1 if A 0 otherwise 24 / 38
  12. 並べかえ検定 標本問題を例に説明する。標本サイズは , とする。 個の観測値を固定し、そこから 個を選び、任意の統計 量 の値を計算する。 これを 通りの全てまたはランダムに選んだ一部に対し

    て行い の分布を求める。これを の並べかえ分布という。 の並べかえ分布に基づいて検定を行う。 2 m n m + n n T ( ) n + m n T T T 30 / 38
  13. 標本平均の場合 とおく。 中心極限定理より、漸近的に有意水準 の検定は 一方、隣接対立仮説 のもとでは の検出力 ( はガウスの誤差関数) Tn

    = ¯ X α √n(Tn − ξ0 ) > zα ⇒ reject H (n) 1 √n(Tn − ξ0 ) = √n(Tn − ξ1,n + ξ1,n − ξ0 ) = √n(Tn − ξ1,n ) + τ d → N (τ , 1) n → ∞ Φ 1 − Φ(zα − τ ) 34 / 38
  14. 漸近相対効率の定義と例 前述の隣接対立仮説のもとで、統計量 を用いた検定と統計量 ( ) を用いた検定の検出力が で等しくなるよ うに を決めたとき、 を

    に対する の漸近相対効率と する。 例、 に対する漸近相対効率 符号検定 ウィルコクソンの符号順位検定 ただし は自由度 の 分布 Tn Sm m = cn n → ∞ c 1/c Tn Sn ¯ X N (0, 1) t(5) t(3) 0.637 0.96 1.62 0.955 1.24 1.90 t(k) k t 35 / 38
  15. まとめ ノンパラメトリック検定の基本的な用語を説明しました。 1. ノンパラメトリック法の考え方 ! ノンパラメトリック検定の意味を説明できる? 2. ノンパラメトリック検定 ! ウィルコクソンの符号順位検定の意味を説明できる?

    ! マン・ホイットニーの 検定の意味を説明できる? 3. タイのある場合のとり扱い 4. ノンパラメトリック検定から得られる区間推定 5. 並べかえ検定 6. ノンパラメトリック検定の漸近相対効率 ! 漸近相対効率の意味を説明できる? U 36 / 38