同じデータでもP値が変わる話/key_considerations_in_NHST

Transcript

1. 1 2023.09.02 Tokyo.R #108 同じデータでもP値が変わる話
2. 2 統計的仮説検定 同じデータからは同じ検定結果が得られるもの と考えられがちですが 実際には必ずしもその通りではありません。
3. 3 例えば コイン投げをして24回中7回が表になるという単純な データを考えてみましょう。 このようなデータでも、実験の設定や投げる回数の制 約によって、統計的仮説検定の結果が変わることがあ るのです。
4. 4 コインを1回投げる 𝑝 𝑦 𝜃 = 𝜃𝑦(1 − 𝜃)(1−𝑦) 𝜃 = 0.5 ベルヌーイ分布 y=1 は表, y=0 は裏
5. 5 コインをN回投げる 裏裏表表裏裏表裏裏裏裏裏裏裏裏裏表裏裏表表裏裏表 表が出る確率 θ 投げる回数 N 表の回数 z 二項分布
6. 6 統計的仮説検定の流れ 帰無仮説をたてる ↓ 標本分布を計算する ↓ データを観測してP値を求める
7. 7 帰無仮説をたてる ある統計量がある値と等しいということを帰無仮説と して設定します。 例） コインの裏表が出る確率が50%と等しい 平均値が等しい
8. 8 標本分布を計算する 帰無仮説が成り立つ場合にその統計量が従うであろう 確率分布、標本分布を計算します。 例） コインの裏表が出る確率 → 二項分布など 平均値 → t分布など
9. 9 データを観測してP値を求める 実際に観測された値、もしくはそれ以上に極端な値が 標本分布に占める面積、つまりそのような値が観測さ れる確率（P値）を求めます。
10. 10 P値があらかじめ設定したしきい値（たとえば5%）よ りも小さければ、そもそも帰無仮説が間違っていたの だと結論づけます。 逆に小さくなければ帰無仮説を棄却せず、判断を保留 します。 P値で判断
11. 11 コインを24回投げて7回表が出た このコインは公平か。 データ観測者の意図 コインを24回投げると決めていた。結果として7回表 がでた。
12. 12 標本分布 表が出る確率 θ 投げる回数 N 表の回数 z
13. 13 データを観測 θ = 0.5 N = 24 z = 7 P値 = 0.064 Sample Proportion z/N p(z/N)
14. 14 Rのコード
15. 15 コインを24回投げて7回表が出た このコインは公平か。 データ観測者の意図 7回表が出るまで投げ続けると決めていた。結果として 24回投げた。 ↓ 23回投げた時点で6回表が出ており、24回目では表が 出た。
16. 16 標本分布 N-1回投げた時点でz-1回表が出て N回目は表
17. 17 データを観測 θ = 0.5 z = 7 N = 24 P値 = 0.017 Sample Proportion z/N p(z/N)
18. 18 Rのコード
19. 19 投げる回数N 表が出る回数 z • Nを固定する意図ではP値=0.064（判断を保留） • zを固定する意図ではP値=0.017（帰無仮説を棄却） 同じデータを観測しても、観測者の意図によって 検定結果が変わる！
20. 20 意外にも 観察者の意図やデータ収集の方法が、統計的な結果に 影響を与える可能性があるのです。 このような現象は、統計的な検定の限界や留意すべき 要点を浮き彫りにします。単に数値を見るだけではな く、実験の文脈や条件を正しく理解することの重要性 を示しています。
21. 21 参考書 飯塚修平. ウェブ最適化ではじめる機械学習. オライ リー・ジャパン, 2020 John K. Kruschke. Doing Bayesian Data Analysis: A Tutorial with R, JAGS, and Stan EDITION 2. Academic Press, 2014