t検定は中心局限定理の夢を見るか？

白金鉱業 Meetup Vol.19@六本木（若手データサイエンティスト交流会）の発表資料です！誤りを発見した場合はX：@st4tditt0までご連絡ください。
https://brainpad-meetup.connpass.com/event/354926/

Transcript

1. © LY Corporation ditto @st4tditt0 t検定は中⼼極限定理の 夢を⾒るか？
2. © LY Corporation WebのA/Bテストでは サンプルサイズが ⾮常に⼤きい 2
3. © LY Corporation 中⼼極限定理により 指標の平均値は 正規分布に従うと 仮定できる 3
4. © LY Corporation 4 例：⼀様乱数からk個抽出した時の平均値の分布
5. © LY Corporation 正規分布に従うなら t検定やZ検定を 利⽤できる 5
6. © LY Corporation 本当に そうでしょうか？ 6
7. © LY Corporation Q. 暗黙のうちに 中⼼極限定理の 成⽴を仮定して いませんか？ 7
8. © LY Corporation 8 例：混合正規分布
9. © LY Corporation 9 歪んだ分布だと⼤きいサンプルサイズが必要
10. © LY Corporation サンプルサイズ設計 VS 中⼼極限定理の収束 10
11. © LY Corporation • 効果量や検出⼒、有意⽔準を考慮するために、 サンプルサイズ設計は統計的仮説検定において必須 • →サンプルサイズは適切な数にしたい （多すぎても少なすぎてもだめ） • 正規分布でない指標にt検定を使うには、中⼼極限定理が 成⽴している（とみなせる）ことが暗黙の了解 • →サンプルサイズは多ければ多いほど嬉しい 11 サンプルサイズのジレンマ
12. © LY Corporation 両⽴できない （ことがある） 12
13. © LY Corporation するとどうなる？ 13
14. © LY Corporation A/Bテストが 壊れる！ 14
15. © LY Corporation 15 例：A/Aテストでp値が⼀様にならない 有意⽔準が 制御できていない
16. © LY Corporation 対処法は？ 16
17. © LY Corporation 17 切断して歪みを減らそう
18. © LY Corporation 切断すると どう嬉しい？ 18
19. © LY Corporation 正規分布への 収束が 早くなる！ 19
20. © LY Corporation • 独⽴同⼀分布に従う確率変数 𝑋! の平均を 𝜇 、分散を 𝜎" 、 3次中⼼モーメントを 𝑚# = 𝐸 𝑋! − 𝜇 # 、歪度を 𝛾$ = ⁄ 𝑚# 𝜎# とする • 中⼼化された変数 𝑌! = 𝑋! − 𝜇 の特性関数𝜙% 𝑡 = 𝐸 𝑒!&%! を3次の項まで テイラー展開する • 𝜙% 𝑡 ≈ 1 − '"&" " − 𝑖 (#&# ) 20 厳密な証明は難しいのでお気持ちだけ 特性関数からお気持ちを理解する よくある計算例だと 2次の項まで計算している ことが多い
21. © LY Corporation • 標準化した和 S* = ∑!$% & ,!-. ' * の特性関数 𝜙/& 𝑡 = 𝜙% ⁄ 𝑡 𝜎 𝑛 * を展開 • 𝜙/& 𝑡 ≈ 𝑒 ⁄ -&" " 1 − 𝑖 1% ) 𝑡# • 実はS* の歪度 Skew S2 は Skew S2 = 1% * であることが知られている • 𝜙/& 𝑡 ≈ 𝑒 ⁄ -&" " 1 − 𝑖 /345 /' ) 𝑡# 21 歪度と収束の関連 標準正規分布 の項 歪度が 影響する項 Skew 𝑺𝒏 が0に 近いと嬉しい！ 分⼦に歪度が登場 ＊1標本t検定の例になっていることに注意
22. © LY Corporation 歪度が 関係している から何なの？ 22
23. © LY Corporation • 切断する際の閾値は我々の⼿で決める必要がある • 閾値の候補数の分だけサンプルサイズ設計→A/Aテストを⾏うと、 サンプルサイズによっては計算コストが⾼い • リサンプリングを要するシミュレーション実験を何万回も⾏う 必要があるため • ある閾値のもとで、 Skew S2 = 1% * を計算するのは簡単 • 平均や分散と計算コストがほぼ同じ • A/Aテストを⾏う前のヘルスチェックとして有⽤か • 実⽤上は歪度による収束の簡易チェック→A/Aテストの流れが 良さそう！ 23 歪度を使って計算コストを減らす
24. © LY Corporation • ⺟集団の分布を切断（truncated）していると解釈できる • 本当に切断していい？ • 例：ヘビーユーザーの⾏動は施策によって変化しないと仮定する • 推定された効果はATE（Average Treatment Effect）ではなくなる • 「歪度が0に近い」の基準がない • カバ本p197で⾔及があるが、あくまで経験則 • （未検証）切断しても収束しない可能性がある • 切断前後で平均分散も変化することにより、サンプルサイズ設計で 計算されたサンプルサイズも変化するため 24 切断は⽤法容量を守ってね！ 注意点など
25. © LY Corporation まとめ 25
26. © LY Corporation いい分析をして t検定に夢を ⾒せてあげよう！ 26