データ分析をはじめよう/lets_start_data_analysis

Transcript

1. 1 2026.04.18 Tokyo.R #120 データ分析をはじめよう 要約・可視化・比較・仮説・検定
2. 2 今日やること • 要約しよう • 可視化しよう • 比べよう • 仮説と検定
3. 3 要約しよう • データはそのままだとわかりにくい • 一言で説明したい データ：10, 12, 13, 15, 1000 合計：1050
4. 4 平均値 • 合計÷データ件数 データ：10, 12, 13, 15, 1000 平均値：210
5. 5 中央値 • 真ん中の値 データ：10, 12, 13, 15, 1000 中央値：13
6. 6 平均値 vs 中央値 データ：10, 12, 13, 15, 1000 平均値：210 中央値：13 どちらが実態に近い？ 中央値は外れ値の影響を受けにくい →頑健（ロバスト）
7. 7 バラツキ • 全員50点 • 0点と100点 平均は同じだけど、なんか違う
8. 8 分散・標準偏差 データ：10, 12, 14 偏差： 10-12, 12-12, 14-12 分散：偏差の2乗の平均 標準偏差：分散の平方根 1 3 (10 − 12)2+(12 − 12)2+(14 − 12)2
9. 9 可視化（ヒストグラム） x <- rnorm(500, mean=0, sd = 1) hist(x) データの要約だけではなく 分布の形をみる。
10. 10 可視化（箱ひげ図） x <- rnorm(500, mean=0, sd = 1) y <- rnorm(500, mean=1, sd = 2) boxplot(list(x=x, y=y)) 複数の分布を比較
11. 11 データ分析事例：割引券の効果 割引券を配ったら平均単価が増えました。 したがって割引券には効果があります。 とは言えません。 配らなくても増えていたかも。
12. 12 比べよう 実験：顧客を2つに分ける • グループA：割引券あり • グループB：割引券なし 注意：よく混ぜよう 偏りのない公平な比較をしましょう。
13. 13 実験結果 Aの平均単価が高い
14. 14 実験結果 Aの平均単価が高い 反論 本当に差はあるの？
15. 15 仮説検定 1. 仮説をたてる 2. 標本分布を予測 3. 有意水準を決める 4. 標本を集める 5. p値で判断
16. 16 仮説検定：仮説をたてる 例） 2つのグループの平均値が等しい
17. 17 仮説検定：標本分布を予測 標本分布：仮説が成り立つ場合に、標本の統計量が 従うであろう確率分布 例） 標本のt値（平均値のズレ）の分布
18. 18 仮説検定：有意水準を決める 判定基準となるしきい値
19. 19 仮説検定：標本からp値を求める p値：仮説が正しいと仮定した場合、標本と同じか、 標本よりも極端な統計量を得る確率。
20. 20 仮説検定：p値で判断 p値があらかじめ設定した有意水準より小さければ そもそも仮説が間違っていたのだ。
21. 21 やってはいけない • 標本を観測してから仮説をたてる • 有意になるまで観測を続ける • 有意になったらそこで観測をやめる • p値を求めてから有意水準を決める 順番が大事 仮説 → 標本分布 → 有意水準 → 標本 → p値
22. 22 こんな仮説はダメ 「2023年に比べて2024年の売上が伸びたのは、関東 の調子がよかったからではないかという仮説をたて ました！」 • 仮説が先です。データは後。 • 今から2024年のデータを取るの？ • 関東の調子がよかった世界と調子が悪かった世界 2つ用意できる？
23. 23 p値の誤解 「仮説が正しい確率」ではありません。 「データが偶然で生じる確率」ではありません。 正しい解釈：仮説が正しいと仮定した場合、標本 と同じか、標本よりも極端な統計量を得る確率。
24. 24 有意差があればいいの？ 実験でほとんど差がなかった。 どうしよう。 仮説検定をやってみよう。 やった！有意差が出たぞ。
25. 25 有意差があれば効果があるの？ 割引券を配ると儲かるのか、損するのか 仮説検定だけでは判断できません。 仮説検定では差の大きさはわかりません。 • 有意とはすごいことが起きたわけではない。 • 有意だけで何かを判断できるわけではない。
26. 26 標本の大きさ 標本の大きさ（サンプルサイズ、データ数） 大きすぎるとよくない。ほんの小さな差でも有意 になってしまうから。という考えが主流ですが… • 有意とはすごいことが起きたわけではない。 • 有意だけで何かを判断できるわけではない。
27. 27 正規性の検定の悩ましさ • 「正規分布に従うとは言えない」と主張できる 道具。 • データが多いほど、正規分布からの小さなズレ も有意と判定。 • 多重検定に気をつけて。
28. 28 今日のお話 • 要約しよう • 可視化しよう • 比べよう • 仮説と検定
29. 29 今日のお話 • 要約しよう • 可視化しよう • 比べよう • 仮説と検定 記述統計の世界 推測統計の世界