【新卒研修資料】基礎統計学 / Basic of statistics

株式会社ブレインパッドの2023年新卒研修資料です。基礎統計学について扱っています。

※ 本資料の公開は、ブレインパッドをもっとオープンにする取り組みOpenBPの活動です。
[OpenBrainPad Project]
https://brainpad.github.io/OpenBrainPad/

Transcript

1. Analytics Innovation Company ©BrainPad Inc. Strictly 0 【新卒研修】基礎統計学 株式会社ブレインパッド 2023年5月9日・10日
2. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 1 本研修の流れ 統計学 1 統計学の枠組みについて学びます 記述統計学 2 データを解釈する上で重要な記述統計学について学びます 確率と確率分布 3 推測統計学の基礎となる確率の概念について学びます 推測統計学 4 推定、検定などの推測統計学の手法について学びます バイアス 5 データの解釈の上で注意すべきバイアスについて学びます
3. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 2 目次 1. 統計学 1-1. 統計学とは 1-2. 統計学を学ぶ意義 1-3. 統計学の種類 1-4. データの種類 2. 記述統計学 2-1. 記述統計学とは 2-2. １変数データの記述 2-3. ２変数データの記述 2-4. 相関係数の解釈上の注意 3. 確率と確率分布 3-1. なぜ確率を学ぶのか 3-2. 確率 3-3. 確率変数 3-4. 代表的な確率分布 3-5. 大数の法則と中心極限定理 3-6. ベイズの定理 4. 推測統計学 4-1. 推測統計学とは 4-2. 点推定 4-3. 検定 4-4. 区間推定 4-5. 回帰分析 5. バイアス 5-1. バイアスとは 5-2. 選択バイアス 5-3. 情報バイアス 5-4. 交絡バイアス
4. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 3 1. 統計学
5. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 4 目次 1. 統計学 1-1. 統計学とは 1-2. 統計学を学ぶ意義 1-3. 統計学の種類 1-4. データの種類 2. 記述統計学 2-1. 記述統計学とは 2-2. １変数データの記述 2-3. ２変数データの記述 2-4. 相関係数の解釈上の注意 3. 確率と確率分布 3-1. なぜ確率を学ぶのか 3-2. 確率 3-3. 確率変数 3-4. 代表的な確率分布 3-5. 大数の法則と中心極限定理 3-6. ベイズの定理 4. 推測統計学 4-1. 推測統計学とは 4-2. 点推定 4-3. 検定 4-4. 区間推定 4-5. 回帰分析 5. バイアス 5-1. バイアスとは 5-2. 選択バイアス 5-3. 情報バイアス 5-4. 交絡バイアス
6. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 5 1-1. 統計学とは 統計学とはデータから妥当な結論を導くための論理体系 統計学は不確実性を持ったデータを理解するための方法を与えてくれる。 単一のデータからは何も言えなくても、データを集めることにより、統計学を 用いた解釈が可能になる。 表 表 表 表 表 表 裏 表 表 表 裏 表 表 表 裏 表 1つのデータのみから妥当な結論を導くことは困難 複数のデータを集めると、統計学を用いて 仮説の妥当性の検証が可能になる コインに歪みがないかの検証 例
7. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 6 1-2. 統計学を学ぶ意義 統計学は客観的な意思決定に活用できる 例えば、統計学は施策の優劣を客観的に判断するための材料として活用できる。 Webページの構成の比較 例 A B 購入率：19% 購入率：14% Aの方が購入率が高いが、その差に意味があるかを判断するために統計学の知識を活用し、 客観的な意思決定を支援する。
8. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 7 1-3. 統計学の種類 統計学は記述統計学と推測統計学の2つに大別できる 記述統計学 得られたデータをより深く解釈するための整理・要約の方法 推測統計学 興味の対象である母集団から得た一部のデータから全体の母集団を推測する方法 母集団 （日本人の身長） 抽出 母集団の特徴を推測 データ 165cm 171cm 163cm ⋯ 平均 49 分散 365.3 標準偏差 19.1 中央値 49 第一四分位点 34 第三四分位点 62
9. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 8 1-4. データの種類 データはカテゴリ値である質的変数と数量である量的変数に 区別され、更に尺度ごとに分類できる 区分 尺度 解釈 例 質的変数 名義尺度 値が同じかどうかのみが意味を持つ 性別（男性、女性） 順序尺度 値の順序が意味を持つ 成績評価（優、良、可) 量的変数 間隔尺度 値の間隔は意味を持つが比率は意味を持たない ※ 原点0は相対的な意味しか持たない 摂氏での気温 ※ 気温において、10℃は1℃の10倍 暑いという表現はしない。 つまり、比率に意味がない。 比例尺度 値の間隔、比率ともに意味を持つ ※ 原点0が絶対的な意味を持つ 身長、体重、年齢 ※ 体重において、20kgは10kgの2倍 重いという表現ができる。 つまり、比率に意味がある。
10. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 9 1. まとめ • 統計学はデータから妥当な結論を導く論理体系であり、客観的な意思決定に 活用できる • 統計学は次の２つに大別できる • 記述統計学：データの整理・要約する方法 • 推測統計学：データを生成する背後の母集団について推測する方法 • データはその種類に応じて質的変数や量的変数に分類される
11. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 10 2. 記述統計学
12. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 11 目次 1. 統計学 1-1. 統計学とは 1-2. 統計学を学ぶ意義 1-3. 統計学の種類 1-4. データの種類 2. 記述統計学 2-1. 記述統計学とは 2-2. １変数データの記述 2-3. ２変数データの記述 2-4. 相関係数の解釈上の注意 3. 確率と確率分布 3-1. なぜ確率を学ぶのか 3-2. 確率 3-3. 確率変数 3-4. 代表的な確率分布 3-5. 大数の法則と中心極限定理 3-6. ベイズの定理 4. 推測統計学 4-1. 推測統計学とは 4-2. 点推定 4-3. 検定 4-4. 区間推定 4-5. 回帰分析 5. バイアス 5-1. バイアスとは 5-2. 選択バイアス 5-3. 情報バイアス 5-4. 交絡バイアス
13. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 12 2-1. 記述統計学とは 得られたデータの特徴を整理・要約するための方法 階級 度数 相対度数 累積相対度数 0以上10未満 3 0.20 0.20 10以上20未満 11 0.07 0.27 20以上30未満 33 0.07 0.33 30以上40未満 49 0.00 0.33 40以上50未満 53 0.20 0.53 50以上60未満 55 0.20 0.73 60以上70未満 45 0.07 0.80 70以上80未満 27 0.00 0.80 80以上90未満 11 0.13 0.93 90以上100以下 8 0.07 1.00 平均 49 分散 365.3 標準偏差 19.1 中央値 49 第一四分位点 34 第三四分位点 62 度数分布表 ヒストグラム 代表値の算出 箱ひげ図 整理・要約 番号 国語の点数 1 56 2 44 3 36 4 63 5 28 6 51 7 74 8 30 9 62 10 65 ⋮ ⋮ 294 44 295 72 データ
14. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 13 2-2. １変数データの記述｜度数分布表 度数分布表によりデータの概観を把握できる 度数分布表 データを複数の区間に分割し、各区間にどれほどデータがあるかをまとめた表 • データの概観を把握できる 番号 国語の点数 1 56 2 44 3 36 4 63 5 28 6 51 7 74 8 30 9 62 10 65 ⋮ ⋮ 294 44 295 72 階級 度数 相対度数 累積相対度数 0以上10未満 3 0.20 0.20 10以上20未満 11 0.07 0.27 20以上30未満 33 0.07 0.33 30以上40未満 49 0.00 0.33 40以上50未満 53 0.20 0.53 50以上60未満 55 0.20 0.73 60以上70未満 45 0.07 0.80 70以上80未満 27 0.00 0.80 80以上90未満 11 0.13 0.93 90以上100以下 8 0.07 1.00 • 度数 ：各階級に含まれるデータの数 • 相対度数 ：各度数が全体に占める割合 • 累積相対度数：相対度数を累積したもの データ 度数分布表
15. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 14 2-2. １変数データの記述｜ヒストグラム ヒストグラムによりデータの分布の傾向を把握できる ヒストグラム 度数分布表を可視化したもの • データの分布の傾向を把握できる • 後述の確率分布に通じてくる 階級 度数 0以上10未満 3 10以上20未満 11 20以上30未満 33 30以上40未満 49 40以上50未満 53 50以上60未満 55 60以上70未満 45 70以上80未満 27 80以上90未満 11 90以上100以下 8 度数分布表 ヒストグラム
16. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 15 2-2. １変数データの記述｜要約統計量 要約統計量によりデータを定量的に把握できる 代表値 意味 数式 平均 データの重心 ҧ 𝑥 = 1 𝑛 ෍ 𝑖=1 𝑛 𝑥𝑖 分散 データの散らばりの程度 𝑠2 = 1 𝑛 ෍ 𝑖=1 𝑛 𝑥𝑖 − ҧ 𝑥 2 標準偏差 データの散らばりの程度 𝑠 = 𝑠2 最小値 データの中で最も小さい値 ー 最大値 データの中で最も大きい値 ー 中央値 データを昇順に並べた時に中央にくる値 ー 第一四分位点 データを昇順に並べたときに前から25%にくる値 ー 第三四分位点 データを昇順に並べたときに前から75%にくる値 ー 最頻値 データの中で最も多い度数を示す値 ー
17. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 16 2-2. １変数データの記述｜箱ひげ図 箱ひげ図によりデータのばらつきを視覚的に把握できる 箱ひげ図 データの分位点（最大値、最小値、中央値、第一四分位数、第三四分位数）を 可視化したグラフ • データの散らばりを視覚的に把握できる • 他のデータと分布の比較を容易に行える * ヒゲの上端を、（第三四分位点 + 1.5 × IQR ）より小さい最大値、下端を（第一四分位点 + 1.5 × IQR ）より大きい 最小値で表し、ヒゲの外側に存在するデータ点を「外れ値」としてプロットする場合もある。 最大値 96 第三四分位点 62 中央値 49 第一四分位点 34 最小値 2 要約統計量 最大値 第三四分位点 中央値 第一四分位点 最小値 四分位範囲 （IQR） 箱ひげ図
18. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 17 2-3. ２変数データの記述｜散布図 散布図により２つの変数の間の関係性を把握できる 散布図 縦軸、横軸に異なる変数を対応させ、各データ点をプロットしたグラフ • ２つの変数の関係性を視覚的に把握できる 番号 国語の点数 算数の点数 1 56 39 2 44 44 3 36 26 4 63 53 5 28 31 6 51 49 7 74 66 8 30 39 9 62 73 10 65 71 ： ： ： 294 44 39 295 72 65 データ 散布図
19. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 18 2-3. ２変数データの記述｜共分散 ２つの変数の間の関係性の強さを表す量として共分散がある 共分散 データの関係性の強さを表した量 𝑠𝑥𝑦 = 1 𝑛 ෍ 𝑖=1 𝑛 𝑥𝑖 − ҧ 𝑥 𝑦𝑖 − ത 𝑦 • 𝑥が増加するほど𝑦も増加するという関係のとき 共分散は正の値を取る • 𝑥が増加するほど𝑦が減少するという関係のとき 共分散は負の値を取る 共分散はデータのスケールに依存する ▶ 定量的な関係の把握のためには相関係数を用いる ҧ 𝑥 − + − + 𝑥𝑖 − ҧ 𝑥 𝑦𝑖 − ത 𝑦 の値 ത 𝑦
20. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 19 2-3. ２変数データの記述｜相関係数 相関係数により２変数の関係性の強さを定量的に把握できる 相関係数 共分散がデータのスケールに依存しないように、それぞれの標準偏差で除した量 • 相関係数は-1から1の間の値を取る（1ほど正の相関が強く、-1ほど負の相関が強い） ※ 相関係数は２つの変数間の線形関係の強さを表す指標 ▶ 非線形な関係性は実際に散布図を見て確認することが重要 𝑟 = 𝑠𝑥𝑦 𝑠𝑥 𝑠𝑦 = σ 𝑖=1 𝑛 𝑥𝑖 − ҧ 𝑥 𝑦𝑖 − ത 𝑦 σ 𝑖=1 𝑛 𝑥𝑖 − ҧ 𝑥 2 σ 𝑖=1 𝑛 𝑦𝑖 − ത 𝑦 2 正の相関が強い 負の相関が強い
21. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 20 相関係数はあくまで、２つの変数を観察したときの関係の強さを測る指標。 相関が大きいことは、必ずしも変数の間に因果関係があることを意味しない。 2-4. 相関係数の解釈上の注意｜相関と因果 相関関係は因果関係を意味するとは限らない 参考：[【統計用語】疑似相関とは - AI Academy Media] https://aiacademy.jp/media/?p=3318 アイスの売り上げと水難事故 例 アイスの売り上げが伸びると、水難事故の件数も増える。 このことから、アイスが水難事故の原因と推測するのは誤り。 実際は、気温の高さが共通の原因になっていると考えられる。 気温 アイスの 売り上げ 水難事故 の件数 疑似相関 このように、２つの変数に因果関係が無いにも 関わらず、背後にある要因によって相関係数が 高くなる現象を疑似相関という。
22. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 21 2-4. 相関係数の解釈上の注意｜見せかけの回帰 無関係な時系列データについて相関が高くなることがある 一見２つの系列には負の相関があるように見えるが、実はこれらは全く無関係にランダムに 生成した時系列である。 このように、ある特定の時系列データ*に対しては、全く無関係でも相関が高くなる現象を 見せかけの回帰という。 時系列データについて相関を確認するときは注意を要する。 * 具体的には、単位根過程と呼ばれる時系列である。 ** 見せかけの回帰についてより詳しくは、例えば「経済・ファイナンスデータの計量時系列分析」などを参照してほしい。
23. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 22 2. まとめ • 記述統計学はデータを整理・要約するための方法である • データの表現方法には度数分布表、ヒストグラム、箱ひげ図、散布図がある • １変数データを要約した量としては平均、分散、中央値などがある • ２変数データの関係性の強さを表す量として共分散、相関係数がある • 相関関係を因果関係と混同しない、また時系列間で相関を取るときは注意する
24. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 23 3. 確率と確率分布
25. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 24 目次 1. 統計学 1-1. 統計学とは 1-2. 統計学を学ぶ意義 1-3. 統計学の種類 1-4. データの種類 2. 記述統計学 2-1. 記述統計学とは 2-2. １変数データの記述 2-3. ２変数データの記述 2-4. 相関係数の解釈上の注意 3. 確率と確率分布 3-1. なぜ確率を学ぶのか 3-2. 確率 3-3. 確率変数 3-4. 代表的な確率分布 3-5. 大数の法則と中心極限定理 3-6. ベイズの定理 4. 推測統計学 4-1. 推測統計学とは 4-2. 点推定 4-3. 検定 4-4. 区間推定 4-5. 回帰分析 5. バイアス 5-1. バイアスとは 5-2. 選択バイアス 5-3. 情報バイアス 5-4. 交絡バイアス
26. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 25 3-1. なぜ確率を学ぶのか 推測統計学では、確率的な概念を利用して母集団やそこから 得られるデータをモデル化する 確率変数 𝑋1 , 𝑋2 , … , 𝑋𝑛 確率分布 𝐹𝜃 母集団 （日本人の身長） モデル化 抽出 母集団の特徴を推測 ランダムサンプル 未知パラメータ𝜃を推測 データ 165cm 171cm 163cm ⋯ 𝜃
27. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 26 3-2. 確率｜事象と確率 確率とは各イベントの相対的な起こりやすさを表す量である • 標本空間：全ての起こり得る結果を集めたもの • 標本点 ：起こり得る結果の単位 • 事象 ：起こり得る結果の集まり（イベント） • 確率 ：事象の相対的な起こりやすさを表す量 事象𝐴に対してその確率を𝑃 𝐴 と表す • 各標本点がそれぞれの出る目に対応 • 事象𝐴：「3以下の目が出る」 • 事象𝐵：「偶数の目が出る」 • 事象𝐴, 𝐵それぞれの確率 𝑃 𝐴 = 𝑃 𝐵 = 3 6 = 1 2 事象𝐵 事象𝐴 1 2 3 4 5 6 標本空間 標本点 サイコロ投げ 例
28. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 27 3-2. 確率｜事象の演算 事象に対しては以下の演算ができる 用語 説明 ベン図 サイコロの例 和事象 𝐴 ∪ 𝐵 「𝐴または𝐵が起こる」という事象 {1, 2, 3, 4, 6} 積事象 𝐴 ∩ 𝐵 「𝐴かつ𝐵が起こる」という事象 {2} 余事象 𝐴𝑐 「𝐴が起こらない」という事象 {4, 5, 6} 全事象 Ω 起こり得る全ての結果をまとめた事象 1, 2, 3, 4, 5, 6 空事象 ∅ 存在しない事象 ー • 事象𝐴：「3以下の目が出る」 • 事象𝐵：「偶数の目が出る」 ※ 𝐴と𝐵の積事象が空事象であるとき２つは 排反であるという（同時に起きない） 事象𝐵 事象𝐴 1 2 3 4 5 6 標本空間 標本点 サイコロ投げ 例
29. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 28 3-2. 確率｜確率の性質 確率は以下のようないくつかの性質を満たす 1. 任意の事象𝐴に対して次が成り立つ。 2. 全事象Ωに対して次が成り立つ。 3. 互いに排反な事象の列𝐴1 , 𝐴2 , …に対して次が成り立つ。 上の性質から以下のような基本的な性質が導かれる。 * この講義では便宜上、確率の満たす性質として紹介しているが、数学的な立場ではこの3つの性質（確率の公理）を 満たすようなものとして確率を定義する。 • 𝐴 ⊂ 𝐵 ならば 𝑃 𝐴 ≤ 𝑃(𝐵) • 𝑃 ∅ = 0 • 𝑃 𝐴𝑐 = 1 − 𝑃 𝐴 • 𝑃 𝐴 ∪ 𝐵 = 𝑃 𝐴 + 𝑃 𝐵 − 𝑃 𝐴 ∩ 𝐵 0 ≤ 𝑃 𝐴 ≤ 1 𝑃 Ω = 1 𝑃 𝐴1 ∪ 𝐴2 ∪ ⋯ = 𝑃 𝐴1 + 𝑃 𝐴2 + ⋯
30. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 29 3-2. 確率｜条件付き確率 ある事象が起こったという条件の下で他の事象が起こる 確率を条件付き確率という 条件付き確率 事象𝐵が起こった下での事象𝐴の起こる確率 𝑃 𝐴 𝐵 = 𝑃 𝐴 ∩ 𝐵 𝑃 𝐵 • 事象𝐴：「3以下の目が出る」 • 事象𝐵：「偶数の目が出る」 • 𝐵が与えられた下での𝐴の条件付き確率 𝑃 𝐴 𝐵 = 𝑃 𝐴 ∩ 𝐵 𝑃 𝐵 = Τ 1 6 Τ 1 2 = 1 3 事象𝐵 事象𝐴 1 2 3 4 5 6 標本空間 標本点 サイコロ投げ 例
31. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 30 3-2. 確率｜事象の独立性 ある事象が起こったことが別の事象が起こるかどうかに ついて情報を与えないとき、２つの事象は独立であるという ２つの事象𝐴と𝐵が独立であるとは、次を満たすこと。 これは、条件付き確率を用いると次のように書ける。 つまり、事象𝐵が起こったかどうかによって事象𝐴が起こる確率は変わらない。 𝑃 𝐴 ∩ 𝐵 = 𝑃 𝐴 × 𝑃 𝐵 𝑃 𝐴 𝐵 = 𝑃 𝐴 ∩ 𝐵 𝑃 𝐵 = 𝑃 𝐴 サイコロ投げ 例 大小二つのサイコロを投げたとき、「大きいサイコロの目が偶数である」という事象は 「小さいサイコロの目が奇数である」という事象と独立。
32. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 31 3-3. 確率変数｜確率変数と確率分布 取る値が確率的に決まる変数を確率変数、その値の取り方を 確率分布という 「2つのサイコロの出た目の和」を確率変数𝑋とすると、その確率分布は次の表で表される。 ある確率変数𝑋の分布が𝐹であるとき、𝑋は𝐹に従うといい と書く。 𝑥 2 3 4 5 6 7 8 9 10 11 12 𝑃 𝑋 = 𝑥 1 36 2 36 3 36 4 36 5 36 6 36 5 36 4 36 3 36 2 36 1 36 サイコロ投げ 例 𝑋 ∼ 𝐹
33. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 32 3-3. 確率変数｜離散型確率変数と連続型確率変数 確率変数は離散型と連続型に分類される 離散型確率変数 離散的な値を取る確率変数 連続型確率変数 連続的な値を取る確率変数 サイコロの目、コインの裏表、事故の件数など 例 気温、身長、体重など 例
34. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 33 3-3. 確率変数｜確率関数と確率密度関数 離散型確率変数に対する分布は確率関数で表現される 離散型確率変数𝑋に対して、次の関数を確率関数という。 確率関数は次の性質を満たす。 𝑝 𝑥 = 𝑃 𝑋 = 𝑥 1. 0 ≤ 𝑝 𝑥 ≤ 1, 2. ෍ 𝑥 𝑝(𝑥) = 1 二項分布 例
35. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 34 3-3. 確率変数｜確率関数と確率密度関数 連続型確率変数に対する分布は確率密度関数で表現される 連続型確率変数𝑋に対して、次の性質を満たす関数𝑓 𝑥 を確率密度関数という。 ※ 連続型確率変数ではある1点の値を取る確率は必ず0になるため、このような定義が必要となる。 確率密度関数は次の性質を満たす。 面積（積分値）が確率に対応 𝑃 𝑎 ≤ 𝑋 < 𝑏 = න 𝑎 𝑏 𝑓 𝑥 𝑑𝑥 1. 𝑓 𝑥 ≥ 0, 2. න −∞ ∞ 𝑓 𝑥 𝑑𝑥 = 1 正規分布 例
36. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 35 3-3. 確率変数｜同時分布と周辺分布 複数の確率変数に対する分布も考えられる 同時分布：2つの確率変数を合わせた分布 離散型（同時確率関数） 連続型（同時確率密度関数）：次の性質を満たす関数 𝑓𝑋,𝑌 𝑥, 𝑦 周辺分布：片方の確率変数のみに着目したときの分布 離散型 連続型 多次元の時も同様の定義。 周辺分布 𝑓𝑌 𝑦 同時分布 𝑓𝑋,𝑌 𝑥, 𝑦 𝑝𝑋,𝑌 𝑥, 𝑦 = 𝑃 𝑋 = 𝑥, 𝑌 = 𝑦 𝑃 𝑎 ≤ 𝑋 < 𝑏, 𝑐 ≤ 𝑌 < 𝑑 = න 𝑐 𝑑 න 𝑎 𝑏 𝑓𝑋,𝑌 𝑥, 𝑦 𝑑𝑥𝑑𝑦 𝑝𝑋 𝑥 = ෍ 𝑦 𝑝𝑋,𝑌 𝑥, 𝑦 𝑓𝑋 𝑥 = න −∞ ∞ 𝑓𝑋,𝑌 𝑥, 𝑦 𝑑𝑦
37. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 36 3-3. 確率変数｜条件付き分布と確率変数の独立性 事象と同様に確率変数の条件付き分布・独立性が考えられる 条件付き分布：片方の確率変数の値がわかった下での他方の確率変数の分布 離散型 連続型 ２つの確率変数𝑋と𝑌が独立であるとは、次を満たすこと。 離散型 連続型 これは、条件付き確率を用いると次のように書ける。 離散型 連続型 𝑝𝑋|𝑌 𝑥|𝑦 = 𝑝𝑋,𝑌 (𝑥, 𝑦) 𝑝𝑌 𝑦 𝑓𝑋|𝑌 𝑥|𝑦 = 𝑓𝑋,𝑌 (𝑥, 𝑦) 𝑓𝑌 𝑦 𝑓𝑋,𝑌 𝑥, 𝑦 = 𝑓𝑋 𝑥 𝑓𝑌 𝑦 𝑝𝑋|𝑌 𝑥|𝑦 = 𝑝𝑋 𝑥 𝑓𝑋|𝑌 𝑥|𝑦 = 𝑓𝑋 𝑥 𝑝𝑋,𝑌 𝑥, 𝑦 = 𝑝𝑋 𝑥 𝑝𝑌 𝑦 条件付き分布 𝑓𝑋|𝑌 𝑥|𝑦 同時分布 𝑓𝑋,𝑌 𝑥, 𝑦
38. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 37 3-3. 確率変数｜期待値と分散 分布を特徴付ける量の一種として期待値、分散がある 期待値 分布の重心を表す（平均ともいう） 分散 分布の散らばりを表す 𝐸 𝑋 = ෍ 𝑥 𝑥𝑝 𝑥 න 𝑥𝑓 𝑥 𝑑𝑥 𝑉 𝑋 = 𝐸 𝑋 − 𝐸 𝑋 2 （離散型） （連続型）
39. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 38 3-3. 確率変数｜期待値と分散の性質 期待値、分散は以下の性質を満たす 期待値の性質 1. （期待値の線形性） 2. 𝑋と𝑌が独立ならば次を満たす。 分散の性質 1. （線形変換に対する性質） 2. 𝑋と𝑌が独立ならば次を満たす。 𝐸 𝑎𝑋 + 𝑏𝑌 = 𝑎𝐸 𝑋 + 𝑏𝐸 𝑌 𝐸 𝑋𝑌 = 𝐸 𝑋 𝐸 𝑌 𝑉 𝑋 + 𝑌 = 𝑉 𝑋 + 𝑉 𝑌 𝑉 𝑎𝑋 + 𝑏 = 𝑎2𝑉 𝑋
40. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 39 3-3. 確率変数｜中央値と上側𝜶点 確率分布の中での相対的な位置を表す量として、中央値や 上側𝛼点がある 連続型確率変数𝑋に対し を満たす値𝑥を分布の中央値という。 より一般に、連続型確率変数𝑋に対し を満たすような値𝑥𝛼 を上側𝛼点という。 * 離散型確率変数については上記の性質を満たすような値が一意に定まらないため、より厳密な定義の仕方が必要となる。 詳細については割愛する。 𝑃 𝑋 > 𝑥𝛼 = 𝛼 𝑃 𝑋 ≤ 𝑥 = 𝑃 𝑋 > 𝑥 = 1 2 1 2 1 2 𝛼 1 − 𝛼
41. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 40 3-4. 代表的な確率分布 様々な分布を用いて現実の事象をモデル化することができる 以下では代表的な分布を紹介する。 分布の集まりの中で、一つの分布を特徴づける量をパラメータ（母数）という。 パラメータの個数は分布の種類によって様々。 表が出る確率𝑝が分布を特徴づけるパラメータ。 離散分布 • 二項分布 • ポアソン分布 • 負の二項分布 • 幾何分布 • 超幾何分布 • 多項分布 連続分布 • 正規分布 • 指数分布 • ガンマ分布 • 𝑡分布 • 𝜒2分布 • 𝐹分布 • 一様分布 コイン投げ 例
42. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 41 二項分布 𝐵𝑖𝑛(𝑛, 𝑝) • 「表が出る確率が𝑝であるコインを𝑛枚投げたときに表が出る回数」が従う分布 • 𝑛 → ∞, 𝑝 → 0の極限でポアソン分布に近づく* • 多次元に一般化したものを多項分布という 3-4. 代表的な確率分布｜二項分布（離散分布） * より正確には𝑛𝑝を一定に保ったまま𝑛を大きくしたときの極限を考える。 母数 0 ≤ 𝑝 ≤ 1, 𝑛 ≥ 0 平均 𝑛𝑝 分散 𝑛𝑝 1 − 𝑝 𝑝 𝑥 = 𝑛 𝐶𝑥 𝑝𝑥 1 − 𝑝 𝑛−𝑥 (𝑥 = 0,1, … , 𝑛) （整数）
43. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 42 ポアソン分布 𝑃𝑜(𝜆) • 「稀にしか起らないイベント」を大量に観測したとき、そのイベントの回数は ポアソン分布に従う（典型的には事故の発生件数など） • 二項分布で𝑛 → ∞, 𝑝 → 0としたときの極限として得られる 3-4. 代表的な確率分布｜ポアソン分布（離散分布） * より正確には𝑛𝑝を一定に保ったまま𝑛を大きくしたときの極限を考える。 𝑝 𝑥 = 𝜆𝑥 𝑥! 𝑒−𝜆 (𝑥 = 0,1, … ) 母数 𝜆 > 0 平均 𝜆 分散 𝜆
44. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 43 正規分布 𝑁(𝜇, 𝜎2) • 統計における最も基本的な分布 • 様々な不確かさを表現する分布としてよく用いられる（測定誤差など） • 平均0、分散1の正規分布を標準正規分布と呼ぶ 3-4. 代表的な確率分布｜正規分布（連続分布） 𝑓 𝑥 = 1 2𝜋𝜎2 exp − 𝑥 − 𝜇 2 2𝜎2 −∞ < 𝑥 < ∞ 母数 𝜇, 𝜎 > 0 平均 𝜇 分散 𝜎2
45. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 44 3-5. 大数の法則と中心極限定理 大数の法則と中心極限定理は、サンプルを大きくしたときの 標本平均の振る舞いを説明する 𝑋1 , … , 𝑋𝑛 を平均𝜇, 分散𝜎2の任意の同一の確率分布に独立に従う確率変数とする。 大数の法則 𝑛を大きくすると標本平均 ത 𝑋 = Τ 𝑋1 + ⋯ + 𝑋𝑛 𝑛 は真の平均に近づく。 中心極限定理 𝑛を大きくすると標本平均は真の平均を中心とした正規分布に近づく。 • いずれの定理も標本平均が真の平均に近づくことを意味するが、中心極限定理はその近づいた時の 振る舞いをより詳細に教えてくれている • 統計では正規分布に近似するテクニックを多用するが、それらの多くは中心極限定理に基づいている * ここでいう「近づく」とはある意味での収束を意味し、その収束の意味は大数の法則、中心極限定理それぞれで異なる。 気になる方は「確率変数の収束」で調べてみて下さい。 ത 𝑋 → 𝜇 𝑛 ത 𝑋 − 𝜇 → 𝑁(0, 𝜎2)
46. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 45 • 𝑛が十分大きくなると真の平均0.5の近くに値が集中する（大数の法則） • また、その分布は正規分布の形に近づく（中心極限定理） 3-5. 大数の法則と中心極限定理｜イメージ 𝑋1 , … , 𝑋𝑛 ∼ 𝑝 𝑥 𝑝 𝑥 = ቊ 0.5 𝑥 = 0 0.5 𝑥 = 1 という分布に独立に従う乱数から計算した標本平均 ത 𝑋のヒストグラム（ ത 𝑋は1000回繰り返し生成）
47. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 46 3-6. ベイズの定理 ベイズの定理により、事象に関する事前知識と観測結果に 基づき、原因となる事象の条件付き確率を求められる ベイズの定理 典型的には、原因𝐴が与えられたときの結果𝐵が起こる確率がわかっているとき、 ベイズの定理を用いることで、結果が与えられたときの原因の確率を求められる。 ベイズの定理に基づく統計学の体系をベイズ統計学という。 原因𝐴 結果𝐵 𝑃 𝐵 𝐴 , 𝑃(𝐵|𝐴𝑐)：既知 𝑃(𝐴|𝐵)：ベイズの定理 𝑃 𝐴|𝐵 = 𝑃 𝐵|𝐴 𝑃(𝐴) 𝑃(𝐵) = 𝑃 𝐵 𝐴 𝑃 𝐴 𝑃 𝐵 𝐴 𝑃 𝐴 + 𝑃 𝐵 𝐴𝑐 𝑃 𝐴𝑐
48. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 47 3-6. ベイズの定理｜具体例 ある検査は、ある感染症にかかっているときに99%の確率で陽性と判定できるが、 かかっていない場合でも5%の確率で陽性と誤判定してしまう。 感染者の割合が10%のとき、陽性者が実際に感染している確率はどれほどか？ 陽性 感染者 非感染者 99% 5% 10% 90% 陽性 感染者 非感染者 ？ 10% 90% 参考：[10-6. ベイズの定理の使い方 | 統計学の時間 | 統計WEB] https://bellcurve.jp/statistics/course/6448.html
49. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 48 3-6. ベイズの定理｜具体例 事象𝐴を「感染症にかかっている」、事象𝐵を「陽性と判定される」と置くと、 問題文より事象の確率は次のように求められる。 以上より、「陽性と判定された下で実際に感染症にかかっている確率」は ベイズの定理を用いて次のように求められる。 ある検査は、ある感染症にかかっているときに99%の確率で陽性と判定できるが、 かかっていない場合でも5%の確率で陽性と誤判定してしまう。 感染者の割合が10%のとき、陽性者が実際に感染している確率はどれほどか？ 𝑃 𝐴|𝐵 = 𝑃 𝐵 𝐴 𝑃 𝐴 𝑃 𝐵 𝐴 𝑃 𝐴 + 𝑃 𝐵 𝐴𝑐 𝑃 𝐴𝑐 = 0.99 × 0.1 0.99 × 0.1 + 0.05 × 0.9 = 69% 𝑃 𝐴 = 0.1, 𝑃 𝐴𝑐 = 0.9, 𝑃 𝐵 𝐴 = 0.99, 𝑃 𝐵 𝐴𝑐 = 0.05
50. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 49 3. まとめ • 確率はランダムなイベントの相対的な起こりやすさを表す量である • ランダムに値を取る変数を確率変数といい、その値の取り方を確率分布という • 代表的な確率分布としては次の３つがある。 • 二項分布：離散型、非負整数値、有限の値を取る • ポアソン分布：離散型、非負整数値、無限の値を取る • 正規分布：連続型、平均を中心としたばらつきを持つ • 大数の法則・中心極限定理はサンプル数が増えたときの標本平均の振る舞いを 説明する • ベイズの定理を用いることで、事象に関する事前知識と観測結果に基づき、 原因となる事象の条件付き確率を求められる
51. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 50 4. 推測統計学
52. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 51 目次 1. 統計学 1-1. 統計学とは 1-2. 統計学を学ぶ意義 1-3. 統計学の種類 1-4. データの種類 2. 記述統計学 2-1. 記述統計学とは 2-2. １変数データの記述 2-3. ２変数データの記述 2-4. 相関係数の解釈上の注意 3. 確率と確率分布 3-1. なぜ確率を学ぶのか 3-2. 確率 3-3. 確率変数 3-4. 代表的な確率分布 3-5. 大数の法則と中心極限定理 3-6. ベイズの定理 4. 推測統計学 4-1. 推測統計学とは 4-2. 点推定 4-3. 検定 4-4. 区間推定 4-5. 回帰分析 5. バイアス 5-1. バイアスとは 5-2. 選択バイアス 5-3. 情報バイアス 5-4. 交絡バイアス
53. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 52 4-1. 推測統計学とは
54. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 53 4-1. 推測統計学とは 推測統計では、一部のサンプルからその背後にある母集団の 特徴を推測することを目的とする * 確率変数𝑋1 , 𝑋2 , … , 𝑋𝑛 は互いに独立に同一の分布に従う（independently and identicaly distributed; i.i.d.）と考える。 確率変数 𝑋1 , 𝑋2 , … , 𝑋𝑛 確率分布 𝐹𝜃 母集団 （日本人の身長） モデル化 データ 抽出 母集団の特徴を推測 ランダムサンプル 未知パラメータ𝜃を推測 165cm 171cm 163cm ⋯ 𝜃
55. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 54 4-1. 推測統計学とは｜代表的な手法 推測統計の代表的な手法として推定、検定、区間推定がある 統計的推測 データを元にそれを生成する母集団の未知のパラメータ𝜃を推し測ること 統計的推測の手法 • 点推定 ：未知のパラメータ𝜃をピンポイントであてに行く • 検定 ：未知のパラメータ𝜃がある仮説を満たすかどうかを検証する • 区間推定 ：未知のパラメータ𝜃を高い確率で含むような区間を構成する ※ 区間推定は推定という名前がついているが、手続きとしては検定と近い関係にある。
56. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 55 4-2. 点推定
57. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 56 4-2-1. 点推定とは 推定では推定量を用いて未知パラメータを推測する 点推定では、母集団の未知パラメータをピンポイントで当てることを目的とする。 パラメータを当てるためにデータ𝑋1 , … , 𝑋𝑛 から構成した量を推定量という。 パラメータ𝜃の推定量は መ 𝜃で表すことが多い。 点推定は仮定した分布の下での母集団の特徴を把握するのに役立つ。 スーパーのとある商品の売れ行き 例 あるスーパーで商品Aの一日当たりの販売数は平均𝜆のポアソン分布𝑃𝑜 𝜆 に従うとする。 データから𝜆を推定すると መ 𝜆 = 12となり、商品Aの販売数は𝑃𝑜 12 に従うことが分かった。 未知の母集団の分布 取得されたデータ 推定された分布 ？ መ 𝜆 = 12
58. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 57 4-2-2. 点推定の基礎｜推定量の性質 推定量の満たす望ましい性質として、不偏性、一致性、 漸近正規性がある 不偏性：期待値が真のパラメータ𝜃と等しい 一致性：𝑛を大きくすると真のパラメータ𝜃に近づく 漸近正規性：𝑛を大きくすると真のパラメータ𝜃を中心とした正規分布に近づく 標本平均 ത 𝑋 は母平均 𝜇 の推定量で、不偏性、一致性、漸近正規性を満たす*。 * 標本平均が不偏性を満たすことは期待値の線形性から、一致性を満たすことは大数の法則から、漸近正規性を満たす ことは中心極限定理からわかる。 መ 𝜃 → 𝜃 𝐸 ෡ 𝜃 = 𝜃 𝑛 መ 𝜃 − 𝜃 → 𝑁 0, 𝐴 標本平均 ത 𝑋 例
59. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 58 4-2-2. 点推定の基礎｜基本的な推定量 平均、分散の代表的な推定量には以下のようなものがある 標本平均 標本平均は母平均の推定量で、不偏性、一致性、漸近正規性を満たす。 標本分散 標本分散は母分散の推定量で、一致性、漸近正規性を満たす（不偏性は満たさない*）。 不偏標本分散 不偏標本分散は母分散の推定量で、不偏性、一致性、漸近正規性を満たす。 * 推定量が不偏性を満たさないとき「バイアスがある」と表現する。 ത 𝑋 = 1 𝑛 ෍ 𝑖=1 𝑛 𝑋𝑖 ො 𝜎2 = 1 𝑛 ෍ 𝑖=1 𝑛 𝑋𝑖 − ത 𝑋 2 𝑠2 = 1 𝑛 − 1 ෍ 𝑖=1 𝑛 𝑋𝑖 − ത 𝑋 2
60. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 59 4-2-3. 最尤推定 最尤推定により汎用的に望ましい推定量を得ることができる 尤度関数：確率（密度）関数をパラメータ𝜃の関数として見たもの 尤度関数を最大化する値としてパラメータを推定する方法を最尤推定といい、 その推定量のことを最尤推定量という。 • 最尤推定量は（適切な条件の下）一致性、漸近正規性を持つ • 通常の自然な推定量は最尤推定量として得られることが多い ⋯ 𝜇について 尤度を最大化 𝐿 𝜃 = 𝑝𝜃 𝑋1 , … , 𝑋𝑛 = ෑ 𝑖=1 𝑛 𝑝𝜃 𝑋𝑖 正規分布 𝑁 𝜇, 1 例
61. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 60 ポアソン分布の尤度関数は次の通り。 計算の簡便さから通常は次の対数尤度関数を最大化する。 対数尤度を最大化する値として、次の尤度方程式の解を求める。 尤度方程式を満たす 𝜆 は መ 𝜆 = ത 𝑋 、つまり 𝜆 の最尤推定量は標本平均として得られる。 ※ このように手計算で求まる場合を除き、一般的には計算機を用いて数値的に算出する。 4-2-3. 最尤推定｜ポアソン分布の例 𝐿 𝜆 = ෑ 𝑖=1 𝑛 𝜆𝑋𝑖 𝑋𝑖 ! 𝑒−𝜆 𝑙 𝜆 = log 𝐿 𝜆 = ෍ 𝑖=1 𝑛 𝑋𝑖 log 𝜆 − 𝜆 − log 𝑋𝑖 ! 𝜕𝑙 𝜕𝜆 = σ 𝑖=1 𝑛 𝑋𝑖 𝜆 − 𝑛 = 0
62. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 61 4-2. まとめ • 点推定は未知のパラメータをピンポイントであてる推測の方法である • パラメータをあてるためにデータから構成した量を推定量という • 推定量の望ましい性質として次の３つがある • 不偏性：期待値が真のパラメータと一致する性質 • 一致性：サンプル数を大きくしたときに真のパラメータに近づく性質 • 漸近正規性：サンプル数を大きくしたときに分布が正規分布に近づく性質 • 望ましい推定量を得るための代表的な方法として最尤推定がある
63. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 62 4-3. 検定
64. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 63 4-3-1. 検定とは 検定では未知パラメータに関する仮説の検証を行う 検定ではパラメータに関する２つの仮説のいずれが正しいかを推測する。 検証する２つの仮説をそれぞれ帰無仮説、対立仮説と呼ぶ。 • 慣例的に帰無仮説は𝐻0 、対立仮説は𝐻1 という記号で表現される • 帰無仮説と対立仮説は「両方のどちらか一方のみが成り立つ」という関係にあることが前提 検定はデータに基づいた仮説の検証に役立つ。 クーポンの効果 例 あるECサイト上でユーザーの購入金額は、クーポンを発行した場合は 𝑁 𝜇1 , 𝜎2 、発行して いない場合は 𝑁(𝜇2 , 𝜎2) に従うとする。この時、２つの群の平均に差があるかどうかを検証 したい場合は次の問題を考える。 検定の結果対立仮説 𝐻1 が正しいことが主張され、クーポンに効果があることが示唆された。 𝐻0 : 𝜇1 = 𝜇2 v. s. 𝐻1 : 𝜇1 ≠ 𝜇2
65. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 64 4-3-2. 検定の基礎｜第１種の過誤と第２種の過誤 検定における推測には２種類の誤りが存在する 帰無仮説が真のとき、対立仮説を選択してしまう誤りを第１種の過誤 対立仮説が真のとき、帰無仮説を選択してしまう誤りを第２種の過誤という。 これらの誤りを犯すリスクはトレードオフ* * 例えば、データによらず常に対立仮説を選択するという（不合理な）推測方法では、対立仮説が正しいときに第２種の 過誤を犯すリスクはないが、帰無仮説が正しいときには常に第１種の過誤を犯す。 帰無仮説を選択 対立仮説を選択 帰無仮説が真 正しい 第１種の過誤 対立仮説が真 第２種の過誤 正しい 検定における２種類の誤りの関係 第１種の過誤を犯す確率をある小さな値（=有意水準）以下に抑えた上で、 第２種の過誤を犯す確率できるだけ減らす、という立場で推測する。
66. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 65 4-3-2. 検定の基礎｜検定の手続き 検定とは「確率的な背理法」である 検定ではデータに基づき構成される検定統計量の取った値に従って推測を行う。 検定における推測は次のような背理法的な手続きに従って行われる。 検定の手続き • 「確率的にほぼありえない」の程度を定めるのが有意水準 • 帰無仮説を棄却するかどうかは、検定統計量の値が棄却域に入ったかどうかで判断 ※ 仮に帰無仮説が棄却できなかったときに帰無仮説を積極的に支持することはできない （背理法では矛盾が生じなかったことは仮定を支持する根拠にならない）。 1. 帰無仮説を仮定する 2. 検定統計量を計算する 3. 検定統計量が帰無仮説の下で「確率的にほぼありえない」ような値を取った とき、帰無仮説を棄却し対立仮説を受容する
67. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 66 • 検定統計量が帰無仮説の下で低い確率𝛼でしか値を取らない領域として棄却域を設定し、 検定統計量が棄却域に入ったときに帰無仮説を棄却する • 通常、棄却域はある閾値（棄却限界値という）よりも大きい区間として設定される • 𝛼を有意水準といい、この量が第１種の過誤を犯す確率を制御する 4-3-2. 検定の基礎｜検定の手続き（図解１） 𝛽 棄却域 𝛼 棄却限界値 仮定した検定統計量の分布 （帰無仮説𝐻0 が成立）
68. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 67 • 対立仮説が真となるような状況では、高い確率𝛽で検定統計量が棄却域に入ることが 期待されるため、高い確率で帰無仮説を棄却し、対立仮説を支持することができる • 𝛽を検出力といい、1 − 𝛽が第２種の過誤を犯す確率に対応する 4-3-2. 検定の基礎｜検定の手続き（図解２） 棄却域 𝛽 実際の検定統計量の分布 （対立仮説𝐻1 が成立） 棄却限界値 仮定した検定統計量の分布 （帰無仮説𝐻0 が成立）
69. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 68 5% 棄却域 帰無仮説の下での検定統計量の分布 棄却域 棄却域 帰無仮説の下での検定統計量の分布 4-3-2. 検定の基礎｜片側検定と両側検定 帰無仮説の誤りを検出する方向に応じて、片側検定と 両側検定の２種類が考えられる 正規分布の平均の検定（有意水準5%） 例 片側検定：平均が0より大きいことを検出 𝐻0 : 𝜇 ≤ 0 v. s. 𝐻1 : 𝜇 > 0 両側検定：平均が0でないことを検出 𝐻0 : 𝜇 = 0 v. s. 𝐻1 : 𝜇 ≠ 0 2.5% 2.5% * 𝑧𝛼 は標準正規分布の上側𝛼点。
70. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 69 4-3-2. 検定の基礎｜様々な検定手法 前提とする統計モデルや検証する仮説に応じて様々な 検定手法が用いられる 一般に、推測対象とする母集団の数に応じて、次のような設定が考えられる。 • １標本問題：１つの母集団に関する推測の問題 • ２標本問題：２つの母集団の比較に関する推測の問題 以下では代表的な検定手法を紹介する。 * 以下では原則的に両側検定に絞って説明する（片側検定は割愛）。 • 平均の検定 • １標本・分散既知 • １標本・分散未知 • ２標本・分散既知 • ２標本・分散未知 • 分散の検定 正規分布に関する検定 • 母比率の検定 • １標本 • ２標本 二項分布に関する検定 • 適合度検定 • 独立性の検定 分割表に関する検定
71. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 70 検定統計量 は帰無仮説𝐻0 の下で標準正規分布𝑁 0,1 に従う。したがって、 のとき帰無仮説を棄却し、対立仮説を採択する。 4-3-3. 正規分布に関する検定｜平均の検定（１標本・分散既知） * 𝑧𝛼 は標準正規分布の上側𝛼点。 統計モデル 正規分布１標本問題（分散𝜎2既知） 𝑋1 , … , 𝑋𝑛 ∼ 𝑁 𝜇, 𝜎2 検定問題 平均の検定 𝐻0 : 𝜇 = 𝜇0 v. s. 𝐻1 : 𝜇 ≠ 𝜇0 𝑇 = 𝑛 ത 𝑋 − 𝜇0 𝜎 𝑇 > 𝑧𝛼/2
72. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 71 分散既知のときの検定統計量の𝜎を、その推定量で用いて置き換えた は帰無仮説𝐻0 の下で自由度𝑛 − 1の𝑡分布𝑡 𝑛 − 1 に従う。したがって、 のとき帰無仮説を棄却し、対立仮説を採択する。 このような𝑡分布に基づく検定を総称して𝑡検定という。 4-3-3. 正規分布に関する検定｜平均の検定（１標本・分散未知） * 𝑡𝛼 𝑘 は自由度𝑘の𝑡分布の上側𝛼点。 統計モデル 正規分布１標本問題（分散𝜎2未知） 𝑋1 , … , 𝑋𝑛 ∼ 𝑁 𝜇, 𝜎2 検定問題 平均の検定 𝐻0 : 𝜇 = 𝜇0 v. s. 𝐻1 : 𝜇 ≠ 𝜇0 𝑇 = 𝑛 ത 𝑋 − 𝜇0 𝑠 𝑇 > 𝑡 Τ 𝛼 2 𝑛 − 1 𝑠2 = 1 𝑛 − 1 ෍ 𝑖=1 𝑛 𝑋𝑖 − ത 𝑋 2
73. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 72 １標本問題と同様に分散の推定が必要となるが、プールされた推定量 を用いると、検定統計量 は帰無仮説𝐻0 の下で自由度𝑚 + 𝑛 − 2の𝑡分布𝑡 𝑚 + 𝑛 − 2 に従う。したがって、 のとき帰無仮説を棄却し、対立仮説を採択する。 4-3-3. 正規分布に関する検定｜平均の検定（2標本・分散未知） * 𝑡𝛼 𝑘 は自由度𝑘の𝑡分布の上側𝛼点。 ** ここでは２群の分散が共通の値𝜎2 だと仮定したが、分散が等しくないときはWelchの𝑡検定と呼ばれる方法を用いる。 統計モデル 正規分布２標本問題（分散𝜎2共通・未知） 𝑋1 , … , 𝑋𝑚 ∼ 𝑁 𝜇1 , 𝜎2 𝑌1 , … , 𝑌𝑛 ∼ 𝑁 𝜇2 , 𝜎2 検定問題 平均の検定 𝐻0 : 𝜇1 = 𝜇2 v. s. 𝐻1 : 𝜇1 ≠ 𝜇2 𝑠2 = 1 𝑚 + 𝑛 − 2 ෍ 𝑖=1 𝑚 𝑋𝑖 − ത 𝑋 2 + ෍ 𝑖=1 𝑛 𝑌𝑖 − ത 𝑌 2 𝑇 = ത 𝑌 − ത 𝑋 𝑠 1 𝑚 + 1 𝑛 𝑇 > 𝑡 Τ 𝛼 2 𝑚 + 𝑛 − 2
74. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 73 母比率の推定量 Ƹ 𝑝 = Τ 𝑋 𝑛 を用いると、検定統計量 は帰無仮説𝐻0 の下で近似的に標準正規分布𝑁 0,1 に従う*。したがって、 のとき帰無仮説を棄却し、対立仮説を採択する。 4-3-4. 二項分布に関する検定｜母比率の検定（１標本） * 近似的に正規分布に従うことは中心極限定理から従う。 ** 𝑧𝛼 は標準正規分布の上側𝛼点。 統計モデル 二項分布１標本問題 𝑋 ∼ 𝐵𝑖𝑛 𝑛, 𝑝 検定問題 母比率の検定 𝐻0 : 𝑝 = 𝑝0 v. s. 𝐻1 : 𝑝 ≠ 𝑝0 𝑇 = 𝑛 Ƹ 𝑝 − 𝑝0 𝑝0 1 − 𝑝0 𝑇 > 𝑧𝛼/2
75. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 74 母比率の推定量 Ƹ 𝑝1 = Τ 𝑋 𝑚 , Ƹ 𝑝2 = Τ 𝑌 𝑛、またプールされた推定量 を用いると、検定統計量 は帰無仮説𝐻0 の下で近似的に標準正規分布𝑁 0,1 に従う*。したがって、 のとき帰無仮説を棄却し、対立仮説を採択する。 4-3-4. 二項分布に関する検定｜母比率の検定（２標本） * 近似的に正規分布に従うことは中心極限定理から従う。 ** 𝑧𝛼 は標準正規分布の上側𝛼点。 統計モデル 二項分布２標本問題 𝑋 ∼ 𝐵𝑖𝑛 𝑚, 𝑝1 𝑌 ∼ 𝐵𝑖𝑛 𝑛, 𝑝2 検定問題 母比率の検定 𝐻0 : 𝑝1 = 𝑝2 v. s. 𝐻1 : 𝑝1 ≠ 𝑝2 Ƹ 𝑝 = 𝑋 + 𝑌 𝑚 + 𝑛 𝑇 = Ƹ 𝑝1 − Ƹ 𝑝2 1 𝑚 + 1 𝑛 Ƹ 𝑝 1 − Ƹ 𝑝 𝑇 > 𝑧𝛼/2
76. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 75 4-3-5. 独立性の検定 独立性の検定では分割表における２つの変量の間に関係が あるかをどうかを検証する 分割表 各変量の値の組み合わせごとに観測された度数を記録した表のこと。 各セルに入る値を観測度数という。 独立性の検定では「性別」と「アンケートへの回答の有無」の間に関係が あるかどうかを検証する。 回答 未回答 計 男性 5 35 40 女性 15 45 60 計 20 80 100 「性別」と「アンケートへの回答の有無」の分割表
77. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 76 4-3-5. 独立性の検定｜多項分布 多項分布は二項分布を多次元に一般化した分布である 多項分布 𝑀𝑢𝑙𝑡 𝑛, 𝑝1 , … , 𝑝𝑘 • 二項分布の多次元への一般化 • 「𝑛個のボールを𝑘個の箱にランダムに投げ入れた ときの各箱の中のボールの数」が従う分布 𝑋1 = 3 × 6 𝑝1 = 0.6 𝑝3 = 0.3 𝑝2 = 0.1 𝑋2 = 1 𝑋3 = 2 多項分布のイメージ 母数 𝑝𝑖 ≥ 0 𝑖 = 1, … , 𝑘 , 𝑛 ≥ 0 𝑝1 + ⋯ + 𝑝𝑘 = 1 平均 𝐸 𝑋𝑖 = 𝑛𝑝𝑖 分散 𝑉 𝑋𝑖 = 𝑛𝑝𝑖 1 − 𝑝𝑖 𝑝 𝑥1 , … , 𝑥𝑘 = 𝑛! 𝑥1 ! ⋯ 𝑥𝑘 ! 𝑝 1 𝑥1 ⋯ 𝑝 𝑘 𝑥𝑘 𝑥1 + ⋯ + 𝑥𝑘 = 𝑛 （整数）
78. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 77 4-3-5. 独立性の検定｜分割表の統計モデル 分割表のデータは多項分布を用いてモデル化される 分割表のデータはセルの個数の多項分布としてモデル化される。 独立性の検定では、各セルの確率が独立な構造を持つかどうかを検定する。 * 𝑟, cはそれぞれ分割表の行数(row)、列数(column)に対応する。 𝑝1∙ × 𝑝∙1 𝑝1∙ × 𝑝∙2 𝑝1∙ 𝑝2∙ × 𝑝∙1 𝑝2∙ × 𝑝∙2 𝑝2∙ 𝑝∙1 𝑝∙2 確率（帰無仮説） 𝑝11 𝑝12 𝑝21 𝑝22 確率 𝑋11 𝑋12 𝑋21 𝑋22 観測度数 𝑋 = 𝑋11 , … , 𝑋𝑟𝑐 ∼ 𝑀𝑢𝑙𝑡 𝑛, 𝑝11 , … , 𝑝𝑟𝑐 𝐻0 : 𝑝𝑖𝑗 = 𝑝𝑖∙ × 𝑝∙𝑗 𝑖 = 1, … , 𝑟 𝑗 = 1, … , 𝑐
79. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 78 帰無仮説 𝐻0 の下では、各セルの観測度数は次の期待度数に近い値を取ることが予想される。 そこで、期待度数と実際の観測度数との乖離を表すカイ二乗統計量に基づき検定を行う。 これは、帰無仮説𝐻0 の下で近似的に自由度 𝑟 − 1 (𝑐 − 1)のカイ二乗分布に従うため、 ならば帰無仮説を棄却して、対立仮説を採択する。 このようなカイ二乗分布に基づく検定を総称してカイ二乗検定という。 4-3-5. 独立性の検定｜検定の手続き * 𝜒𝛼 2 𝑘 は自由度𝑘のカイ二乗分布の上側𝛼点。 回答 未回答 計 男性 5 35 40 女性 15 45 60 計 20 80 100 観測度数 ෠ 𝑋𝑖𝑗 = 𝑛 Ƹ 𝑝𝑖∙ Ƹ 𝑝∙𝑗 Ƹ 𝑝𝑖∙ = 1 𝑛 ෍ 𝑗 𝑋𝑖𝑗 , Ƹ 𝑝∙𝑗 = 1 𝑛 ෍ 𝑖 𝑋𝑖𝑗 𝑇 = ෍ 𝑖,𝑗 𝑋𝑖𝑗 − ෠ 𝑋𝑖𝑗 2 ෠ 𝑋𝑖𝑗 𝑇 > 𝜒𝛼 2 𝑟 − 1 (𝑐 − 1) 回答 未回答 計 男性 0.4×0.2 0.4×0.8 0.4 女性 0.6×0.2 0.4×0.8 0.6 計 0.2 0.8 1 回答 未回答 計 男性 8 32 40 女性 12 48 60 計 20 80 100 𝐻0 の下での確率の推定量 期待度数
80. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 79 4-3-5. 検定の多重性 検定を複数回繰り返す際には多重比較法の考え方が必要 • 無暗に検定を繰り返すと、全体として第１種の過誤を犯す確率が高くなり、本来差が ないものに対して「差がある」と主張しやすくなる問題を検定の多重性という • 検定の多重性の問題を回避するためには多重比較法という手法が用いられる • 多重比較法では、全体としての第１種の過誤を犯す確率をコントロールするために、 １つ１つの検定をより厳しい有意水準で実行する 効果のない薬剤 例 ある薬剤の効果を検証するために、投薬群とプラセボ群で𝑡検定による2群の 比較を有意水準5%で実行する。ただし、実際には薬剤に全く効果がなかった とする（帰無仮説が真）。 この時、データを取り直して検定を実行する、という操作を10回繰り返すと、 の確率で少なくとも1回は薬剤に効果があると主張してしまう。 1 − 1 − 0.05 10 ≒ 40% 差が出るまで検定を繰り返すことは 「6の目が出るまでサイコロを振る」 ことと同じ 参考： [検定の多重性とは？｜いちばんやさしい、医療統計] https://best-biostatistics.com/multiple/alpha.html
81. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 80 4-3. まとめ • 検定は未知パラメータに関する２つの仮説のどちらが正しいかを推測する方法 • 検定の対象となる２つの仮説を帰無仮説・対立仮説と呼ぶ • 帰無仮説が正しいときに対立仮説を採択する誤りを第１種の過誤、 対立仮説が正しいときに帰無仮説を採択する誤りを第２種の過誤という • 検定はデータから構成した検定統計量が、設定した棄却域に入ったかどうかで どちらの仮説を採択するかを判定する • 第１種の過誤を犯す確率を制御する基準となる量を有意水準、 対立仮説が正しいときに正しく帰無仮説を棄却できる確率を検出力と呼ぶ • 仮定する統計モデル、仮説の種類に応じて様々な検定手法が用いられる • 検定を繰り返し実施するときには注意を要する
82. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 81 4-4. 区間推定
83. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 82 4-4-1. 区間推定とは 区間推定では未知パラメータに対して幅を持った推測を行う 区間推定では真のパラメータをある一定の確率で含むような区間（信頼区間）を 構成することで推測を行う。 信頼区間が真のパラメータを含む確率を信頼係数という。 区間推定は興味のある未知パラメータを信頼度も併せて推測したいときに役立つ。 選挙の得票率 例 とある選挙において、有権者100名に出口調査を行ったところ、60名は候補者Aに投票して いることが分かった。この情報から候補者Aの得票率の95%信頼区間を求めると[50.2, 69.0] となり、候補者Aが当選する確度が高いことがわかった。
84. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 83 4-4-2. 区間推定の基礎｜信頼区間の構成法 信頼区間は検定の裏返しとして得られる このように信頼区間と検定は裏表の関係にあり、推論としては本質的には同等*。 * 実際、対応する信頼区間と検定においては「信頼区間に含まれないこと」と「検定で帰無仮説を棄却すること」は 同値な関係にある。 正規分布の平均の検定（１標本・分散既知） 例 検定統計量が帰無仮説で満たす式を変形すると、 となり、正規分布の平均𝜇の1 − 𝛼信頼区間 ത 𝑋 − 𝑧 Τ 𝛼 2 𝜎 𝑛 , ത 𝑋 + 𝑧 Τ 𝛼 2 𝜎 𝑛 が導かれる。 𝑃 𝜇 𝑛 ത 𝑋 − 𝜇 𝜎 > 𝑧 Τ 𝛼 2 = 𝛼 ⟺ 𝑃 𝜇 −𝑧 Τ 𝛼 2 ≤ 𝑛 ത 𝑋 − 𝜇 𝜎 ≤ 𝑧 Τ 𝛼 2 = 1 − 𝛼 ⟺ 𝑃 𝜇 ത 𝑋 − 𝑧 Τ 𝛼 2 𝜎 𝑛 ≤ 𝜇 ≤ ത 𝑋 + 𝑧 Τ 𝛼 2 𝜎 𝑛 = 1 − 𝛼 （𝜇について解く） （事象の排反を取る）
85. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 84 4-4-2. 区間推定の基礎｜信頼係数の解釈 信頼係数は、データをサンプルして構成する信頼区間が真の パラメータを含む確率を表す 「信頼係数95%の信頼区間」の解釈 ✕ 実際に構成したある信頼区間について、それが真の パラメータを含む確率が95%である 構成した信頼区間に対しては、真のパラメータはその中に含まれるか 含まれないかのいずれかであるため、この解釈は誤り。 〇「データをサンプルして信頼区間を構成する」という 手続きを100回を繰り返したときに、概ね95回は真の パラメータを含む これからデータをサンプルして構成する信頼区間が、95%の確率で真の パラメータを含む、という解釈が適切。 真のパラメータ 𝜃 信頼係数95%の 信頼区間のイメージ
86. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 85 4-4-3. 様々な区間手法の手法｜正規分布に関する区間推定 前提とする統計モデル、推測対象のパラメータに応じて 様々な形の信頼区間が用いられる • １標本問題・分散未知の𝑠は不偏標本分散 Τ σ𝑖=1 𝑛 𝑋𝑖 − ത 𝑋 2 𝑛 − 1 の平方根 • ２標本問題の𝑠はプールされた推定量 Τ σ𝑖=1 𝑚 𝑋𝑖 − ത 𝑋 2 + σ𝑖=1 𝑛 𝑌𝑖 − ത 𝑌 2 𝑚 + 𝑛 − 2 の平方根 * 𝑧𝛼 は標準正規分布の上側𝛼点。 ** 𝑡𝛼 𝑘 は自由度𝑘の𝑡分布の上側𝛼点。 設定 パラメータ 1 − 𝛼 信頼区間（上限と下限） １標本問題・分散既知 𝑋1 , … , 𝑋𝑛 ∼ 𝑁 𝜇, 𝜎2 𝜇 ത 𝑋 ± 𝑧 Τ 𝛼 2 𝜎 𝑛 １標本問題・分散未知 𝑋1 , … , 𝑋𝑛 ∼ 𝑁 𝜇, 𝜎2 𝜇 ത 𝑋 ± 𝑡 Τ 𝛼 2 𝑛 − 1 𝑠 𝑛 ２標本問題・分散未知 𝑋1 , … , 𝑋𝑚 ∼ 𝑁 𝜇1 , 𝜎2 𝑌1 , … , 𝑌𝑛 ∼ 𝑁 𝜇2 , 𝜎2 𝜇2 − 𝜇1 ത 𝑌 − ത 𝑋 ± 𝑡 Τ 𝛼 2 𝑛 + 𝑚 − 2 𝑠 1 𝑚 + 1 𝑛
87. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 86 4-4-3. 様々な区間推定の手法｜二項分布に関する区間推定 前提とする統計モデル、推測対象のパラメータに応じて 様々な形の信頼区間が用いられる • １標本問題の Ƹ 𝑝 は Τ 𝑋 𝑛 • ２標本問題の Ƹ 𝑝1 , Ƹ 𝑝2 , Ƹ 𝑝 はそれぞれ Τ 𝑋 𝑚 , Τ 𝑌 𝑛 , Τ (𝑋 + 𝑌 ) 𝑚 + 𝑛 * 𝑧𝛼 は標準正規分布の上側𝛼点。 設定 パラメータ 1 − 𝛼 信頼区間（上限と下限） １標本問題 𝑋 ∼ 𝐵𝑖𝑛 𝑛, 𝑝 𝑝 Ƹ 𝑝 ± 𝑧 Τ 𝛼 2 Ƹ 𝑝 1 − Ƹ 𝑝 𝑛 ２標本問題 𝑋 ∼ 𝐵𝑖𝑛 𝑚, 𝑝1 𝑌 ∼ 𝐵𝑖𝑛 𝑛, 𝑝2 𝑝2 − 𝑝1 Ƹ 𝑝2 − Ƹ 𝑝1 ± 𝑧 Τ 𝛼 2 1 𝑚 + 1 𝑛 Ƹ 𝑝 1 − Ƹ 𝑝
88. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 87 4-4. まとめ • 区間推定は未知パラメータを幅を持って推測する方法である • 真のパラメータを一定の確率で含むような区間を信頼区間と呼び、 信頼区間が真のパラメータを含む確率を信頼係数と呼ぶ • 信頼係数は「データを取得して信頼区間を構成する」という手続きを 繰り返したときに、信頼区間が真のパラメータを含む確率を表す • 仮定する統計モデル、推測対象のパラメータに応じて様々な信頼区間が 用いられる
89. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 88 4-5. 回帰分析
90. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 89 4-5-1. 回帰分析とは ある変数から他の変数の振る舞いを説明するモデルを 推測する手法を回帰分析という 目的変数：説明する対象となる変数 説明変数：目的変数を説明するための変数 回帰分析は説明変数と目的変数の関係の解釈や、目的変数の予測に役立つ。 親子の身長の関係 例 • 目的変数 𝑦：子供の身長（cm） • 説明変数 𝑥：父親の身長（cm） 𝑦の振る舞いは𝑥の一次式 でうまく説明できる。 𝑦 = 𝑎𝑥 + 𝑏
91. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 90 4-5-2. 線形回帰 線形回帰では目的変数を説明変数の線形和で表現する 線形回帰モデル • 推測対象のパラメータは𝛽𝑘 𝑘 = 0, … , 𝑝 , 𝜎2 • 𝛽𝑘 を回帰係数といい、説明変数𝑥∙𝑘 が1単位変化したときの目的変数の変化量を表す • 説明変数が1次元（𝑝 = 1）の場合を単回帰、多次元（𝑝 ≥ 2）の場合を重回帰という 線形回帰モデルは行列形式で次のように表現できる。 𝑦𝑖 = 𝛽0 + 𝛽1 𝑥𝑖1 + 𝛽2 𝑥𝑖2 + ⋯ + 𝛽𝑝 𝑥𝑖𝑝 + 𝜖𝑖 𝜖𝑖 ∼ 𝑁 0, 𝜎2 𝑖 = 1, … , 𝑛 𝑦 = 𝑦1 ⋮ 𝑦𝑛 , 𝑋 = 1 𝑥11 ⋯ 𝑥1𝑝 ⋮ ⋮ ⋱ ⋮ 1 𝑥𝑛1 ⋯ 𝑥𝑛𝑝 , 𝛽 = 𝛽0 ⋮ 𝛽𝑝 , 𝜖 = 𝜖1 ⋮ 𝜖𝑛 𝑦 = 𝑋𝛽 + 𝜖
92. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 91 残差平方和（RSS）：予測値と実測値との乖離（残差）の二乗和 残差平方和を最小化する値として𝛽を推定する方法を最小二乗法といい、 その推定量のことを最小二乗推定量という。 ⋯ 𝛽0 , 𝛽1 について RSSを最小化 4-5-2. 線形回帰｜最小二乗法 線形回帰のパラメータは最小二乗法によって推定できる * RSSはResidual Sum of Squaresの略。 ** 誤差分布が正規分布に従うという前提の下で、最小二乗推定量は最尤推定量と一致する。 𝑅𝑆𝑆 = ෍ 𝑖=1 𝑛 𝑦𝑖 − መ 𝛽0 + መ 𝛽1 𝑥𝑖1 + መ 𝛽2 𝑥𝑖2 + ⋯ + መ 𝛽𝑝 𝑥𝑖𝑝 2 単回帰モデル 𝑦 = 𝛽0 + 𝛽1 𝑥1 + 𝜖 例
93. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 92 残差平方和は線形回帰モデルのベクトル、行列表現を用いて次のように表される。 残差平方和を最小化するために、 መ 𝛽について偏微分したものを0と置くと、 次の方程式を得る（正規方程式）。 𝑋T𝑋が逆行列を持つとき、最小二乗推定量は次のように得られる。 多重共線性 複数の説明変数の間に線形に近い関係が存在するとき、回帰係数の推定が不安定になる*。 この問題を多重共線性という。多重共線性の問題を防ぐ方法の一つとして正則化がある。 （正則化について詳しくはモデリングの講義を参照。） 4-5-2. 線形回帰｜最小二乗推定量の導出 * （数学的な説明だが）直観的には𝑋T𝑋が特異行列（逆行列が存在しない行列）に近づくことで、逆行列 𝑋T𝑋 −1の計算が 不安定になるからであると理解できる。 𝑅𝑆𝑆 = ෍ 𝑖=1 𝑛 𝑦𝑖 − መ 𝛽0 + መ 𝛽1 𝑥𝑖1 + መ 𝛽2 𝑥𝑖2 + ⋯ + መ 𝛽𝑝 𝑥𝑖𝑝 2 = 𝑦 − 𝑋 መ 𝛽 2 𝑋T𝑋 መ 𝛽 = 𝑋T𝑦 መ 𝛽 = 𝑋T𝑋 −1 𝑋T𝑦
94. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 93 4-5-2. 線形回帰｜決定係数 決定係数はモデルの当てはまりの良さを表す指標の一つ 線形回帰モデルにおいては、次の平方和の分解が成り立つ。 目的変数の全体の変動のうち、説明変数により説明される割合を決定係数という。 • 0から1の間の値を取り、1に近いほどデータに対するモデルの当てはまりが良いことを表す • 単回帰の場合には目的変数と説明変数の相関係数の2乗に一致する ※ 決定係数は説明変数を加えるほど1に近づくため、予測の観点からは適切な規準ではない。 予測の観点では情報量規準やクロスバリデーションといった規準を用いることができる。 目的変数の変動 説明変数で説明される変動 説明変数で説明されない変動 ෍ 𝑖=1 𝑛 𝑦𝑖 − ത 𝑦 2 = ෍ 𝑖=1 𝑛 ො 𝑦𝑖 − ത 𝑦 2 + ෍ 𝑖=1 𝑛 𝑦𝑖 − ො 𝑦𝑖 2 ത 𝑦：𝑦𝑖 の平均値 ො 𝑦𝑖 ：𝑦𝑖 の予測値 = መ 𝛽0 + መ 𝛽1 𝑥𝑖1 + መ 𝛽2 𝑥𝑖2 + ⋯ + መ 𝛽𝑝 𝑥𝑖𝑝 𝑅2 = σ𝑖=1 𝑛 ො 𝑦𝑖 − ത 𝑦𝑖 2 σ 𝑖=1 𝑛 𝑦𝑖 − ത 𝑦 2 = 1 − σ𝑖=1 𝑛 𝑦𝑖 − ො 𝑦𝑖 2 σ 𝑖=1 𝑛 𝑦𝑖 − ത 𝑦 2
95. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 94 4-5. まとめ • 回帰分析はある変数を他の変数から説明するモデルを用いて推測する方法 • 振る舞いを説明する対象の変数を目的変数、目的変数を説明するための変数を 説明変数という • 回帰分析のうち目的変数を説明変数の線形和で表現したものを線形回帰という • 線形回帰モデルのパラメータは最小二乗法を用いて推定できる • 線形回帰モデルのデータへの当てはまりの良さを表す量として決定係数がある
96. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 95 5. バイアス
97. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 96 目次 1. 統計学 1-1. 統計学とは 1-2. 統計学を学ぶ意義 1-3. 統計学の種類 1-4. データの種類 2. 記述統計学 2-1. 記述統計学とは 2-2. １変数データの記述 2-3. ２変数データの記述 2-4. 相関係数の解釈上の注意 3. 確率と確率分布 3-1. なぜ確率を学ぶのか 3-2. 確率 3-3. 確率変数 3-4. 代表的な確率分布 3-5. 大数の法則と中心極限定理 3-6. ベイズの定理 4. 推測統計学 4-1. 推測統計学とは 4-2. 点推定 4-3. 検定 4-4. 区間推定 4-5. 回帰分析 5. バイアス 5-1. バイアスとは 5-2. 選択バイアス 5-3. 情報バイアス 5-4. 交絡バイアス
98. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 97 5-1. バイアスとは データが母集団の特徴を適切に反映できていない結果、 推論結果が歪んでしまうことを「バイアスがある」という データの分析、解釈にあたってはバイアスに留意することが重要。 以下の代表的な３つのバイアスについて紹介する。 * ここでは「推定量が不偏性を持っていない」という推定量の性質としてのバイアスではなく、より一般的な意味での バイアスについて取り扱う。 標本の選択 データの収集 統計分析 選択バイアス 情報バイアス 交絡バイアス
99. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 98 5-2. 選択バイアス 不適切な条件により、母集団の中から偏った標本を選んで しまうことにより生じるバイアス 大学入学試験の合格者 例 ある大学の入学試験では、筆記試験（100点満点）と実技試験（100点満点）の２つの科目の合計点数が 150点以上の生徒が合格となる。筆記と実技の点数の関係を調べたい時に、合格者のデータのみから分析 を実施すると、本来は存在しない関係性が見出されてしまう。 選択 分析対象の標本が偏って抽出されたものでないかを事前に確認する 強い負の相関 参考： [行政プロセスにデータ分析を取り入れるために知っておきたい知識と事例] https://www.soumu.go.jp/main_content/000675341.pdf
100. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 99 5-3. 情報バイアス 測定方法や情報の取り違いなどの原因からデータ収集過程で 生じるバイアス 報告バイアス 例 生活習慣に関するアンケートにおいて、喫煙・飲酒などの習慣は過小に報告されやすくなる。 想起バイアス 例 当人の来歴によって、思い出した情報の正確さや粒度が異なる。 例えば、子供の服薬歴についてのアンケートで、持病のある子供を持つ母親の方が、より鮮明な内容で 報告できる。 質問者バイアス 例 アンケートにおいて、本質的には同等の質問であっても、聞き方を変えることで異なる回答が得られる。 データ収集の過程で情報を歪める要因がないかを確認する 参考： [心理学用語「情報バイアス」とは？意味から具体例までわかりやすく解説 – スッキリ] https://gimon-sukkiri.jp/info/
101. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 100 5-4. 交絡バイアス 処置と結果の双方に影響を及ぼす要因を見逃すことによって 生じるバイアス 処置と結果の双方に影響する要因を交絡因子と呼び、それを無視した解析はバイアスを生む。 交絡バイアスを除くためには以下のような方法がある。 1. 実験デザインを通して交絡因子を排除する 処置を標本にランダムに割り当てて２群を等価な集団にすることで、両者を比較可能にする。 （ランダム化比較試験：RCT） 2. 分析手法を通じて交絡因子の影響を取り除く 交絡因子についての一定の仮定の下で、バイアスの影響を除いた効果を推定する。 （回帰分析、傾向スコア分析など） * このような、処置の与える効果を統計的に推測する枠組みを統計的因果推論と呼ぶ。 喫煙と血圧の関係 例 喫煙の血圧に与える影響を調査するために、喫煙者と非喫煙者の 集団について血圧の比較を行った結果、有意な差が見られた。 しかし、この分析は喫煙習慣と血圧の双方に影響する年齢という 因子を無視しており、影響を過大評価している可能性がある。 喫煙習慣 年齢 血圧
102. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 101 5. まとめ • データが母集団を反映していないことで推論の結果が歪んでしまうことを 「バイアスがある」という • バイアスには大きく次の3種類がある • 選択バイアス：標本が偏って抽出されることで生じるバイアス • 情報バイアス：データの収集過程で生じるバイアス • 交絡バイアス：処置と結果に与える要因を無視することで生じるバイアス
103. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 102 Appendix
104. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 103 A. 代表的な統計量の従う分布
105. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 104 A. 代表的な統計量の従う分布｜カイ二乗分布 正規分布の分散の推定量は、適切なスケーリングの下で カイ二乗分布に従う 独立に𝑁 0,1 に従う確率変数𝑍1 , … , 𝑍𝑘 の二乗和 が従う分布を自由度𝑘のカイ二乗分布𝜒2 𝑘 と呼ぶ。 • カイ二乗分布はガンマ分布と呼ばれる分布の 特殊な場合である 独立に正規分布𝑁 𝜇, 𝜎2 に従う確率変数𝑋1 , … , 𝑋𝑛 から構成した不偏標本分散 について次の性質が成り立つ。 𝑌 = 𝑍1 2 + ⋯ + 𝑍𝑘 2 𝑠2 = 1 𝑛 − 1 ෍ 𝑖=1 𝑛 𝑋𝑖 − ത 𝑋 2 𝑛 − 1 𝑠2 𝜎2 ∼ 𝜒2 𝑛 − 1
106. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 105 A. 代表的な統計量の従う分布｜𝒕分布 𝑡統計量は𝑡分布と呼ばれる正規分布に近い分布に従う 独立な確率変数 𝑍 ∼ 𝑁 0,1 , 𝑈 ∼ 𝜒2 𝑘 に対し が従う分布を自由度𝑘の𝑡分布𝑡 𝑘 と呼ぶ。 • 自由度が小さいほど裾が重く*、特に𝑘 = 1の時の分布をコーシー分布という • 自由度が大きいほど裾が軽く*、𝑘 → ∞の極限で標準正規分布に一致する 独立に正規分布𝑁 𝜇, 𝜎2 に従う確率変数𝑋1 , … , 𝑋𝑛 から構成した次の𝑡統計量 について、分子は𝑁 0,1 、分母は Τ 𝜒2 𝑛 − 1 𝑛 − 1に従うので、これは𝑡 𝑛 − 1 に従う。 * 分布の端に向かって確率（密度）が急速に減衰する分布を裾が軽い分布、逆に減衰が遅い分布を裾が重い分布と呼ぶ。 𝑇 = 𝑍 Τ 𝑈 𝑘 𝑇 = 𝑛 ത 𝑋 − 𝜇 𝑠 = Τ 𝑛 ത 𝑋 − 𝜇 𝜎 Τ 𝑠2 𝜎2
107. Analytics Innovation Company ©BrainPad Inc. Strictly Confidential 106 本資料は、未刊行文書として日本及び各国の著作権法に基づき保護されております。本資料には、株式会社ブレインパッド 所有の特定情報が含まれており、これら情報に基づく本資料の内容は、御社以外の第三者に開示されること、また、本資料 を評価する以外の目的で、その一部または全文を複製、使用、公開することは、禁止されています。また、株式会社ブレイ ンパッドによる書面での許可なく、それら情報の一部または全文を使用または公開することは、いかなる場合も禁じられて おります。 株式会社ブレインパッド 〒 106-0032 東京都港区六本木三丁目1番1号 六本木ティーキューブ TEL：03-6721-7002 www.brainpad.co.jp info@brainpad.co.jp Analytics Innovation Company