ベイズのはなし

第5回 すうがく徒のつどい講演内容 （2024.03.31）

Transcript

1. ベイズのはなし ゆっきん （すうがく徒のつどい　第 5 回）
2. 目次 1. 条件付き確率とベイズの定理 条件付き確率の復習と、本講座の根幹であるベイズの定理について説明します。 2. 確率分布 ベイズ推論のための準備として、確率分布について説明します。 3. ベイズ推論 コイン投げの例を通して、ベイズ推論の基本的な考え方を説明します。 4. ベイズ線形回帰 ベイズ推論の機械学習への応用として、ベイズ線形回帰を紹介します。
3. 1. 条件付き確率とベイズの定理
4. 根元事象がすべて同様に確からしい試行において、 事象 A の起こる確率は 事象 A が起こった時に事象 B が起こる条件付き確率は U
5. 条件付き確率の例 さいころを 1 回振ります。 出た目が 4 以上のとき、その目が偶数である確率を求めなさい。 U 5 4 6 確率は 4 以上 偶数
6. ① ② ③ 答えはどれでしょうか？ 問題「２人の子ども①」 スミスさんには子どもが２人います。２人のうち、 年上の子は女の子です。 では、２人とも女の子である確率を求めなさい。 ただし、男の子と女の子は等確率で生まれるものと仮定します。
7. 年上の子が女の子 年上の子が男の子 年下の子が女の子 年下の子が男の子 ① 正解は 問題「２人の子ども①」 スミスさんには子どもが２人います。２人のうち、 年上の子は女の子です。 では、２人とも女の子である確率を求めなさい。 ただし、男の子と女の子は等確率で生まれるものと仮定します。
8. 問題「２人の子ども②」 スミスさんには子どもが２人います。２人のうち、 少なくとも１人は女の子です。 では、２人とも女の子である確率を求めなさい。 ただし、男の子と女の子は等確率で生まれるものと仮定します。 ① ② ③ 答えはどれでしょうか？
9. 年上の子が女の子 年上の子が男の子 年下の子が女の子 年下の子が男の子 ① 正解は ② 問題「２人の子ども②」 スミスさんには子どもが２人います。２人のうち、 少なくとも１人は女の子です。 では、２人とも女の子である確率を求めなさい。 ただし、男の子と女の子は等確率で生まれるものと仮定します。
10. 問題「２人の子ども③　ー火曜日に生まれた少女ー」 スミスさんには子どもが２人います。２人のうち、 少なくとも１人は火曜日に生まれた女の子 で す。では、２人とも女の子である確率を求めなさい。 ただし、男の子と女の子は等確率で生まれるものと仮定します。 火曜日に生まれたという一見関係なさそうな条件が、確率に影響を与えるのでしょうか？　ぜひ 考えてみてください！ 答えは、「火曜日に生まれた少女」と検索すると出てきます。
11. より、 この式をベイズの定理と呼びます。 B が何らかの観測、A をその原因としたとき、 ：原因Aの発生確率 ：観測結果Bの発生確率 ：Aが発生した際に観測結果Bが発生する確率（時間順行） ：Bが発生した際に原因Aが起こっていた確率（時間逆行）
12. 問題「病気に罹患している確率」 ある病気の罹患率は1%です。この病気に罹患しているか検査する方法があり、罹患している 人は99%の確率で陽性と診断され、健康な人は 97%の確率で陰性と診断されます。この検査 で陽性と診断されたとき、実際に罹患している確率を求めなさい。 ① 答えはどれでしょうか？ 25% ② 50% ③ 70% ④ 99%
13. P(罹患)・P(陽性|罹患) P(罹患|陽性) = P(陽性) = = 罹患かつ陽性 健康かつ陽性 ① 正解は ① 25% 意外と低い！ 問題「病気に罹患している確率」 ある病気の罹患率は1%です。この病気に罹患しているか検査する方法があり、罹患している 人は99%の確率で陽性と診断され、健康な人は 97%の確率で陰性と診断されます。この検査 で陽性と診断されたとき、実際に罹患している確率を求めなさい。
14. 陽性 陰性 罹患している人（100人） 99人 1人 罹患していない人（9900人） 297人 9603人 問題「病気に罹患している確率」 ある病気の罹患率は1%です。この病気に罹患しているか検査する方法があり、罹患している 人は99%の確率で陽性と診断され、健康な人は 97%の確率で陰性と診断されます。この検査 で陽性と診断されたとき、実際に罹患している確率を求めなさい。 ＜別解＞人口を 10000 人と仮定します。
15. もともとの病気の罹患率 ① 1% 情報追加 検査結果：陽性 情報追加後の病気の罹患率 ① 25% 問題「病気に罹患している確率」 ある病気の罹患率は1%です。この病気に罹患しているか検査する方法があり、罹患している 人は99%の確率で陽性と診断され、健康な人は 97%の確率で陰性と診断されます。この検査 で陽性と診断されたとき、実際に罹患している確率を求めなさい。 事前確率 事後確率 得た情報によって、確率が更新されました。これを ベイズ更新といいます。
16. ベイズの定理の活用例「迷惑メールフィルター」 届いたメールはどのようにして、迷惑メールかどうか判断されるのでしょうか？ ① 10% 情報追加 URLが含まれている ① 50% 情報追加 「出会い」という 言葉が含まれている 80% 届いたメールが迷惑メールの確率 少ない情報からでも確率を出すことができ、情報が増えるごとに事後確率の精度は 高くなっていきます。 事前確率
17. 2. 確率分布
18. どの値を取るかが確率的に決まる変数のことを 確率変数と呼びます。 また、確率を表す関数のことを確率分布と呼びます。 （例）コインを 2 回投げたときの表が出た回数 X 0 1 2
19. 連続型の確率変数、確率分布を考えることもできます。 （例）0 から 1 までのランダムな実数 X を X の確率密度関数と呼びます。 （一点の確率は 0 ） （全体の確率は 1 ） （区間の確率は面積） • • •
20. 確率分布の例①　連続一様分布 確率変数がどのような値でも、確率密度関数が一定の値をとる分布 （例）0 から 1 までの実数をランダムで決定するときの値が従う確率分布
21. 確率分布の例②　正規分布 統計における最重要分布（中心極限定理） （例）平均50、標準偏差10の正規分布（偏差値） μ：平均 σ：標準偏差
22. 確率分布の例③　半正規分布 正の値のみをとる正規分布を考えたい時に使用する分布 （例）標準偏差1の半正規分布 σ：標準偏差
23. 確率分布の例④　ベータ分布 α と β の2つのパラメータによって特徴づけられる分布 α=2, β=1 α=1, β=1 α=2, β=2 α=3, β=2 α=1, β=2 面積を1にする ための調整係数 連続一様分布
24. 3. ベイズ推論
25. ベイズ推論とは、パラメータ p の確率分布を推論することです。 ベイズ推論の流れは以下となります。 1. パラメータ p の事前の確率分布を設定する（事前分布） 2. 情報が得られる 3. 情報によって、パラメータ p の確率分布が更新される（事後分布） 情報追加 事前分布 事後分布
26. 問題「くじ引きで当たりを引く確率」 当たりの確率が一定のくじを 5 回引いたとき、結果は「当たり・外れ・外れ・当たり・外れ」でし た。このくじが当たる確率 p はどのくらいでしょうか？ この問題を最尤推定という方法と、ベイズ推論という方法の２通りで考えましょう。
27. 問題「くじ引きで当たりを引く確率」 当たりの確率が一定のくじを 5 回引いたとき、結果は「当たり・外れ・外れ・当たり・外れ」でし た。このくじが当たる確率 p はどのくらいでしょうか？ ＜最尤推定＞ 結果が「当たり・当たり・外れ・当たり・外れ」となる確率は、 尤度関数 尤度関数が最大となるのは のとき。
28. 問題「くじ引きで当たりを引く確率」 当たりの確率が一定のくじを 5 回引いたとき、結果は「当たり・外れ・外れ・当たり・外れ」でし た。このくじが当たる確率 p はどのくらいでしょうか？ ＜ベイズ推論＞ p の事前分布として、連続一様分布を考えます。当たりの情報で確率分布が更新されます。 情報追加 当たり 連続一様分布 全体の面積を1に
29. 問題「くじ引きで当たりを引く確率」 当たりの確率が一定のくじを 5 回引いたとき、結果は「当たり・外れ・外れ・当たり・外れ」でし た。このくじが当たる確率 p はどのくらいでしょうか？ ＜ベイズ推論＞ 次に外れの情報で、また確率分布が更新されます。 全体の面積を1に 情報追加 外れ
30. 問題「くじ引きで当たりを引く確率」 当たりの確率が一定のくじを 5 回引いたとき、結果は「当たり・外れ・外れ・当たり・外れ」でし た。このくじが当たる確率 p はどのくらいでしょうか？ ＜ベイズ推論＞ 同じ流れで、確率分布は以下のように更新されます。 当たり 外れ 外れ 当たり 外れ α=2, β=1 α=1, β=1 α=2, β=2 α=2, β=3 α=3, β=3 α=3, β=4 実は全て ベータ分布！
31. 問題「くじ引きで当たりを引く確率」 当たりの確率が一定のくじを 5 回引いたとき、結果は「当たり・外れ・外れ・当たり・外れ」でし た。このくじが当たる確率 p はどのくらいでしょうか？ 今回の場合、最尤推定における尤度関数のグラフと、ベイズ推論で得られる事後分布は同じ形 状となりました。 尤度関数のグラフ ベイズ推論の事後分布
32. 問題「くじ引きで当たりを引く確率」 当たりの確率が一定のくじを 5 回引いたとき、結果は「当たり・外れ・外れ・当たり・外れ」でし た。このくじが当たる確率 p はどのくらいでしょうか？ ＜ベイズ推論＞ p の事前分布として、連続一様分布以外を考えることもできます。 当たり 外れ 外れ 当たり 外れ α=7, β=6 α=6, β=6 α=7, β=7 α=7, β=8 α=8, β=8 α=8, β=9 α=6, β=6 の事前分布は、 「当たり×5、外れ×5」の事前 データを持っていることと同 じ
33. 4. ベイズ線形回帰
34. AI（人工知能）は、ルールベースの手法と機械学習の手法に分かれます。 • ルールベースの手法：人がルールを定める • 機械学習の手法：機械（コンピュータ）がデータをもとにルールを学習する ELIZA（ルールベース） ChatGPT（機械学習）
35. 機械学習はさらに教師あり学習、教師なし学習、強化学習に分かれます。 このうち教師あり学習とは、正解つきのデータをもとにルールを学習し、未知のデータの正解を予 測することを言います。 予測の中でも数値を予測することを、 回帰と呼びます。 回帰の例　カリフォルニアの住宅価格 • 世帯所得 • 住宅の築年数 • 住宅の部屋数 • 居住人数 • 住宅価格 説明変数（入力） 目的変数（出力）
36. 回帰の例「カリフォルニアの住宅価格」 住宅の部屋数と住宅価格の関係性を調べてみましょう。 1 次式 y = αx + β で 2 変数の関係を近似しましょ う。これを線形回帰といいます。 最小 2 乗法を用いた一般的な線形回帰と、 ベイズ線形回帰の 2 通りの方法で考えます。
37. 最小 2 乗法では、直線と各データの y 座標の誤差 を調べます。 誤差の 2 乗和は α と β の 2 次関数になります。こ の 2 次関数が最小となる α と β を求めれば OK！ 最小 2 乗法では、α や β が 1 つの値に定まりま す。 回帰の例「カリフォルニアの住宅価格」 住宅の部屋数と住宅価格の関係性を調べてみましょう。 (7, 7α+β) (7, 4.5) 誤差
38. 回帰の例「カリフォルニアの住宅価格」 住宅の部屋数と住宅価格の関係性を調べてみましょう。 ベイズ推論とは、パラメータの確率分布を推論することで した。 今回パラメータとして考えるのは次の 3 種類です。 • 傾き α 事前分布は平均値0、標準偏差10の正規分布 • 切片 β 事前分布は平均値0、標準偏差10の正規分布 • 誤差 ε 事前分布は標準偏差1の半正規分布
39. 回帰の例「カリフォルニアの住宅価格」 住宅の部屋数と住宅価格の関係性を調べてみましょう。 情報によって更新された後の α, β, ε の事後分布は次のようになります。 事後分布は通常は解析的に解けない複雑な形をしているため、サンプリングによって 近似的に事後分布を求めます。（ マルコフチェインモンテカルロ法 （MCMC））
40. 回帰の例「カリフォルニアの住宅価格」 住宅の部屋数と住宅価格の関係性を調べてみましょう。 ベイズ線形回帰では、α や β の確率分布が得られ ますので、それをもとに回帰直線を描くと幅を持った 状態で示されます。 これにより、不確実性がどの程度であるかを表現で きています。
41. まとめ • 確率は情報を得ることで更新されます。（ベイズの定理） • ベイズ推論は、ベイズの定理を土台とした推論の方法です。パラメータの事前分布と得ら れたデータをもとに、パラメータの事後分布を推論します。 • ベイズ推論には次のようなメリットがあります ◦ 推論の結果が確率分布であることから、不確実性が表現されている ◦ データが不十分な場合にも使うことができる ◦ 事前知識や経験を事後推定に組み込むことができる