ベイズのはなし

第5回 すうがく徒のつどい講演内容 （2024.03.31）

Transcript

1. ベイズのはなし ゆっきん すうがく徒のつどい　第５回
2. 目次 1. 条件付き確率とベイズの定理 条件付き確率の復習と、本講座の根幹であるベイズの定理について説明します。 2. 確率分布 ベイズ推論のための準備として、確率分布について説明します。 3. ベイズ推論 コイン投げの例を通して、ベイズ推論の基本的な考え方を説明します。 4. ベイズ線形回帰 ベイズ推論の機械学習への応用として、ベイズ線形回帰を紹介します。
3. 1. 条件付き確率とベイズの定理
4. 根元事象がすべて同様に確からしい試行において、 事象 A の起こる確率は 事象 A が起こった時に事象 B が起こる条件付き確率は U
5. 条件付き確率の例 さいころを 1 回振ります。 出た目が 4 以上のとき、その目が偶数である確率を求めなさい。 U 確率は 4 以上 偶数 5 6 4
6. ① ② ③ 答えはどれでしょうか？ 問題「２人の子ども①」 スミスさんには子どもが２人います。２人のうち、年上の子は女の子です。 では、２人とも女の子である確率を求めなさい。 ただし、男の子と女の子は等確率で生まれるものと仮定します。
7. 年上の子が女の子 年上の子が男の子 年下の子が女の子 年下の子が男の子 ① 正解は 問題「２人の子ども①」 スミスさんには子どもが２人います。２人のうち、年上の子は女の子です。 では、２人とも女の子である確率を求めなさい。 ただし、男の子と女の子は等確率で生まれるものと仮定します。
8. 問題「２人の子ども②」 スミスさんには子どもが２人います。２人のうち、少なくとも１人は女の子です。 では、２人とも女の子である確率を求めなさい。 ただし、男の子と女の子は等確率で生まれるものと仮定します。 ① ② ③ 答えはどれでしょうか？
9. 年上の子が女の子 年上の子が男の子 年下の子が女の子 年下の子が男の子 ① 正解は ② 問題「２人の子ども②」 スミスさんには子どもが２人います。２人のうち、少なくとも１人は女の子です。 では、２人とも女の子である確率を求めなさい。 ただし、男の子と女の子は等確率で生まれるものと仮定します。
10. 問題「２人の子ども③　ー火曜日に生まれた少女ー」 スミスさんには子どもが２人います。２人のうち、少なくとも１人は火曜日に生まれ た女の子です。では、２人とも女の子である確率を求めなさい。 ただし、男の子と女の子は等確率で生まれるものと仮定します。 火曜日に生まれたという一見関係なさそうな条件が、確率に影響を与えるのでしょう か？　ぜひ考えてみてください！ 答えは、「火曜日に生まれた少女」と検索すると出てきます。
11. より、 この式をベイズの定理と呼びます。 B が何らかの観測、A をその原因としたとき、 ：原因Aの発生確率 ：観測結果Bの発生確率 ：Aが発生した際に観測結果Bが発生する確率（時間順行） ：Bが発生した際に原因Aが起こっていた確率（時間逆行）
12. 問題「病気に罹患している確率」 ある病気の罹患率は1%です。この病気に罹患しているか検査する方法があり、罹患し ている人は99%の確率で陽性と診断され、健康な人は97%の確率で陰性と診断されま す。この検査で陽性と診断されたとき、実際に罹患している確率を求めなさい。 ① 答えはどれでしょうか？ 25% ② 50% ③ 70% ④ 99%
13. P(罹患)・P(陽性|罹患) P(罹患|陽性) = P(陽性) = = 罹患かつ陽性 健康かつ陽性 ① 正解は ① 25% 意外と低い！ 問題「病気に罹患している確率」 ある病気の罹患率は1%です。この病気に罹患しているか検査する方法があり、罹患し ている人は99%の確率で陽性と診断され、健康な人は97%の確率で陰性と診断されま す。この検査で陽性と診断されたとき、実際に罹患している確率を求めなさい。
14. 陽性 陰性 罹患している人（100人） 99人 1人 罹患していない人（9900人） 297人 9603人 問題「病気に罹患している確率」 ある病気の罹患率は1%です。この病気に罹患しているか検査する方法があり、罹患し ている人は99%の確率で陽性と診断され、健康な人は97%の確率で陰性と診断されま す。この検査で陽性と診断されたとき、実際に罹患している確率を求めなさい。 ＜別解＞人口を 10000 人と仮定します。
15. もともとの病気の罹患率 ① 1% 情報追加 検査結果：陽性 情報追加後の病気の罹患率 ① 25% 問題「病気に罹患している確率」 ある病気の罹患率は1%です。この病気に罹患しているか検査する方法があり、罹患し ている人は99%の確率で陽性と診断され、健康な人は97%の確率で陰性と診断されま す。この検査で陽性と診断されたとき、実際に罹患している確率を求めなさい。 事前確率 事後確率 得た情報によって、確率が更新されました。これをベイズ更新といいます。
16. ベイズの定理の活用例「迷惑メールフィルター」 届いたメールはどのようにして、迷惑メールかどうか判断されるのでしょうか？ ① 10% 情報追加 URLが含まれている ① 50% 情報追加 「出会い」という 言葉が含まれている 80% 届いたメールが迷惑メールの確率 少ない情報からでも確率を出すことができ、情報が増えるごとに事後確率の 精度は高くなっていきます。 事前確率
17. 2. 確率分布
18. どの値を取るかが確率的に決まる変数のことを確率変数と呼びます。 また、確率を表す関数のことを確率分布と呼びます。 （例）コインを 2 回投げたときの表が出た回数 X 0 1 2
19. 連続型の確率変数、確率分布を考えることもできます。 （例）0 から 1 までのランダムな実数 X を X の確率密度関数と呼びます。 （一点の確率は 0 ） （全体の確率は 1 ） （区間の確率は面積） • • •
20. 確率分布の例①　連続一様分布 確率変数がどのような値でも、確率密度関数が一定の値をとる分布 （例）0 から 1 までの実数をランダムで決定するときの値が従う確率分布
21. 確率分布の例②　正規分布 統計における最重要分布（中心極限定理） （例）平均50、標準偏差10の正規分布（偏差値） μ：平均 σ：標準偏差
22. 確率分布の例③　半正規分布 正の値のみをとる正規分布を考えたい時に使用する分布 （例）標準偏差1の半正規分布 σ：標準偏差
23. 確率分布の例④　ベータ分布 α と β の2つのパラメータによって特徴づけられる分布 α=2, β=1 α=1, β=1 α=2, β=2 α=3, β=2 α=1, β=2 面積を1にする ための調整係数 連続一様分布
24. 3. ベイズ推論
25. ベイズ推論とは、パラメータ p の確率分布を推論することです。 ベイズ推論の流れは以下となります。 1. パラメータ p の事前の確率分布を設定する（事前分布） 2. 情報が得られる 3. 情報によって、パラメータ p の確率分布が更新される（事後分布） 情報追加 事前分布 事後分布
26. 問題「くじ引きで当たりを引く確率」 当たりの確率が一定のくじを 5 回引いたとき、結果は「当たり・外れ・外れ・当たり ・外れ」でした。このくじが当たる確率 p はどのくらいでしょうか？ この問題を最尤推定という方法と、ベイズ推論という方法の２通りで考えましょう。
27. 問題「くじ引きで当たりを引く確率」 当たりの確率が一定のくじを 5 回引いたとき、結果は「当たり・外れ・外れ・当たり ・外れ」でした。このくじが当たる確率 p はどのくらいでしょうか？ ＜最尤推定＞ 結果が「当たり・当たり・外れ・当たり・外れ」となる確率は、 尤度関数 尤度関数が最大となるのは のとき。
28. 問題「くじ引きで当たりを引く確率」 当たりの確率が一定のくじを 5 回引いたとき、結果は「当たり・外れ・外れ・当たり ・外れ」でした。このくじが当たる確率 p はどのくらいでしょうか？ ＜ベイズ推論＞ p の事前分布として、連続一様分布を考えます。当たりの情報で確率分布が更新されます。 情報追加 当たり 連続一様分布 全体の面積を1に
29. 問題「くじ引きで当たりを引く確率」 当たりの確率が一定のくじを 5 回引いたとき、結果は「当たり・外れ・外れ・当たり ・外れ」でした。このくじが当たる確率 p はどのくらいでしょうか？ ＜ベイズ推論＞ 次に外れの情報で、また確率分布が更新されます。 全体の面積を1に 情報追加 外れ
30. 問題「くじ引きで当たりを引く確率」 当たりの確率が一定のくじを 5 回引いたとき、結果は「当たり・外れ・外れ・当たり ・外れ」でした。このくじが当たる確率 p はどのくらいでしょうか？ ＜ベイズ推論＞ 同じ流れで、確率分布は以下のように更新されます。 当たり 外れ 外れ 当たり 外れ α=2, β=1 α=1, β=1 α=2, β=2 α=2, β=3 α=3, β=3 α=3, β=4 実は全て ベータ分布！
31. 問題「くじ引きで当たりを引く確率」 当たりの確率が一定のくじを 5 回引いたとき、結果は「当たり・外れ・外れ・当たり ・外れ」でした。このくじが当たる確率 p はどのくらいでしょうか？ 今回の場合、最尤推定における尤度関数のグラフと、ベイズ推論で得られる事後分布 は同じ形状となりました。 尤度関数のグラフ ベイズ推論の事後分布
32. 問題「くじ引きで当たりを引く確率」 当たりの確率が一定のくじを 5 回引いたとき、結果は「当たり・外れ・外れ・当たり ・外れ」でした。このくじが当たる確率 p はどのくらいでしょうか？ ＜ベイズ推論＞ p の事前分布として、連続一様分布以外を考えることもできます。 当たり 外れ 外れ 当たり 外れ α=7, β=6 α=6, β=6 α=7, β=7 α=7, β=8 α=8, β=8 α=8, β=9 α=6, β=6 の事前分布 は、「当たり×5、外れ ×5」の事前データを持っ ていることと同じ
33. 4. ベイズ線形回帰
34. AI（人工知能）は、ルールベースの手法と機械学習の手法に分かれます。 • ルールベースの手法：人がルールを定める • 機械学習の手法：機械（コンピュータ）がデータをもとにルールを学習する ELIZA（ルールベース） ChatGPT（機械学習）
35. 機械学習はさらに教師あり学習、教師なし学習、強化学習に分かれます。 このうち教師あり学習とは、正解つきのデータをもとにルールを学習し、未知のデータの 正解を予測することを言います。 予測の中でも数値を予測することを、回帰と呼びます。 回帰の例　カリフォルニアの住宅価格 • 世帯所得 • 住宅の築年数 • 住宅の部屋数 • 居住人数 • 住宅価格 説明変数（入力） 目的変数（出力）
36. 回帰の例「カリフォルニアの住宅価格」 住宅の部屋数と住宅価格の関係性を調べてみましょう。 1 次式 y = αx + β で 2 変数の関係を近似しま しょう。これを線形回帰といいます。 最小 2 乗法を用いた一般的な線形回帰と、 ベイズ線形回帰の 2 通りの方法で考えます。
37. 最小 2 乗法では、直線と各データの y 座標の 誤差を調べます。 誤差の 2 乗和は α と β の 2 次関数になりま す。この 2 次関数が最小となる α と β を求め れば OK！ 最小 2 乗法では、α や β が 1 つの値に定まりま す。 回帰の例「カリフォルニアの住宅価格」 住宅の部屋数と住宅価格の関係性を調べてみましょう。 (7, 7α+β) (7, 4.5) 誤差
38. 回帰の例「カリフォルニアの住宅価格」 住宅の部屋数と住宅価格の関係性を調べてみましょう。 ベイズ推論とは、パラメータの確率分布を推論する ことでした。 今回パラメータとして考えるのは次の 3 種類です。 • 傾き α 事前分布は平均値0、標準偏差10の正規分布 • 切片 β 事前分布は平均値0、標準偏差10の正規分布 • 誤差 ε 事前分布は標準偏差1の半正規分布
39. 回帰の例「カリフォルニアの住宅価格」 住宅の部屋数と住宅価格の関係性を調べてみましょう。 情報によって更新された後の α, β, ε の事後分布は次のようになります。 事後分布は通常は解析的に解けない複雑な形をしているため、サンプリングによって 近似的に事後分布を求めます。（マルコフチェインモンテカルロ法 （MCMC））
40. 回帰の例「カリフォルニアの住宅価格」 住宅の部屋数と住宅価格の関係性を調べてみましょう。 ベイズ線形回帰では、α や β の確率分布が得ら れますので、それをもとに回帰直線を描くと幅 を持った状態で示されます。 これにより、不確実性がどの程度であるかを表 現できています。
41. まとめ • 確率は情報を得ることで更新されます。（ベイズの定理） • ベイズ推論は、ベイズの定理を土台とした推論の方法です。パラメータの事前分布 と得られたデータをもとに、パラメータの事後分布を推論します。 • ベイズ推論には次のようなメリットがあります ◦ 推論の結果が確率分布であることから、不確実性が表現されている ◦ データが不十分な場合にも使うことができる ◦ 事前知識や経験を事後推定に組み込むことができる
42. 参考 • 書籍 『完全独習 ベイズ統計学入門』 • 書籍 『Pythonでスラスラわかるベイズ推論「超」入門』 • Youtube 『AIcia Solid Project　ベイズ統計』