機械学習を理論から真剣に取り組んでみた件 その2：線形化に挑戦しよう！

カーネル法を用いて、線型の形で最小化問題に挑むことができるようにする方法についてです。今回では、多項式回帰について適用しています。

Transcript

1. 0 機械学習を理論から真剣に取り組んでみた件 その2：線形化に挑戦しよう！ 2023-08-18 第56回NearMe技術勉強会 Asahi Kaito
2. 1 前回のスライドの復習から始めます
3. 2 1. 回帰について 1-1. 線形な単回帰と重回帰 • 単回帰 ◦ 1つの変数 x に依存してある従属変数 y が関係あると仮定する ◦ 線形な単回帰では、以下の関係 (1) を仮定、ただしci (i=0, 1)は定数 ◦ 問題 → ci (i=0, 1)の決定！！
4. 3 1. 回帰について 1-1. 線形な単回帰と重回帰 • 単回帰 ◦ 問題 → ci (i=0, 1)の決定（最適な直線を引こう！）！！
5. 4 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 ◦ 訓練データ　　　　　　　　　　　　　　　　　　　　　 を用いて、以下の誤差関数を最小化できるci (i=0, 1)を求める。
6. 5 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 ◦ 連立方程式を行列で表現して...
7. 6 1. 回帰について 1-1. 線形な単回帰と重回帰 • 線形な単回帰の基本的な解法 ◦ 答え（係数行列の逆行列が存在すれば）
8. 7 1. 回帰について 1-1. 線形な単回帰と重回帰 • 重回帰 ◦ 複数の変数 xi (i=1, 2, 3, …, d) に依存している従属変数 y が関係あると仮定する ◦ 線形な重回帰では、以下の関係 (1) を仮定、ただしci (i=0, 1, 2, …, d)は定数 ◦ 問題 → ci (i=0, 1, 2, …, d) の決定！！
9. 8 1. 回帰について 1-1. 線形な単回帰と重回帰 • 重回帰 ◦ これを、訓練データ分計算する必要があるので、さらに行列に拡張する
10. 9 1. 回帰について 1-1. 線形な単回帰と重回帰 • 重回帰 ◦ ここでも、二乗誤差を計算してみる
11. 10 1. 回帰について 1-1. 線形な単回帰と重回帰 • 重回帰 ◦ ベクトルで微分を行って、この値が0となるとき、 これが存在すれば
12. 11 1. 回帰について 1-2. 非線形な単回帰と重回帰 • 非線形とは ◦ 説明変数が1次以外のものが含まれている ◦ 例1： ◦ 例2： → ものによっては、線形のときのようにうまくいかないものも... → なんとか線形化できないか？
13. 12 2回目：線形化手法　〜カーネル法〜
14. 13 2. 線形化手法　〜カーネル法〜 2-1. カーネル関数について 2-1-1. カーネル関数とは • kが集合X上の2変数関数 • 以下の2つを満たすとき、kは集合X上のカーネル関数という (1) (2)
15. 14 2. 線形化手法　〜カーネル法〜 2-1. カーネル関数について 2-1-2. カーネル関数の必要性 • 次元を上げることができる ◦ どういうこと？ ▪ k(x, y)の分布は、x, yが実数であれば、3次元に分布する（z=k(x, y)） ▪ 高次元化することで、分類がより明確になることがある
16. 15 2. 線形化手法　〜カーネル法〜 2-1. カーネル関数について 2-1-3. カーネル関数の例 • 以下の2つのものは、カーネル関数の例 (1)　　　　　　　　　　　　 (2)　
17. 16 2. 線形化手法　〜カーネル法〜 2-1. カーネル関数について 2-1-4. カーネル関数の特徴 • カーネル関数の和や積も、カーネル関数になる (1)　　　　　　　　　　　　　 (2)　　　　　　　　　　　　
18. 17 2. 線形化手法　〜カーネル法〜 2-1. カーネル関数について 2-1-4. カーネル関数の特徴 • これらを組み合わせて、カーネル関数を構築していく→どんなものがあるのかな？ (1) (2) (3) (4)
19. 18 2. 線形化手法　〜カーネル法〜 2-2. カーネル関数の構築 2-2-1. カーネル関数の具体例 • 以下の関数（ガウスカーネル）がカーネル関数であることを示しましょう
20. 19 2. 線形化手法　〜カーネル法〜 2-2. カーネル関数の構築 2-2-1. カーネル関数の具体例 • 以下の関数（ガウスカーネル）がカーネル関数であることを示しましょう (1)
21. 20 2. 線形化手法　〜カーネル法〜 2-2. カーネル関数の構築 2-2-1. カーネル関数の具体例 • 以下の関数（ガウスカーネル）がカーネル関数であることを示しましょう (1)
22. 21 2. 線形化手法　〜カーネル法〜 2-2. カーネル関数の構築 2-2-1. カーネル関数の具体例 • 以下の関数（ガウスカーネル）がカーネル関数であることを示しましょう (1)
23. 22 2. 線形化手法　〜カーネル法〜 2-2. カーネル関数の構築 2-2-1. カーネル関数の具体例 • 以下の関数（ガウスカーネル）がカーネル関数であることを示しましょう (1)
24. 23 2. 線形化手法　〜カーネル法〜 2-2. カーネル関数の構築 2-2-1. カーネル関数の具体例 • 以下の関数（ガウスカーネル）がカーネル関数であることを示しましょう (2)
25. 24 2. 線形化手法　〜カーネル法〜 2-2. カーネル関数の構築 2-2-1. カーネル関数の具体例 • 以下の関数（ガウスカーネル）がカーネル関数であることを示しましょう (2)
26. 25 2. 線形化手法　〜カーネル法〜 2-2. カーネル関数の利用（多項式回帰） 入力データ 　　　　　　　　　　　　 出力データ　　　　　　　　　　　　　　　 以下を最小にする次数が d 以下の多項式 f を見つけよ。
27. 26 2. 線形化手法　〜カーネル法〜 2-2. カーネル関数の利用（多項式回帰） 　　　　　　　　　　　　　 適当なベクトル　　　　　　　　　　　　 以下の多項式 fv の次数は d 以下となる。
28. 27 2. 線形化手法　〜カーネル法〜 2-2. カーネル関数の利用（多項式回帰） 　　　　　　　　　　　　　　　　　　　 で張られる空間への直交射影 P を用いると、
29. 28 2. 線形化手法　〜カーネル法〜 2-2. カーネル関数の利用（多項式回帰） よって、以下のようにベクトル v を設定して良い！
30. 29 2. 線形化手法　〜カーネル法〜 2-2. カーネル関数の利用（多項式回帰）
31. 30 2. 線形化手法　〜カーネル法〜 2-2. カーネル関数の利用（多項式回帰）
32. 31 2. 線形化手法　〜カーネル法〜 2-2. カーネル関数の利用（多項式回帰） → 係数 c を分離することができた！！ カーネル関数
33. 32 2. 線形化手法　〜カーネル法〜 2-2. カーネル関数の利用（多項式回帰）
34. 33 2. 線形化手法　〜カーネル法〜 2-2. カーネル関数の利用（多項式回帰） 入力データ 　　　　　　　　　　　　 出力データ　　　　　　　　　　　　　　　 以下を最小にする次数が d 以下の多項式 f を見つけよ。
35. 34 2. 線形化手法　〜カーネル法〜 2-2. カーネル関数の利用（多項式回帰）
36. 35 2. 線形化手法　〜カーネル法〜 2-3. カーネル関数の実践（多項式回帰） To Colab : https://colab.research.google.com/drive/1pGGa5ui-RxsKLNi5Wb50zVLyn3Hbx4Dk?usp=sharing
37. 36 次回 少しステップアップ！カーネル回帰
38. 37 参考図書 http://www.rokakuho.co.jp/data/books/0171.html http://www.rokakuho.co.jp/data/books/0172.html
39. 38 Thank you