第1.5回ゼミ

回帰

Transcript

1. 1. 単回帰分析 3 © Presentation Design • データの構造を表す 直線のモデル式を作る。 • 直線のモデル式を作って 予測をする。 例） 最⾼気温とアイス →モデル︓y=𝑎𝑥+b どんな分析⼿法︖
2. 1.単回帰分析 © Presentation Design 4 どうやってモデルを作るの︖ • 実際の値と予測した値の差 （残差𝜀𝑖 ）の⼆乗和を計算 • 残差𝜀𝑖 の⼆乗和∑ 𝜀𝑖 2が最⼩になる 傾き % 𝛼, 切⽚ ' 𝛽を求める →残差⼆乗和∑ 𝜺𝒊 𝟐 → ∑ 𝜺𝒊 𝟐 を* 𝜶, , 𝜷で偏微分して 𝝏 ∑ 𝜺𝒊 𝟐 𝝏* 𝜶 = 𝟎, 𝝏 ∑ 𝜺𝒊 𝟐 𝝏, 𝜷 = 𝟎 を満たす* 𝜶, , 𝜷を求める
3. 1.単回帰分析 © Presentation Design 5 切⽚! 𝜷を求める 偏微分=0 偏微分 偏微分=0
4. 1.単回帰分析 © Presentation Design 6 % 𝑦︓yの平均, ̅ 𝑥︓xの平均 と表すと 偏微分=0 Σを分解 →bは定数なのでNbになる yの平均, xの平均 切⽚! 𝜷を求める 偏微分=0
5. 1.単回帰分析 © Presentation Design 7 傾き! 𝜷を求める 偏微分=0 偏微分
6. 1.単回帰分析 © Presentation Design 8 傾き! 𝜷を求める % 𝑦︓yの平均, ̅ 𝑥︓xの平均（1.10) bはわかってるからaも求められそう︕ 偏微分=0 Σを分解
7. 1.単回帰分析 © Presentation Design 9 傾き! 𝜷を求める ! 𝑦︓yの平均, ̅ 𝑥︓xの平均（1.10) 切⽚bの式 𝑏 = # 𝑦 − 𝑎 ̅ 𝑥 を代⼊すると 積の平均 – 平均の積 ⼆乗の平均 – 平均の⼆乗
8. 1.単回帰分析 © Presentation Design 10 決定係数 R! = ∑" # 𝜀$ ∑" # 𝑦$ − ' 𝑦$ = ∑" # ' 𝑦$ − ( 𝑦 ∑" # 𝑦$ − ( 𝑦 これが１に近いほど回帰直線はデータによく当てはまっている
9. 2. 重回帰分析 © Presentation Design 11 ・単回帰分析︓y = 𝛼 + 𝛽𝑥 →変数一つだけだと完全に表せ切れてなくない？ →変数を増やそう！ 重回帰分析とは︖ 重回帰モデル y = 𝛼 + 𝛽1 𝑥1 + 𝛽2 𝑥2 + ⋯ 𝛽𝑘 𝑥𝑘 例） y︓アイスクリームの売上 𝑥1 ：最高気温 𝑥2 ：平均価格（新たな変数）
10. 2. 重回帰分析 © Presentation Design 12 重回帰分析とは︖ データ𝑦,, 𝑦- ⋯ 𝑦. に対して、重回帰モデル y = 𝛼 + 𝛽,𝑥, + 𝛽-𝑥- + ⋯ 𝛽.𝑥. 6 𝑦, = 𝜔,𝑥,, + 𝜔-𝑥,- + ⋯ 𝜔.𝑥,. 6 𝑦- = 𝜔, 𝑥,- + 𝜔- 𝑥-- + ⋯ 𝜔. 𝑥-. ⋮ 6 𝑦/ = 𝜔,𝑥/, + 𝜔-𝑥/- + ⋯ 𝜔.𝑥/. ⾏列で表記 6 𝑦, 6 𝑦- ⋮ 6 𝑦/ = 𝜔,𝑥,, + 𝜔-𝑥,- + ⋯ 𝜔.𝑥,. 𝜔,𝑥,- + 𝜔-𝑥-- + ⋯ 𝜔.𝑥-. ⋮ 𝜔, 𝑥/, + 𝜔- 𝑥/- + ⋯ 𝜔. 𝑥/. = 𝑥,, 𝑥-, ⋯ 𝑥,. 𝑥-. ⋮ ⋱ ⋮ 𝑥/, ⋯ 𝑥/. 𝜔, 𝜔- ⋮ 𝜔. まとめると * 𝒚 = 𝑿𝝎
11. 2. 重回帰分析 © Presentation Design 13 最⼩⼆乗法 𝐿0 1 = ∑ 𝜀2 - = 𝜺 - = 𝜔, 𝜔- ⋮ 𝜔/ 3 𝜔, 𝜔- ⋮ 𝜔/ = 𝒚 − 𝑿𝝎 - = 𝒚 − 𝑿𝝎 3 𝒚 − 𝑿𝝎 最⼩にしたい⽬的関数 = 𝒚𝑻𝒚 − 𝑿𝝎 𝑻𝒚 − 𝒚𝑻𝑿𝝎 + 𝑿𝝎 𝑻𝑿𝝎 =𝒚𝑻𝒚 − 𝝎𝑻𝑿𝑻𝒚 −𝒚𝑻 𝑿𝝎 + 𝝎𝑻𝑿𝑻𝑿𝝎 ()を展開 を展開
12. 2. 重回帰分析 © Presentation Design 14 最⼩⼆乗法 𝜕 𝜕𝝎 𝒚 − 𝑿𝝎 - = 𝜕 𝜕𝝎 𝒚𝑻𝒚 − 𝝎𝑻𝑿𝑻𝒚 −𝒚𝑻 𝑿𝝎 + 𝝎𝑻𝑿𝑻𝑿𝝎 = −𝟐𝒚𝑻𝑿 + 𝟐𝑿𝑻𝑿𝝎 −𝟐𝒚𝑻𝑿 + 𝟐𝑿𝑻𝑿𝝎 = 𝟎とすると 𝑿𝑻𝑿𝝎 = 𝒚𝑻𝑿 𝝎= 𝑿𝑻𝑿 5𝟏 𝒚𝑻𝑿