単回帰分析について数式を追いながら実装してみた

2024年3月21日に開催されたStudyCo様主催のオンライン勉強会イベント「【LT大会】LLMの活用・機械学習・データ分析関係のいろいろな話題にふれよう 」にて発表を行いました。

イベントページ
connpass : https://studyco.connpass.com/event/303484/

発表動画
資料
単回帰分析について
https://youtu.be/buPI1gvlDuA

法線ベクトルについて
https://youtu.be/buPI1gvlDuA

Transcript

1. 単回帰分析について数式を追いながら実装してみた ImVisionLabs株式会社
2. 単回帰分析 1 バックパック型スキャナー iPhone12 LiDAR  データに対して最も当てはまりのよい直線を算出する [動画] 図出典:株式会社パールエースHP URL:https://www.pearlace.co.jp/know-and-fun/tips/post-40.html 板倉、林、上脇、野秋、細井 (2022) 深層学習を用いた根菜類の個数カウンティングによる収量推定法の開発  例）大学での研究で作物（テンサイ）の大きさと体積の関係を計算した テンサイ • 1つの変数で計算するものを単回帰分析という
3. 単回帰分析：導出方法 2 バックパック型スキャナー iPhone12 LiDAR  回帰したときの直線と、実際のデータとの差分（残差）を最小にする [動画]  最小二乗法を使用 • 差分を2乗して誤差を計算 • 誤差の和が最小になる傾きと切片の値を求める 残差 x y 回帰直線 𝑦 = 𝑎𝑥 + 𝑏
4. 単回帰分析：𝑎（傾き）についての偏微分 3 バックパック型スキャナー iPhone12 LiDAR  𝑎に対して微分する  合成関数の微分を行う 合成関数の微分 𝑋とおく 𝜕𝐸 𝜕𝑋 = 1 2 ෍ 𝑖=1 𝑁 −2 yi − X 𝜕𝑋 𝜕𝑎 = 𝑥𝑖
5. 単回帰分析：𝑏(切片)についての偏微分 4 iPhone12 LiDAR  𝑏に対して微分する [動画]  合成関数の微分を行う 𝑋とおく 𝜕𝑋 𝜕𝑏 = 1 合成関数の微分 𝜕𝐸 𝜕𝑋 = 1 2 ෍ 𝑖=1 𝑁 −2 yi − X
6. 単回帰分析：２つの式を解く 6 バックパック型スキャナー iPhone12 LiDAR  𝑎,𝑏それぞれに対して偏微分した結果が 0 になる𝑎,𝑏を求める [動画] 連立方程式を解く 下の式より (6)式を上の式に代入
7. 単回帰分析：２つの式を解く 7  𝑎（傾き）,𝑏（切片）を導出した結果
8. 単回帰分析：検算 8 iPhone12 LiDAR  1) プログラミング（MATLAB）、2) Excel、3) 自分で実装の３つの方法で傾きと切片を計算した [動画] 1) プログラミングで計算したときの結果 バックパック型スキャナー 2) Excelで計算したときの結果
9. 単回帰分析：検算 9 バックパック型スキャナー iPhone12 LiDAR  3) スライド7で計算した結果を以下のように自分で実装（MATLAB） [動画] 算出結果 • 意外とシンプルな式で実装することができた プログラミングの関数、Excel、自分で実装した結果が一致し、自分の理解を確認できた
10. まとめ 10 iPhone12 LiDAR  単回帰分析について、数式を追いながら復習をしました  微分をすることで、傾きや切片を求めることができました [動画]  導出した式によって得られた結果が、ExcelやMATLABによって得られる結果と一致しました • 手計算で導出し、さらに自分でも実装して、検算してみることで、理解がさらに深まりました • 3次元データなどの他の種類のデータに対しても行えるように勉強を進めていきたいです