機械学習を支える連続最適化

機械学習で必要不可欠な、「連続最適化」に関する資料です。有名なAdamなどについてまとめています。

Transcript

1. 0 2024-06-07 第93回NearMe技術勉強会 Futo Ueno 機械学習を⽀える連続最適化
2. 1 背景 ‧今取り組んでいるタスクでNeural Networkを使いはじめた ‧optimizerの中⾝が気になった ‧調べると⾊々な歴史があった ‧現在よく使われているAdamに⾄るまでの変遷を辿ってみた
3. 2 連続最適化とは 離散最適化 連続最適化
4. 3 連続最適化とは 離散最適化 連続最適化
5. 4 連続最適化とは 離散最適化 連続最適化 → 微分の情報を活⽤する
6. 5 使いどころ Neural Network
7. 6 使いどころ Neural Network
8. 7 使いどころ Neural Network
9. 8 使いどころ Neural Network
10. 9 使いどころ Neural Network
11. 10 使いどころ Neural Network update
12. 11 使いどころ Neural Network → minimize update
13. 12 上昇⽅向 降下⽅向 微分の情報からわかること
14. 13 降下⽅向 上昇⽅向 上昇⽅向 降下⽅向 微分の情報からわかること
15. 14 降下⽅向 上昇⽅向 上昇⽅向 降下⽅向 微分の情報からわかること → 「降下⽅向」がわかる！
16. 15 微分の情報からわかること 定義
17. 16 微分の情報からわかること 「降下⽅向」は無数にあるが‧‧‧
18. 17 基本的な⽅法 勾配降下法 (Gradient Descent) 学習率： 更新量を制御するパラメータ
19. 18 基本的な⽅法 勾配降下法 (Gradient Descent) 学習率： 更新量を制御するパラメータ ⼤ ⼩
20. 19 基本的な⽅法 勾配降下法 (Gradient Descent)
21. 20 基本的な⽅法 勾配降下法 (Gradient Descent)
22. 21 基本的な⽅法 勾配降下法 (Gradient Descent)
23. 22 基本的な⽅法 勾配降下法 (Gradient Descent)
24. 23 基本的な⽅法 勾配降下法 (Gradient Descent)
25. 24 基本的な⽅法 勾配降下法 (Gradient Descent)
26. 25 基本的な⽅法 勾配降下法 (Gradient Descent) update
27. 26 勾配降下法の改良 確率的勾配降下法 (SGD; Stochastic Gradient Descent)
28. 27 勾配降下法の改良 確率的勾配降下法 (SGD; Stochastic Gradient Descent)
29. 28 勾配降下法の改良 確率的勾配降下法 (SGD; Stochastic Gradient Descent)
30. 29 勾配降下法の改良 確率的勾配降下法 (SGD; Stochastic Gradient Descent)
31. 30 勾配降下法の改良 確率的勾配降下法 (SGD; Stochastic Gradient Descent)
32. 31 勾配降下法の改良 確率的勾配降下法 (SGD; Stochastic Gradient Descent)
33. 32 勾配降下法の改良 確率的勾配降下法 (SGD; Stochastic Gradient Descent)
34. 33 勾配降下法の改良 確率的勾配降下法 (SGD; Stochastic Gradient Descent) update
35. 34 勾配降下法の改良 確率的勾配降下法 (SGD; Stochastic Gradient Descent) -利点- ‧1サンプルについて計算を⾏えばよいので楽 (GPUを使う場合は複数サンプルからなるミニバッチを作るなどする) ‧損失の形状が毎回変わるので、局所最適解から脱出できる余地がある
36. 35 勾配降下法の改良
37. 36 勾配降下法の改良
38. 37 勾配降下法の改良
39. 38 勾配降下法の改良
40. 39 勾配降下法の改良
41. 40 勾配降下法の改良
42. 41 勾配降下法の改良 確率的勾配降下法 (SGD; Stochastic Gradient Descent) -課題- ‧ 損失の形状が毎回変わるので、⼀貫性に⽋けてしまう ‧ パフォーマンスが学習率の選び⽅に⼤きく依存する
43. 42 勾配降下法の改良 確率的勾配降下法 (SGD; Stochastic Gradient Descent) -課題- ‧ 損失の形状が毎回変わるので、⼀貫性に⽋けてしまう → momentum SGD, NAG ‧ パフォーマンスが学習率の選び⽅に⼤きく依存する → AdaGrad, RMSProp, Adadelta
44. 43 momentumの導⼊ momentum SGD
45. 44 momentumの導⼊ momentum SGD
46. 45 momentumの導⼊ momentum SGD
47. 46 momentumの導⼊ momentum SGD
48. 47 momentumの導⼊ momentum SGD
49. 48 momentumの導⼊ momentum SGD
50. 49 momentumの導⼊ momentum SGD
51. 50 momentumの導⼊ momentum SGD
52. 51 勾配降下法の改良 (再掲) 確率的勾配降下法 (SGD; Stochastic Gradient Descent) -課題- ‧ 損失の形状が毎回変わるので、⼀貫性に⽋けてしまう → momentum SGD, NAG ‧ パフォーマンスが学習率の選び⽅に⼤きく依存する → AdaGrad, RMSProp, Adadelta
53. 52 更新幅の適応的調整 AdaGrad (Adaptive Gradient)
54. 53 更新幅の適応的調整 RMSProp (Root Mean Squared Propagation)
55. 54 更新幅の適応的調整 Adadelta (Adaptive delta)
56. 55 勾配降下法の改良 (再掲) 確率的勾配降下法 (SGD; Stochastic Gradient Descent) -課題- ‧ 損失の形状が毎回変わるので、⼀貫性に⽋けてしまう → momentum SGD, NAG ‧ パフォーマンスが学習率の選び⽅に⼤きく依存する → AdaGrad, RMSProp, Adadelta
57. 56 勾配降下法の改良 (再掲) 確率的勾配降下法 (SGD; Stochastic Gradient Descent) -課題- ‧ 損失の形状が毎回変わるので、⼀貫性に⽋けてしまう → momentum SGD, NAG ‧ パフォーマンスが学習率の選び⽅に⼤きく依存する → AdaGrad, RMSProp, Adadelta Adam
58. 57 Adam Adam (Adaptive moment estimation)
59. 58 Adam Adam (Adaptive moment estimation) by RMSProp by momentum 補正のための係数
60. 59 Adam Adam (Adaptive moment estimation)
61. 60 Adam Adam (Adaptive moment estimation) by RMSProp → そのまま
62. 61 Adam Adam (Adaptive moment estimation) 補正のための係数 (漸近的には1に近くなる)
63. 62 Adam Adam (Adaptive moment estimation) 補正のための係数 (漸近的には1に近くなる)
64. 63 References ‧ 岡⾕貴之 : 「深層学習」. 講談社, 2023. ‧Adadelta : Matthew D. Zeiler: ADADELTA: AN ADAPTIVE LEARNING RATE METHOD. arXiv: 1212.5701, 2012. https://arxiv.org/pdf/1212.5701 ‧Adam : Diederik P. Kingma and Jimmy Lei Ba: ADAM: A METHOD FOR STOCHASTIC OPTIMIZATION. arXiv: 1412.6980, 2017. https://arxiv.org/pdf/1412.6980 ‧https://qiita.com/omiita/items/1735c1d048fe5f611f80
65. 64 Appendix -補正係数の由来- ※
66. 65 Thank you