$30 off During Our Annual Pro Sale. View Details »

機械学習を支える連続最適化

 機械学習を支える連続最適化

機械学習で必要不可欠な、「連続最適化」に関する資料です。有名なAdamなどについてまとめています。

More Decks by NearMeの技術発表資料です

Other Decks in Science

Transcript

  1. 42 勾配降下法の改良 確率的勾配降下法 (SGD; Stochastic Gradient Descent) -課題- ‧ 損失の形状が毎回変わるので、⼀貫性に⽋けてしまう

    → momentum SGD, NAG ‧ パフォーマンスが学習率の選び⽅に⼤きく依存する → AdaGrad, RMSProp, Adadelta
  2. 51 勾配降下法の改良 (再掲) 確率的勾配降下法 (SGD; Stochastic Gradient Descent) -課題- ‧

    損失の形状が毎回変わるので、⼀貫性に⽋けてしまう → momentum SGD, NAG ‧ パフォーマンスが学習率の選び⽅に⼤きく依存する → AdaGrad, RMSProp, Adadelta
  3. 55 勾配降下法の改良 (再掲) 確率的勾配降下法 (SGD; Stochastic Gradient Descent) -課題- ‧

    損失の形状が毎回変わるので、⼀貫性に⽋けてしまう → momentum SGD, NAG ‧ パフォーマンスが学習率の選び⽅に⼤きく依存する → AdaGrad, RMSProp, Adadelta
  4. 56 勾配降下法の改良 (再掲) 確率的勾配降下法 (SGD; Stochastic Gradient Descent) -課題- ‧

    損失の形状が毎回変わるので、⼀貫性に⽋けてしまう → momentum SGD, NAG ‧ パフォーマンスが学習率の選び⽅に⼤きく依存する → AdaGrad, RMSProp, Adadelta Adam
  5. 63 References ‧ 岡⾕貴之 : 「深層学習」. 講談社, 2023. ‧Adadelta :

    Matthew D. Zeiler: ADADELTA: AN ADAPTIVE LEARNING RATE METHOD. arXiv: 1212.5701, 2012. https://arxiv.org/pdf/1212.5701 ‧Adam : Diederik P. Kingma and Jimmy Lei Ba: ADAM: A METHOD FOR STOCHASTIC OPTIMIZATION. arXiv: 1412.6980, 2017. https://arxiv.org/pdf/1412.6980 ‧https://qiita.com/omiita/items/1735c1d048fe5f611f80