慶應義塾大学 機械学習基礎05 最適化

Transcript

1. 慶應義塾大学理工学部 機械学習基礎 第５回 最適化 情報工学科 教授 杉浦孔明 komei.sugiura@keio.jp
2. 本講義の到達目標と今回の授業の狙い 本講義の到達目標 ▪ DNNの基礎理論と実装の関係を理解する ▪ 種々のDNNをコーディングできる 今回の授業の狙い ▪ 種々の最適化アルゴリズムを習得する ▪ 過適合とそれを軽減する方法を習得する ▪ 出席確認： K-LMS上の機械学習基礎のMainページへアクセス -3-
3. 最適化 -4-
4. 機械学習の主要要素： データ・モデル・目的関数を定めたうえでの最適化問題 学習に使用されるデータ ニューラルネット等のモデル モデルの良さを定量化する目的関数 目的関数を最大化/最小化するため に、モデルのパラメータを調整する 最適化 -5-
5. 最適化とは ▪ 最適化（optimization） 与えられた制約条件のもとで関数 の値を最大または最小にする変数 の値を求める問題 最適解 E(w)を最小化する wを探すという意味 -6-
6. 最適化とは ▪ 最適化（optimization） 与えられた制約条件のもとで関数 の値を最大または最小にする変数 の値を求める問題 最適解 E(w)を最小化する wを探すという意味 ▪ 例：大気汚染物質の濃度予測 （前回資料）の損失関数 ▪ 解析的な解は得られるか？ →実用問題ではほぼ不可能 -7-
7. Q. 損失関数の概形を見れば最適解が見つかるのでは？ A. No！パラメータ数が多いので、概形を見ることすら大変 ▪ 例：パラメータ数をKとする。 パラメータ毎に8点ずつプロット するとき、プロット点は全部で いくつか？ ▪ K=2 ▪ K=3 ▪ K=1億 →64 →512 →8の1億乗 卒論でも1億パラメータは普通 プロット点が不足している 可能性もある -8-
8. 数値的に近似解を求めるための代表的な方法： 勾配降下法 ▪ 勾配降下法（gradient descent method） or 最急降下法 （steepest descent method） 1. 初期値 を用意 2. 更新則 更新回数 学習率（learning rate; lr） -9-
9. 数値的に近似解を求めるための代表的な方法： 勾配降下法 ▪ 勾配降下法（gradient descent method） or 最急降下法 （steepest descent method） 1. 初期値 ▪ 勾配（gradient） を用意 2. 更新則 更新回数 学習率（learning rate; lr） - 10 -
10. 数値的に近似解を求めるための代表的な方法： 勾配降下法 ▪ 勾配降下法（gradient descent method） or 最急降下法 （steepest descent method） 1. 初期値 2. 更新則 を用意 ▪ 勾配（gradient） ▪ 各次元は傾きを表す ▪ 各次元を比較すれば、関数値 が最も急激に変化する次元 （方向）がわかる ▪ B2「応用数学」では２階微分を 学習率（learning rate; lr） 用いるニュートン法を習った ▪ 計算量が多すぎるため、DNN 更新回数 では非主流 - 11 -
11. 学習において問題となるケース： 局所的極小値や鞍点からの脱出 局所的極小値（local minimum） 局所的極小値 or 局所解（local solution） 大域的極小値 （global minimum） 鞍点（saddle point）： 勾配は０であるが局所的 極小(大)値ではない点 https://en.wikipedia.org/wiki/Saddle_point - 12 -
12. ミニバッチSGD ▪ ミニバッチSGDの更新則 勾配降下法との違いはこれがミニ バッチを表すようになっただけ ▪ ランダムにサンプルが選ばれる 勾配が揺らぐ局所解や鞍点 からの脱出を助ける ▪ を独立に計算できるので、 GPU計算に向く - 13 -
13. ミニバッチSGD ▪ ミニバッチSGDの更新則 勾配降下法との違いはこれがミニ バッチを表すようになっただけ ▪ ランダムにサンプルが選ばれる 勾配が揺らぐ局所解や鞍点 からの脱出を助ける ▪ を独立に計算できるので、 GPU計算に向く ▪ ミニバッチ学習（mini-batch learning） ▪ １回の更新に訓練集合の一部 （ミニバッチ ）を使用 ▪ 更新ごとに損失関数の形状が変 わる ミニバッチに含まれる インデックスの集合 １サンプル毎 の損失 - 14 -
14. ミニバッチの作成方法の例 濃度 風速 濃度 (今) (今) (未来) 5 2.0 4 7 1.2 5 10 1.6 11 … … … 10 1.8 10 9 2.6 10 8 1.8 6 ※これ以外の作成方法でも良い - 15 -
15. ミニバッチの作成方法の例 濃度 風速 濃度 (今) (今) (未来) 8 1.8 6 10 1.8 10 7 1.2 5 … … … 5 2.0 4 10 1.6 11 9 2.6 10 シャッフル ※これ以外の作成方法でも良い - 16 -
16. ミニバッチの作成方法の例 訓練誤差 濃度 風速 濃度 (今) (今) (未来) 1.8 6 10 1.8 10 7 1.2 5 … … … 5 2.0 4 10 1.6 11 9 2.6 10 → 1回目の更新 → 2回目の更新 … 8 1 2 3 … エポック エポック （epoch） → K回目の更新 エポック毎に再シャッフル ※これ以外の作成方法でも良い - 17 -
17. ミニバッチの作成方法の例 訓練誤差 濃度 風速 濃度 (今) (今) (未来) 2.6 10 5 2.0 4 10 1.8 10 … … … 8 1.8 6 7 1.2 5 10 1.6 11 → 1回目の更新 → 2回目の更新 … 9 1 2 3 … エポック エポック （epoch） → K回目の更新 エポック毎に再シャッフル ※これ以外の作成方法でも良い - 18 -
18. ミニバッチの作成方法の例 訓練誤差 濃度 風速 濃度 (今) (今) (未来) 1.6 11 5 2.0 4 8 1.8 6 … … … 7 1.2 5 10 1.8 10 9 2.6 10 → 1回目の更新 → 2回目の更新 … 10 1 2 3 … エポック エポック （epoch） → K回目の更新 エポック毎に再シャッフル ※これ以外の作成方法でも良い - 19 -
19. 勾配降下法の改良 - 20 -
20. 勾配降下法の課題： 更新時に振動したり停止したりするケース 正負交互の急な勾配 （振動を起こす） プラトー（勾配が０） 鞍点（saddle point）： 勾配は０であるが局所的 極小(大)値ではない点 https://en.wikipedia.org/wiki/Saddle_point - 21 -
21. モーメンタム法 （the momentum method） ▪ 背景 ▪ 正負交互の急な勾配（振動） を抑制したい ▪ ステップtの勾配だけ利用するの ではなく、t-1の勾配も利用 （振動を打ち消し合うはず） - 22 -
22. モーメンタム法 （the momentum method） ▪ 背景 ▪ 正負交互の急な勾配（振動） を抑制したい ▪ ステップtの勾配だけ利用するの ではなく、t-1の勾配も利用 （振動を打ち消し合うはず） ▪ モーメンタム法の更新則 ▪ 初期値 と を用意 ↑前回のρ割を使う ▪ とすれば勾配降下法と同じ - 23 -
23. AdaGrad [Duchi+ 2011] 背景 ▪ 背景 ▪ 方向：急な勾配 ▪ 方向：緩やか ↓ 同じ学習率だと 方向の更新が 遅くなる ▪ 各パラメータ方向に応じて、 学習率の影響を変えたい →過去に勾配が大きかった方向 の更新量を抑制しよう - 24 -
24. AdaGrad [Duchi+ 2011] 更新則 ▪ 背景 ▪ 方向：急な勾配 ▪ 方向：緩やか ↓ 同じ学習率だと 方向の更新が 遅くなる ▪ 各パラメータ方向に応じて、 学習率の影響を変えたい →過去に勾配が大きかった方向 の更新量を抑制しよう ▪ AdaGradの更新則 初期値 と を用意 第i成分 ゼロ除算を避けるため 0.000001などを入れる - 25 -
25. AdaGrad [Duchi+ 2011] 欠点 ▪ 学習の初期に勾配が大きいと、 急激に が小さくなる （この部分は常に増大するため） ▪ AdaGradの更新則 初期値 と 第i成分 を用意 今後この式は 書かない ゼロ除算を避けるため 0.000001などを入れる - 26 -
26. RMSprop 更新則 ▪ RMSpropの更新則 状態変数を１つ導入 ▪ AdaGradの更新則 初期値 と 第i成分 分母が違う を用意 今後この式は 書かない ゼロ除算を避けるため 0.000001などを入れる - 27 -
27. RMSprop 指数移動平均の利用 ▪ RMSpropの更新則 状態変数を１つ導入 ▪ 指数移動平均（exponential moving average; EMA） ↑ρ割をキープし、(1-ρ)割を新しい値に ρ=0.99 ρ=0.9 ρ=0 - 28 -
28. RMSprop 特徴と問題 ▪ RMSpropの更新則 状態変数を１つ導入 ▪ RMSpropの特徴 ▪ AdaGradに似ている ▪ 勾配の二乗の指数移動平均を 学習率のスケーリングに利用 ▪ RMSpropの問題 ▪ 学習率に鋭敏 学習率を変えると結果がガラッ と変わってしまう 2乗平均の平方根なのでroot mean square (RMS) - 29 -
29. AdaDelta [Zeiler 2012] 更新則 ▪ RMSpropの更新則 状態変数を１つ導入 ▪ AdaDeltaの更新則 状態変数を２つ導入＝２種類の 指数移動平均を使う 同じ 2乗平均の平方根なのでroot mean square (RMS) ↑学習率を陽に持たない - 30 -
30. AdaDelta [Zeiler 2012] RMSpropとの相違点 ▪ AdaDeltaの更新則 状態変数を２つ導入＝２種類の 指数移動平均を使う ▪ 分子 ▪ 学習率ではなく更新量のRMS ▪ とすると循環的定義に なってしまうので で 代用 ▪ 分母はRMSpropと同じ ↑学習率を陽に持たない - 31 -
31. Adam [Kingma+ 2014] 特徴 ▪ 現時点で、深層学習において 最も広く使われている 「とりあえずAdamで試す」 ▪ AdaDeltaの更新則 状態変数を２つ導入＝２種類の 指数移動平均を使う ▪ これまで紹介した手法を取り 入れている ↑学習率を陽に持たない - 32 -
32. Adam [Kingma+ 2014] 相違点 ▪ Adam 勾配の指数移動平均 ▪ AdaDeltaの更新則 状態変数を２つ導入＝２種類の 指数移動平均を使う 違う 同じ ↑学習率を陽に持たない - 33 -
33. Adam [Kingma+ 2014] 更新則 ▪ Adam 勾配の指数移動平均 ▪ Adamの更新則 真の値より0側に偏るので、 以下のように補正 ↑ のt乗 - 34 -
34. 学習率のスケジューリング ▪ 固定された学習率では収束したい点に近づけないことがある 学習率を変化させる ▪ コサインアニーリング ▪ 学習率を減衰させる ▪ 増加と減衰を繰り返す方法もある [Loshchilov+ ICLR17 ] 更新回数 ▪ ウォームアップ（warmup） ▪ 大きな学習率から開始すると発散することが あるので、初期のみ学習率を増加させる 更新回数 - 35 -
35. 汎化と過学習 - 39 -
36. 訓練誤差・テスト誤差・汎化誤差の違い ▪ 訓練誤差（training error） ▪ 訓練集合に対する誤差 ▪ テスト誤差（test error） ▪ テスト集合に対する誤差 ▪ 機械学習の目標 ▪ 新規未知データに対して誤り を小さくしたい ならば、仮想で考えるしかない - 40 -
37. 訓練誤差・テスト誤差・汎化誤差の違い ▪ 訓練誤差（training error） ▪ 訓練集合に対する誤差 ▪ テスト誤差（test error） ▪ テスト集合に対する誤差 ならば、仮想で考えるしかない 汎化誤差の手軽な代用物として テスト誤差を使用する ▪ 機械学習の目標 ▪ 新規未知データに対して誤り を小さくしたい ▪ 当該データを生成する仮想的な 分布を考える（現実には計算 できない） ↓ ▪ データの生成分布に対する モデルの誤差の期待値 ＝汎化誤差（generalization error） - 41 -
38. 学習曲線（learning curve） ▪ 途中まで 訓練誤差とテスト誤差が共に 下がる ▪ 途中から 訓練誤差が下がる テスト誤差が上がる 誤差 テスト誤差 訓練誤差 更新回数 ▪ 過学習（過適合、overfitting） ※代表的な学習曲線は上記であるが、テスト誤差が再度低下する現象 （二重降下）についても近年研究されている - 42 -
39. 過学習： 単なる訓練誤差の最小化だけでは不十分 ▪ 過学習の原因 ▪ 本来学習させたい特徴とは無 関係な特徴にまで適合してし まうため ↑訓練集合は有限なのでどう しても統計的ばらつきが発生 してしまう ▪ 過学習は機械学習における普遍 的問題 ▪ 最適化対象と汎化誤差のミス マッチ 誤差 テスト誤差 訓練誤差 更新回数 次スライドから過学習を 避ける手法を紹介する - 43 -
40. 早期終了（early stopping） 過学習に陥る前にパラメータ更新を停止 ▪ 訓練集合をさらに分割 訓練集合 訓練集合 テスト集合 検証用集合 テスト集合 ▪ 検証用集合（validation set, development set） →パラメータ推定に使用 しない ▪ 分割比の例 ▪ 訓練：検証：テスト＝8:1:1 - 44 -
41. 早期終了（early stopping） 過学習に陥る前にパラメータ更新を停止 誤差 ▪ 訓練集合をさらに分割 訓練集合 訓練集合 テスト集合 検証用集合 テスト集合 ▪ 検証用集合（validation set, development set） →パラメータ推定に使用 しない ▪ 分割比の例 ▪ 訓練：検証：テスト＝8:1:1 検証用集合の誤差 訓練誤差 更新回数 検証用集合の誤差を最小とするモデル でテスト誤差を評価することで過学習 を避ける ※テスト集合の誤差を最小とする モデルを選択するのはチート - 45 -
42. 本講義における検証用集合とテスト集合の定義 ▪ 検証用集合の主な用途はモデル 選択 （or ハイパーパラメータ探索） ▪ 検証用集合とテスト集合の定義 ▪ 一度も評価に使用されて いない集合を「真のテスト 集合」とする流儀もある ▪ 本講義では、データセットを 訓練集合とテスト集合に分割 し、テスト集合を評価に使う ものとする ↑多くの教科書の慣習に従う 誤差 テスト誤差 検証用集合の誤差 訓練誤差 更新回数 エポック毎に検証用集合とテスト 集合の誤差をプロットするので あれば、両者の違いは何？という ことになる - 46 -
43. 正則化（regularization） ▪ 損失関数に正則化項（penalty term） を追加することで、過学習 を避ける ▪ 正則化項：モデルの複雑さに対するペナルティ 通常の誤差 正則化パラメータ： と のバランスを指定 ▪ 例：lasso＝正則化項がパラメータの絶対値の和 L1ノルムと呼ぶ パラメータの２乗和を用いる場合は リッジ回帰と呼ばれる - 47 -
44. ★ドロップアウト（dropout） [Srivastava+ 2014] ▪ 学習時のみユニット出力を確率 で0にする（p=0.2-0.5が多い） 0にするのみだと期待値 が低くなってしまうため ▪ 効果： 性能を安定化させる※ ▪ 中間層に対するノイズ付加に相当 元の モデル ドロップ アウトの 例１ ドロップ アウトの 例２ ※アンサンブル学習の一種と考えられる理論的背景がある - 48 -
45. ★バッチ正規化（batch normalization） [Ioffe+ 2015] ▪ 効果： 学習を安定化させる ↑バッチ正規化発明以前： 鋭い極小値の影響が強いため学習率を 小さくしなければならなかった ▪ 現代的なDNNではバッチ正規化（とその後継）を多用 ▪ ドロップアウトを一部代替 「USA to ブラジル」 が検索上位に GAN https://www.whichfaceisreal.com/ 「ブラジル to USA 」 が検索上位に Transformer https://blog.google/products/search/search-language-understanding-bert/ - 49 -
46. バッチ正規化： ユニットが１つの場合 ①活性値 を標準化（＝平均０、 分散１になるように変換） ミニバッチ内のサンプルに 対するuの平均 ミニバッチ内のサンプル に対する の分散 ゼロ除算を避ける ための微小な正数  が（偶然）正に偏った場合、 非線形性が生かせない ⇔標準化すれば正負にまたがる ので非線形 - 50 -
47. バッチ正規化： ユニットが１つの場合 ①活性値 を標準化（＝平均０、 分散１になるように変換） ②活性値 の定義 に対するバッチ正規化 ミニバッチ内のサンプルに 対するuの平均 学習パラメータ ミニバッチ内のサンプル に対する の分散 ゼロ除算を避ける ための微小な正数 - 51 -
48. バッチ正規化： ユニットが複数の場合 ▪ バッチ正規化では 標準化 ごとに ミニ バッチ - 52 -
49. バッチ正規化の注意点 ▪ バッチ正規化では 標準化 ミニ バッチ ごとに ▪ バッチサイズが小さい場合には 平均・分散が信頼できない ▪ スケール情報を保持したいとき は使用を避ける ▪ 例：回帰問題の最終層、 Softmax関数の前 ▪ 「推論時の 」＝「訓練時 の の平均」と仮定する ことが多い  仮定が正しいとは限らない - 53 -
50. レイヤー正規化（Layer normalization） ▪ バッチ正規化では 標準化 ミニ バッチ ごとに ▪ レイヤー正規化では各サンプル に関して標準化 バッチサイズに依存しない ミニ バッチ - 54 -
51. 参考文献 1. 金谷 健一, これなら分かる最適化数学―基礎原理から計算手法まで, 共立出版, 2005. 2. https://qiita.com/omiita/items/1735c1d048fe5f611f80 3. Duchi, J., Hazan, E., & Singer, Y. (2011). Adaptive subgradient methods for online learning and stochastic optimization. JMLR, 12(7). 4. Zeiler, M. D. (2012). Adadelta: an adaptive learning rate method. arXiv preprint arXiv:1212.5701. 5. Kingma, D. P., & Ba, J. (2014). Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980. 6. Glorot, X., & Bengio, Y. (2010). Understanding the difficulty of training deep feedforward neural networks. In Proc. AISTATS (pp. 249-256). 7. He, K., Zhang, X., Ren, S., & Sun, J. (2015). Delving deep into rectifiers: Surpassing human-level performance on imagenet classification. In Proc. IEEE ICCV (pp. 1026-1034). - 55 -
52. 実習 - 58 -
53. 実習 実習の目的 ▪ コーディングと基礎理論の関係を学ぶ 実習課題の場所 ▪ K-LMSから辿る 実習に関する質問 ▪ ChatGPTに説明させる ▪ 教科書で調べる・検索・周囲と相談（私語禁止ではありません） ▪ 上記で解消しなければ挙手 - 59 -
54. 付録 - 60 -
55. 数値的に近似解を求めるための代表的な方法： 勾配降下法 ▪ 勾配降下法（gradient descent method） or 最急降下法 （steepest descent method） 1. 初期値 を用意 ▪ 勾配（gradient） ▪ 2. 更新則 更新回数 以下の条件のとき とする。 を求めよ 学習率（learning rate; lr） - 61 -
56. 数値的に近似解を求めるための代表的な方法： 勾配降下法 ▪ 勾配降下法（gradient descent method） or 最急降下法 （steepest descent method） 1. 初期値 を用意 ▪ 勾配（gradient） ▪ 2. 更新則 更新回数 以下の条件のとき とする。 を求めよ 学習率（learning rate; lr） - 62 -
57. 交差検証（cross-validation） 訓練集合とテスト集合に分ける場合 ▪ 背景 ▪ テスト集合が一定だと結果が 偏る可能性がある ▪ N-fold cross-validation ▪ 右図のような集合に対して 学習を行い、性能はN回の 平均とする ▪ N=5または4が多い ▪ 5-fold cross-validationの例 訓練 テスト 訓練 テスト 訓練 テスト 訓練 テスト テスト 訓練 - 63 -
58. 交差検証（cross-validation） 訓練・検証用・テスト集合を用いる場合 ▪ モデル選択 ▪ 層数、層のユニット数等 ▪ その他のハイパーパラメータ ▪ 学習率等 ▪ 手順 1. N-fold cross-validationに 基づき、モデルや ハイパーパラメータ等を決定 2. 訓練集合と検証用集合を 合わせて１のモデルを再度訓練 3. 未使用のテスト集合で２の モデルを性能評価 訓練 検証用 訓練 検証用 訓練 検証用 訓練 検証用 検証用 訓練 - 64 - テスト
59. 早期終了の基準例 ▪ 例 ▪ Nエポック間、検証集合に関 する誤差の最良値が更新され ない ▪ Nエポック以内で検証集合に 関する誤差が最小 ▪ Nエポック以内で検証集合に 関する精度が最大 誤差 検証用集合の誤差 訓練誤差 更新回数 検証用集合の誤差を最小とするモデル でテスト誤差を評価することで過学習 を避ける ※テスト集合の誤差を最小とするモデ ルを選択するのはチート - 65 -
60. ノイズ付加（noise injection） ▪ 背景 ▪ 入力が微小なノイズで乱された場合にも正しく予測できることが 望ましい ▪ 学習時に入力 に対してガウス分布に基づくノイズ を 付加 各次元が（平均０, 標準偏差ε）で あるガウス分布から独立に得られた ▪ 正則化と理論的にほぼ同等であることが知られている[Sietsma+ 1991] - 66 -
61. パラメータの初期値 - 67 -
62. パラメータの初期値 ▪ 初期値をすべて0に設定すると 学習がうまく進まないことが多い ↓ 一様分布やガウス分布からサンプル する＝「ランダムに初期化」 ↓ 分布の分散の選び方が学習の成否に つながる 勾配が同じになるので、全ノード が「コピー状態」になる - 68 -
63. パラメータの初期値 ▪ 一様分布の例 ▪ 初期値をすべて0に設定すると 学習がうまく進まないことが多い ↓ 一様分布やガウス分布からサンプル する＝「ランダムに初期化」 本講義では「分布からサンプル ↓ する」ことを意味する※ 分布の分散の選び方が学習の成否に 口語で言うと「-1以上1以下の つながる ランダムな数字を取ってきた」 ※本来はX～P(x)のように記述し、「確率 変数Xは分布P(x)に従う」を意味するが、 上記の用法で使われることが多い - 69 -
64. パラメータの初期値 Xavierの初期化 [Glorot+ 2010] ▪ Xavierの初期化 （Xavier initialization） ▪ 一様分布の例 番目の隠れ層への重み 本講義では「分布からサンプル する」ことを意味する※ 番目の隠れ層のノード数 口語で言うと「-1以上1以下の ランダムな数字を取ってきた」 ※本来はX～P(x)のように記述し、「確率 変数Xは分布P(x)に従う」を意味するが、 上記の用法で使われることが多い - 70 -
65. パラメータの初期値 Heの初期化 [He+ 2015] ▪ Xavierの初期化 （Xavier initialization） ▪ Heの初期化 （He initialization） 番目の隠れ層への重み 番目の隠れ層のノード数 • Xavier（ゼイビア）はfirst nameだが、 He（ヒー）はfamily nameである。 一貫していないが慣習に従う • 発音にも混乱がある（本講義では講演音声 から聞き取った発音を使う） - 71 -