データセットシフト・Batch Normalization

※過去に作成した資料の内部共有用の掲載です

Transcript

1. データセットシフト 仲宗根太朗・櫻井研究室 学会名・セッション名・発表年月日・開催場所
2. はじめに ◼以下のデータシフトの問題設定がある ⚫Covariate Shift ⚫Target Shift ⚫Concept Shift ⚫Sample Selection Bias ⚫Domain Shift ◼ただし，それそれの問題が必ずしも独立ではない
3. はじめに ◼以下のデータシフトの問題設定がある ⚫Covariate Shift ⚫Target Shift ⚫Concept Shift ⚫Sample Selection Bias ⚫Domain Shift ◼ただし，それそれの問題が必ずしも独立ではない
4. Covariate Shift ◼定義 学習時とテスト時で入力変数の周辺分布が異なるという問題設定
5. Target Shift ◼定義 学習時とテスト時で出力変数の周辺分布が異なるという問題設定
6. Concept Shift ◼定義 学習時とテスト時で条件付き確率分布が異なるという問題設定
7. Sample Selection Bias ◼定義 観測データをデータセットに含めるかどうかを決める隠れた関数ξ が存在し，この関数が学習時とテスト時で異なるという問題設定
8. Domain Shift 潜在的に同じものを説明しているにも関わらず，計測技術や環境の違い などの影響で変数が異なってしまう問題設定
9. 対策手法 ◼以下のような対策手法がある ⚫Batch Normalization
10. Batch Normalization ◼解決したい問題 − Internal Covariate Shift ⚫深層モデルにて，インプットの分布がころころ変わる ◼解決方法 ⚫レイヤごとのインプットを正規化しようという発想 ⚫ただし，パラメータ更新の度に学習データ全体をネットワークに 流して，各レイヤのインプットを求め正規化を行うのは効率悪い ⚫そこでミニバッチごとの統計量を使って，ミニバッチごとに簡易 的な正規化を行う
11. Batch Normalization ◼解決したい問題 − Internal Covariate Shift ⚫深層モデルにて，インプットの分布がころころ変わる ◼解決方法 ⚫レイヤごとのインプットを正規化しようという発想 ⚫ただし，パラメータ更新の度に学習データ全体をネットワークに 流して，各レイヤのインプットを求め正規化を行うのは効率悪い ⚫そこでミニバッチごとの統計量を使って，ミニバッチごとに簡易 的な正規化を行う
12. Batch Normalization ◼解決したい問題 − Internal Covariate Shift ⚫深層モデルにて，インプットの分布がころころ変わる ◼解決方法 ⚫レイヤごとのインプットを正規化しようという発想 ⚫ただし，パラメータ更新の度に学習データ全体をネットワークに 流して，各レイヤのインプットを求め正規化を行うのは効率悪い ⚫そこでミニバッチごとの統計量を使って，ミニバッチごとに簡易 的な正規化を行う
13. Batch Normalization ◼解決したい問題 − Internal Covariate Shift ⚫深層モデルにて，インプットの分布がころころ変わる ◼解決方法 ⚫レイヤごとのインプットを正規化しようという発想 ⚫ただし，パラメータ更新の度に学習データ全体をネットワークに 流して，各レイヤのインプットを求め正規化を行うのは効率悪い ⚫そこでミニバッチごとの統計量を使って，ミニバッチごとに簡易 的な正規化を行う
14. Batch Normalization ◼アルゴリズム
15. Batch Normalization ◼ミニバッチごとの平均分散を計算する
16. Batch Normalization ◼正規化を行う
17. Batch Normalization ◼正規化を行う 分母に𝜖を加えていますが、これ は微小値を表し、𝝈𝑩 𝟐 が小さい場 合に計算を安定されるため
18. Batch Normalization ◼レイヤの非線形性に対応させる調整
19. Batch Normalization ◼平均と分散の調節 単純にෞ 𝒙𝒊 をインプットとすると， 本来レイヤが持つ非線形性の表現 力を失っている可能性がある
20. Batch Normalization ◼例えば，シグモイド関数の場合
21. Batch Normalization ◼例えば，シグモイド関数の場合 インプットが-1から1の範囲で はほぼ線形になっている
22. Batch Normalization ◼この解決策として
23. Batch Normalization ◼以下のように横にシフト，スケール変化すれば良い
24. Batch Normalization ◼それを踏まえて，
25. Batch Normalization ◼平均に対応するパラメータ𝜷と分散に対応する𝜸を導入
26. Batch Normalization ◼平均に対応するパラメータ𝜷と分散に対応する𝜸を導入 ෞ 𝒙𝒊 を𝜷の分だけ横にシフト， 𝜸でスケールを変更できる．