Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
データセットシフト・Batch Normalization
Search
Taro Nakasone
September 05, 2025
Research
0
3
データセットシフト・Batch Normalization
※過去に作成した資料の内部共有用の掲載です
Taro Nakasone
September 05, 2025
Tweet
Share
More Decks by Taro Nakasone
See All by Taro Nakasone
[輪講] Transformer(大規模言語モデル入門第2章)
taro_nakasone
0
7
次元削減・多様体学習 /maniford-learning20200707
taro_nakasone
0
1.4k
論文読み:Identifying Mislabeled Data using the Area Under the Margin Ranking (NeurIPS'20) /Area_Under_the_Margin_Ranking
taro_nakasone
0
190
Other Decks in Research
See All in Research
MetaEarth: A Generative Foundation Model for Global-Scale Remote Sensing Image Generation
satai
4
280
Galileo: Learning Global & Local Features of Many Remote Sensing Modalities
satai
3
330
世界の人気アプリ100個を分析して見えたペイウォール設計の心得
akihiro_kokubo
PRO
61
29k
cvpaper.challenge 10年の軌跡 / cvpaper.challenge a decade-long journey
gatheluck
3
320
SegEarth-OV: Towards Training-Free Open-Vocabulary Segmentation for Remote Sensing Images
satai
3
280
Remote sensing × Multi-modal meta survey
satai
4
410
A scalable, annual aboveground biomass product for monitoring carbon impacts of ecosystem restoration projects
satai
4
320
GPUを利用したStein Particle Filterによる点群6自由度モンテカルロSLAM
takuminakao
0
340
【輪講資料】Moshi: a speech-text foundation model for real-time dialogue
hpprc
3
720
2025/7/5 応用音響研究会招待講演@北海道大学
takuma_okamoto
1
210
超高速データサイエンス
matsui_528
1
130
SNLP2025:Can Language Models Reason about Individualistic Human Values and Preferences?
yukizenimoto
0
170
Featured
See All Featured
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
8
950
The Cost Of JavaScript in 2023
addyosmani
53
9k
BBQ
matthewcrist
89
9.8k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
3.1k
Intergalactic Javascript Robots from Outer Space
tanoku
273
27k
The Power of CSS Pseudo Elements
geoffreycrofte
78
6k
Agile that works and the tools we love
rasmusluckow
330
21k
Optimising Largest Contentful Paint
csswizardry
37
3.4k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
188
55k
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
8
570
Performance Is Good for Brains [We Love Speed 2024]
tammyeverts
12
1.1k
GraphQLとの向き合い方2022年版
quramy
49
14k
Transcript
データセットシフト 仲宗根太朗・櫻井研究室 学会名・セッション名・発表年月日・開催場所
はじめに ◼以下のデータシフトの問題設定がある ⚫Covariate Shift ⚫Target Shift ⚫Concept Shift ⚫Sample Selection
Bias ⚫Domain Shift ◼ただし,それそれの問題が必ずしも独立ではない
はじめに ◼以下のデータシフトの問題設定がある ⚫Covariate Shift ⚫Target Shift ⚫Concept Shift ⚫Sample Selection
Bias ⚫Domain Shift ◼ただし,それそれの問題が必ずしも独立ではない
Covariate Shift ◼定義 学習時とテスト時で入力変数の周辺分布が異なるという問題設定
Target Shift ◼定義 学習時とテスト時で出力変数の周辺分布が異なるという問題設定
Concept Shift ◼定義 学習時とテスト時で条件付き確率分布が異なるという問題設定
Sample Selection Bias ◼定義 観測データをデータセットに含めるかどうかを決める隠れた関数ξ が存在し,この関数が学習時とテスト時で異なるという問題設定
Domain Shift 潜在的に同じものを説明しているにも関わらず,計測技術や環境の違い などの影響で変数が異なってしまう問題設定
対策手法 ◼以下のような対策手法がある ⚫Batch Normalization
Batch Normalization ◼解決したい問題 − Internal Covariate Shift ⚫深層モデルにて,インプットの分布がころころ変わる ◼解決方法 ⚫レイヤごとのインプットを正規化しようという発想
⚫ただし,パラメータ更新の度に学習データ全体をネットワークに 流して,各レイヤのインプットを求め正規化を行うのは効率悪い ⚫そこでミニバッチごとの統計量を使って,ミニバッチごとに簡易 的な正規化を行う
Batch Normalization ◼解決したい問題 − Internal Covariate Shift ⚫深層モデルにて,インプットの分布がころころ変わる ◼解決方法 ⚫レイヤごとのインプットを正規化しようという発想
⚫ただし,パラメータ更新の度に学習データ全体をネットワークに 流して,各レイヤのインプットを求め正規化を行うのは効率悪い ⚫そこでミニバッチごとの統計量を使って,ミニバッチごとに簡易 的な正規化を行う
Batch Normalization ◼解決したい問題 − Internal Covariate Shift ⚫深層モデルにて,インプットの分布がころころ変わる ◼解決方法 ⚫レイヤごとのインプットを正規化しようという発想
⚫ただし,パラメータ更新の度に学習データ全体をネットワークに 流して,各レイヤのインプットを求め正規化を行うのは効率悪い ⚫そこでミニバッチごとの統計量を使って,ミニバッチごとに簡易 的な正規化を行う
Batch Normalization ◼解決したい問題 − Internal Covariate Shift ⚫深層モデルにて,インプットの分布がころころ変わる ◼解決方法 ⚫レイヤごとのインプットを正規化しようという発想
⚫ただし,パラメータ更新の度に学習データ全体をネットワークに 流して,各レイヤのインプットを求め正規化を行うのは効率悪い ⚫そこでミニバッチごとの統計量を使って,ミニバッチごとに簡易 的な正規化を行う
Batch Normalization ◼アルゴリズム
Batch Normalization ◼ミニバッチごとの平均分散を計算する
Batch Normalization ◼正規化を行う
Batch Normalization ◼正規化を行う 分母に𝜖を加えていますが、これ は微小値を表し、𝝈𝑩 𝟐 が小さい場 合に計算を安定されるため
Batch Normalization ◼レイヤの非線形性に対応させる調整
Batch Normalization ◼平均と分散の調節 単純にෞ 𝒙𝒊 をインプットとすると, 本来レイヤが持つ非線形性の表現 力を失っている可能性がある
Batch Normalization ◼例えば,シグモイド関数の場合
Batch Normalization ◼例えば,シグモイド関数の場合 インプットが-1から1の範囲で はほぼ線形になっている
Batch Normalization ◼この解決策として
Batch Normalization ◼以下のように横にシフト,スケール変化すれば良い
Batch Normalization ◼それを踏まえて,
Batch Normalization ◼平均に対応するパラメータ𝜷と分散に対応する𝜸を導入
Batch Normalization ◼平均に対応するパラメータ𝜷と分散に対応する𝜸を導入 ෞ 𝒙𝒊 を𝜷の分だけ横にシフト, 𝜸でスケールを変更できる.