Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
データセットシフト・Batch Normalization
Search
Taro Nakasone
September 05, 2025
Research
0
3
データセットシフト・Batch Normalization
※過去に作成した資料の内部共有用の掲載です
Taro Nakasone
September 05, 2025
Tweet
Share
More Decks by Taro Nakasone
See All by Taro Nakasone
[輪講] Transformer(大規模言語モデル入門第2章)
taro_nakasone
0
8
次元削減・多様体学習 /maniford-learning20200707
taro_nakasone
1
1.4k
論文読み:Identifying Mislabeled Data using the Area Under the Margin Ranking (NeurIPS'20) /Area_Under_the_Margin_Ranking
taro_nakasone
0
190
Other Decks in Research
See All in Research
EOGS: Gaussian Splatting for Efficient Satellite Image Photogrammetry
satai
4
690
[論文紹介] Intuitive Fine-Tuning
ryou0634
0
130
Combining Deep Learning and Street View Imagery to Map Smallholder Crop Types
satai
3
120
EarthDial: Turning Multi-sensory Earth Observations to Interactive Dialogues
satai
3
250
ウェブ・ソーシャルメディア論文読み会 第31回: The rising entropy of English in the attention economy. (Commun Psychology, 2024)
hkefka385
1
110
AI エージェントを活用した研究再現性の自動定量評価 / scisci2025
upura
1
170
Time to Cash: The Full Stack Breakdown of Modern ATM Attacks
ratatata
0
160
SNLP2025:Can Language Models Reason about Individualistic Human Values and Preferences?
yukizenimoto
0
190
2025年度人工知能学会全国大会チュートリアル講演「深層基盤モデルの数理」
taiji_suzuki
26
19k
2021年度-基盤研究B-研究計画調書
trycycle
PRO
0
370
心理言語学の視点から再考する言語モデルの学習過程
chemical_tree
2
630
AWSで実現した大規模日本語VLM学習用データセット "MOMIJI" 構築パイプライン/buiding-momiji
studio_graph
2
800
Featured
See All Featured
How STYLIGHT went responsive
nonsquared
100
5.8k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
10
880
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
9
990
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
31
9.7k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
It's Worth the Effort
3n
187
28k
Art, The Web, and Tiny UX
lynnandtonic
303
21k
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
9
930
A designer walks into a library…
pauljervisheath
209
24k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
34
2.5k
What's in a price? How to price your products and services
michaelherold
246
12k
Scaling GitHub
holman
463
140k
Transcript
データセットシフト 仲宗根太朗・櫻井研究室 学会名・セッション名・発表年月日・開催場所
はじめに ◼以下のデータシフトの問題設定がある ⚫Covariate Shift ⚫Target Shift ⚫Concept Shift ⚫Sample Selection
Bias ⚫Domain Shift ◼ただし,それそれの問題が必ずしも独立ではない
はじめに ◼以下のデータシフトの問題設定がある ⚫Covariate Shift ⚫Target Shift ⚫Concept Shift ⚫Sample Selection
Bias ⚫Domain Shift ◼ただし,それそれの問題が必ずしも独立ではない
Covariate Shift ◼定義 学習時とテスト時で入力変数の周辺分布が異なるという問題設定
Target Shift ◼定義 学習時とテスト時で出力変数の周辺分布が異なるという問題設定
Concept Shift ◼定義 学習時とテスト時で条件付き確率分布が異なるという問題設定
Sample Selection Bias ◼定義 観測データをデータセットに含めるかどうかを決める隠れた関数ξ が存在し,この関数が学習時とテスト時で異なるという問題設定
Domain Shift 潜在的に同じものを説明しているにも関わらず,計測技術や環境の違い などの影響で変数が異なってしまう問題設定
対策手法 ◼以下のような対策手法がある ⚫Batch Normalization
Batch Normalization ◼解決したい問題 − Internal Covariate Shift ⚫深層モデルにて,インプットの分布がころころ変わる ◼解決方法 ⚫レイヤごとのインプットを正規化しようという発想
⚫ただし,パラメータ更新の度に学習データ全体をネットワークに 流して,各レイヤのインプットを求め正規化を行うのは効率悪い ⚫そこでミニバッチごとの統計量を使って,ミニバッチごとに簡易 的な正規化を行う
Batch Normalization ◼解決したい問題 − Internal Covariate Shift ⚫深層モデルにて,インプットの分布がころころ変わる ◼解決方法 ⚫レイヤごとのインプットを正規化しようという発想
⚫ただし,パラメータ更新の度に学習データ全体をネットワークに 流して,各レイヤのインプットを求め正規化を行うのは効率悪い ⚫そこでミニバッチごとの統計量を使って,ミニバッチごとに簡易 的な正規化を行う
Batch Normalization ◼解決したい問題 − Internal Covariate Shift ⚫深層モデルにて,インプットの分布がころころ変わる ◼解決方法 ⚫レイヤごとのインプットを正規化しようという発想
⚫ただし,パラメータ更新の度に学習データ全体をネットワークに 流して,各レイヤのインプットを求め正規化を行うのは効率悪い ⚫そこでミニバッチごとの統計量を使って,ミニバッチごとに簡易 的な正規化を行う
Batch Normalization ◼解決したい問題 − Internal Covariate Shift ⚫深層モデルにて,インプットの分布がころころ変わる ◼解決方法 ⚫レイヤごとのインプットを正規化しようという発想
⚫ただし,パラメータ更新の度に学習データ全体をネットワークに 流して,各レイヤのインプットを求め正規化を行うのは効率悪い ⚫そこでミニバッチごとの統計量を使って,ミニバッチごとに簡易 的な正規化を行う
Batch Normalization ◼アルゴリズム
Batch Normalization ◼ミニバッチごとの平均分散を計算する
Batch Normalization ◼正規化を行う
Batch Normalization ◼正規化を行う 分母に𝜖を加えていますが、これ は微小値を表し、𝝈𝑩 𝟐 が小さい場 合に計算を安定されるため
Batch Normalization ◼レイヤの非線形性に対応させる調整
Batch Normalization ◼平均と分散の調節 単純にෞ 𝒙𝒊 をインプットとすると, 本来レイヤが持つ非線形性の表現 力を失っている可能性がある
Batch Normalization ◼例えば,シグモイド関数の場合
Batch Normalization ◼例えば,シグモイド関数の場合 インプットが-1から1の範囲で はほぼ線形になっている
Batch Normalization ◼この解決策として
Batch Normalization ◼以下のように横にシフト,スケール変化すれば良い
Batch Normalization ◼それを踏まえて,
Batch Normalization ◼平均に対応するパラメータ𝜷と分散に対応する𝜸を導入
Batch Normalization ◼平均に対応するパラメータ𝜷と分散に対応する𝜸を導入 ෞ 𝒙𝒊 を𝜷の分だけ横にシフト, 𝜸でスケールを変更できる.