Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
深層学習は奔流に身をまかせ / Get Drowned in the Flood for De...
Search
Henry Cui
February 17, 2023
Technology
0
230
深層学習は奔流に身をまかせ / Get Drowned in the Flood for Deep Learning
Henry Cui
February 17, 2023
Tweet
Share
More Decks by Henry Cui
See All by Henry Cui
プロダクション言語モデルの情報を盗む攻撃 / Stealing Part of a Production Language Model
zchenry
0
140
Direct Preference Optimization
zchenry
0
340
Diffusion Model with Perceptual Loss
zchenry
0
310
レンズの下のLLM / LLM under the Lens
zchenry
0
170
Go with the Prompt Flow
zchenry
0
150
Mojo Dojo
zchenry
0
190
ことのはの力で画像の異常検知 / Anomaly Detection by Language
zchenry
0
490
驚愕の事実!LangChainが抱える問題 / Problems of LangChain
zchenry
0
210
MLOps初心者がMLflowを触る / MLflow Brief Introduction
zchenry
0
98
Other Decks in Technology
See All in Technology
OPENLOGI Company Profile for engineer
hr01
1
22k
20250326_管理ツールの権限管理で改善したこと
sasata299
1
380
サーバシステムを無理なくコンテナ移行する際に伝えたい4つのポイント/Container_Happy_Migration_Method
ozawa
1
100
モジュラーモノリスでスケーラブルなシステムを作る - BASE のリアーキテクチャのいま
panda_program
7
2k
バクラクでのSystem Risk Records導入による変化と改善の取り組み/Changes and Improvement Initiatives Resulting from the Implementation of System Risk Records
taddy_919
0
220
DevOps文化を育むQA 〜カルチャーバブルを生み出す戦略〜 / 20250317 Atsushi Funahashi
shift_evolve
1
110
グループポリシー再確認
murachiakira
0
170
Explainable Software Engineering in the Public Sector
avandeursen
0
360
Engineering Managementのグローバルトレンド #emoasis / Engineering Management Global Trend
kyonmm
PRO
6
990
Cline、めっちゃ便利、お金が飛ぶ💸
iwamot
19
18k
KCD Brazil '25: Enabling Developers with Dapr & Backstage
salaboy
1
120
Dapr For Java Developers SouJava 25
salaboy
1
130
Featured
See All Featured
Building Flexible Design Systems
yeseniaperezcruz
328
38k
A designer walks into a library…
pauljervisheath
205
24k
Rebuilding a faster, lazier Slack
samanthasiow
80
8.9k
VelocityConf: Rendering Performance Case Studies
addyosmani
328
24k
Building Your Own Lightsaber
phodgson
104
6.3k
Raft: Consensus for Rubyists
vanstee
137
6.8k
Java REST API Framework Comparison - PWX 2021
mraible
29
8.5k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
3.8k
Unsuck your backbone
ammeep
670
57k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
16
1.1k
A better future with KSS
kneath
238
17k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
12
1.4k
Transcript
深層学習は奔流に身をまかせ 機械学習の社会実装勉強会第20回 Henry 2023/2/18
モチベーション ▪ ペインポイント • 深層モデルの学習で望ましい効果を素早く得るのは難しい • 実データのラベルにノイズが多い • その問題点の一つに、過適合が挙げられる ▪
過適合を解消するための様々な正則化手法がある • weight decay や learning rate scheduler • Pytorchで簡単に使える ▪ 今日は最近の研究から、実用性が高い新しい正則化手法を 紹介する • 特に実装が楽 • まだあまり知られていない 2
紹介する論文 ▪ Do We Need Zero Training Loss After Achieving
Zero Training Error?, Ishida et al., ICML 2020 • Floodingという新しい正則化手法を導入 ▪ iFlood: A Stable and Effective Regularizer, Xie et al., ICLR 2022 • Floodingの計算式を少しだけ改良 3
Ishida et al., ICML 2020 ▪ モチベーション • 学習データでの損失を0まで学習を行ったほうが良いと言われる •
しかし、これは本当に必要なのか • 正則化手法は、学習データでの損失を過度に最小化しないための間 接的な手法と見なせる ▪ 直接学習損失の最小化を制限する手法:Flooding • 実装も簡単 • 学習損失は0じゃなくても、学習精度が100%の可能性もある 4
Ishida et al., ICML 2020 ▪ 提案法は以下の性質をすべて満たす初めての正則化手法 • 学習損失を直接制限する •
特定の問題ドメインに依存しない • 特定のタスクに依存しない • 特定のモデルに依存しない ▪ 提案法の仮設もシンプルで、「0の学習損失が有害」のみ ▪ 検証損失の二重降下に関する初めて研究 5
Ishida et al., ICML 2020 ▪ 人工データで有意な性能向上 6
Ishida et al., ICML 2020 ▪ 実データでも有意な性能向上 ▪ その他、Floodingによる勾配値の変化や解の平坦性なども調 査
7
Xie et al., ICLR 2022 ▪ Floodingにデータインスタンスの勾配が乖離する問題 • バッチで平均を取るので、同じバッチにある他のデータインスタンスの 損失に依存する
▪ 提案手法:絶対値をバッチで取るではなく、各データインスタン スレベルで取るので、indivisual Flood (iFlood)と呼ぶ ▪ 各手法のインスタンスの損失のヒストグラム 8
Xie et al., ICLR 2022 ▪ 確かに性能向上につながる ▪ その他も、勾配のノルムやノイズ耐性などを検証 9
まとめ ▪ 実用性高い正則化手法のFloodingとその改良版のiFlood ▪ 実装がシンプルで試しやすい 10