Lock in $30 Savings on PRO—Offer Ends Soon! ⏳
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Deep Learning勉強会 逆伝播の仕組み
Search
株式会社Jurabi
October 01, 2024
Programming
0
10
Deep Learning勉強会 逆伝播の仕組み
誤差逆伝播法の概要に関する説明です。
Deep Learningの社内勉強会の発表資料
株式会社Jurabi
October 01, 2024
Tweet
Share
More Decks by 株式会社Jurabi
See All by 株式会社Jurabi
DDDモデリング勉強会 #6
jurabi
0
16
DDDモデリング勉強会 #7
jurabi
0
6
DDDモデリング勉強会 #9
jurabi
0
10
RDBの世界をぬりかえていくモデルグラフDB〜truncus graphによるモデルファースト開発〜
jurabi
0
230
Other Decks in Programming
See All in Programming
TypeScriptでライブラリとの依存を限定的にする方法
tutinoko
3
820
Reckoner における Datadog Browser Test の活用事例 / Datadog Browser Test at Reckoner
nomadblacky
0
170
Swift Testing - iPlayground
chiaoteni
0
130
CSC509 Lecture 13
javiergs
PRO
0
120
カンファレンスの「アレ」Webでなんとかしませんか? / Conference “thing” Why don't you do something about it on the Web?
dero1to
1
150
Thoughts and experiences on Rust and TypeScript
unvalley
2
190
かんたんデザイン編集やってみた~「完全に理解した」までの道のり~
morit4ryo
1
100
TypeScript Graph でコードレビューの心理的障壁を乗り越える
ysk8hori
3
1.4k
競技プログラミングで 基礎体力を身につけよう / You can get basic skills through competitive programming
mdstoy
0
130
新規学習のハードルを下げる方法とは?/ How to Make Learning Something New Easier?
nobuoooo
1
120
大規模サイトリビルドの現場から:成功と失敗のリアルな教訓 / Site Rebuild,Real Lessons Learned from Successes and Failures_JJUG Fall 2024
techtekt
0
190
「今のプロジェクトいろいろ大変なんですよ、app/services とかもあって……」/After Kaigi on Rails 2024 LT Night
junk0612
5
2.2k
Featured
See All Featured
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
131
33k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
247
1.3M
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
506
140k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
169
50k
Reflections from 52 weeks, 52 projects
jeffersonlam
346
20k
Build The Right Thing And Hit Your Dates
maggiecrowley
33
2.4k
Thoughts on Productivity
jonyablonski
67
4.3k
Code Review Best Practice
trishagee
64
17k
A Philosophy of Restraint
colly
203
16k
How STYLIGHT went responsive
nonsquared
95
5.2k
YesSQL, Process and Tooling at Scale
rocio
169
14k
Fontdeck: Realign not Redesign
paulrobertlloyd
82
5.3k
Transcript
Deep Learning勉強会 逆伝播の仕組み 2016/10/14 (金) 19:00 – 21:00
アジェンダ • 復習 • 確率的勾配降下法に必要なものを算出する • 誤差逆伝播法 • 誤差逆伝播法の式からわかること •
誤差逆伝播法を一気にやる • プログラミング 2
復習(パーセプトロン) 3 ・ ・ ・ ・ ・ ・ ・ ・
・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ :ニューロンの活性 :ニューロンの出力 :ニューロンの入力の重み :ニューロンのバイアス :ネットワークのコスト関数 ベクトルで表現
復習(確率的勾配降下法) 4 これを求めるのが誤差逆伝播法 わかりやすくするために、ニューロンレベルで書くと 重みの更新: バイアスの更新: (N:ミニバッチ内の訓練データの数)
確率的勾配降下法に必要なものを算出する 5 と置きかえると これを第l層のj番目のニューロンの誤差とよぶ これが計算できればOK! 次の層の誤差がわかれば計算できる(誤差の逆伝播)。出力層までさかのぼると・・・ これはフィードフォワードの結果から計算できる!
誤差逆伝播法 1. 訓練データのセット(ミニバッチ)を入力 2. ミニバッチ内の各訓練データ に対して、以下のステップを行う (1) フィードフォワード (2) 出力層の誤差を計算
(3) 誤差を逆伝播し、各層の誤差を計算 3. 勾配降下法で重み、バイアスを更新する 6
誤差逆伝播法の式からわかること 7 1. 入力( )が小さいと、その入力の重みの学習は遅い 2. 誤差( )が小さいと、そのニューロンへの入力の重みの学習は遅い 誤差が小さくなるのはどんなとき? →
ニューロンの活性( )が大きい、または小さい時には となる 2. ニューロンの活性が大きい、または小さいと、 そのニューロンへの入力の重みの学習は遅い
誤差逆伝播法を一気にやる 1. 訓練データのセット(ミニバッチ)を入力し、行列化する 2. ミニバッチ に対して、以下のステップを行う (1) フィードフォワード (2) 出力層の誤差を計算
(3) 誤差を逆伝播し、各層の誤差を計算 3. 勾配降下法で重み、バイアスを更新する 8
プログラミング 9 <課題> network.pyを行列を使ったアルゴリズムに書き換えてください