Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Deep Learning勉強会 逆伝播の仕組み
Search
株式会社Jurabi
October 01, 2024
Programming
0
11
Deep Learning勉強会 逆伝播の仕組み
誤差逆伝播法の概要に関する説明です。
Deep Learningの社内勉強会の発表資料
株式会社Jurabi
October 01, 2024
Tweet
Share
More Decks by 株式会社Jurabi
See All by 株式会社Jurabi
DDDモデリング勉強会 #6
jurabi
0
17
DDDモデリング勉強会 #7
jurabi
0
6
DDDモデリング勉強会 #9
jurabi
0
11
RDBの世界をぬりかえていくモデルグラフDB〜truncus graphによるモデルファースト開発〜
jurabi
0
250
Other Decks in Programming
See All in Programming
Go の GC の不得意な部分を克服したい
taiyow
3
870
Androidアプリのモジュール分割における:x:commonを考える
okuzawats
1
230
これでLambdaが不要に?!Step FunctionsのJSONata対応について
iwatatomoya
2
3.8k
20241217 競争力強化とビジネス価値創出への挑戦:モノタロウのシステムモダナイズ、開発組織の進化と今後の展望
monotaro
PRO
0
110
テストケースの名前はどうつけるべきか?
orgachem
PRO
0
160
Fibonacci Function Gallery - Part 1
philipschwarz
PRO
0
250
LLM Supervised Fine-tuningの理論と実践
datanalyticslabo
7
1.6k
React 19でお手軽にCSS-in-JSを自作する
yukukotani
2
140
rails statsで大解剖 🔍 “B/43流” のRailsの育て方を歴史とともに振り返ります
shoheimitani
2
970
Scalaから始めるOpenFeature入門 / Scalaわいわい勉強会 #4
arthur1
1
360
歴史と現在から考えるスケーラブルなソフトウェア開発のプラクティス
i10416
0
150
range over funcの使い道と非同期N+1リゾルバーの夢 / about a range over func
mackee
0
110
Featured
See All Featured
Documentation Writing (for coders)
carmenintech
67
4.5k
Site-Speed That Sticks
csswizardry
2
190
Code Review Best Practice
trishagee
65
17k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
45
2.2k
Building an army of robots
kneath
302
44k
How to Ace a Technical Interview
jacobian
276
23k
What's in a price? How to price your products and services
michaelherold
244
12k
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
8
1.2k
Large-scale JavaScript Application Architecture
addyosmani
510
110k
Docker and Python
trallard
42
3.2k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
44
9.3k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
Transcript
Deep Learning勉強会 逆伝播の仕組み 2016/10/14 (金) 19:00 – 21:00
アジェンダ • 復習 • 確率的勾配降下法に必要なものを算出する • 誤差逆伝播法 • 誤差逆伝播法の式からわかること •
誤差逆伝播法を一気にやる • プログラミング 2
復習(パーセプトロン) 3 ・ ・ ・ ・ ・ ・ ・ ・
・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ ・ :ニューロンの活性 :ニューロンの出力 :ニューロンの入力の重み :ニューロンのバイアス :ネットワークのコスト関数 ベクトルで表現
復習(確率的勾配降下法) 4 これを求めるのが誤差逆伝播法 わかりやすくするために、ニューロンレベルで書くと 重みの更新: バイアスの更新: (N:ミニバッチ内の訓練データの数)
確率的勾配降下法に必要なものを算出する 5 と置きかえると これを第l層のj番目のニューロンの誤差とよぶ これが計算できればOK! 次の層の誤差がわかれば計算できる(誤差の逆伝播)。出力層までさかのぼると・・・ これはフィードフォワードの結果から計算できる!
誤差逆伝播法 1. 訓練データのセット(ミニバッチ)を入力 2. ミニバッチ内の各訓練データ に対して、以下のステップを行う (1) フィードフォワード (2) 出力層の誤差を計算
(3) 誤差を逆伝播し、各層の誤差を計算 3. 勾配降下法で重み、バイアスを更新する 6
誤差逆伝播法の式からわかること 7 1. 入力( )が小さいと、その入力の重みの学習は遅い 2. 誤差( )が小さいと、そのニューロンへの入力の重みの学習は遅い 誤差が小さくなるのはどんなとき? →
ニューロンの活性( )が大きい、または小さい時には となる 2. ニューロンの活性が大きい、または小さいと、 そのニューロンへの入力の重みの学習は遅い
誤差逆伝播法を一気にやる 1. 訓練データのセット(ミニバッチ)を入力し、行列化する 2. ミニバッチ に対して、以下のステップを行う (1) フィードフォワード (2) 出力層の誤差を計算
(3) 誤差を逆伝播し、各層の誤差を計算 3. 勾配降下法で重み、バイアスを更新する 8
プログラミング 9 <課題> network.pyを行列を使ったアルゴリズムに書き換えてください