Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
DeepRacerでまなぶ強化学習
Search
tandfy
May 16, 2019
Technology
1
1.3k
DeepRacerでまなぶ強化学習
DeepRacerから強化学習へのとっかかりとして数式を使わず強化学習とDeepRacerとの関連についてまとめてみた内容です。
tandfy
May 16, 2019
Tweet
Share
More Decks by tandfy
See All by tandfy
アプリから集まるイベントデータのリアルタイム処理入門
tandfy
0
1.4k
Amazon SageMakerの最新アップデートの紹介
tandfy
1
840
Amazon Personalizeではじめるレコメンドサービス
tandfy
0
1k
DeepRacerで学ぶ機械学習 1.1
tandfy
0
920
DeepRacerで始める機械学習
tandfy
1
1.6k
Amazon SageMakerではじめる物体検出
tandfy
1
970
Other Decks in Technology
See All in Technology
ロリポップ! for Gamersを支えるインフラ/lolipop for gamers infrastructure
takumakume
0
130
「認証認可」という体験をデザインする ~Nekko Cloud認証認可基盤計画
logica0419
2
450
Tricentisにおけるテスト自動化へのAI活用ご紹介/20240910Shunsuke Katakura
shift_evolve
0
200
AIで変わるテスト自動化:最新ツールの多様なアプローチ/ 20240910 Takahiro Kaneyama
shift_evolve
0
240
Road to Single Activity
yurihondo
2
240
リアルお遍路+SORACOM IoT
ozk009
1
140
なにもしてないのにNew Relicのデータ転送量が増えていたときに確認したこと
tk3fftk
2
230
『GRANBLUE FANTASY Relink』ソフトウェアラスタライザによる実践的なオクルージョンカリング
cygames
0
170
不動産 x AIことはじめ~データの真価を拓くために
estie
0
110
ネットワークだけ隔離されたコンテナ作成デモ / Kichijoji.pm36
tenforward
1
230
2024年のナビゲーション・フォーカス対応:Composeでキーボード・ナビゲーションをサポートしよう
tahia910
0
110
The XZ Backdoor Story
fr0gger
0
3.6k
Featured
See All Featured
Web Components: a chance to create the future
zenorocha
309
42k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
230
17k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
227
52k
Documentation Writing (for coders)
carmenintech
65
4.3k
Producing Creativity
orderedlist
PRO
340
39k
Gamification - CAS2011
davidbonilla
79
5k
GitHub's CSS Performance
jonrohan
1030
450k
Into the Great Unknown - MozCon
thekraken
29
1.4k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
25
3.9k
We Have a Design System, Now What?
morganepeng
48
7.1k
Docker and Python
trallard
39
3k
RailsConf 2023
tenderlove
28
810
Transcript
%FFQ3BDFSಉձ ୈೋճΦϑϥΠϯษڧձ!େࡕ େᖒ༐ే "84%FFQ3BDFSͰ·ͳͿڧԽֶश
ࣗݾհ େᖒ༐ే w σʔλΠϯςάϨʔγϣϯ෦ػցֶशνʔϜ w ΤϯδχΞ w ݄ೖࣾ
w લ৬ɿ6OJUZͱ͔1)1ͰήʔϜ։ൃ
ࠓ͢༰ %FFQ3BDFSͰΘΕ͍ͯΔڧԽֶशͷೖ wػցֶश wڧԽֶश wํࡦϕʔεͱՁϕʔεɺ"DUPS$SJUJDɺ110 w%FFQ3BDFS w֤ϋΠύʔύϥϝʔλͷҙຯ
ࠓ͞ͳ͍༰ wࣜ wใुઃܭΛ۩ମతʹͲ͏͢Ε͍͍ͷ͔ wϋΠύʔύϥϝʔλʔ۩ମతʹͲ͏ઃఆͨ͠Β͍͍ͷ͔
ػցֶश
ػցֶश ֓ཁ ͬ͘͟Γݴ͏ͱنଇੑΛֶशͤ͞Δ͜ͱɻ wڭࢣ͋Γֶश͑Λ༩͑ͯೖྗͱ͑ͷنଇੑΛֶशͤ͞Δ wڭࢣͳֶ͠शɿ͑Λ༩͑ͣʹೖྗͷنଇੑΛֶशͤ͞Δ wڭࢣ͋Γֶशɿجຊతʹ͑Λ༩͑ͣʹೖྗͷنଇੑΛֶशͤ͞ Δ͕ɺ෦తʹ͑Λ༩͑ͯิॿ͢Δ wڧԽֶशɿ͋ΔڥͰใु͕࠷େԽ͢ΔߦಈબͷنଇੑΛֶशͤ͞Δ
ͳͲ
ػցֶश χϡʔϥϧωοτϫʔΫ֓ཁ ϑΟʔυϑΥϫʔυ χϡʔϥϧωοτϫʔΫ wೖྗ wόονσʔληοτ͔ΒϥϯμϜʹநग़ wΤϙοΫಉ͡σʔληοτΛ͏ճ wग़ྗ
wೖྗ͕//Λ௨ͬͯग़͖ͯͨͷ wྫ dͷ࣮ͳͲ
ڧԽֶश
ڧԽֶश ֓ཁ ڥ͔ΒΤʔδΣϯτʹঢ়ଶ ΤʔδΣϯτ͕ঢ়ଶʹج͍ͮͯ ߦಈ
ڥ͕ߦಈ݁Ռʹج͍ͮͨใु ΛΤʔδΣϯτ dΛ܁Γฦ͢ ࠷େใु͕Β͑ΔߦಈΛબͿΑ͏ʹֶश͢Δ
ڧԽֶश "84%FFQ3BDFS֓ཁ RoboMakerͰͷγϛϡϨʔγϣϯͱ SageMakerͰͷϞσϧͷֶशΛ܁Γฦ͢
ڧԽֶश %FFQ3BDFS༻ޠ ΤʔδΣϯτɿ%FFQ3BDFS ं ঢ়ଶɿ%FFQ3BDFSͷΧϝϥ͔Βͷը૾ ߦಈɿεςΞϦϯάͱͷΈ߹Θͤ
ڧԽֶश ख๏հ ڧԽֶशͷख๏͍Ζ͍Ζ͋ΔͷͰߜͬͯհ w֤ख๏ͷجຊͱͳΔߟ͑ํɺՁϕʔεͱํࡦϕʔε wݸਓతʹཧղʹۤ࿑ͨ͠"DUPS$SJUJD w%FFQ3BDFSͰΘΕ͍ͯΔ1SPYJNBM1PMJDZ0QUJNJ[BUJPO
ڧԽֶश ख๏հ Ձϕʔε wֶश୳ࡧΛਐΊΔதͰɺ֤ঢ়ଶͱߦಈͷՁΛٻΊ ͍ͯ͘ wݱࡏͷঢ়ଶʹ͓͍ͯՁ͕ߴ͍ߦಈ΄ͲબΕ͍͢ wঢ়ଶͱߦಈͷՁ2 T
B ࣍εςοϓҎ߱ಘΒΕΔใ ुͷ૯ͷظ
ڧԽֶश ख๏հ ํࡦϕʔε wؔ ํࡦؔ ΛٻΊͯɺͦͷؔΛ༻͍ͯ ߦಈΛબͿ wํࡦؔঢ়ଶʹదͨ͠ߦಈ
ͷ֬ Λग़ྗ ͢Δ
ڧԽֶश ख๏հ "DUPS$SJUJD w֤ΞϧΰϦζϜͰঢ়ଶՁͱͯ͠ใुͷฏۉΛ͍ͬͯ ͨͱ͜ΖΛՁؔͰஔ͖͑Δ wՁؔͱํࡦؔڞʹֶशͤ͞Δ
ڧԽֶश ख๏հ $MJQQFE 1SPYJNBM1PMJDZ0QUJNJ[BUJPO w%FFQ3BDFSͷֶशʹΘΕͯΔ wํࡦϕʔε wߋ৽લޙͷํࡦ ߦಈͷ֬
ͷൺΛݩʹֶश͢Δ wߋ৽ྔ͕େ͖͘ͳΓ͗͢ͳ͍Α͏ʹ্ݶͱԼݶΛܾΊͯ$MJQ͢Δ
ڧԽֶश ख๏հ 1SPYJNBM1PMJDZ0QUJNJ[BUJPO https://nervanasystems.github.io/coach/components/agents/policy_optimization/ppo.html
AWS DeepRacer
"84%FFQ3BDFS RoboMakerͰͷγϛϡϨʔγϣϯͱ SageMakerͰͷϞσϧͷֶशΛ܁Γฦ͢
"84%FFQ3BDFS ߦಈۭؒ wͱਐߦํͷΈ߹Θͤ Έ߹Θ͕ͤଟ͍ͱ ಈ͖͕ॊೈʹͳΔ ҙਤͨ͠௨Γಈ͘Α͏ʹ ֶशͤ͞Δͷ͍͠
"84%FFQ3BDFS ใुؔ wҐஔͳͲͷσʔλʹج͍ͮͯใुΛ༩ ͑Δ w1ZUIPOͰࣗ༝ʹॻ͚Δ wෛͷՄ wֶश࣌ʹઌͷεςοϓͷใुߟྀ͞ΕΔ ͜ͱʹཹҙ
DeepRacerʹͲ͏ಈ͍ͯ΄͍͔͠ ใुͱ͍͏ܗͰ ఆٛ͢Δ
"84%FFQ3BDFS ϋΠύʔύϥϝʔλ wόοναΠζҰճͷֶशʹ༻͢Δσʔλ ͷ wΤϙοΫֶशϑΣΠζͰͷֶशճ wֶशϞσϧߋ৽࣌ͷޯͷ ֶश͠ ͢͞
wΤϯτϩϐʔߦಈબ࣌ͷϥϯμϜ͞
"84%FFQ3BDFS ϋΠύʔύϥϝʔλ wׂҾઌͷεςοϓΛͲΕ͚ͩॏࢹ͢Δ͔ ઌͷ εςοϓͰͷใुʹର͢Δ wଛࣦλΠϓՁؔͷϞσϧͷଛࣦؔΛͲ͏͢ Δ͔
wγϛϡϨʔγϣϯϑΣΠζͷΤϐιʔυ
·ͱΊ wڧԽֶशͰχϡʔϥϧωοτϫʔΫ // ΛͬͯΔͷ͕ଟ͍ͷͰɺ·ͣ//ͰͷճؼͳͲڭࢣ͋ Γֶश͔Β࢝ΊΔͷҰͭͷख wڧԽֶशͷख๏͍Ζ͍Ζ͋Δ͚ͲɺํࡦϕʔεͱՁϕʔε͕جຊ w%FFQ3BDFSใु͕ؔॏཁ wใुؔओʹͲ͏͍͏ಈ͖Λֶश͍͔ͤͨ͞Ͱฦ͢ใुͷΛܾΊΔ
wجຊతʹରεςοϓͰͷใु͚ͩͰͳ͘ɺকདྷͷεςοϓͰͷใुؚΊͯධՁ͞ΕΔ wϋΠύʔύϥϝʔλֶशͷํͷௐʹ͏ͷ͕ྑ͛͞ wใुϋΠύʔύϥϝʔλͷ֤͕Ͳ͏ֶशʹ׆͔͞ΕΔ͔ͱ͍͏ͱ͜Ζ͔ΒڧԽֶशʹೖΔͷ͕Φε εϝ ڵຯΛ࣋ͬͨํͥͻ͍Ζ͍ΖάάͬͯΈ͍ͯͩ͘͞ʔ ͦͯ͠ɺҰॹʹۤ͠Έͳ͕Βֶͼ·͠ΐʔ