DeepRacerでまなぶ強化学習

DeepRacerから強化学習へのとっかかりとして数式を使わず強化学習とDeepRacerとの関連についてまとめてみた内容です。

Transcript

1. %FFQ3BDFSಉ޷ձ
   ୈೋճΦϑϥΠϯษڧձ!େࡕ 
   େᖒ
   ༐ే "84
   %FFQ3BDFSͰ·ͳͿڧԽֶश
2. ࣗݾ঺հ
    େᖒ
   ༐ే w σʔλΠϯςάϨʔγϣϯ෦ػցֶशνʔϜ
   w ΤϯδχΞ
   w ೥݄ೖࣾ
   w લ৬ɿ6OJUZͱ͔1)1౳ͰήʔϜ։ൃ
3. ࠓ೔࿩͢಺༰
    %FFQ3BDFSͰ࢖ΘΕ͍ͯΔڧԽֶश΁ͷ௒ೖ໳
   wػցֶश
   wڧԽֶश
   
   wํࡦϕʔεͱՁ஋ϕʔεɺ"DUPS$SJUJDɺ110
   w%FFQ3BDFS
   w֤ϋΠύʔύϥϝʔλͷҙຯ
4. ࠓ೔࿩͞ͳ͍಺༰
    w਺ࣜ
   wใुઃܭΛ۩ମతʹͲ͏͢Ε͹͍͍ͷ͔
   wϋΠύʔύϥϝʔλʔ͸۩ମతʹͲ͏ઃఆͨ͠Β͍͍ͷ͔
5. 
    ػցֶश
6. ػցֶश ֓ཁ
    ͬ͘͟Γݴ͏ͱ
   نଇੑΛֶशͤ͞Δ͜ͱɻ
   wڭࢣ͋Γֶश
   
   ౴͑Λ༩͑ͯೖྗͱ౴͑ͷنଇੑΛֶशͤ͞Δ
   wڭࢣͳֶ͠शɿ౴͑Λ༩͑ͣʹೖྗͷنଇੑΛֶशͤ͞Δ
   w൒ڭࢣ͋Γֶशɿجຊతʹ͸౴͑Λ༩͑ͣʹೖྗͷنଇੑΛֶशͤ͞ Δ͕ɺ෦෼తʹ౴͑Λ༩͑ͯิॿ͢Δ
   wڧԽֶशɿ͋Δ؀ڥͰใु͕࠷େԽ͢Δߦಈબ୒ͷنଇੑΛֶशͤ͞Δ ͳͲ
7. ػցֶश χϡʔϥϧωοτϫʔΫ
   ֓ཁ
    ϑΟʔυϑΥϫʔυ χϡʔϥϧωοτϫʔΫ
   wೖྗ
   wόον
   σʔληοτ͔ΒϥϯμϜʹநग़
   wΤϙοΫ਺
   ಉ͡σʔληοτΛ࢖͏ճ਺
   wग़ྗ
   wೖྗ͕//Λ௨ͬͯग़͖ͯͨ΋ͷ
   wྫ
   dͷ࣮਺ͳͲ
8. 
    ڧԽֶश
9. ڧԽֶश ֓ཁ
     ؀ڥ͔ΒΤʔδΣϯτʹঢ়ଶ
    ΤʔδΣϯτ͕ঢ়ଶʹج͍ͮͯ ߦಈ
    ؀ڥ͕ߦಈ݁Ռʹج͍ͮͨใु ΛΤʔδΣϯτ΁
    dΛ܁Γฦ͢ ࠷େใु͕΋Β͑ΔߦಈΛબͿΑ͏ʹֶश͢Δ
10. ڧԽֶश "84
    %FFQ3BDFS
    ֓ཁ
     RoboMakerͰͷγϛϡϨʔγϣϯͱ SageMakerͰͷϞσϧͷֶशΛ܁Γฦ͢
11. ڧԽֶश %FFQ3BDFS
    ༻ޠ
     ΤʔδΣϯτɿ%FFQ3BDFS ं
    ঢ়ଶɿ%FFQ3BDFSͷΧϝϥ͔Βͷը૾
    ߦಈɿεςΞϦϯάͱ଎౓ͷ૊Έ߹Θͤ
12. ڧԽֶश ख๏঺հ
     ڧԽֶशͷख๏͸͍Ζ͍Ζ͋ΔͷͰߜͬͯ঺հ
    w֤ख๏ͷجຊͱͳΔߟ͑ํɺՁ஋ϕʔεͱํࡦϕʔε
    wݸਓతʹཧղʹۤ࿑ͨ͠"DUPS$SJUJD
    w%FFQ3BDFSͰ࢖ΘΕ͍ͯΔ1SPYJNBM
    1PMJDZ
    0QUJNJ[BUJPO
13. ڧԽֶश ख๏঺հ
     Ձ஋ϕʔε
    wֶश୳ࡧΛਐΊΔதͰɺ֤ঢ়ଶͱߦಈͷՁ஋ΛٻΊ ͍ͯ͘
    wݱࡏͷঢ়ଶʹ͓͍ͯՁ஋͕ߴ͍ߦಈ΄Ͳબ͹Ε΍͍͢
    wঢ়ଶͱߦಈͷՁ஋2 T B 
    ࣍εςοϓҎ߱ಘΒΕΔใ ुͷ૯࿨ͷظ଴஋
14. ڧԽֶश ख๏঺հ
     ํࡦϕʔε
    wؔ਺ ํࡦؔ਺ ΛٻΊͯɺͦͷؔ਺Λ༻͍ͯ ߦಈΛબͿ
    wํࡦؔ਺
    ঢ়ଶʹదͨ͠ߦಈ ͷ֬཰ Λग़ྗ ͢Δ
15. ڧԽֶश ख๏঺հ
     "DUPS$SJUJD
    w֤ΞϧΰϦζϜͰঢ়ଶՁ஋ͱͯ͠ใुͷฏۉΛ࢖͍ͬͯ ͨͱ͜ΖΛՁ஋ؔ਺Ͱஔ͖׵͑Δ
    wՁ஋ؔ਺ͱํࡦؔ਺ڞʹֶशͤ͞Δ
16. ڧԽֶश ख๏঺հ
     $MJQQFE
    1SPYJNBM
    1PMJDZ
    0QUJNJ[BUJPO
    w%FFQ3BDFSͷֶशʹ࢖ΘΕͯΔ
    wํࡦϕʔε
    wߋ৽લޙͷํࡦ ߦಈͷ֬཰ ͷൺΛݩʹֶश͢Δ
    wߋ৽ྔ͕େ͖͘ͳΓ͗͢ͳ͍Α͏ʹ্ݶͱԼݶΛܾΊͯ$MJQ͢Δ
17. ڧԽֶश ख๏঺հ
     1SPYJNBM
    1PMJDZ
    0QUJNJ[BUJPO https://nervanasystems.github.io/coach/components/agents/policy_optimization/ppo.html
18. 
     AWS DeepRacer
19. "84
    %FFQ3BDFS
     RoboMakerͰͷγϛϡϨʔγϣϯͱ SageMakerͰͷϞσϧͷֶशΛ܁Γฦ͢
20. "84
    %FFQ3BDFS
     ߦಈۭؒ
    w଎౓ͱਐߦํ޲ͷ૊Έ߹Θͤ ૊Έ߹Θͤ਺͕ଟ͍ͱ ಈ͖͕ॊೈʹͳΔ ҙਤͨ͠௨Γಈ͘Α͏ʹ ֶशͤ͞Δͷ͸೉͍͠
21. "84
    %FFQ3BDFS
     ใुؔ਺
    w଎౓΍ҐஔͳͲͷσʔλʹج͍ͮͯใुΛ༩ ͑Δ
    w1ZUIPOͰࣗ༝ʹॻ͚Δ
    wෛͷ஋΋Մ
    wֶश࣌ʹ͸ઌͷεςοϓͷใु΋ߟྀ͞ΕΔ ͜ͱʹཹҙ DeepRacerʹͲ͏ಈ͍ͯ΄͍͔͠ ใुͱ͍͏ܗͰ ఆٛ͢Δ
22. "84
    %FFQ3BDFS
     ϋΠύʔύϥϝʔλ
    wόοναΠζ
    Ұճͷֶशʹ࢖༻͢Δσʔλ ͷ਺
    wΤϙοΫ਺
    ֶशϑΣΠζͰͷֶशճ਺
    wֶश཰
    Ϟσϧߋ৽࣌ͷޯ഑ͷ܎਺ ֶश͠ ΍͢͞
    wΤϯτϩϐʔ
    ߦಈબ୒࣌ͷϥϯμϜ͞
23. "84
    %FFQ3BDFS
     ϋΠύʔύϥϝʔλ
    wׂҾ཰
    ઌͷεςοϓΛͲΕ͚ͩॏࢹ͢Δ͔ ઌͷ εςοϓͰͷใुʹର͢Δ܎਺
    wଛࣦλΠϓ
    Ձ஋ؔ਺ͷϞσϧͷଛࣦؔ਺ΛͲ͏͢ Δ͔
    wγϛϡϨʔγϣϯϑΣΠζͷΤϐιʔυ਺
24. ·ͱΊ
     wڧԽֶशͰ΋χϡʔϥϧωοτϫʔΫ // Λ࢖ͬͯΔ΋ͷ͕ଟ͍ͷͰɺ·ͣ͸//ͰͷճؼͳͲڭࢣ͋ Γֶश͔Β࢝ΊΔͷ΋Ұͭͷख
    wڧԽֶशͷख๏͸͍Ζ͍Ζ͋Δ͚ͲɺํࡦϕʔεͱՁ஋ϕʔε͕جຊ
    w%FFQ3BDFS͸ใुؔ਺͕ॏཁ
    wใुؔ਺͸ओʹͲ͏͍͏ಈ͖Λֶश͍͔ͤͨ͞Ͱฦ͢ใुͷ஋ΛܾΊΔ
    wجຊతʹର৅εςοϓͰͷใु͚ͩͰ͸ͳ͘ɺকདྷͷεςοϓͰͷใु΋ؚΊͯධՁ͞ΕΔ
    wϋΠύʔύϥϝʔλ͸ֶशͷ࢓ํͷௐ੔ʹ࢖͏ͷ͕ྑ͛͞
    wใु΍ϋΠύʔύϥϝʔλͷ֤஋͕Ͳ͏ֶशʹ׆͔͞ΕΔ͔ͱ͍͏ͱ͜Ζ͔ΒڧԽֶशʹೖΔͷ͕Φε εϝ ڵຯΛ࣋ͬͨํ͸ͥͻ͍Ζ͍ΖάάͬͯΈ͍ͯͩ͘͞ʔ
    ͦͯ͠ɺҰॹʹۤ͠Έͳ͕Βֶͼ·͠ΐʔ