Pythonによる4足歩行ロボットの制御と強化学習による歩行動作獲得の実例 #pyconjp

2015年10月10日に開催された PyConJP2015 で発表したスライドです。プログラムはのちほど公開します！

Transcript

1. 1ZUIPOʹΑΔ଍าߦϩϘοτͷ੍ޚͱ ڧԽֶशʹΑΔาߦಈ࡞֫ಘͷ࣮ྫ #FBUSPCP
   *OD
   ஛Ҫӳߦ 1Z$PO+1
   
2. ࣗݾ঺հ w !)JEFZVLJ5BLFJ
   w )8
   ճ࿏ઃܭɺϚΠίϯɺ֎૷ઃܭɺதࠃ
   w 48
   ϑϩϯτΤϯυ+4ɺ"OESPJEɺ"84
   w ͔Θ͍͍ϩϘοτ͕޷͖
3. ࣗݾ঺հ
4. ΞδΣϯμ w ຍ࠿ϩϘοτ
   w ϩϘοτγϛϡϨʔλ(B[FCPͷ঺հ
   w (B[FCPΛ1ZUIPO͔Βίϯτϩʔϧ͢Δ
   w ؆୯ͳػߏͷϩϘοτͷ࡞੒
   w 2ֶशʹΑΔલਐಈ࡞ͷ֫ಘ
   w ຍ࠿ϩϘΛ࣮ػͰಈ࡞ͤ͞Δ
   w ·ͱΊ
6. ܗ͸Ͱ͖͕ͨʜ
7. Ϟʔγϣϯ࡞Δͷ͕໘౗ w Ϟʔλͷ֯౓৘ใΛखଧͪͯ͠ɺϞʔγϣϯ Λ࡞Βͳ͚Ε͹ͳΒͳ͍
   w ඇৗʹ໘౗ʂ
   w উखʹϩϘοτ͕ಈ͍ͯ͘ΕͨΒྑ͍ͷʹ ڧԽֶशʹΑΔϞʔγϣϯͷ֫ಘΛ໨ࢦ͢ʂ
8. ڧԽֶशͷน w ਺ඦճͷࢼߦճ਺ʜ
   w ࢼߦճ਺ଟ͍ͱɺϩϘοτࣗମ͕յΕͦ͏ͳ ৺ࡉ͍ઃܭ
   w ࣮෺Ͱֶशͤ͞Δʹ͸ؾ͕Ҿ͚Δ
   w ܭଌͱ͔΋ΊΜͲͦ͘͞͏ γϛϡϨʔγϣϯͰ΍ͬͪΌ͓͏ʂ
9. (B[FCP w IUUQHB[FCPTJNPSH
   w Φʔϓϯιʔεͳ%ͷϩϘοτ
   
   
   
   
   
   
   γϛϡϨʔλ؀ڥ
   w ϦΞϧλΠϜɺݟͨ໨͖Ε͍
   w 0%&΍#VMMFUͳͲͷ%෺ཧΤϯδϯ ͕੾Γସ͑ΒΕΔ
   w Α͘304ͱ͍ͬ͠ΐʹ࢖ΘΕ͍ͯΔ
   w όʔδϣϯͷ໰୊ͳͲ΋͋ΔͷͰɺ ࠓճ͸304Λ࢖Θͣ௚઀(B[FCP ͱίϛϡχέʔγϣϯ͢Δ
   w (B[FCP͸WΛར༻
10. (B[FCPͷݟͨ໨
11. (B[FCPͷߏ੒ ([4FSWFS γϛϡϨʔγϣϯۭؒ ͅ ([$MJFOU Ϟσϧ ࠓճ࡞Δ
    ڧԽֶशϓϩάϥϜ 1SPUPDPM
    #V⒎FSTͷ1VC4VCͰ4FSWFS$MJFOU͕௨৴
12. (B[FCP
    5JQT w 5PQJD
    7JTVBMJ[BUJPOπʔϧΛ࢖͏͜ͱ ͰɺݱࡏྲྀΕ͍ͯΔϝοηʔδΛϦΞ ϧλΠϜͰݟΔ͜ͱ͕Ͱ͖Δ
    w ίϚϯυϥΠϯ͔Βϝοηʔδͷ QVCMJTITVCTDSJCF͕Ͱ͖Δ
    w (B[FCP
    ͷ୯Ґܥ͸
    4*
    ʹ४ڌ
    w ௕͞͸ϝʔτϧ NFUFS
    w ॏ͞ NBTT ͸ΩϩάϥϜ LH
    w ଎౓ WFMPDJUZ ͸
    w SFWPMVUF
    KPJOUT
    ͸
    SBET
    w QPTF
    ͳͲͰͭͷ਺ࣈ͕ฒΜͰ͍Δ ͷ͸ʮY
    Z
    [
    SPMM
    QJUDI
    ZBXʯͰ͢
13. 1ZUIPOͰ(B[FCPͱ௨৴ w 1Z(B[FCP
    w IUUQTHJUIVCDPNKQJFQFSQZHB[FCP
    w ΄΅1SPUP#VGͷ
    @QCQZ
    ͷϑΝΠϧ
    w ࠓճ࢖͏ػೳ
    w 4VCTDSJCF
    w ϩϘοτͷ࠲ඪɺ࢟੎
    w 1VCMJTI
    w ϩϘοτͷϞʔλͷ֯౓ࢦఆ
14. !USPMMJVTDPSPVUJOF
    EFG
    QVCMJTI@MPPQ 
    
    
    
    
    NBOBHFS
    
    ZJFME
    'SPN QZHB[FCPDPOOFDU
    
    
    
    
    QVCMJTIFS
    
    ZJFME
    'SPN
    
    
    
    
    
    
    
    
    NBOBHFSBEWFSUJTF HB[FCPEFGBVMUNPEFMKPJOU@DNE
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    HB[FCPNTHT+PJOU$NE
    
    
    
    
    NFTTBHF
    
    QZHB[FCPNTHKPJOU@DNE@QC+PJOU$NE
    
    
    
    
    NFTTBHFOBNF
    
    SPCPUKPJOU@OBNF
    
    
    
    
    NFTTBHFBYJT
    
    
    
    
    
    
    NFTTBHFGPSDF
    
    
    
    
    
    
    XIJMF
    5SVF
    
    
    
    
    
    
    
    
    ZJFME
    'SPN QVCMJTIFSQVCMJTI NFTTBHF
    
    
    
    
    
    
    
    
    ZJFME
    'SPN USPMMJVTTMFFQ 
    MPPQ
    
    USPMMJVTHFU@FWFOU@MPPQ
    MPPQSVO@VOUJM@DPNQMFUF QVCMJTI@MPPQ δϣΠϯτૢ࡞༻ίϚϯυ ϩϘοτͷؔઅΛಈ͔͢αϯϓϧίʔυ ૢ࡞͢ΔϩϘοτ໊ͱؔઅ໊Λࢦఆ ྗΛՃ͑Δํ޲ͱڧ͞Λࢦఆ ίϚϯυΛύϒϦογϡ (B[FCPαʔόͱ௨৴͢Δ
    ͨΊͷϚωʔδϟͷ࡞੒
15. Ϟσϧͷදݱ w 4%' IUUQTEGPSNBUPSH Λར༻
    w ϩϘοτγϛϡϨʔγϣϯ޲͚
    w Ϟσϧ΍؀ڥΛఆٛ͢ΔͨΊͷ
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    
    9.-ϑΥʔϚοτ
    w Ϟσϧͷܗ 45-͔%"&Λࢦఆ ɺճస࣠ɺද໘ͷຎ ࡲ܎਺ͳͲͷ෺ཧతͳಛੑ͕ఆٛͰ͖Δ
    w ϞσϧΛಈ͔͢؀ڥ΋4%'Ͱఆٛ͢Δ
    w IUUQTCJUCVDLFUPSHPTSGHB[FCP@NPEFMTTSD
    ͪ͜Βʹ(B[FCPͰ࢖͑Δ4%'͕ू·͍ͬͯΔ
    w 8JMMPX(BSBHFͷ13ͳͲͷ4%'Λࢀߟʹͯ͠
    ϞσϧͷఆٛΛ͢Δͷ͕Φεεϝ
16. 4%'$POWFSUFSͷ࢖͍ํ w %$"%ͷ*OWFOUPSͷΞηϯϒϦ͔Β4%'Λੜ੒
    w IUUQTHJUIVCDPNXJMMTUPUU4%' $POWFSUFS
    ͔ΒίʔυΛμ΢ϯϩʔυͯ͠ 7JTVBM4UVEJPͰFYFΛϏϧυ͢Δ w *OWFOUPSͰΞηϯϒϦ
    
    
    
    ϑΝΠϧJBNΛ։͘
    w 4%'$POWFSUFSΞϓϦΛ ಉ࣌ىಈ͢Δ
    w 4BWF
    UP
    pMF
    ͱ"MTP
    TBWF
    45-TʹνΣοΫΛ͚ͭͯɺ 45-
    4DBMF͸ͷ··
    w (FOFSBUF
    4%'Λԡ͢ͱ 4%'͕ੜ੒͞ΕΔ
17. ࢼ͠ʹ؆୯ͳϩϘοτΛ࡞ͬͯΈΑ͏ w ຊ֨తͳϩϘοτͷલʹ൘ܕϩϘοτʹલਐҠಈͷ ϞʔγϣϯΛ֫ಘͤ͞Δ
    w ܗ͸%$"%Ͱ࡞੒
    w $"%σʔλ͔Β4%'Λ࡞੒
    w WJTVBMͱDPMMJTJPOͷϞσϧ͸྆ํಉ͡45-Λ࢖༻
    w 4%'$POWFSUFS IUUQTHJUIVCDPNXJMMTUPUU4%'$POWFSUFS Λར༻ͯ͠4%'Λ࡞Ζ͏ 4%' %$"%ͷ
    *OWFOUPSͰ࡞੒ 4%'$POWFSUFS
    Ͱ*OWFOUPSͷ
    ΞηϯϒϦ͔Β
    4%'Λੜ੒ 4%'Λ(B[FCPʹ
    Πϯϙʔτ͢Δ
18. ڧԽֶश 2ֶश w ͋Δঢ়ଶTUͰ͋ΔߦಈBUΛͱͬͨͱ͖ɺະདྷʹ ΘͨͬͯͲͷ͘Β͍ͷใु͕ಘΒΕͦ͏͔Λ ද͢ߦಈՁ஋ؔ਺2 TU
    BU Λֶश w ЏHSFFEZબ୒ɿఆΊΒΕͨ֬཰ЏͰϥϯμ Ϝʹߦಈ͠ɼ Џ ͷ֬཰Ͱେ͖ͳํͷ2஋ Λ࣋ͭߦಈΛબ୒Λ͢Δ ΤʔδΣϯτ 2ֶशʹΑΔ
    ߦಈબ୒ ؀ڥ ߦಈBU ঢ়ଶTU ؀ڥͷ
    มԽ ใुSU SU  TU 
19. ঢ়ଶTͱߦಈBͱใुS w ঢ়ଶ਺ΛݮΒͨ͢Ίʹ੍໿ Λઃ͚Δ
    w ֤ؔઅ͸౓ɺ౓ɺ
    
    
    ౓ͷύλʔϯͷΈ
    w ߦಈ͸ͭͷؔઅ͔͠ಈ ͔ͤͳ͍
    w ಉ͡ঢ়ଶʹͳΔߦಈ͸બ ୒ෆՄ
    w ঢ়ଶT͸ύλʔϯ
    w ঢ়ଶTUͰऔΔ͜ͱ͕Ͱ͖Δ ߦಈBU͸ύλʔϯ
    w લʹਐΊ͹ਐΉ΄Ͳใु͕ ߴ͍ ͭͷؔઅ͚ͩಈ͔͢
20. ϓϩάϥϜͷߏ੒ &OWJSPONFOU "HFOU ঢ়ଶ؅ཧ
    ΞΫγϣϯੜ੒ γϛϡϨʔλ಺ͷ
    ϩϘοτͷαʔϘઃఆͱ
    ࠲ඪऔಘ ([4FSWFS ϩϘοτͷ
    γϛϡϨʔγϣϯ 2-FBSOJOH 2ֶश෦෼ ࠓճ࡞ͬͨͱ͜Ζ 1Z(B[FCPʹΑΔ
    1SPUP#VGͷ΍ΓͱΓ
21. ࠷ॳͷ͜Ζ όλόλ͔ͯ͠͠ͳ͍
22. ࢼߦ໨͘Β͍ ͍ͭͷؒʹ͔લʹਐΉΑ͏ʹͳͬͯΔʂ
23. ͍ͭʹຍ࠿ʹڧԽֶशΛʂ w ຍ࠿ϩϘͭͷαʔϘ͕͋Δ
    w ֤଍͝ͱͭͷ্Լํ޲ͷαʔϘͭ
    w ͭͷ଍ͷԣ࣠ʹಈ͔ͨ͢ΊͷαʔϘͭ
    w ֫ಘͰ͖ͨาߦΛ࣮ػͰσϞ͠·͢ʂʂ
24. าߦͷ༷ࢠ
25. ·ͱΊ w 2ֶशͰϩϘοτʹલਐಈ࡞ͷ֫ಘΛͤͨ͞
    w γϛϡϨʔγϣϯͳΒҙ֎ͱ؆୯
    w ιʔείʔυ͸ͷͪ΄Ͳެ։͢ΔͷͰɺ
    
    
    
    
    
    Έͳ͞Μಈ͔ͯ͠Έ͍ͯͩ͘͞ʂ
    w ຍ࠿͸ޤ͏͝ظ଴ʂ
26. #FBUSPCPΤϯδχΞืूதʂ EPDLFS޷͖ͳํ
    ϋʔυ΢ΣΞ޷͖ͳํ
    ΞϧόΠτɾࣾһืूதʂ
27. ϩϘοτ࡞ΓͰΑ͘࢖͏πʔϧ w FBHMF
    IUUQXXXDBETPGUVTBDPN
    
    w ϓϦϯτج൘ઃܭιϑτ΢ΣΞ
    w FMFDSPX
    IUUQXXXFMFDSPXDPN
    w ܹ҆ϓϦϯτج൘੡଄αʔϏε
    w *OWFOUPS
    w %
    $"%ɻ'VTJPO͸ແྉͰ࢖͑Δ
    w 4IBQFXBZT
    w Ϥʔϩούͷ%ϓϦϯταʔϏε
    w "73
    
    ($$
    w CJUϚΠίϯ $ݴޠͰ։ൃ