DRL 組み合わせ最適化

Transcript

1. POMO: Policy Optimization with Multiple Optima for Reinforcement Learning Kwon, Yeong-Dae, et al. NeurIPS, 2020, vol.33
2. ཁ໿ •૊Έ߹Θͤ࠷దԽ໰୊ʹ͓͚Δɼਂ૚ڧԽֶश ͰͷFOEUPFOEͷۙࣅղ๏ɽ •طଘͷਂ૚ڧԽֶशख๏ͱൺֱͯ͠ɼ ܭࢉ࣌ؒɾਫ਼౓ͱ΋ʹେ͖͘վળͨ͠ •८ճηʔϧεϚϯ໰୊ͳͲͰݕূɽ 2/26
3. ಋೖ
4. ૊Έ߹Θͤ࠷దԽ •८ճηʔϧεϚϯ໰୊΍഑ૹܭը໰୊ɼφοϓβοΫ໰୊ ͳͲʹ୅ද͞ΕΔΑ͏ͳ࠷దͳ૊Έ߹ΘͤΛٻΊΔ෼໺ɽ 4/26 精度 計算時間 厳密解法 最適 遅い 近似解法 最適に 近い 早い https://onl.tw/vzkASMX
5. ڧԽֶशʢ3FJOGPSDFNFOU
   -FBSOJOH
   3-ʣ •3-ɿஞ࣍తͳҙࢥܾఆ໰୊Λղ͘ख๏ɽ ྦྷੵใु͕࠷େʹͳΔΑ͏ͳํࡦΛݟ͚ͭΔ͜ͱ͕໨తɽ 5/26 ໰୊ઃఆͱͯ͠ɼঢ়ଶू߹ɼߦಈू߹ɼใुؔ਺Λ ઃఆ͢Δඞཁ͕͋Δɽ https://onl.tw/98fQVvW
6. ํࡦϕʔεͷ3&*/'03$& 6/26 •ํࡦ 𝜋 𝑠 ɿঢ়ଶ𝑠ʹ͓͚Δߦಈ𝑎Λग़ྗ͢Δؔ਺ •𝜋! ɿύϥϝʔλ 𝜃Ͱ௚઀ύϥϝʔλԽ͞Εͨํࡦ •ํࡦͷߋ৽ࣜɿ𝛼͸ֶश཰ɼ𝐽 𝜋! ͸໨తؔ਺ 𝜃 ← 𝜃 + 𝛼∇! 𝐽 𝜋! •ํࡦޯ഑ͷࣜɿ𝔼͸ظ଴஋ɼ𝑅" ͸ऩӹɼ𝑏 𝑠 ͸ϕʔεϥΠϯ ∇! 𝐽 𝜋! = 𝔼#! ∇! log 𝜋! ⋅ 𝑅" − 𝑏 𝑠
7. ઌߦݚڀ
8. 1PJOUFS
   /FUXPSLTʢʣ ૊Έ߹Θͤ࠷దԽͰར༻͢ΔωοτϫʔΫ •ॏෳͳ͘બ୒͠ɼग़ྗύλʔϯྻΛੜ੒͢Δɽ •ೖྗ஍఺৘ใ͔Βಛ௃நग़Λߦ͏FODPEFSͱɼFODPEFS ͷग़ྗΛར༻ͯ͠౴͑ͱͳΔܦ࿏Λग़ྗ͢ΔEFDPEFS͔ ΒͳΔɽ •FODPEFSͱEFDPEFSʹ͸-45.Λ࢖༻ɽ 8/26
9. "UUFOUJPO .PEFMʢʣ 1PJOUFS
   /FUXPSLTͷվྑ൛ •1PJOUFS
   /FUXPSLTಉ༷ɼ&ODPEFSͱ%FDPEFSΛ࢖༻͢Δ Ϟσϧɽ •-45.͸ഇࢭ͠ɼ.VMUJIFBE"UUFOUJPOΛ࠾༻ɽ 9/26
10. ख๏
11. ຊ࿦จͷख๏ͷΞΠσΞ 11/26 ࠷ॳͷߦಈ͸ɼޙͷΤʔδΣϯτͷߦಈʹେ͖͘ӨڹΛ༩͑Δɽ ૊Έ߹Θͤ࠷దԽ໰୊ʹΑ͘ݟΒΕΔରশੑΛར༻ɽ
12. 10.0 •3&*/'03$&
    XJUI
    #BTFMJOFɿయܕతͳํࡦޯ഑ϕʔεͷ 3-ΞϧΰϦζϜΛ࢖༻ɽ •ෳ਺ͷҟͳΔ։࢝ߦಈΛࢦఆ͠ɼෳ਺ͷߦಈܥྻʢيಓʣ ΛಘΔɽ •ʻ45"35ʼτʔΫϯΛ༻͍ͳ͍ɽ 12/26 従来 POMO
13. 10.0 ∇! 𝐽 𝜃 ≈ 1 𝑁 6 $%& ' 𝑅 𝜏$ − 𝑏$ 𝑠 ∇! log 𝑝! 𝜏$ ∣ 𝑠 𝑤ℎ𝑒𝑟𝑒 𝑝! 𝝉$ ∣ 𝑠 ≡ @ "%( ) 𝑝! 𝑎" $ ∣ 𝑠, 𝑎&:"+& $ يಓ 𝝉$ = 𝑎& $ , 𝑎( $ , … , 𝑎) $ GPS 𝑖 = 1,2, … , 𝑁 ڞ༗ϕʔεϥΠϯ 𝑏$(𝑠) = 𝑏TIBSFE (𝑠) = 1 𝑁 6 ,%& ' 𝑅 𝝉, GPS 𝑖 = 1,2, … , 𝑁 13/26
14. ܇࿅෦෼ͷٖࣅίʔυ 14/26
15. *OTUBODF
    "VHNFOUBUJPOɿਪ࿦ख๏ •ը૾ॲཧ෼໺ͷσʔλΦʔάϝϯςʔγϣϯ͔Βண૝ɽ •ࠓճ࢖͏஍఺࠲ඪ͸ɼYͷ୯Ґਖ਼ํܗ಺ʢୈҰ৅ݶʣͷ ΋ͷΛར༻ɽ 15/26 今回使う Instance Augmentation
16. ਪ࿦෦෼ͷٖࣅίʔυ 16/26
17. ࣮ݧ
18. ࣮ݧ ࣮ݧ಺༰ •10.0Λ༻͍ͯɼҎԼͷ໰୊Λղ͍ͨ݁ՌΛଞͷ୅දతख๏ͱ ൺֱɽ  ८ճηʔϧεϚϯ໰୊  ༰ྔ੍໿͋Γͷ഑ૹܭը໰୊  φοϓβοΫ໰୊ 18/26
19. ֶशۂઢɿ८ճηʔϧεϚϯ໰୊ 19/26 50地点 100地点
20. ८ճηʔϧεϚϯ໰୊ʢ541ʣ 20/26
21. ८ճηʔϧεϚϯ໰୊ʢ541ʣ 21/26
22. ༰ྔ੍໿͋Γͷ഑ૹܭը໰୊ʢ$731ʣ 22/26
23. φοϓβοΫ໰୊ʢ,1ʣ 23/26
24. ࣮ݧͷ·ͱΊ •ҟͳΔઃఆͷͭͷ૊Έ߹Θͤ࠷దԽ໰୊ʹରͯ͠ɼ ಉҰͷ܇࿅ख๏ͱ//ΞʔΩςΫνϟΛ༻͍ͯ༗๬ͳ݁ՌΛ ಘͨɽ •܇࿅ɾਪ࿦ख๏ͱͯ͠ͷ10.0ɼਪ࿦ख๏ͱͯ͠ͷ *OTUBODF
    "VHNFOUBUJPOͲͪΒ΋ޮՌతͳख๏Ͱ͋Δ͜ͱ Λ֬ೝͨ͠ɽ 24/26
25. ·ͱΊ ຊ࿦จͰ͸૊Έ߹Θͤ࠷దԽ໰୊ʹ͓͍ͯɼରশੑΛར༻ ͯ͠3-ͷαϯϓϧޮ཰΍ਫ਼౓ ਪ࿦࣌ؒΛ୹ॖ͢Δख๏Λ঺ հͨ͠ɽ 25/26
26. ࢀߟจݙ  ,XPO
    :FPOH%BF
    FU
    BM
    10.0
    1PMJDZ
    0QUJNJ[BUJPO
    XJUI
    .VMUJQMF
    0QUJNB
    GPS
    3FJOGPSDFNFOU
    -FBSOJOH "EWBODFT
    JO
    /FVSBM
    *OGPSNBUJPO
    1SPDFTTJOH
    4ZTUFNT 
       ,PPM
    8PVUFS
    )FSLF WBO
    )PPG
    BOE
    .BY
    8FMMJOH
    "UUFOUJPO
    -FBSO
    UP
    4PMWF
    3PVUJOH
    1SPCMFNT *OUFSOBUJPOBM
    $POGFSFODF
    PO
    -FBSOJOH
    3FQSFTFOUBUJPOT
       7JOZBMT
    0SJPM
    .FJSF 'PSUVOBUP
    BOE
    /BWEFFQ
    +BJUMZ
    1PJOUFS
    /FUXPSLT "EWBODFT
    JO
    /FVSBM
    *OGPSNBUJPO
    1SPDFTTJOH
    4ZTUFNT 
      26/26