Upgrade to Pro — share decks privately, control downloads, hide ads and more …

機械学習を使ったゲームの運用サポートとSageMakerRL

Avatar for Hidetaka Kojo Hidetaka Kojo
December 26, 2018

 機械学習を使ったゲームの運用サポートとSageMakerRL

JAWS-UG AI #9 の発表資料
ゲームの運営サポートに機械学習を使用しているおり、その簡単な説明と、
Amazon Re:Invent 2018で紹介されたSageMaker RLをベータとして使用していたので
その感想。

Avatar for Hidetaka Kojo

Hidetaka Kojo

December 26, 2018
Tweet

More Decks by Hidetaka Kojo

Other Decks in Technology

Transcript

  1. γεςϜߏ੒ Client Application(Ϣʔβ୺຤) APP Server(Socket Layer) APP Server(Logic Layer) RPC

    AWS • Logic Server͕
 ήʔϜϩδοΫΛ͍࣋ͬͯΔ • Client͸ԋग़෦෼ͷΈ • ϢʔβͷήʔϜதͷߦಈ͸
 ϩάͱͯ͠อଘՄೳ
  2. γεςϜߏ੒ Client Application(Ϣʔβ୺຤) APP Server(Socket Layer) APP Server(Logic Layer) RPC

    AWS • ϓϨΠϠʔϩάΛ࢖ͬͨ
 ڭࢣ͋ΓֶशͷϞσϧ • SageMaker EndpointͰ
 ഑ஔ݁ՌΛਪ࿦ • ϞσϧͷAPIΤϯυϙΠϯτԽ • ඇఀࢭʹΑΔϞσϧ੾Γସ͑ • εέʔϧ΋Մೳ SageMaker Endpoint
  3. SageMaker RL beta (ਫฏεέʔϧ) Docker image Training Job Docker image

    Docker image Docker image (Trainer) Docker image S3 bucket Notebook
 Instance Redis Weights Experience Replay
  4. ݕূͨ͠಺༰ • ϑϨʔϜϫʔΫʹ৐Βͣʹࣗ෼ͷ؀ڥΛͦͷ·· • ͜ͷ৔߹͸࿈ܞ͕Ͱ͖ͳ͍ͷͰ1node͔͠ಈ͔ͤͳ͍ Training Job Docker image Notebook


    Instance LogicServer
 (elixir) GameEnv (python) ࣗ࡞RL ϩδοΫ
 (pyton) http S3 bucket model & checkpoint
  5. ݕূͨ͠಺༰ • ਪ঑ͷCoach & GymܗࣜͰ࠶࣮૷ • ͜ͷܗͩͱ؆୯ʹਫฏ෼ׂͷԸܙΛड͚ΕΔ Training Job Docker

    image Notebook
 Instance LogicServer
 (elixir) GymEnv (python) http S3 bucket model & checkpoint Intel Coach
  6. ݕূͰͷײ૝ • े෼࣮༻Ͱ͖ΔϨϕϧ • ͨͩ͠ɺ·ͩ໨ʹݟ͑Δൣғ಺ʹటष͍෦෼͕ͨ͘͞Μ࢒͍ͬͯΔ • ग़ྗ͞ΕΔσʔλ͸Tensorflowͷ΋ͷͳͷͰɺ৭ʑऔΓճ͕͠ޮ͘ • CoachͱGymͷྲّྀʹ৐ΔͱΞϧΰϦζϜͷ࣮૷ͳͲΘ͔Βͳ͍Ͱ΋࢖͑Δ •

    ٯʹGymͳͲͷྲّྀʹ৐Βͳ͍ͱ͍͚ͳ͘ͳΔ(single agentͳͲ) • Ray RLib+ multi agentͳͲ΋ࢼͯ͠Έ͍ͨ • ߋ৽ͷεϐʔυ͕ͱʹ͔͘ૣ͍ • ·ͩ·ͩൃలதͷͨΊɺॻ͖ํ͕ͲΜͲΜ৽͘͠ͳ͍ͬͯ͘ • ·ͩαϯϓϧίʔυಡΈղ͍࣮ͯ૷͍ͯ͘͠ײ͸͋ΔͷͰ
 υΩϡϝϯτྨͷॆ࣮ʹ΋ظ଴