Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
[ML輪講] Hindsight Experience Replay
Search
Takuma Seno
April 26, 2018
Technology
1
700
[ML輪講] Hindsight Experience Replay
Reading paper of Hindsight Experience Replay at Keio Machine Learning Seminor
Takuma Seno
April 26, 2018
Tweet
Share
More Decks by Takuma Seno
See All by Takuma Seno
AIは教えてもらわなければ何もできないのか
takuseno
0
1.5k
深層強化学習の動向 / survey of deep reinforcement learning
takuseno
43
46k
DQN速習会@Wantedly
takuseno
4
4.7k
Robot Architecture on Raspberry Pi
takuseno
1
260
Dependent System with Laravel
takuseno
0
760
Other Decks in Technology
See All in Technology
【令和最新版】AWS Direct Connectと愉快なGWたちのおさらい
minorun365
PRO
5
760
日経電子版のStoreKit2フルリニューアル
shimastripe
1
130
10XにおけるData Contractの導入について: Data Contract事例共有会
10xinc
6
660
AWS Lambda のトラブルシュートをしていて思うこと
kazzpapa3
2
180
iOSチームとAndroidチームでブランチ運用が違ったので整理してます
sansantech
PRO
0
150
マルチモーダル / AI Agent / LLMOps 3つの技術トレンドで理解するLLMの今後の展望
hirosatogamo
37
12k
Zennのパフォーマンスモニタリングでやっていること
ryosukeigarashi
0
140
個人でもIAM Identity Centerを使おう!(アクセス管理編)
ryder472
4
230
開発生産性を上げながらビジネスも30倍成長させてきたチームの姿
kamina_zzz
2
1.7k
マルチプロダクトな開発組織で 「開発生産性」に向き合うために試みたこと / Improving Multi-Product Dev Productivity
sugamasao
1
310
The Role of Developer Relations in AI Product Success.
giftojabu1
0
130
TanStack Routerに移行するのかい しないのかい、どっちなんだい! / Are you going to migrate to TanStack Router or not? Which one is it?
kaminashi
0
600
Featured
See All Featured
Building Flexible Design Systems
yeseniaperezcruz
327
38k
GraphQLとの向き合い方2022年版
quramy
43
13k
Agile that works and the tools we love
rasmusluckow
327
21k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
33
1.9k
[RailsConf 2023] Rails as a piece of cake
palkan
52
4.9k
Designing for Performance
lara
604
68k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
10
720
Gamification - CAS2011
davidbonilla
80
5k
Art, The Web, and Tiny UX
lynnandtonic
297
20k
Speed Design
sergeychernyshev
25
620
A better future with KSS
kneath
238
17k
Side Projects
sachag
452
42k
Transcript
Hindsight Experience Replay Marcin Andrychowicz, Filip Wolski, Alex Ray, Jonas
Schneider, Rachel Fong, Peter Welinder, Bob McGrew, Josh Tobin, Pieter Abbeel, Wojciech Zaremba, NIPS 2017 妹尾卓磨 今井研究室 慶應義塾大学 Keio Machine Learning Seminor 1
自己紹介 妹尾卓磨 今井研究室所属 修士1年 アルバイト Wantedly G社 研究 深層強化学習 内発的動機
2
ロボットにおける強化学習の課題 報酬関数の設計が困難 • 手設計の限界 • ドメイン知識の要求 • 最適な挙動が未知なケース 3
理想的な報酬設定 エピソードの最後に タスクを完了できたかどうかで0, 1を与える 4
実際の問題 探索空間が広すぎて報酬を得ることができない ⇨報酬が得られないと学習ができない 何しても報酬もらえないん ですけど(怒) 5
既存のアプローチ (1) 探索の効率化 例:カウントベースによる探索 Unifying Count-Based Exploration and Intrinsic Motivation
[Bellmare+ 16] 6
既存のアプローチ (2) 報酬関数の作り込み(reward shaping) タスクがうまく行くように促す 例:ゴールに近いほど小さい負の報酬を与える 7
既存のアプローチの課題 探索の効率化 探索空間が広すぎる場合は現実的ではない 報酬関数の作り込み ドメイン知識が要求される 得られた方策が最適ではない場合がある 8
提案手法 失敗エピソードもタスクの目的とは異なるサブゴールとして経験を 保存して学習する深層強化学習手法 Hindsight Experience Replay (HER) を提案 報酬がスパースな環境でなかなかタスクが達成できなくても 別のゴールを設定して学習を進ませることが可能
9
コンセプト: ホッケーの例 人がホッケーをプレイしている時の学習 10
コンセプト: ゴールから外した時 (RL) もし普通の強化学習だったら ゴン!! これは失敗なんですね あんまり学習が進まない 11
コンセプト: ゴールから外した時 (Human) もし人間なら ゴン!! ちくしょう! ゴールが右に あれば入ってた! 右の方へ打つ方法を学習 ここがゴールだったとして学習
12
Hindsight Experience Replay 13
エピソードを経験 (1) エピソードを経験 14
エピソードを経験 (2) 手法はoff-policyのアルゴリズムならなんでも使える 今回はロボットを動かすので Deep Deterministic Policy Gradients (DDPG)を使用 Continuous
control with deep reinforcement learning [Timothy+ 15] Policy Network (θ π) Action-Value Network (θ Q) s t s t a t Q t 状態 行動 行動価値 a t 行動 Actor Critic 15
エピソードを経験 (3) Universal Function Value Approximator (UFVA) でネットワークを構成 状態とゴールを入力として価値を推定する •
状態だけじゃなくてゴールについても 汎化することができる • 特徴抽出を促すことができる 今回はDDPGのActorとCriticに使用 Universal Function Value Approximator [Schaul+ 16] 16
経験を保存 (1) : Experience Replay (ER) 経験を保存 普通のER HER 17
経験を保存 (2) : 普通のExperience Replay 本来のゴールgとgにおける報酬をメモリーに保存する Replay Memory 18
経験を保存 (3) : Hindsight Experience Replay ゴールを選択する方法Gにしたがってg’を決定して経験を保存する Gの例: エピソードの最終状態s T
をg’とする (final) Replay Memory 19
経験をサンプリングして学習 サンプリングした経験 から学習 20
実験 MuJoCoエンジンを使ったロボットシミュレータでタスクを学習 7自由度のロボットを用いて3タスクで性能を評価 Pusing Sliding Pick-and-place 21
実験詳細 観測 グリップの絶対位置,物体と対象物の相対位置,指の間隔 Criticには追加でグリップと指の速度と物体の相対速度と相対角速度 ゴール 動かしたい目的の場所(物体の位置はエピソードごとにランダム) 報酬 物体を閾値以下まで動かせれば1,そうでなければ0 22
実験の様子 23
結果 HERのゴールをエピソードの最終状態として学習 全てのタスクにおいてベースラインを超える性能 24
実験2: 毎回ゴールが同じ場合の評価 ゴールが毎回同じ場合(簡単になった)でも評価 HERを用いることで改善できた 25
実験1と実験2の比較 ゴールが毎回変わる実験1の方 が性能が高かった ゴールが多様な方が学習 が性能が上がりやすい (ゴール間の汎化かな) 実験1 実験2 26
実験3: reward shaping での学習 reward shapingを行って学習ができるかどうか評価 動かした時に物体に近づくほど大きな報酬が発生するように設定 次のステップでの位置 定数 HERを用いても学習ができなくなった
27
reward shapingして学習ができなくなった理由 報酬関数によって最適化されるものと目指してるものが違う 直感的に設計した報酬がタスクの最適化と合致しているとは限らない 報酬関数が探索を抑制してしまう ちょっとでも物体を動かすと負の報酬を受け取ってしまい,物体を動かさないのが最適 方策となってしまっている 28
実験4: Gの戦略を色々変えてみる 新たに3つのGの戦略を加えて評価 future ランダムに同一エピソードで今後訪れるk個の状態をゴールにする episode ランダムに同一エピソードで訪れるk個の状態をゴールにする random ランダムに学習中に訪れたk個の状態をゴールにする 29
実験4: 結果 futureにすると大きく性能が向上した 反対にrandomは性能が大きく低下した また,k=8を越えると本来のゴールの割合が減るので性能が低下した 30
実験5: 実ロボットへデプロイ シミュレータ上のfuture, k=4で学習した方策を実ロボットへデプロイ そのままだと2/5の成功率 Gaussianのノイズを入力に加えて学習することで成功率を5/5まで上昇できた 物体位置検出はは訓練済み CNNを使用 31
HERを用いた後続の研究 OpenAIはこれ以降ロボットの学習に強化学習を用いる研究を盛んにしている • Sim-to-Real Transfer of Robotic Control with Dynamics Randomization
[Xue+ 17] シミュレーションの環境にノイズを加えることで汎化性能を向上させて実環境に耐える方 策を学習する • Overcoming Exploration in Reinforcement Learning with Demonstrations [Ashvin+ 17] 人のデモンストレーションを使用して学習するかどうかをCriticの評価で決定することで デモンストレーション以上の方策を学習する • Asymmetric Actor Critic for Image-Based Robot Learning [Lerrel+ 17] Actorの入力は限られているが,Criticには全情報を与えることで効率的に実環境でも使 用できる方策を学習する 32
総評 • 失敗エピソードでもゴールを自分で設定することで学習を促す ことができた • 最近UVFAを使った論文が増えてきているので,UVFAに時代 が追いついてきた ◦ マルチタスク ◦
ゴールの汎化による未知タスクへのアプローチ • 人間による報酬ハンドエンジニアリングを超えてくるあたりがま さに深層強化学習の真骨頂という感じ 33