[勉強会] Decision Transformer

[勉強会] Decision Transformer
PDFファイルをダウンロードすると，スライド内のリンクを見ることができます．
Decision transformer: Reinforcement learning via sequence modeling,
Lili Chen et al. (UC Berkeley et al.)
[NeurIPS'21] (Cited by: 2678)

Transcript

1. 勉強会 Decision Transformer 2024/05/13 1/75
2. 第一章 　強化学習の基礎 第二章 　Decision Transformerの背景知識 第三章 　Decision Transformer 目次 2/75
3. 第一章 強化学習の基礎 3/75
4. Decision Transformerの理解に 必要な部分に絞り紹介します ベルマン方程式 などは割愛します 4/75
5. こちらをベースにしています リンク：Hugging Face Deep RL Course 5/75
6. 強化学習とは？ 6/75
7. エージェントが環境と相互作用しながら集めたデータ を使って高い報酬を得る方法を学習する 第一章 | 強化学習とは？ 7/75
8. 目標：エージェントが得る報酬の総和を最大にする行動パターンを身につけ ること 1. “環境”から”状態”を取得し，それに基づき”行動”を行う 2. “環境”の”状態”が変化する 3. エージェントは環境から”報酬”を受け取ると同時に”新しい状態”を取得 第一章 | 強化学習とは？ ① ② ③ 8/75
9. e.g.) エージェントに一度もプレイしたことのないビデオゲームをプレイさせる 第一章 | 強化学習とは？ 9/75
10. 1. エージェントは，右ボタン (アクション) を押すことでビデオゲーム (環 境) と相互作用する 2. コインを入手し，+1 の報酬が与えられる (ポジティブ) エージェントはコインを獲得することが良い行動だと理解する 第一章 | 強化学習とは？ 10/75
11. 1. もう一度右ボタンを押すと，敵に触れる 2. キャラクターが倒れて， -1 の報酬が与えられる (ネガティブ) エージェントは敵を避けながらコインを獲得する必要があることを理解する 第一章 | 強化学習とは？ 11/75
12. ❏ 教師データがなくてもエージェントはゲームを上手くプレイする ❏ 環境との相互作用の中で学習する 強化学習は環境と試行錯誤して報酬を受け取ることで，環境からエージェント (方策:Policy) を構築する 第一章 | 強化学習とは？ 12/75
13. 強化学習の流れ 13/75
14. 第一章 | 強化学習の流れ 過去の状態と行動は考慮せず，現在の状態のみを考慮する St St+1 St-1 …St-2 考慮しない 14/75
15. 第一章 | 強化学習の流れ 前提：マルコフ決定過程に基づいて強化学習を行う 1. エージェントは環境から”状態S0”を取得する (ゲームの初期フレーム) 2. 状態S0を踏まえて，エージェントが”行動A0”を起こす (右に移動) 3. 環境は新たな”状態S1”となる (新しいフレーム) 4. 環境から”報酬R1”を取得する (ポジティブ報酬 +1) ①S0 ②A0 ③S1 ④R1 15/75
16. 第一章 | 強化学習の流れ 強化学習の流れで，上記のような軌道を取得する 状態 行動 報酬 次の状態 ・・・ ・・・ 16/75
17. 第一章 | 強化学習の流れ 報酬と収益の関係について説明します 状態 行動 報酬 次の状態 ・・・ ・・・ 17/75
18. 第一章 | 強化学習の流れ ❏ 報酬：タイムステップ毎に帰ってくる値 ❏ 収益/累積報酬：全タイムステップでの報酬和 収益：累積報酬 軌道 報酬 18/75
19. 第一章 | 強化学習の流れ しかし，実際にはこの式にはな りません 19/75
20. 第一章 | 強化学習の流れ e.g.) 上記のような環境を想定します ❏ エージェント：タイムステップごとに1タイルを移動できる小さなマウス ❏ 敵：猫 (猫も移動できる) ネズミの目標：猫に食べられる前に多くのチーズを食べること 20/75
21. 第一章 | 強化学習の流れ ❏ ネズミの近くにあるチーズは1個だが，”食べれる可能性が高いため”報酬 の割引を少なくする (猫から遠いため安全) ❏ 猫の近くにあるチーズは3個だが，”食べれる可能性が低いため”報酬の割 引を多くする (猫に近づくため危険) 安全 危険 21/75
22. 第一章 | 強化学習の流れ 割引率を導入することで近い将来の報酬を重要に見せている ❏ e.g.) 今日１万円もらうのと，1年後に２万円もらうのとではどちらを選 びますか？ ❏ 割引率によって将来の報酬が指数関数的に小さくなるとすれば即時的な 報酬に魅力を感じることになる 安全 危険 22/75
23. 1. γ (ガンマ) と呼ばれる割引率を 0 ≦ γ ≦ 1 の範囲で定義する a. γが大きい：割引の影響が小さい．エージェントが長期的な報酬を重視する b. γが小さい：割引の影響が大きい．エージェントが短期的な報酬を重視する 2. 各報酬はタイムステップ毎にγ (ガンマ) で割引される a. タイムステップが増加するにつれて，猫はネズミに近づくため将来の報酬が 発生する可能性は徐々に低くなる 第一章 | 強化学習の流れ 軌道 収益：累積報酬 γ：割引率 23/75
24. よって，収益の定義式は上記の ようになります 第一章 | 強化学習の流れ 24/75
25. 状態/観測空間 25/75
26. 第一章 | 強化学習の流れ 状態 行動 報酬 次の状態 ・・・ ・・・ 26/75
27. 第一章 | 強化学習の流れ 状態/観測空間について説明します 状態 行動 報酬 次の状態 ・・・ ・・・ 27/75
28. ❏ 状態：環境から状態を”完全に”取得すること ❏ e.g.) チェスゲームでは全ての盤面情報を取得できる ❏ ポーンは初期位置から1マス or 2マス進むことができる (完全情報) 第一章 | 状態/観測空間 ✔ ✔ 28/75
29. ❏ 観測：環境から状態を”部分的に”取得すること ❏ e.g.) ビデオゲームでは部分的にしか情報を取得できない ❏ 画像のボールが次にどちらの方向に飛ぶかわからない 第一章 | 状態/観測空間 ? ? 29/75
30. 第一章 | 状態/観測空間 状態/観測空間 状態：完全情報である 観測：部分的な情報である ? ? ✔ ✔ 30/75
31. 今回は状態と観測は同じ意味と して扱います 31/75
32. 行動空間 32/75
33. 第一章 | 強化学習の流れ 状態 行動 報酬 次の状態 ・・・ ・・・ 33/75
34. 第一章 | 強化学習の流れ 行動空間について説明します 状態 行動 報酬 次の状態 ・・・ ・・・ 34/75
35. 第一章 | 行動空間 ❏ 離散行動：可能な行動が”離散”であること ❏ e.g.) ビデオゲームでは行動が離散 ❏ Breakoutでは4個のアクションで，例えば”右に移動”のように離散値をとる 何もしない ボール発射 右に移動 左に移動 35/75
36. 第一章 | 行動空間 ❏ 連続行動：可能な行動が”連続”であること ❏ e.g.) ロボットでは行動が連続 ❏ Antでは8個のアクションで，例えば”21.1 (N・m)”のように連続値をとる 36/75
37. 第一章 | 行動空間 離散行動： 可能な行動が離散値をとる 連続行動： 可能な行動が連続値をとる 行動空間 37/75
38. タスクの種類 38/75
39. 第一章 | タスクの種類 ❏ エピソードタスク (Atari : Breakout) ❏ 終了判定 (最終状態) がある ❏ e.g.) 「残機がなくなる」 or 「全てのブロックを消す」がある 39/75
40. 第一章 | タスクの種類 ❏ 連続タスク (Mujoco : Ant) ❏ 終了判定 (最終状態) がない ❏ エージェントは停止を決定するまで行動を続ける ❏ なので，終了判定は任意に設定する必要がある ❏ e.g.) ロボットが転倒したら終了する 40/75
41. 第一章 | タスクの種類 タスクの種類 エピソードタスク： 終了判定がある (最終状態がある) 連続タスク： 終了判定がない (行動を続ける) 41/75
42. 以上で強化学習の基礎は終了です 42/75
43. 強化学習に興味を持った方は ゼロつく4を読んでみてください 研究室の本棚 にあります PDF版もSlack にあります 43/75
44. 第二章 Decision Transformerの背景知識 44/75
45. オンライン強化学習とオフライン強化学習 45/75
46. 第二章 | オンライン強化学習とオフライン強化学習 ❏ オンライン強化学習 ❏ データ収集しながら学習 ❏ 環境と相互作用する ❏ オフライン強化学習 ❏ 事前に環境から取得したデータ セットから学習 ❏ 環境と相互作用しない 46/75
47. 第二章 | オンライン強化学習とオフライン強化学習 ❏ オンライン強化学習 ❏ データ収集しながら学習 ❏ 環境と相互作用する ❏ オフライン強化学習 ❏ 事前に環境から取得したデータ セットから学習 ❏ 環境と相互作用しない Decision Transformerは オフライン強化学習になります 47/75
48. ロボット/ゲームタスクデータセット 48/75
49. 第二章 | ロボットタスクデータセット ❏ D4RL benchmark ❏ medium (中規模データ) ❏ medium方策：SACを用いてexpert方策の約1/3のスコアを達成するもの ❏ このmedium方策から生成された100万タイムステップのデータ medium 49/75
50. 第二章 | ロボットタスクデータセット ❏ D4RL benchmark ❏ medium (中規模データ) ❏ medium方策：SACを用いてexpert方策の約1/3のスコアを達成するもの ❏ このmedium方策から生成された100万タイムステップのデータ ❏ medium-replay (小規模データ) ❏ medium方策の性能に達するまでに使用した全てのデータ (約2.5万~40万タイ ムステップ) medium medium-replay < 50/75
51. 第二章 | ロボットタスクデータセット ❏ D4RL benchmark ❏ medium (中規模データ) ❏ medium方策：SACを用いてexpert方策の約1/3のスコアを達成するもの ❏ このmedium方策から生成された100万タイムステップのデータ ❏ medium-replay (小規模データ) ❏ medium方策の性能に達するまでに使用した全てのデータ (約2.5万~40万タイ ムステップ) ❏ medium-expert (大規模データ) ❏ 「medium方策から生成された100万タイムステップ」と「expert方策から生 成された100万タイムステップ」をミックスしたデータ expert medium × ← medium medium-replay medium-expert < < 51/75
52. オフライン強化学習は方策から獲得したデータセットを使って学習する ❏ DQN Replay Dataset ❏ 60種類のAtari2600ゲームに対してDQNで訓練した経験データ ❏ 4フレーム (相関を見る) × 5000万タプル (st,at,rt,st+1) = 200M (2億)フレーム ❏ 大規模で多様なデータセット DQN Replay Dataset 第二章 | ゲームタスクデータセット 52/75
53. オフライン強化学習は方策から獲得したデータセットを使って学習する ❏ DQN Replay Dataset ❏ 60種類のAtari2600ゲームに対してDQNで訓練した経験データ ❏ 4フレーム (相関を見る) × 5000万タプル (st,at,rt,st+1) = 200M (2億)フレーム ❏ 大規模で多様なデータセット 第二章 | ゲームタスクデータセット 実装では50万ステップ を使用する (1%) 53/75
54. ロボット/ゲームタスク 54/75
55. ロボットタスクは状態に胴体座標の値などを使う ❏ Antの場合，観測空間は27個と少ないためそのまま計算できる 第二章 | ロボットタスク ant ・ ・ ・ 55/75
56. ゲームタスクは状態に画像を使う ❏ Atariの場合，観測空間は100800個と膨大なためそのまま計算できない 第二章 | ゲームタスク Breakout 160 210 3 (RGB) 210 × 160 × 3 = 100800 56/75
57. ゲームタスクの前処理 57/75
58. 膨大な観測空間を削減して，訓練時間を短くする 1. 画像を (210,160,3) -> (84,84,1) のグレースケール画像に変換する 2. グレースケール画像を4フレーム重ねる a. なぜ4フレーム重ねるのか？ 第二章 | ゲームタスクの前処理 160 210 3 (RGB) 84 84 1 (Gray) 84 84 4 (Frame) 58/75
59. 時間的情報を取得するため ❏ e.g.) この1フレームからではボールがどの方向に飛ぶかわからない 第二章 | ゲームタスクの前処理 ? ? 59/75
60. そこで，時間的情報を取得するためフレームを重ねる ❏ e.g.) 4フレーム重ねることでボールの方向がわかる 第二章 | ゲームタスクの前処理 ? ? ✔ 60/75
61. 次に，3つのCNN層によって処理される ❏ CNN：画像の特徴量を取得する ❏ 4フレームスタック：時間的情報を取得する 第二章 | ゲームタスクの前処理 3136 61/75
62. 以上でDecision Transformerの 背景知識は終了です 62/75
63. 第三章 Decision Transformer 63/75
64. ❖ タイトル ➢ Decision Transformer: Reinforcement Learning via Sequence Modeling ❖ 学会 ➢ Neural Information Processing Systems (NeurIPS), 2021 ❖ 著者 ➢ Lili Chen, Kevin Lu, Aravind Rajeswaran, Kimin Lee, Aditya Grover, Michael Laskin, Pieter Abbeel, Aravind Srinivas, Igor Mordatch ❖ 所属 ➢ UC Berkeley, Facebook AI Research, Google Brain 第三章 | 書誌情報 64/75
65. ❏ 画像タスクやロボットタスクなどにTransformerを使用 ❏ 特に言語タスクにおいてTransformerが大成功 ❏ ChatGPT ❏ 言語タスクと同様に強化学習も系列データ (軌道) を扱う ❏ τ＝{s,a,r,st+1...} ❏ 強化学習でもTransformerを活用することができないか？ Vision Transformer RT-1 第三章 | 研究の傾向 65/75
66. ❏ 入力：観測 (s),行動 (a),軌道 (τ) が達成する将来報酬 (Returns-to-go)：t+1以降に獲得する将来報酬和 ❏ 出力：行動 (a) を予測 第三章 | アーキテクチャ 66/75
67. ❏ timesteps ❏ K個分のtimestepsを入力とする ❏ e.g.) BreakoutだとK=30 ❏ returns-to-go (収益) ❏ 報酬ではなく収益を用いる ❏ 高い値を設定：高いスコアを達成 できるが学習が長い ❏ 低い値を設定：低いスコアになる が学習が短い ❏ 損失関数 ❏ Atari (離散値)：交差エントロピー ❏ Mujoco (連続値)：平均二乗誤差 第三章 | アーキテクチャ 収益/累積報酬 報酬 軌道 1 timestep 67/75
68. 4種類のゲームタスクを選択して評価 ❏ Breakout：ブロック崩し ❏ Qbert：ブロックの山をジャンプして色を付けるゲーム ❏ Pong：卓球ゲーム ❏ Seaquest：シューティングゲーム 第三章 | Atariの実験結果 68/75
69. ❏ Breakoutのスコアは高い ❏ Qbertのスコアは低い 第三章 | Atariの実験結果 69/75
70. 4種類のロボットタスクを選択して評価 ❏ HalfCheetah：2脚の犬型ロボット ❏ Hopper：1脚の人型ロボット ❏ Walker：2脚の人型ロボット ❏ Reacher：2関節ロボットアーム 第三章 | Mujocoの実験結果 HalfCheetah Hopper Walker Reacher 70/75
71. ❏ 大体のタスクで最高性能を達成 ❏ 全タスクの平均でも最高性能を達成 ❏ Reacherあり，なしの両方で最高性能 第三章 | Mujocoの実験結果 71/75
72. 以上でDecision Transformerの 解説は終了です 72/75
73. 勉強会は終了です お疲れ様でした！ 73/75
74. ❏ Hugging Face Deep RL Course ❏ 強化学習の基礎と深層強化学習（東京大学 松尾研究室 深層強化学習 サマースクール講義資料） ❏ ゼロから作るDeep Learning ❹ ―強化学習編 ❏ Gym Documentation ❏ zero2one-マルコフ決定過程モデル ❏ An Optimistic Perspective on Offline Reinforcement Learning 参考文献 74/75
75. ❏ AI-SCHOLAR ❏ DQN Replay Dataset ❏ オフライン強化学習② Decision Transformerの系譜 ❏ [DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling ❏ 強化学習若手の会 参考文献 75/75