Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
[論文紹介] Playing Atari with Deep Reinforcement Le...
Search
tt1717
January 30, 2024
Research
0
61
[論文紹介] Playing Atari with Deep Reinforcement Learning
PDFファイルをダウンロードすると,スライド内のリンクを見ることができます.
tt1717
January 30, 2024
Tweet
Share
More Decks by tt1717
See All by tt1717
[論文サーベイ] Survey on Linguistic Explanations in Deep Reinforcement Learning of Atari Tasks
tt1717
0
24
[論文サーベイ] Survey on Visualization in Deep Reinforcement Learning of Game Tasks 2
tt1717
0
17
[論文サーベイ] Survey on VLM and Reinforcement Learning in Game Tasks (Minecraft)
tt1717
0
17
[論文紹介] RT-1: Robotics Transformer for Real-World Control at Scale
tt1717
0
47
[論文紹介] Chip Placement with Deep Reinforcement Learning
tt1717
0
33
[論文紹介] Human-level control through deep reinforcement learning
tt1717
0
98
[論文紹介] Transformer-based World Models Are Happy With 100k Interactions
tt1717
0
74
[論文紹介] Deep Learning for Video Game Playing
tt1717
0
55
[論文サーベイ] Survey on Adversarial Attack with DRL
tt1717
0
9
Other Decks in Research
See All in Research
Generative Predictive Model for Autonomous Driving 第61回 コンピュータビジョン勉強会@関東 (後編)
kentosasaki
0
200
3次元点群の分類における評価指標について
kentaitakura
0
310
LLM時代の半導体・集積回路
kentaroy47
1
460
文化が形作る音楽推薦の消費と、その逆
kuri8ive
0
100
Weekly AI Agents News! 6月号 論文のアーカイブ
masatoto
1
190
第79回 産総研人工知能セミナー 発表資料
agiats
1
110
論文紹介/Expectations over Unspoken Alternatives Predict Pragmatic Inferences
chemical_tree
1
250
秘伝:脆弱性診断をうまく活用してセキュリティを確保するには
okdt
PRO
3
730
Practical The One Person Framework
asonas
1
1.4k
授業評価アンケートのテキストマイニング
langstat
1
350
Inside Phishing Groups: Trust No One
0x1shu
0
110
説明可能AIの基礎と研究動向
yuyay
0
130
Featured
See All Featured
The Straight Up "How To Draw Better" Workshop
denniskardys
232
140k
Measuring & Analyzing Core Web Vitals
bluesmoon
1
39
Building Applications with DynamoDB
mza
90
6.1k
What's in a price? How to price your products and services
michaelherold
243
12k
Building a Scalable Design System with Sketch
lauravandoore
459
33k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
4
290
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
31
2.7k
Become a Pro
speakerdeck
PRO
24
5k
Writing Fast Ruby
sferik
626
61k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
126
18k
Making Projects Easy
brettharned
115
5.9k
Docker and Python
trallard
40
3.1k
Transcript
どんなもの? 先行研究と比べて何がすごい? 技術の手法や肝は? どうやって有効だと検証した? ・Atari2600タスクの6/7で先行研究のRLアルゴリズムを上回った ・3つのタスクで人間のエキスパート (プロゲーマー)を上回った ・経験データを使って重み更新をするためサンプル効率が高い ・7つのゲームで,全て同じアーキテクチャ,アルゴリズム,ハイパ ラを設定
・「ランダム行動,Sarsa,Contingency,2時間程度ゲームした人 間」とDQN (提案手法)を比較した ・Atariフレーム (3, 210, 160)を前処理フレーム (1, 84, 84)にする ・前処理フレームを4つ重ねて処理する (4, 84, 84) ・CNNで複数回処理して,最後に完全結合層で処理する ・出力は,行動 (action)が出力される ・Atari2600タスクに対して,CNNで特徴量を獲得してDQNで学習 してゲームタスクを解いたもの Playing Atari with Deep Reinforcement Learning (NIPS Deep Learning Workshop 2013) Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Alex Graves, Ioannis Antonoglou, Daan Wierstra, Martin Riedmiller https://arxiv.org/abs/1312.5602 2024/01/30 論文を表す画像 被引用数:13964 1/10
提案手法のアルゴリズム (1/2) 2/10 1. リプレイメモリの初期化: a. リプレイメモリDを容量Nで 初期化する 2. 行動価値関数の初期化:
a. 行動価値関数Qをランダム な重みで初期化する 3. エピソードの繰り返し: a. 1,...,Mステップ繰り返す b. シーケンスの初期化 c. タイムステップの繰り返し (次のスライドに続く)
提案手法のアルゴリズム (2/2) 3/10 1. タイムステップの繰り返し a. 行動の選択 i. εでランダム行動選択 b.
行動の実行と報酬の観測 i. 報酬rtと次の画像xt+1 c. 状態の更新と前処理 i. st+1 = st,at,xt+1 d. トランジションの保存 i. (Φt,at,rt,Φt+1) をリプレイメモリDに保存 e. ミニバッチのサンプリング i. Dからミニバッチによるランダムサンプリング f. 目標値yiの設定 i. 終了条件の分岐 g. 勾配降下ステップの実行 i. 誤差に基づいて,Q関数の重み更新
提案手法の利点 4/10 ❏ 経験データからランダム サンプリングすることで 経験データ間での相関が 崩れる ❏ 経験再生を使うことで, ハイパラの振動や発散を
回避できる
前処理とモデル 5/10 ❏ Atariフレーム (210 × 160, RGB)をグレースケールに変換 ❏ 110
× 84 の画像にダウンサンプリング ❏ 最後に,84 × 84の画像に変換する ❏ この前処理した画像を4つ重ねて処理を行う ❏ 85 (height) × 84 (width) × 4 (frame)となる 1. 第1層 (CNN):ストライド4,フィルタ8 × 8で16回畳み込み 2. 第2層 (CNN):ストライド2,フィルタ4 × 4で32回畳み込み 3. 完全結合層:256の次元に変換 4. 出力層: アクションごとに1つの出力を持つ完全結合層 (アクション数 は4個〜18個) 前処理 モデル
価値関数の可視化 6/10 A.画面左側に敵が現れた後,予測値が上昇している B.エージェントが敵に魚雷を発射し,命中しそうになると予測値がピーク に達する C.敵が消滅した後,予測値はベースの値に戻る 価値関数がどのようにゲームタスクに対応しているか可視化している
実験設定 7/10 ❏ 報酬クリップを導入 (ポジティブ報酬を1,ネガティブ報酬を-1,それ 以外は0) ❏ サイズ32のミニバッチを用いた,RMSpropによる最適化を使用 ❏ 1000万フレームの学習を行い,100万フレームはリプレイバッファに
格納する ❏ 7つのゲームで,「全て同じアーキテクチャ,アルゴリズム,ハイパ ラ」を設定することで様々なゲームでの動作に対して適応できる (ロバ スト)であることを示す
ε=0.05でのスコア結果 8/10 ❏ 平均スコアでは,従来手法と比較して7/7で上回る ❏ Q*bert,Seaquest,Space InvadersではDQNは人間超えができな かった ❏ HNeat
BestとDQN Bestを比較すると,6/7でDQN性能が良い ❏ HNeatは決定論的な方策で,DQNはε=0.05のε-greedey方策を使用
まとめ 9/10 ❏ Atariタスクの1フレーム (画像)からCNNを使って特徴量を獲得し, 「確率的勾配降下法」「経験再生」を使ってDQNアルゴリズムで学習 を行った
感想 10/10 ❏ 画像をCNNを使って特徴量を獲得している部分を改良するアイデアが ありそう ❏ e.g.) 敵対的サンプルを入れる,ViTを使う ❏ ゲームタスクの画像から強化学習をする論文を初めて読んで,学びが
多かった ❏ また,強化学習ではボードゲームなどの完全情報を扱っているのが多 い印象だったが「画像を観測」として使えることに驚いた