Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
[論文紹介] Playing Atari with Deep Reinforcement Le...
Search
tt1717
January 30, 2024
Research
0
150
[論文紹介] Playing Atari with Deep Reinforcement Learning
PDFファイルをダウンロードすると,スライド内のリンクを見ることができます.
tt1717
January 30, 2024
Tweet
Share
More Decks by tt1717
See All by tt1717
[論文サーベイ] Survey on Pokemon AI
tt1717
0
4
[論文サーベイ] Survey on Minecraft AI in NeurIPS 2024
tt1717
0
47
[論文サーベイ] Survey on GPT for Games
tt1717
0
46
[論文サーベイ] Survey on World Models for Games
tt1717
0
83
[論文サーベイ] Survey on Linguistic Explanations in Deep Reinforcement Learning of Atari Tasks
tt1717
0
52
[論文サーベイ] Survey on Visualization in Deep Reinforcement Learning of Game Tasks 2
tt1717
0
50
[論文サーベイ] Survey on VLM and Reinforcement Learning in Game Tasks (Minecraft)
tt1717
0
94
[論文紹介] RT-1: Robotics Transformer for Real-World Control at Scale
tt1717
0
110
[論文紹介] Chip Placement with Deep Reinforcement Learning
tt1717
0
64
Other Decks in Research
See All in Research
データサイエンティストの就労意識~2015→2024 一般(個人)会員アンケートより
datascientistsociety
PRO
0
370
実行環境に中立なWebAssemblyライブマイグレーション機構/techtalk-2025spring
chikuwait
0
140
大規模言語モデルを用いたニュースデータのセンチメント判定モデルの開発および実体経済センチメントインデックスの構成
nomamist
1
170
Introduction of NII S. Koyama's Lab (AY2025)
skoyamalab
0
270
AIトップカンファレンスからみるData-Centric AIの研究動向 / Research Trends in Data-Centric AI: Insights from Top AI Conferences
tsurubee
3
2.3k
ウッドスタックチャン:木材を用いた小型エージェントロボットの開発と印象評価 / ec75-sato
yumulab
1
150
eAI (Engineerable AI) プロジェクトの全体像 / Overview of eAI Project
ishikawafyu
0
440
ことばの意味を計算するしくみ
verypluming
11
2.3k
ノンパラメトリック分布表現を用いた位置尤度場周辺化によるRTK-GNSSの整数アンビギュイティ推定
aoki_nosse
0
260
(NULLCON Goa 2025)Windows Keylogger Detection: Targeting Past and Present Keylogging Techniques
asuna_jp
1
370
EarthMarker: A Visual Prompting Multimodal Large Language Model for Remote Sensing
satai
3
180
Collaborative Development of Foundation Models at Japanese Academia
odashi
2
520
Featured
See All Featured
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
32
2.2k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
The Art of Programming - Codeland 2020
erikaheidi
53
13k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
How to Think Like a Performance Engineer
csswizardry
23
1.5k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
32
5.4k
Product Roadmaps are Hard
iamctodd
PRO
52
11k
Git: the NoSQL Database
bkeepers
PRO
430
65k
The Power of CSS Pseudo Elements
geoffreycrofte
75
5.8k
Writing Fast Ruby
sferik
628
61k
Fantastic passwords and where to find them - at NoRuKo
philnash
51
3.1k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Transcript
どんなもの? 先行研究と比べて何がすごい? 技術の手法や肝は? どうやって有効だと検証した? ・Atari2600タスクの6/7で先行研究のRLアルゴリズムを上回った ・3つのタスクで人間のエキスパート (プロゲーマー)を上回った ・経験データを使って重み更新をするためサンプル効率が高い ・7つのゲームで,全て同じアーキテクチャ,アルゴリズム,ハイパ ラを設定
・「ランダム行動,Sarsa,Contingency,2時間程度ゲームした人 間」とDQN (提案手法)を比較した ・Atariフレーム (3, 210, 160)を前処理フレーム (1, 84, 84)にする ・前処理フレームを4つ重ねて処理する (4, 84, 84) ・CNNで複数回処理して,最後に完全結合層で処理する ・出力は,行動 (action)が出力される ・Atari2600タスクに対して,CNNで特徴量を獲得してDQNで学習 してゲームタスクを解いたもの Playing Atari with Deep Reinforcement Learning (NIPS Deep Learning Workshop 2013) Volodymyr Mnih, Koray Kavukcuoglu, David Silver, Alex Graves, Ioannis Antonoglou, Daan Wierstra, Martin Riedmiller https://arxiv.org/abs/1312.5602 2024/01/30 論文を表す画像 被引用数:13964 1/10
提案手法のアルゴリズム (1/2) 2/10 1. リプレイメモリの初期化: a. リプレイメモリDを容量Nで 初期化する 2. 行動価値関数の初期化:
a. 行動価値関数Qをランダム な重みで初期化する 3. エピソードの繰り返し: a. 1,...,Mステップ繰り返す b. シーケンスの初期化 c. タイムステップの繰り返し (次のスライドに続く)
提案手法のアルゴリズム (2/2) 3/10 1. タイムステップの繰り返し a. 行動の選択 i. εでランダム行動選択 b.
行動の実行と報酬の観測 i. 報酬rtと次の画像xt+1 c. 状態の更新と前処理 i. st+1 = st,at,xt+1 d. トランジションの保存 i. (Φt,at,rt,Φt+1) をリプレイメモリDに保存 e. ミニバッチのサンプリング i. Dからミニバッチによるランダムサンプリング f. 目標値yiの設定 i. 終了条件の分岐 g. 勾配降下ステップの実行 i. 誤差に基づいて,Q関数の重み更新
提案手法の利点 4/10 ❏ 経験データからランダム サンプリングすることで 経験データ間での相関が 崩れる ❏ 経験再生を使うことで, ハイパラの振動や発散を
回避できる
前処理とモデル 5/10 ❏ Atariフレーム (210 × 160, RGB)をグレースケールに変換 ❏ 110
× 84 の画像にダウンサンプリング ❏ 最後に,84 × 84の画像に変換する ❏ この前処理した画像を4つ重ねて処理を行う ❏ 85 (height) × 84 (width) × 4 (frame)となる 1. 第1層 (CNN):ストライド4,フィルタ8 × 8で16回畳み込み 2. 第2層 (CNN):ストライド2,フィルタ4 × 4で32回畳み込み 3. 完全結合層:256の次元に変換 4. 出力層: アクションごとに1つの出力を持つ完全結合層 (アクション数 は4個〜18個) 前処理 モデル
価値関数の可視化 6/10 A.画面左側に敵が現れた後,予測値が上昇している B.エージェントが敵に魚雷を発射し,命中しそうになると予測値がピーク に達する C.敵が消滅した後,予測値はベースの値に戻る 価値関数がどのようにゲームタスクに対応しているか可視化している
実験設定 7/10 ❏ 報酬クリップを導入 (ポジティブ報酬を1,ネガティブ報酬を-1,それ 以外は0) ❏ サイズ32のミニバッチを用いた,RMSpropによる最適化を使用 ❏ 1000万フレームの学習を行い,100万フレームはリプレイバッファに
格納する ❏ 7つのゲームで,「全て同じアーキテクチャ,アルゴリズム,ハイパ ラ」を設定することで様々なゲームでの動作に対して適応できる (ロバ スト)であることを示す
ε=0.05でのスコア結果 8/10 ❏ 平均スコアでは,従来手法と比較して7/7で上回る ❏ Q*bert,Seaquest,Space InvadersではDQNは人間超えができな かった ❏ HNeat
BestとDQN Bestを比較すると,6/7でDQN性能が良い ❏ HNeatは決定論的な方策で,DQNはε=0.05のε-greedey方策を使用
まとめ 9/10 ❏ Atariタスクの1フレーム (画像)からCNNを使って特徴量を獲得し, 「確率的勾配降下法」「経験再生」を使ってDQNアルゴリズムで学習 を行った
感想 10/10 ❏ 画像をCNNを使って特徴量を獲得している部分を改良するアイデアが ありそう ❏ e.g.) 敵対的サンプルを入れる,ViTを使う ❏ ゲームタスクの画像から強化学習をする論文を初めて読んで,学びが
多かった ❏ また,強化学習ではボードゲームなどの完全情報を扱っているのが多 い印象だったが「画像を観測」として使えることに驚いた