【2020年アップデート版】
強化学習では,環境で得られる報酬がスパースである場合,うまく学習することができない.この問題を解決するための手法として,強化学習のエージェントに「好奇心」を与える研究が注目されている.本スライドでは,深層強化学習の登場以降に発表された「好奇心」を利用した強化学習の研究をまとめた.特に主要ベンチマークであるMontezuma's Revengeで高いパフォーマンスを発揮したアルゴリズムについて詳しく解説する.また,「好奇心」による探索を報酬がスパースな場合以外の強化学習に適用した場合の最新研究についても紹介する.
現在は,本資料の修正・アップデート版を以下で公開しています.
【強化学習における好奇心】
https://www.slideshare.net/ShotaImai3/curiosity-reinforcement-learning-238344056
また,強化学習や深層強化学習の基礎,主要なアルゴリズムについては以下の資料で解説を行なっています.
【強化学習の基礎と深層強化学習】
https://www.slideshare.net/ShotaImai3/rlssdeepreinforcementlearning
・Unifying Count-Based Exploration and Intrinsic Motivation
・Variational Information Maximisation for Intrinsically Motivated Reinforcement Learning
・#Exploration: A Study of Count-Based Exploration for Deep Reinforcement Learning
・EX2: Exploration with Exemplar Models for Deep Reinforcement Learning
・EXPLORATION BY RANDOM NETWORK DISTILLATION
・Go-Explore: a New Approach for Hard-Exploration Problems
・EPISODIC CURIOSITY THROUGH REACHABILITY
・Visceral Machines: Risk-Aversion in Reinforcement Learning with Intrinsic Physiological Rewards
・Learning Gentle Object Manipulation with Curiosity-Driven Deep Reinforcement Learning