[論文サーベイ] Survey on Linguistic Explanations in Deep Reinforcement Learning of Atari Tasks

PDFファイルをダウンロードすると，スライド内のリンクを見ることができます．
1．Beating Atari with Natural Language Guided Reinforcement Learning,
Russell Kaplan et al. (Department of Computer Science Stanford University) [arXiv'17] (Cited by:67)
2．Read and Reap the Rewards: Learning to Play Atari with the Help of Instruction Manuals,
Yue Wu et al. (Carnegie Mellon University et al.) [NeurIPS'23] (Cited by:13)
3．Read to Play (R2-Play): Decision Transformer with Multimodal Game Instruction,
Yonggang Jin et al. (Beijing University of Posts and Telecommunications et al.) [arXiv'24] (Cited by:2)

Transcript

1. Survey on Linguistic Explanations in Deep Reinforcement Learning of Atari Tasks Beating Atari with Natural Language Guided Reinforcement Learning, Russell Kaplan et al. (Department of Computer Science Stanford University) [arXiv'17] (Cited by:67) Read and Reap the Rewards: Learning to Play Atari with the Help of Instruction Manuals, Yue Wu et al. (Carnegie Mellon University et al.) [NeurIPS'23] (Cited by:13) 1/20 2024/04/17 Read to Play (R2-Play): Decision Transformer with Multimodal Game Instruction, Yonggang Jin et al. (Beijing University of Posts and Telecommunications et al.) [arXiv'24] (Cited by:2)
2. 基礎知識 | XAI (Explainable Artificial Intelligence) 2/20 ❏ XAIは機械学習モデル全般で取り組まれている ❏ e.g.,)画像分類のような教師あり学習 引用：zero2one, モデルの解釈
3. 背景 | XRL (Explainable Reinforcement Learning) ❏ ネットワーク内部の特徴量を可視化する方法 : t-SNEを使用 ❏ 説明可能な強化学習モデルそのものを構築する方法 : 階層的なDRLモデル ❏ 視覚的説明 (Visual Explanation) : 観測を画像とする強化学習 ❏ 自然言語で判断根拠を説明 : 言語的説明 (Linguistic Explanation) 3/20 Visualizing Dynamics: from t-SNE to SEMI-MDPs [ICML'16] Hierarchical and Interpretable Skill Acquisition in Multi-task Reinforcement Learning [ICLR'18] 参考：深層強化学習における視覚的説明 [日本ロボット学会誌] Visualizing and Understanding Atari Agents
4. 4/20 ❏ Atariの中でも難しいゲームタスク ❏ 少しの落差で死んでしまう ❏ 報酬が疎 (報酬をほとんど得られない) Montezuma’s Revenge | 概要 報酬が密 途中の報酬がゴール への手がかりとなる 報酬が疎 ゴールに到達するまで 報酬が得られない 鍵を入手するまで報酬が得られない
5. 5/20 ❏ 自然言語の指示文を活用してAtariを攻略する手法を提案したもの ❏ 難しいゲームであるMontezuma’s Revengeにおいてスコア改善 Beating Atari with Natural Language Guided Reinforcement Learning | 概要 1：はしごを降りる 2：ロープに飛び移る 3：部屋の右側に行く 4：はしごを降りる 5：部屋の左側に行く 6：はしごを登る 7：鍵を手に入れる
6. 6/20 ❏ 「4つの観測画像」と「観測に対する自然言語の指示文」が入力 ❏ 観測画像をCNNで処理し，方策ネットワークを通して行動を起こし，報酬 を獲得 (R_environment) Beating Atari with Natural Language Guided Reinforcement Learning | 手法
7. 7/20 ❏ 指示文が与えられてから2フレーム分をCNNで処理し (f)，指示文をLSTM で処理する (s) ❏ fとsで内積をとったものを，シグモイド関数に通して指示文が達成された かを判断する Beating Atari with Natural Language Guided Reinforcement Learning | 手法
8. 8/20 ❏ 指示文を満たすと次の指示文に移り，追加報酬を与える (R_language) ❏ フレームの埋め込み (f) と指示文の埋め込み (s)は方策ネットワークに追加 される Beating Atari with Natural Language Guided Reinforcement Learning | 手法
9. 9/20 Beating Atari with Natural Language Guided Reinforcement Learning | 実験結果 ❏ Montezuma’s Revengeで1000万フレーム訓練後の結果 ❏ 提案手法の方策ネットワーク：A3C ❏ 指示文を訓練に導入することで，難しいタスクにも対応できている
10. 10/20 ❏ Atariゲームの説明書を利用してサンプル効率と性能を向上させる手法 ❏ 入力：現在のフレームとAtariゲームの説明書 ❏ 検出：「画像からのオブジェクト検出」と「単語の関連付け」 ❏ QA抽出モジュール：説明書から関連情報を抽出・要約 ❏ 推論モジュール：QA抽出モジュールから推論して補助報酬を割り当てる Read and Reap the Rewards: Learning to Play Atari with the Help of Instruction Manuals | 概要
11. ❏ オブジェクト検出：SPACEモデル ❏ 単語の関連付け：CLIPモデル ❏ SPACEは画像からバウンディング ボックスを生成する ❏ CLIPを用いてこれらのボックスを 単語に基づいて関連付ける 11/20 Read and Reap the Rewards: Learning to Play Atari with the Help of Instruction Manuals | 検出 オブジェクトマス ク SPACEで検出され たバウンディング ボックス
12. ❏ 事前学習済みのLLMであるRoBERTa-largeを使用 ❏ 入力はAtariゲームの説明書 ❏ 一般的な質問に対するQAを抽出 ❏ Q：ゲームの目的は何ですか？ ❏ A：プレイヤーはペレットを食べたりゴーストを避けてポイントを稼ぐ 12/20 Read and Reap the Rewards: Learning to Play Atari with the Help of Instruction Manuals | QA抽出モジュール
13. ❏ TF-IDFを用いて上位10個の重要単語を特定 ❏ TF-IDF = (単語の出現頻度) × (各単語のレア度) ❏ 各単語固有のQAを抽出 ❏ Q：プレーヤーが<fruit>にぶつかると何が起こる？ ❏ A：フルーツをガツガツ食べる ❏ 「一般的な質問のQA」と「各単語固有のQA」を連結する 13/20 Read and Reap the Rewards: Learning to Play Atari with the Help of Instruction Manuals | QA抽出モジュール
14. ❏ LLM：GPT-3と同等の性能のMacawを使用 (推論に適しているモデル) ❏ Context文字列を参考に，質問を生成する (RoBERTa-large) ❏ Context文字列と質問を基に推論を行い，Yes/Noの形式で回答する ❏ ゲームの目的に対して有益であれば正の補助報酬+5，無益であれば-5 14/20 Read and Reap the Rewards: Learning to Play Atari with the Help of Instruction Manuals | 推論モジュール RoBERTa-large Macaw
15. 15/20 ❏ サンプル効率：A2C (Baseline) と比較してサンプル効率向上 ❏ 性能：提案手法 (R&R) を用いた全タスクでスコア向上 Read and Reap the Rewards: Learning to Play Atari with the Help of Instruction Manuals | 実験結果 Skiing
16. 16/20 ❏ Decision Transformerにマルチモーダル指示を与える手法を提案 1. 指示文のみに依存する場合，タスクの文脈を十分に理解できない 2. 視覚情報のみに依存する場合，どのように行動すれば良いかが不明確 3. 指示文と視覚情報のマルチモーダル情報を組み合わせることでエージェン トはタスクの文脈をより正確に把握し，適切な行動を選択できる Read to Play (R2-Play): Decision Transformer with Multimodal Game Instruction | 概要
17. 17/20 ❏ ゲーム概要 ❏ 人間がゲームの全体的な概要とア クションについて説明文を提供 ❏ ゲーム軌道 ❏ 人間の専門家がプレイするゲーム のビデオを収集 ❏ 言語ガイダンス ❏ ChatGPTを使用して各アクション に関する言語ガイダンスを生成 ❏ キー要素 ❏ バウンディングボックスの座標を 特定する (左下と右上) ❏ 「ゲーム軌道の画像」と「ゲーム概 要&言語ガイダンス」をCLIPで処理 Read to Play (R2-Play): Decision Transformer with Multimodal Game Instruction | 手法
18. 18/20 Read to Play (R2-Play): Decision Transformer with Multimodal Game Instruction | 実験結果 ❏ ID：訓練データセットに含まれるタスクを 使ってモデルを評価 ❏ OOD：訓練中には見られない未知のタスク を使ってモデルを評価 ❏ DTGI-a：各指示の重要性を均一に扱い評価
19. 19/20 Read to Play (R2-Play): Decision Transformer with Multimodal Game Instruction | 実験結果
20. まとめ Beating Atari with Natural Language Guided Reinforcement Learning： 指示文を活用して疎な報酬環境を解決 20/20 Read and Reap the Rewards: Learning to Play Atari with the Help of Instruction Manuals： 物体検出と説明書を活用してサンプル効率と性能向上 ❏ 傾向と今後 ❏ RLとLLMを組み合わせた手法の傾向がある ❏ 視覚的説明 × 言語的説明で性能向上できそう Read to Play (R2-Play): Decision Transformer with Multimodal Game Instruction： DTにマルチモーダル指示を適用して性能向上
21. 参考文献 21/20 ❏ SSII2021 [TS2] 深層強化学習 〜 強化学習の基礎から応用まで 〜 ❏ tf-idfについてざっくりまとめ_理論編 ❏ Read to Play (R2-Play): Decision Transformer with Multimodal Game Instruction