Upgrade to Pro — share decks privately, control downloads, hide ads and more …

[論文サーベイ] Survey on Adversarial Attack with DRL

tt1717
January 30, 2024

[論文サーベイ] Survey on Adversarial Attack with DRL

PDFファイルをダウンロードすると,スライド内のリンクを見ることができます.
1.Adversarial Attacks on Neural Network Policies,
Sandy Huang, Nicolas Papernot, Ian Goodfellow, et al. (University of California, Berkeley, Pennsylvania State University, OpenAI) [arXiv'17] (Cited by:836)
2.Tactics of Adversarial Attack on Deep Reinforcement Learning Agents,
Yen-Chen Lin, Zhang-Wei Hong, Yuan-Hong Liao, et al. (National Tsing Hua University, NVIDIA) [IJCAI'17] (Cited by:408)
3.Delving into adversarial attacks on deep policies,
Jernej Kos, Dawn Song (National University of Singapore, University of California, Berkeley) [ICLR'17 Workshop] (Cited by:234)

tt1717

January 30, 2024
Tweet

More Decks by tt1717

Other Decks in Research

Transcript

  1. Survey on Adversarial Attack with DRL Tactics of Adversarial Attack

    on Deep Reinforcement Learning Agents, Yen-Chen Lin, Zhang-Wei Hong, Yuan-Hong Liao, et al. (National Tsing Hua University, NVIDIA) [IJCAI'17] (Cited by:408) Adversarial Attacks on Neural Network Policies, Sandy Huang, Nicolas Papernot, Ian Goodfellow, et al. (University of California, Berkeley, Pennsylvania State University, OpenAI) [arXiv'17] (Cited by:836) 1/12 2023/11/15 Delving into adversarial attacks on deep policies, Jernej Kos, Dawn Song (National University of Singapore, University of California, Berkeley) [ICLR'17 Workshop] (Cited by:234)
  2. 基礎知識 | 敵対的サンプル (FGSM) 2/12 引用:Goodfellow et al. (2014) ❏

    モデルの予測を誤らせるためにノイズを加えた画像のこと ❏ 損失Jの勾配を最大化させるような摂動を加える (ノイズ)
  3. 6/12 ❏ 3つの強化学習アルゴリズム:A3C, TRPO, DQN ❏ 4つのAtariゲーム:Chopper Command, Pong, Seaquest,

    Space Invaders ❏ 平均報酬は,10回分の平均をグラフに示している Adversarial Attacks on Neural Network Policies | 実験結果 画像全体にわたる摂動より も,特定のピクセルに対す る摂動が効果的 L1ノルムに基づく敵対的攻 撃が最も効果的
  4. 7/12 ❏ 左端:敵対的摂動なしの通常 ❏ 右の3つのビデオ ❏ 左:元の画像 ❏ 中:敵対的摂動 ❏

    右:元の画像 + 敵対的摂動 Adversarial Attacks on Neural Network Policies | 実験結果 L∞ノルム制約 L1ノルム制約 引用:Adversarial Attacks on Neural Network Policies
  5. 10/12 Tactics of Adversarial Attack on Deep Reinforcement Learning Agents

    | 実験結果 引用:Tactics of Adversarial Attack on Deep Reinforcement Learning Agents ❏ 戦略的タイミング攻撃:ステップごとの攻撃より4倍少ない頻度で攻撃可能 ❏ エンチャンティング攻撃:3/5のゲームで70%以上の成功率
  6. 11/12 ❏ 敵対的攻撃 (FGSM) とランダ ムノイズ攻撃を比較 ❏ ランダムノイズ攻撃:一様 分布Unif (0,β)

    ❏ β≤0.02の範囲において性能 変化はあまりみられない ❏ β≥0.05の範囲において性能 低下 ❏ FGSMでは,微小なε (=0.001,0.005)でも効果的 な性能低下がみられた Delving into adversarial attacks on deep policies ・Atari Pongタスク ・A3Cアルゴリズム
  7. まとめ Adversarial Attacks on Neural Network Policies: ノルム制約を利用した敵対的攻撃 12/12 Tactics

    of Adversarial Attack on Deep Reinforcement Learning Agents: 効果的なタイミングでの敵対的攻撃,敵対的攻撃による状態誘導 ❏ 傾向と今後 ❏ Github実装があまり見当たらない ❏ L1ノルム制約による敵対的攻撃をデータセット作成に使えそう Delving into adversarial attacks on deep policies: 敵対的攻撃とランダムノイズ攻撃の比較
  8. 参考文献 13/12 ❏ FGSM ❏ FGSM を使用した敵対的サンプル ❏ はじめてのAdversarial Example

    ❏ Adversarial Attacks on Neural Network Policies ❏ Tactics of Adversarial Attack on Deep Reinforcement Learning Agents ❏ Survey on Adversarial Attacks and Defenses in Reinforcement Learning