Upgrade to Pro — share decks privately, control downloads, hide ads and more …

[論文サーベイ] Survey on World Models for Games

Sponsored · Your Podcast. Everywhere. Effortlessly. Share. Educate. Inspire. Entertain. You do you. We'll handle the rest. →
tt1717
November 24, 2024

[論文サーベイ] Survey on World Models for Games

PDFファイルをダウンロードすると,スライド内のリンクを見ることができます.
1.Learning to Simulate Dynamic Environments with GameGAN,
Seung Wook Kim et al. (NVIDIA et al.) [CVPR'20] (Cited by:123 )
2.Diffusion for World Modeling: Visual Details Matter in Atari,
Eloi Alonso et al. (University of Geneva et al.) [NeurIPS'24 (Spotlight)]
(Cited by:6)
3.Diffusion Models Are Real-Time Game Engines,
Dani Valevski et al. (Google Research et al.) [ICLR'25 Submission] (Cited by:8)

tt1717

November 24, 2024

Transcript

18 slides
  1. Survey on World Models for Games Learning to Simulate Dynamic

    Environments with GameGAN, Seung Wook Kim et al. (NVIDIA et al.) [CVPR'20] (Cited by:123 ) 1/18 2024/11/20 Diffusion for World Modeling: Visual Details Matter in Atari, Eloi Alonso et al. (University of Geneva et al.) [NeurIPS'24 (Spotlight)] (Cited by:6) Diffusion Models Are Real-Time Game Engines, Dani Valevski et al. (Google Research et al.) [ICLR'25 Submission] (Cited by:8)
  2. 2/18 ❖ VAE(Vision Model) ➢ 入力:観測画像xt ➢ 出力:潜在表現zt ❖ MDN-RNN(Memory

    Model) ➢ 入力:潜在表現zt, 隠れ状態ht ➢ 出力1:次の隠れ状態ht+1 ➢ 出力2:次の潜在表現zt+1 の分布 を表すパラメータ ❖ Controller ➢ 入力:潜在表現zt, 隠れ状態ht ➢ 出力:行動at World Models | 基礎知識 NeurIPS'18:World Models
  3. 役割:環境の動的変化をモデル化して次     の状態を予測 入力:行動at, ランダムノイズzt,  過去のメモリmt-1, 観測xt, 出力:内部状態ht 特徴: • 現在の観測xtと行動atを基に,次の環

    境の変化を計算 • ランダムノイズztにより,内部状態ht にランダム性を追加 • 過去のメモリmt−1を利用し,過去の 環境情報を利用 4/18 GameGAN | 手法 (Dynamics Engine)
  4. 役割:過去の環境情報を保持し,時間的な    一貫性を維持する 入力:内部状態ht, 過去のメモリmt−1 出力:更新されたメモリmt 特徴: • mt−1 により,時間的な文脈を維持 •

    内部状態htを取り込み,環境情報を反 映したメモリmtを生成 • フレーム間で,視覚的な変化が自然に なるようにしている 5/18 GameGAN | 手法 (Memory)
  5. 7/18 GameGAN | 実験結果 左: 最終出力 (静的 + 動的) 中央:

    静的要素 右: 動的要素 アイテムと敵キャラ の出現/消失
  6. GameGAN: GANを使用した世界モデル 17/18 DIAMOND: DDPMを使用した世界モデル ❖ 傾向と今後 ➢ 拡散モデル ×

    世界モデル ➢ 音の生成を組み合わせるとゲームシミュレータが完成する? GameNGen: Stable Diffusionを使用した世界モデル まとめ

More Decks by tt1717

Other Decks in Research