[論文サーベイ] Survey on World Models for Games

PDFファイルをダウンロードすると，スライド内のリンクを見ることができます．
1．Learning to Simulate Dynamic Environments with GameGAN,
Seung Wook Kim et al. (NVIDIA et al.) [CVPR'20] (Cited by:123 )
2．Diffusion for World Modeling: Visual Details Matter in Atari,
Eloi Alonso et al. (University of Geneva et al.) [NeurIPS'24 (Spotlight)]
(Cited by:6)
3．Diffusion Models Are Real-Time Game Engines,
Dani Valevski et al. (Google Research et al.) [ICLR'25 Submission] (Cited by:8)

Transcript

1. Survey on World Models for Games Learning to Simulate Dynamic Environments with GameGAN, Seung Wook Kim et al. (NVIDIA et al.) [CVPR'20] (Cited by:123 ) 1/18 2024/11/20 Diffusion for World Modeling: Visual Details Matter in Atari, Eloi Alonso et al. (University of Geneva et al.) [NeurIPS'24 (Spotlight)] (Cited by:6) Diffusion Models Are Real-Time Game Engines, Dani Valevski et al. (Google Research et al.) [ICLR'25 Submission] (Cited by:8)
2. 2/18 ❖ VAE（Vision Model） ➢ 入力：観測画像xt ➢ 出力：潜在表現zt ❖ MDN-RNN（Memory Model） ➢ 入力：潜在表現zt, 隠れ状態ht ➢ 出力1：次の隠れ状態ht+1 ➢ 出力2：次の潜在表現zt+1 の分布 を表すパラメータ ❖ Controller ➢ 入力：潜在表現zt, 隠れ状態ht ➢ 出力：行動at World Models | 基礎知識 NeurIPS'18:World Models
3. 目的：観測データからゲーム環境の　　　　 ルールを学習する 応用：ロボティクスや自動運転シミュ　　　 レーションへの活用 成果：GANを用いてゲームエンジンを　　　 再現できることを証明 3/18 GameGAN | 概要
4. 役割：環境の動的変化をモデル化して次　　　　 の状態を予測 入力：行動at, ランダムノイズzt, 　過去のメモリmt-1, 観測xt, 出力：内部状態ht 特徴： • 現在の観測xtと行動atを基に，次の環 境の変化を計算 • ランダムノイズztにより，内部状態ht にランダム性を追加 • 過去のメモリmt−1を利用し，過去の 環境情報を利用 4/18 GameGAN | 手法 (Dynamics Engine)
5. 役割：過去の環境情報を保持し，時間的な　　　 一貫性を維持する 入力：内部状態ht, 過去のメモリmt−1 出力：更新されたメモリmt 特徴： • mt−1 により，時間的な文脈を維持 • 内部状態htを取り込み，環境情報を反 映したメモリmtを生成 • フレーム間で，視覚的な変化が自然に なるようにしている 5/18 GameGAN | 手法 (Memory)
6. 役割：内部状態htとメモリ状態mtを入力　　　 として，次のフレームxt+1を生成 入力：内部状態ht, メモリ状態mt 出力：次のフレームxt+1 特徴： • メモリ状態mtを活用し，連続フレー ム間での一貫性を確保 • 内部状態htを基に，動的要素と静的要 素を描画 • GANの特性を活かし，リアルなフレー ムを生成 6/18 GameGAN | 手法 (Rendering Engine)
7. 7/18 GameGAN | 実験結果 左: 最終出力 (静的 + 動的) 中央: 静的要素 右: 動的要素 アイテムと敵キャラ の出現/消失
8. 目的：拡散モデル (DDPM) を活用して，世界モデルの性能を向上させる 成果：拡散モデルが「世界モデルの画像生成と学習性能」に寄与することを実証 8/18 DIAMOND | 概要
9. 役割：拡散モデルを使って，過去の観測と行　　　 動を基に次のフレームを予測 横軸：環境時間t 　　　エージェントが行動atを取る 縦軸：デノイジング時間τ 　　　時間τ=Tからτ=0へと逆行し，ノイズ　　　 が取り除かれ，次の観測xtを生成 流れ： • 各ステップで，過去の観測xt-1と行動 at-1が条件付けとして使用される • 生成した観測xtを基に行動atを取る • xt, atを条件付けとして次のステップで 同様の処理を行う 9/18 DIAMOND | 手法
10. 10/18 DIAMOND | 実験結果 11/26で人間のプレイヤーを上回る
11. 11/18 DIAMOND | 実験結果
12. 目的：拡散モデル (Stable Diffusion) を用いて，リアルタイムで高品質な　　　　 ゲーム環境のシミュレーションを実現する 成果：実際のゲームエンジンと生成したシミュレーションの区別がつかないほど　　 の精度を実現 12/18 GameNGen | 概要
13. データ収集： • RLエージェントがゲームプレイできるように訓練する • 観測と行動のデータを記録する • このデータを生成モデルの訓練データとして使用する 13/18 GameNGen | 手法 Decode
14. 拡散モデルの訓練： • Stable Diffusionを活用し，過去の観測と行動を条件付けとして次のフレー ムを予測 • 過去の観測を潜在空間にエンコードし，ガウスノイズを追加 14/18 GameNGen | 手法 Decode
15. 潜在空間デコーダのファインチューニング： • 実際のゲーム環境から取得した正解フレームと生成フレームの誤差 (Diffusion Loss) を用いて，デコーダを訓練 • Diffusion Loss (MSE損失に基づく) を最小化し，生成フレームの品質を向上 15/18 GameNGen | 手法 Decode
16. 16/18 GameNGen | 実験結果
17. GameGAN： GANを使用した世界モデル 17/18 DIAMOND： DDPMを使用した世界モデル ❖ 傾向と今後 ➢ 拡散モデル × 世界モデル ➢ 音の生成を組み合わせるとゲームシミュレータが完成する？ GameNGen： Stable Diffusionを使用した世界モデル まとめ
18. 18/18 ❏ GameGAN ❏ DIAMOND ❏ GameNGen 参考文献