Cosmos World Foundation Model Platform for Physical AI

2026/02/08 第66回コンピュータビジョン勉強会＠関東「世界モデル論文読み会」発表資料
https://kantocv.connpass.com/event/380620/

Transcript

1. 第66回 CV勉強会@関東「世界モデル論文読み会」 Cosmos World Foundation Model Platform for Physical AI 2026/02/08 takmin
2. 自己紹介 2 株式会社ビジョン＆ITラボ 代表取締役 皆川 卓也（みながわ たくや） 博士（工学） 「コンピュータビジョン勉強会＠関東」主催 株式会社フューチャースタンダード 技術顧問 略歴： 1999-2003年 日本HP（後にアジレント・テクノロジーへ分社）にて、ITエンジニアとしてシステム構築、プリ セールス、プロジェクトマネジメント、サポート等の業務に従事 2004-2009年 コンピュータビジョンを用いたシステム/アプリ/サービス開発等に従事 2007-2010年 慶應義塾大学大学院 後期博士課程にて、コンピュータビジョンを専攻 単位取得退学後、博士号取得（2014年） 2009年-現在 フリーランスとして、コンピュータビジョンのコンサル/研究/開発等に従事（2018年法人化） http://visitlab.jp お仕事の依頼はこちらから→
3. 紹介する論文 5  Cosmos World Foundation Model Platform for Physical AI  NVIDIA開発の世界「基盤」モデル  Fine-tuningによって、様々なアプリケーションに適用可能 共著者:77人, 75ページ
4. 紹介する論文 6  Cosmos World Foundation Model Platform for Physical AI  NVIDIA開発の世界「基盤」モデル  Fine-tuningによって、様々なアプリケーションに適用可能  Web site  https://www.nvidia.com/en-us/ai/cosmos/  コード  https://github.com/nvidia-cosmos
5. Cosmos World Foundation Model 7  物理AI(Physical AI)の大きな課題はデータを集めるのが 大変なこと。  特にアクションで現実世界に影響をあたえてデータ取るのは ハードルが高い  物理AIが安全に相互作用できる「デジタルツイン」となる 世界基盤モデル（World Foundation Model）によって データの問題を解決！
6. Cosmos World Foundation Model 8  大量の動画から学習したPre-trained World Foundation Modelを少量のプロンプト/動画ペアのデータFine-tuning 事前学習済み世 界基盤モデル
7. Cosmos World Foundation Model 9  過去の動画にCtという摂動を与えたらどうなるかを、未 来の動画として予測する。  摂動の例：  カメラの姿勢変化  ロボットのアクション  etc
8. Cosmosの構成 10  Video Curator  動画をシーンチェンジがない単位に分割  動的な高品質動画のみ選択  VLMによるアノテーション  重複動画の削除
9. Cosmosの構成 11  Video Tokenizers  動画を異なる圧縮比率でトークン化  現在のフレームのトークンを過去の動画から計算  連続トークンと離散型トークンの２種類
10. Cosmosの構成 12  Pre-trained World Foundation Models（事前学習された 世界基盤モデル）  拡散世界モデル(Diffusion-based World Foundation Model)  Diffusion Transformer (DiT)を元に事前学習した世界基盤モデル  自己回帰世界モデル(Autoregressive-based World Foundation Model)  自己回帰モデルを元に事前学習した世界基盤モデル
11. Cosmosの構成 13  WFM Post-Training  Pre-trained WFMをfine-tuningしてアプリケーションに適用  カメラ姿勢を入力とした視点生成  ロボット操作  自動運転
12. Cosmosの構成 14  Guardrail  有害な入出力のブロック
13. Data Curation 15  Split  動画を2秒から60秒に分割  １つの動画が複数のシーンを含まないように  動画のコーデックを統一
14. Data Curation 16  Filtering  品質の悪い動画の除去  Fine-tuning用の高画質動画の選択  動画のカテゴリ分布の調整  自動運転や手元の操作、自然のダイナミクス等
15. Data Curation 17  Annotation  VLMで動画にアノテーション  客観的な事実、視覚的・叙事的な要素を抽出  分類ラベル  世界基盤モデルの事前学習に利用される
16. Data Curation 18  Deduplication  重複した動画の削除
17. Data Curation 19  Sharding  動画クリップをWebへアップロードし、モデルトレーナーが直接 アクセスできるようにする
18. Tokenizer 20  動画は情報量が膨大であるため、学習効率を高めるた めにコンパクトなトークン列に圧縮  動画からEncoderで生成したトークンをDecoderで復元し、 ２つの動画の差が小さくなるようにEncoder/Decoderを学 習
19. Tokenizer 21  連続トークンと離散トークンの２種類を生成  連続トークンは拡散世界基盤モデル（Diffusion WFM）用  離散トークンは自己回帰世界基盤モデル（Autoregressive WFM）用
20. Tokenizer 22  Causal Design (因果的設計)  未来のフレームを参照せず、過去のフレームのみから現在をトーク ン化  これにより、常に時間が順方向に進む物理AIシステムとの整合性を 確保
21. Tokenizer 23  Causal Design (因果的設計)  未来のフレームを参照せず、過去のフレームのみから現在をトーク ン化  これにより、常に時間が順方向に進む物理AIシステムとの整合性を 確保 ｖ ｖ 最初のフレーム𝑥0 を独立して扱い、以後４フレームずつグループ化して、3D Haarウェー ブレット変換
22. Tokenizer 24  Causal Design (因果的設計)  未来のフレームを参照せず、過去のフレームのみから現在をトーク ン化  これにより、常に時間が順方向に進む物理AIシステムとの整合性を 確保 ｖ ｖ 時間軸方向に畳み込む際、カーネルサイズkに対しk-1の左パディングを適用し、未来の フレームが参照されないようにする
23. Tokenizer 25  Causal Design (因果的設計)  未来のフレームを参照せず、過去のフレームのみから現在をトーク ン化  これにより、常に時間が順方向に進む物理AIシステムとの整合性を 確保 ｖ ｖ 現在のステップが過去のステップのみ参考にするようにSelf-Attentionを行う
24. Tokenizer 26  Causal Design (因果的設計)  未来のフレームを参照せず、過去のフレームのみから現在をトーク ン化  これにより、常に時間が順方向に進む物理AIシステムとの整合性を 確保 ｖ ｖ Decoderで、Encoderと対称な処理で元の動画を復元
25. Tokenizer 27  連続トークン  学習したEncoderの出力そのまま  離散トークン  連続トークンをFinite-Scalar-Quantization (FSQ)でベクトル量子化 → 64,000語 Continuous Token
26. Diffusion-based World Foundation Model 28 ２種類の世界基盤モデル（World Foundation Model）  拡散世界基盤モデル（Diffusion WFM）  Diffusion Transformer (DiT)をベースとしたアーキテクチャ  ガウシアンノイズから徐々にノイズを除去して動画を生成  連続トークン（Continuous Token）を使用  自己回帰世界基盤モデル（Autoregressive WFM）  テキスト生成LLMのように、離散トークンを用いて、過去のトー クンからその次のトークンを順次予測・生成
27. Diffusion-based World Foundation Model 29 拡散世界基盤モデルのトレーニング 1. Text2Worldを学習  プロンプトから動画を生成するよう学習 2. Video2Worldを学習  Text2Worldを、プロンプトと過去のフレームから未来のフレー ムを予測するようFine-tuning  過去のフレームと生成されるフレームを時間軸で結合(Concatenate)  損失計算から過去のフレームは除外  過去のフレーム数はランダムに変更
28. Diffusion-based World Foundation Model 30  拡散世界基盤モデルの事前学習 連続トークンに ノイズ付与 ノイズ除去され たトークン ノイズ除去 H,W,TのPE 学習可能 なPE W,H,Tでさ らに分割 プロンプト による制御 入力動画 復元動画
29. Text2World結果例 31  プロンプトから動画を生成 動画はここで見れる https://research.nvidia.com/labs/dir/cosmos-predict1/
30. Video2World結果例 32  画像とプロンプトから動画を生成
31. Autoregression-based World Foundation Model 33 トレーニング 1. 最初のフレームから、続きの動画を生成するよう学習  17フレーム予測→34フレーム予測と２段階で学習 2. プロンプトによる条件付け  Cross Attentionを用いてプロンプト＋画像から、続きの動画を 生成するようにFine-tuning  過去のフレーム数はランダムに変更
32. Autoregression-based World Foundation Model 34  自己回帰世界基盤モデルの事前学習 入力動画 続きの動画 H,W,TのPE 学習可能 なPE 離散トークン 因果的 Attention プロンプト による制御 float vectorへ 変換（学習可）
33. Autoregression-based World Foundation Model 35 離散トークンは圧縮率は高いが、自己回帰WFMによって 生成した動画に、ボケやアーティファクトが発生 拡散WFMで利用した連続トークンのデコーダを利用したい 離散トークンから連続トークンへの変換方法を学習させる Diffusion Decoder
34. Diffusion Decoder 36  学習 連続トークン への変換を 学習 離散トークン （変換済み）を 条件として Fine-tuning 復元された 連続トークン
35. Diffusion Decoder 37  推論時 復元された 連続トークン
36. Diffusion Decoder導入の結果 38  Diffusion Decoderにより、 映像が鮮明になっている（下 段）
37. 自己回帰WFMの結果例 39
38. Cosmos-Predict1 models 40  事前学習済みWorld Foundation Models 自己回帰 自己回帰 拡散モデル 拡散モデル
39. Pre-Trained Modelの評価 42  生成した動画の３次元的な一貫性を評価
40. Pre-Trained Modelの評価 43  物理シミュレーションとの比較
41. Pre-Trained Modelの評価 44  物理シミュレーションとの比較
42. Pre-Trained Modelの評価 45  物理シミュレーションとの比較
43. Pre-Trained Modelの評価 46  物理シミュレーションとの比較
44. Post-trained World Foundation Model 47  Cosmos WFMをfine-tuningして、以下のアプリケーション に適用  カメラ制御による3D世界ナビゲーション  ロボットの操作  自動運転 カメラ ロボット 自動運転
45. Post-training: カメラ制御 48  目的：  １枚の入力画像とカメラの軌跡から、動画を生成 カメラ位置（位置＋向き） 静止画 次のフ レーム Cosmos-Predict1-7B-Video2World- Sample-CameraCond（拡散型）
46. Post-training: カメラ制御 49  目的：  １枚の入力画像とカメラの軌跡から、動画を生成  学習データ  DL3DV-10Kデータセット  静的なシーンに対する動画データセット  動画を256フレームずつ分割し、それぞれに対しGLOMAPでカ メラの位置/姿勢を計算  Fine-tuning  各トークンの潜在ピクセルに、位置＋視線方向の6次元を割り 当て（Plucker embeddings）  トークンのチャネル方向に埋め込み
47. Post-training: カメラ制御 50  Fine-tuning チャネルに カメラ情報 を埋め込み
48. 51  静止画+カメラの 軌跡を入力とした 動画生成結果 Post-training: カメラ制御
49. Post-training: カメラ制御 52  カメラをジョイスティックコントローラーで動かす場合の予 測画像
50. Post-training: カメラ制御 53  カメラをジョイスティックコントローラーで動かす場合の予 測画像
51. Post-training: カメラ制御 54  カメラをジョイスティックコントローラーで動かす場合の予 測画像
52. Post-training: ロボット操作1 55  目的：  １枚の入力画像とロボットへの指示文から、続きの動画を生成する  学習データ  Cosmos-1Xデータセット  1X Technologies社のヒューマノイドロボット「EVE」が捉えた約200時間の 一人称視点ビデオから抽出された約12,000のエピソード  各エピソードには指示文が１つついている  Fine-tuning  Cosmos-1Xデータセットの動画＋指示文を用いてFine-tuning  Cosmos-Predict1-7B-Video2World-Sample-Instruction (拡散型)  Cosmos-Predict1-5B-Video2World-Sample-Instruction (自己回帰型)
53. Post-training: ロボット操作1 56
54. Post-training: ロボット操作1 57  人間による評価を行い、ベースラインを大幅に上回る
55. Post-training: ロボット操作2 58  目的：  １枚のロボットから見た視覚画像とアクションベクトルから、次のフ レームを生成する  学習データ  Bridgeデータセット  台所で作業するロボットアームを三人称視点で撮影した20,000エピソー ドの動画  各フレームにアクションがついている。アクションはグリッパーの座標変 化を含む７次元ベクトル  Fine-tuning  データセットの動画を入力都市、アクションをプロンプト化（自己回帰 型）、またはtime stepに埋め込んで学習  Cosmos-Predict1-7B-Video2World-Sample-ActionCond (拡散型)  Cosmos-Predict1-5B-Video2World-Sample-ActionCond (自己回帰型)
56. Post-training: ロボット操作2 59  Fine-tuning  Cosmos-Predict1-7B-Video2World-Sample-ActionCond (拡散 型) MLP Action +
57. Post-training: ロボット操作2 60  Fine-tuning  Cosmos-Predict1-5B-Video2World-Sample-ActionCond (自己 回帰型) MLP Action
58. Post-training: ロボット操作2 61
59. Post-training: ロボット操作2 62  画質指標で従来法を上回る評価
60. Post-training: 自動運転 63  目的：  自動運転用に、車両に異なる方向を向いて取り付けられた、 複数のカメラの映像を生成する。  学習データ  Real Driving Scene (RDS)データセット  約360万個の20秒ビデオクリップ（合計約20,000時間分）。  構成: 6つのカメラ視点（前方、左、右、後方、左後方、右後方）と、自 車の動き（ego-motion）情報  車両密度、天候（雨、雪、霧など）、時間帯（昼夜）、道路の種類（田 舎道、市街地、高速道路）などが網羅
61. Post-training: 自動運転 64  Fine-tuning  Cosmos-Predict1-7B-Text2World-Sample-MultiView  テキストプロンプトから6つの視点の映像を同時に生成  Cosmos-Predict1-7B-Text2World-Sample-MultiView- TrajectoryCond  テキストに加え、「将来の走行軌道（3D空間上の64個の座標点列）」 を条件として入力し、その経路に沿った映像を生成  Cosmos-Predict1-7B-Video2World-Sample-MultiView  過去のフレームを条件とし、既存の映像を延長して生成
62. Post-training: 自動運転 65 視点情報 6視点 6視点分のトークン  Fine-tuning  6視点間でSelf-Attentionを取ることで、相互に関係のある映像 を生成 関係する視点とプロンプト同士 でAttentionを取れるよう改良 軌跡
65. Guardrail 68 世界基盤モデルを安全に使用するために、有害な入出力を遮 断する包括的な安全性システム  pre-Guard（入力段階の防御）  キーワード・ブロッキング: 不適切な単語が含まれていたら拒絶  Aegis（イージス）ガードレール: LLMで暴力、性的内容、犯罪計画、 薬物乱用、嫌がらせなどの有害プロンプトを検知してブロック  post-Guard（出力段階の防御）  ビデオ・コンテンツ安全性フィルター: 各フレームをSigLIPというモデ ルでベクトル化し、分類器（MLP）によって有害な内容が含まれてい ないかを判定  顔ぼかしフィルター: プライバシー保護のため、顔検出モデル （RetinaFace）を使用して映像内の顔を特定し、モザイク処理
66. まとめ 69  汎用的に使用可能な世界モデル基盤、Cosmos World Foundation Modelsを提案  Fine-tuningによって、3Dナビゲーション、ロボット、自動 運転などに応用可能  拡散WFMと自己回帰WFMの２つの方式を提案  拡散WFMは、高品質な生成によって、高精細なシミュレーショ ンや、複雑なシーン生成向き  自己回帰WFMはリアルタイム処理に向いており、ロボットの 計画策定や対話的な制御向き
67. 個人的な感想 70  ただ動画生成を学習しただけなのに世界モデルが物理法則 を理解している、と言われるともやもやする。  人間も視覚から世界の理解を深めているし、動きの予測の時運動 方程式を意識しているわけではないので、動画生成が世界モデル で重要というのはわかる。  人間が物体の動きを予測できるのは、心の中で空間的な配置など を理解しているためだと思うが、Cosmosの潜在表現はただの動画 エンコードとしか思えない。  著者自身も時に正確な物理的ふるまいが動画に反映されていない ことを認めている。  動画生成に留まらず、論文”World Models”のように潜在空間 上で強化学習をして行動最適化できるところまで見たかった。  世界モデルが重要な理由は、そこにあると思っている  その場合、そこまで精緻な動画生成に意味はあるのか？