VLA-JEPA: Enhancing Vision-Language-Action Models with Latent World Models

第68回コンピュータビジョン勉強会＠関東「ECCV2026読み会」発表資料
https://kantocv.connpass.com/event/407846/

Transcript

1. 第68回 CV勉強会@関東「ECCV2026読み会」 VLA-JEPA: Enhancing Vision-LanguageAction Models with Latent World Models 2026/10/25 takmin
2. 自己紹介 株式会社ビジョン＆ITラボ 代表取締役 皆川 卓也（みながわ たくや） 博士（工学） 「コンピュータビジョン勉強会＠関東」主催 株式会社フューチャースタンダード 技術顧問 略歴： 1999-2003年 日本HP（後にアジレント・テクノロジーへ分社）にて、ITエンジニアとしてシステム構築、プリ セールス、プロジェクトマネジメント、サポート等の業務に従事 2004-2009年 コンピュータビジョンを用いたシステム/アプリ/サービス開発等に従事 2007-2010年 慶應義塾大学大学院 後期博士課程にて、コンピュータビジョンを専攻 単位取得退学後、博士号取得（2014年） 2009年-現在 フリーランスとして、コンピュータビジョンのコンサル/研究/開発等に従事（2018年法人化） 2 http://visitlab.jp
3. 紹介する論文 3
4. 紹介する論文: 選んだ理由  2026年2月8日に「World Model論文読み会」を開催！  World Model = 人間のメンタルモデル 人間は脳内で、 現実世界を抽象 化したモデルを用 いて、将来予測を 元に行動を決定 している。 Ha, 4 D., & Schmidhuber, J. (2018). World Models. arXiv Preprint, arXiv:1803.10122
5. 紹介する論文: 選んだ理由  私も「Cosmos World Foundation Model Platform for Physical AI」を発表。 5
6. 紹介する論文: 選んだ理由  私も「Cosmos World Foundation Model Platform for Physical AI」を発表。 6
7. Vision-Language-Action (VLA)モデル  「テーブルの上のりんごを皿に乗せて」といった言語による指 示を元にロボットを動作させるためのニューラルネットワーク。 言語による指示 VLAモデル カメラからの映像 7 行動 （モーターの動作）
8. VLAモデル学習の課題 学習のためのロボットの動作データを集めるのが大変 作成/収集コストが高い バリエーションも少ない  8 Web上に大量にある人間の作業動画から、物理世界の動きや 状態変化の法則を事前学習させたい
9. VLA構築のパイプライン（既存手法） Step1: 現在のフレームから 未来のフレームを予 測するようにAction 表現を学習 Step2: 画像と動作の指示テ キストからAction表現 を予測するよう学習 Step3 画像と指示テキストか ら実際のロボットの動 作をFine-tuningにより 学習 現在のフレーム: 𝑰𝑡 未来のフレーム: 𝑰𝑡+1 現在のフレーム: 𝑰𝑡 動作の指示: 𝑻𝑡 現在のフレーム: 𝑰𝑡 動作の指示: 𝑻𝑡 Latent Action Extraction Latent Action: 𝒛𝑡 VLM Pretraining Latent Action: 𝒛𝑡 Robot Action Decoding Latent Action: 𝒛𝑡  Ye, S., Jang, J., Jeon, B., Joo, S., Yang, J., Peng, B., Mandlekar, A., Tan, R., Chao, Y.-W., Lin, B. Y., Liden, L., Lee, K., Gao, J., Zettlemoyer, L., Fox, D., & Seo, M. (2024). Latent Action Pretraining from Videos. arXiv Preprint, arXiv:2410.11758.  Bu, 9 Q., Yang, Y., Cai, J., Gao, S., Ren, G., Yao, M., Luo, P., & Li, H. (2025). UniVLA: Learning to Act Anywhere with Task-centric Latent Actions. arXiv Preprint, arXiv:2505.06111.
10. VLA構築のパイプライン（既存手法） Step1: 現在のフレームから 未来のフレームを予 測するようにAction 表現を学習 Step2: 画像と動作の指示テ キストからAction表現 を予測するよう学習 現在のフレーム: 𝑰𝑡 未来のフレーム: 𝑰𝑡+1 Latent Action Extraction Latent Action: 𝒛𝑡 現在のフレーム: 𝑰𝑡 「Actionによって未来が変化している」という考え方 VLM Latent Action: 𝒛𝑡 Pretraining 動作の指示: 𝑻𝑡 実際は • 照明変化やカメラ視点変化などActionに起因しない画像の変化をActionとして学習 Step3 • 画像生成のために背景などのActionに関係ないAppearance表現を学習 現在のフレーム: 𝑰𝑡 画像と指示テキストか • Actionではなく現在のフレームから未来フレームを生成するための圧縮表現を学習 Robot Action Latent ら実際のロボットの動 Decoding Action: 𝒛𝑡 作をFine-tuningにより 動作の指示: 𝑻𝑡 学習  Ye, S., Jang, J., Jeon, B., Joo, S., Yang, J., Peng, B., Mandlekar, A., Tan, R., Chao, Y.-W., Lin, B. Y., Liden, L., Lee, K., Gao, J., Zettlemoyer, L., Fox, D., & Seo, M. (2024). Latent Action Pretraining from Videos. arXiv Preprint, arXiv:2410.11758.  Bu, 10Q., Yang, Y., Cai, J., Gao, S., Ren, G., Yao, M., Luo, P., & Li, H. (2025). UniVLA: Learning to Act Anywhere with Task-centric Latent Actions. arXiv Preprint, arXiv:2505.06111.
11. Joint-Embedding Predictive Architecture (JEPA)  LeCunが提唱した「未来画像𝑰𝑡+1 」の予測ではなく、Action 𝒛𝑡 による 「状態𝒔𝑡 の変化」を予測する「世界モデル」アーキテクチャを採用す る。 起こりうる予測 表現の集合 予測 過去・現在の 抽象表現 Action 潜在 表現 過去・現在の観測 Lecun, Y. (2022). A Path Towards Autonomous Machine Intelligence. 11 https://api.semanticscholar.org/CorpusID:251881108 未来の抽象 表現 未来の観測
12. 本手法: VLA-JEPA  VLAの学習にJEPAを取り入れることで、「画像の見た目」 に惑わされずに、Actionとそれに伴う未来を学習 画像から抽 出した状態 （潜在表現） 行動によっ 変化した状 態（予測） 未来の状態 12
13. 本手法: VLA-JEPA  VLAの学習にJEPAを取り入れることで、「画像の見た目」 に惑わされずに、Actionとそれに伴う未来を学習 画像から抽 出した状態 （潜在表現） 既存手法 （学習対象外） 13 学習対象 行動によっ 変化した状 態（予測） 未来の状態
14. V-JEPA2 Encoder  JEPAに基づいて自己教師 あり学習された、encoderと predictor VLA-JEPAで 利用  画像パッチからencoderに よって潜在表現を抽出  マスクされてない領域の潜 在ベクトルからマスクされた 領域の潜在ベクトルを予測  画像自体の予測ではない ため、未来予測に必要な情 報のみ抽出するencoderと predictorを学習できる。 Assran, M., et al. (2025).V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planning. arXiv 14 Preprint, arXiv:2506.09985.
15. VLA-JEPAの学習 15
16. VLA-JEPAの学習 1. 人間の作業動 画による自己教 師あり学習 学習対象 2. ロボットの Actionデータを 用いてFinetuning 16
17. VLA-JEPA: Human Video Pretraining  人間の作業動画による自己教師あり学習 Language Instruction ロボットの動作ラベルがついていない、大量の人間の作業動画 から、Actionと物理的な状態変化との関係を学習したい 17
18. VLA-JEPA: Human Video Pretraining  人間の作業動画による自己教師あり学習 状態表現𝑆𝑡 と Action表現𝑧𝑡 から、未来の状態𝑆መ𝑡+1 を予測 𝒛𝒕 Language Instruction 多視点動画フレーム 𝐼𝑣,𝑡 から状態表現𝑆𝑡 を 推定 18 画像をトーク ンへ変換 学習可能な Latent Action 用トークン VLAモデル： 動画フレーム𝐼𝑣,𝑡 と言 語指示ℓからActionの潜在表現𝑧𝑡 を出力 予測 𝑆መ𝑡+1 と正解 𝑆𝑡+1 の 差分＝損失
19. VLA-JEPA: Human Video Pretraining  人間の作業動画による自己教師あり学習 𝒛𝒕 Language Instruction 画像をトーク ンへ変換 学習可能な Latent Action 用トークン Latent Action Queryの入力トークンが、VLM 内部のアテンション機構 （Self-Attention）を介して画像トークンや言語指示トークンの情報を集 19 約し、最終的に Latent Action（𝑧𝑡 ）として出力
20. VLA-JEPA: Human Video Pretraining  人間の作業動画による自己教師あり学習 画像を見ずに潜在空間上で予測するこ とで、Actionに関係のない画像情報や 画像ノイズの影響を受けない Language Instruction 20
21. VLA-JEPA: Human Video Pretraining  人間の作業動画による自己教師あり学習 Actionを現在のフレーム𝐼𝑣,𝑡 由 来の情報のみ利用し、未来の 情報を入力しない。 21 Language Instruction
22. VLA-JEPA: Robot Data Finetuning  Finetuningにより、ビデオで学習した潜在Action表現から、 ロボット動作を学習 Language Instruction 22
23. VLA-JEPA: Robot Data Finetuning  Finetuningにより、ビデオで学習した潜在Action表現から、 ロボット動作を学習 Language Instruction ロボットの動作𝐴መ 𝑡 を出力/学習させ るために追加したアーキテクチャ 23
24. VLA-JEPA: Robot Data Finetuning  Finetuningにより、ビデオで学習した潜在Action表現から、 ロボット動作を学習 𝑧𝑎 Language Instruction 学習可能なロ ボットのAction 用トークン Action Queryの入力トークンが、VLM 内部のアテンション機構（SelfAttention）を介して画像トークンや言語指示トークン、Latent Action Queryの 情報を集約し、最終的にロボット用Latent Action（𝑧𝑎 ）として出力 24
25. VLA-JEPA: Robot Data Finetuning  Finetuningにより、ビデオで学習した潜在Action表現から、 ロボット動作を学習 Latent Action 𝑧𝑎 をロボットのAction 𝐴መ 𝑡 へ 変換するためのHead Flow Matchingによって一連の動作を生成 𝑧𝑎 Language Instruction 25
26. VLA-JEPA: Robot Data Finetuning  Finetuningにより、ビデオで学習した潜在Action表現から、 ロボット動作を学習 𝑧𝑎 Language Instruction Flow-matching Loss 26
27. VLA-JEPA: Inference  推論時はV-JEPA EncoderやLatent World Modelは使用し ない。 Language Instruction 推論時に使用するのはこれらのモジュールのみ 27
28. 実験 使用データセット（事前学習 ＆ ファインチューニング）  事前学習（Stage I / Stage II）: 人間動画: Something-Something-v2（22万本 / 物理アクション ラベルなし）  ロボット動画: Droid データセット（7.6万軌道 / アクションラベル あり）   ファインチューニング: LIBERO: エキストラジェクトリ約2,000本  SimplerEnv: Fractal / BridgeV2 データセット  実機: わずか100本のデモ軌道（3タスク）  28
29. 実験対象データ 29
30. 実験：シミュレーション評価（LIBERO）  基礎的な操作能力・基本タスクの汎化評価 30
31. 実験：シミュレーション評価（SimpleEnv）  実世界データで学習し、シミュレーションへ展開 31
32. 実験：シミュレーション評価（LIBERO-Plus）  環境ノイズに対する頑健性の検証 32
33. 実験: 現実環境  実機（Frankaアーム）での検証結果  33 テーブルトップでのPick&Placeタスク（果物や容器等）
34. 実験: 現実環境  実機（Frankaアーム）での検証結果  34 テーブルトップでのPick&Placeタスク（果物や容器等）
35. Attention Mapの可視化 35
36. 人間動画の事前学習割合と環境ノイズ耐性の関 係  人間の動画の割合を増やすにつれて外乱条件に強くな る 36
37. VLA-JEPA：まとめ  世界モデル（JEPA）をVLAへ統合した事前学習フレーム ワークの提案  従来手法における、Actionに関係のない情報を学習して しまう問題を解決  シミュレーションベンチマークおよび実機ロボット実験の 両方で高い性能と、ノイズに対するロバスト性を実証  人間動画を活用した事前学習手法は、高いスケーラビリ ティを持つことから、今後ロボットデータやテキストベース のreasoningデータを加えることで、汎用性とロバスト性が さらに向上することが期待 37