EgoX: Egocentric Video Generation from a Single Exocentric Video

第67回 コンピュータビジョン勉強会＠関東「CVPR2026読み会(前編)」

Transcript

1. 第67回 コンピュータビジョン勉強会＠関東 CVPR2026 読み会 EgoX: Egocentric Video Generation from a Single Exocentric Video Author: T. Kang, K. Kim, D. Kim, M. Park, J. Hyung, J. Choo Presenter: @peisuke
2. 自己紹介 藤本 敬介 ABEJA CEO室/Labs ラボ⻑ ▷ 経歴 2010-2016：⽇⽴製作所 2016-：ABEJA ▷ SNS X：@peisuke github：@peisuke Qiita：peisuke ▷ 著書 ディープラーニングG検定公式テキスト AI⽩書2023, 2025
3. 論文 概要 • 第3者視点 動画から自己視点 動画を生成する手法 https://keh0t0.github.io/EgoX/
4. Physical AIにおける自己視点動画 重要性 • 自己視点動画による動作生成においてスケール則が成り立ちそうなこ とが示された https://www.dyna.co/dyna-2
5. これまで 手法 EgoExo-Gen 悩み • 研究自体 あるも 色々な制約があった 、 ego Exo2Ego-V 同時刻 1フレーム目を入力する必要がある 4Diff exo 4視点が必要 静止画を対象としている
6. 本研究 特徴 • 既存手法 ような制約無しに、第3者視点 動画を生成 動画から直接自己視点 見えない部分も生成 見える場所 角度を 変えて生成
7. 手法 工夫点 • 工夫点１ ◦ 精度良く別視点に移すため、 第3者視点動画から点群データを作成して別視点 画像を作成 し、Video Diffuion Modelを利用して高精細な動画に変換 • 工夫点２ ◦ 動画生成 精度を良くするため、 第3者視点画像と自己視点画像 幾何的な関 係性をAttentionに入れ込む
8. 手法 大まかな流れ 点群データを作成
9. 手法 大まかな流れ 点群データから 欠損画像を作成
10. 手法 大まかな流れ VAEでエンコード
11. 手法 大まかな流れ 特徴量を連結 Ztを生成対象とする
12. 手法 大まかな流れ 幾何的な対応を利用した アテンション 改善
13. 手法 大まかな流れ デコードして動画を生成
14. 第3者視点 動画から 一貫性 • 2種類 Depth Mapデータ 作成 Dm：単眼深度（ MoGe-2） スケール 精度 高いが、 前後フレーム 一貫性が無い ある点群データ 作成 Dv：動画深度（ Video Depth Anything） 時間方向に アフィン不 変、全体でスケール・バ イアスを持つ
15. 第3者視点 動画から 一貫性 ある点群データ 作成 • DmとDvを合わせ込んで、時間方向性とスケール・バイアスに関する矛 盾を解消 • 前後フレーム スケール・バイアスをスムージング 1. フレーム単位で スケー ル・バイアスを求める 2. 時間方向で求めた 値をスムージング
16. 欠損つき 自己視点画像へ 変換 • 第3者画像データからDepthを利用して3D点群に変換 • 3D点群から視点位置に基づいて自己視点画像に変換 ◦ 論文において 視点位置 人手で与える（future work）
17. VDMによる自己視点画像へ 変換 • 第3者視点画像と、先ほど 点群をレンダリングした画像から、VDM （Video Diffusion Model）で自己視点画像を生成
18. VDMによる自己視点画像へ 変換 ここを 生成 • 入力データ 以下をconcat ◦ 第3者視点画像：x0 ◦ 点群レンダリング：p0 ◦ ノイズ：zt ◦ マスク：m0, m1 ◦※実際 xとz VAE 出力した x0 zt x0 p0 m1 m0 latent • 以下 ようにデータ生成 チャネル 方向 画像w方向
19. Geometry-Guided Self-Attention • 通常 Attentionを使うとExo-Ego間で任意に参照を取れてしまう • 生成が目的であれ 、同じ箇所同士を参照する で十分である input query key
20. Geometry-Guided Self-Attention • Exo-Ego トークン間が同じ位置かどうかをAttentionにバイアスとして 与えることで、Ego画像 生成 精度を上げる Ego画像 視点からそれぞれトークン 位置を見た時 視線方向 バイアスとして加えて attentionを計算 cos類似度を同じ位置か どうか 基準として利用
21. Geometry-Guided Self-Attention • Exo-Ego 構 関係をAttentionにバイアスとして与える
22. Attention 重み 可視化 • GGAを使わないとき 、対象 物に対して広範囲が反応 • GGAを使うと3D的に同じ位 置が反応し、Ego画素を埋め る情報が精度よく集まる
23. 実験環境について 学習データ Ego-Exo4Dから4000クリップ（Train:3,600, Test:400） 汎化性能評価 未学習シーン100クリップを別途収集 計算資源 H200（140B）x8、約1日 比較手法 Exo2Ego-v / TrajectoryCrafter / WanFunControl / Wan VACE 評価方針 画像 質・物体 再現度・動画 3 系統で評価
24. モデル 詳細 ベースモデル Ego-Exo4Dから4000クリップ（Train:3,600, Test:400） 学習対象 LoRA（rank256）、VDM/VAE 入力解像度 第3者視点：448x784、自己視点：448x448 フレーム数 49 推論 度 10.5分 凍結
25. 定性評価
26. 定性評価
27. 評価指標 系統 指標 何を見るか 画像系 PSNR / SSIM / LPIPS / CLIP-I 各フレームが正解にどれだけ近いか 物体系 位置誤差 / IoU / 輪郭精度 物体が正しい場所に正しい形であるか 動画系 FVD / Temporal Flickering / Motion Smoothness / Dynamic Degree 分布として 近さと動き 質
28. 定量評価 負けている指標であっても、 0.9台後半と十分良い SOTAで あるも IoUが弱い 、
29. 考察 • 未観測領域が画面 ◦ 視点が違う 大半を占める で、原理的に どうしても発生してしまう • 動体がマスクされ、ego prior に入っていない ◦ “Dynamic objects are masked out so that only static background regions are used during both alignment and rendering”→点群作る時に動いているも マ スクしちゃっているが、作業動画 動いているも が重要 • 深度 ◦ 限界 Dv（深度動画推定）、Dm（深度画像推定）を合わせ込んでいるが、スケールとバイ アスを修正することしかできない
30. 失敗例と今後 課題 • 見えないなどで曖昧性が残る場合に 上手くいかない • 視点位置 手動で入れる必要がある ◦ 視線方向 認識などが必要
31. まとめ • 第3者視点 動画から自己視点画像を生成する手法を提案 • 制約が少ないにも関わらず高精度な動画 ◦ 時系列 Depth Map 高精度化やアテンション 生成が可能 工夫 • 自己視点位置を人手で入力したり曖昧な環境で る 成功しないこともあ