MAGICIAN: Efficient Long-Term Planning with Imagined Gaussians for Active Mapping

Active Mappingを長期軌道最適化として解くMAGICIANを提案。事前学習済みのoccupancy networkから未観測領域を含むシーン構造をImagined Gaussiansとして予測し、volumetric renderingによって候補視点のcoverage gainを高速に評価する。これをbeam searchと組み合わせ、長期軌道を逐次最適化することで、効率的かつ網羅的な3D探索・再構成を実現。屋内・屋外の双方で既存のActive Mapping手法を上回る性能を達成。

Transcript

1. MAGICIAN: Efficient Long-Term Planning with Imagined Gaussians for Active Mapping (Li+, CVPR2026 Oral) * 特に注釈がなければ図表は論⽂から引⽤しています 2026/07/28 東京⼤学 ⼤隣 嵩
2. 概要 What: 未知環境の3D再構成に向けて、最適な探索経路を計画 複数ステップ先の⻑期的な観測利得を考慮する「MAGICIAN」を提案 Why: 既存⼿法は短期的な利得を優先するため、局所領域への滞留や無駄な往復が発⽣ そのため、⻑期的な経路で得られる観測利得を最⼤化する⻑期計画が必要 How: 未観測領域の占有確率をGaussiansとして表現し、観測利得を⾼速に推定 Beam Searchにより、⻑期経路における観測利得を最⼤化する視点を選択 2
3. タスク 𝜏k rajectory ne ene ⼊⼒ ・現時点の点群 Imagined Gaussians 出⼒ Best trajectory 𝜏 k ・次に観測する視点を選択 Long-term planning Long-te Imagined Gaussians Reconstructed Point Cloud ・現時点のカメラ軌跡 at time t Real-world Real-world 3D 3D scene Scene Volume occupancy Fast coverage gain computation … Novelty at time t Fast coverage Novelty at time t gain computation Best trajectory 𝜏 k Reconstructed Point Cloud at time t Occupancy at time t Imagined 3 Bea
4. 関連研究: Next-best-view selection FisherRF [Jiang+, ECCV2024] Fisher情報量により、3DGSの不確実性がどれだけ減るか評価し、次の視点を選択 😞 各候補視点で、3DGSパラメータの勾配とFisher情報量の計算が必要 😞 探索時に3DGSの更新を⾏えない（観測がない）ため、⻑期軌道探索への拡張が 難しい MACARONS [Guédon+, CVPR2023] 観測点群から、各候補視点で新しく⾒える表⾯量を予測し、次の視点を選択する 😞 各時刻で次の1視点だけを選ぶため、複数ステップ先の利得を考慮できない 😞 候補視点ごとに多数の点をネットワークで評価するため、計算負荷が⼤きい 4
5. MAGICIAN: パイプライン ・候補となる軌道の組合せが爆発的に増加する → ビームサーチ ・未知姿勢・未観測領域における表⾯カバレッジ利得の予測が難しい → 占有確率予測 ・多数の候補視点を迅速に評価することが難しい → 観測点群をGaussiansとして考えることで観測利得、新規性の価値を⾼速にする Best trajectory 𝜏 k Long-term planning Imagined Gaussians Real-world Real-world 3D 3D scene Scene Reconstructed Point Cloud at time t RGB-D observations Volume occupancy network Occupancy at time t … Novelty at time t Fast coverage gain computation Beam search 5
6. MAGICIAN: パイプライン 1. 現時点の観測点群・カメラ視点を⼊⼒して、未観測領域を含むOccupancy予測 2. 予測したOccupancyをImagined Gaussiansに変換し、新規性・観測利得を計算 3. ビームサーチで最も観測利得の⾼い軌跡を選択し、その軌跡の1ステップ分進む Best trajectory 𝜏 k Long-term planning Imagined Gaussians Real-world Real-world 3D 3D scene Scene Reconstructed Point Cloud at time t RGB-D observations Volume occupancy network Occupancy at time t … Novelty at time t Fast coverage gain computation Beam search 6
7. MAGICIAN: パイプライン 1. 現時点の観測点群・カメラ視点を⼊⼒して、未観測領域を含むOccupancy予測 2. 予測したOccupancyをImagined Gaussiansに変換し、新規性・観測利得を計算 3. ビームサーチで最も観測利得の⾼い軌跡を選択し、その軌跡の1ステップ分進む Best trajectory 𝜏 k Long-term planning Imagined Gaussians Real-world Real-world 3D 3D scene Scene Reconstructed Point Cloud at time t RGB-D observations Volume occupancy network Occupancy at time t … Novelty at time t Fast coverage gain computation Beam search 7
8. MAGICIAN: 占有確率予測 ・既存研究（MACARONS [Guédon+, CVPR2023]）を流⽤ ・多層TransformerをベースにShapeNet [Chang+, arXiv:1512.03012]とMACARONSで学習 → MACARONSデータセットは評価データセットも含まれる… ・点(x)、近傍の観測点群、過去のカメラ姿勢を⼊⼒して、その点の占有確率を予測 ・BBox内から⼀様サンプリングし、占有確率が0.5を超える場合にGaussiansとして採⽤ 8
9. MAGICIAN: パイプライン 1. 現時点の観測点群・カメラ視点を⼊⼒して、未観測領域を含むOccupancy予測 2. 予測したOccupancyをImagined Gaussiansに変換し、新規性・観測利得を計算 3. ビームサーチで最も観測利得の⾼い軌跡を選択し、その軌跡の1ステップ分進む Best trajectory 𝜏 k Long-term planning Imagined Gaussians Real-world Real-world 3D 3D scene Scene Reconstructed Point Cloud at time t RGB-D observations Volume occupancy network Occupancy at time t … Novelty at time t Fast coverage gain computation Beam search 9
10. MAGICIAN: Gaussianによる観測利得の計算 表⾯カバレッジ利得を最⼤化することを考える 従来の利得計算（それぞれの予測にネットワークが必要だった） Gaussians表現を⽤いたボリュームレンダリングで同等の計算が可能 その位置に表⾯があるか 遮蔽されずに⾒えるか まだ観測されていないか 10
11. MAGICIAN: 観測利得予測 点群をImagined Gaussiansに変換する ・3次元中⼼位置 ・⼤きさ: 等⽅性で最近傍点までの距離の半分が半径 ・不透明度: 占有確率 ・⾊: 新規性 → 観測済みカメラにGaussianを投影し深度⽐較で観測済みかどうかを判定 → 追加したカメラにGaussianを投影し同様の判定をすることで新規性を更新可能 11
12. MAGICIAN: パイプライン 1. 現時点の観測点群・カメラ視点を⼊⼒して、未観測領域を含むOccupancy予測 2. 予測したOccupancyをImagined Gaussiansに変換し、新規性・観測利得を計算 3. ビームサーチで最も観測利得の⾼い軌跡を選択し、その軌跡の1ステップ分進む Best trajectory 𝜏 k Long-term planning Imagined Gaussians Real-world Real-world 3D 3D scene Scene Reconstructed Point Cloud at time t RGB-D observations Volume occupancy network Occupancy at time t … Novelty at time t Fast coverage gain computation Beam search 12
13. MAGICIAN: ビームサーチ ビームサーチで枝刈りしながら、10ステップ先まで探索 → 10ステップ先の観測利得が最⼤の軌跡を選択し、その軌跡の1ステップ分を進む * ⽣成画像 13
14. 実験: 評価データセット 実環境のスキャンデータをGT Meshとしてシミュレーション上でActive mapping Macarons++: MACARONS (屋外12シーン）に屋内3シーンを追加したデータセット MACARONS dataset [Guédon+, CVPR2023] 屋内3シーン 14
15. 実験: 探索性能 同⼀のランダムな初期姿勢をスタートして、それぞれ5本の軌道で評価 AUC: 観測ステップ数に対するカバレッジ曲線の下⾯積 Final coverage: 探索終了時点（100ステップ）で正解Meshの表⾯カバー率 Final coverageの標準偏差も低いので良い 15
16. 実験: 3D再構成 MILo [Guédon+, ACM TOG2025] で3DGS・メッシュ再構成の性能を評価 16
17. 実験: 定性⽐較 屋外 屋内 17
18. 実験: Ablation study ビームサーチの幅（横軸）・ステップ数（縦軸）を増やすと、精度も向上する Greedyに退化してもMACARONSに勝つ → Imagined Gaussians表現も精度向上に寄与 18
19. 実験: Ablation study 1回の更新ステップを増やすと性能低下、6ステップまでは既存⼿法に勝つ 19
20. まとめ 背景 Greedy選択では、⻑期的に重要な領域を⾒落とし、最適な探索経路を得られない → ⾼速な観測利得の推定とビームサーチにより、⻑期的な観測利得の最⼤化を可能に ⼿法 占有確率予測: 多層Transformerで未観測領域を含む占有確率の予測 Imagined Gaussians: 点群をGaussiansとして表現し、⾼速に可視性・観測利得を計算 結果 屋内・屋外のシミュレーション環境で定量的・定性的に優れた結果 所感 実データへの適⽤可能性やリアルタイム性は未知数 深度情報・カメラ姿勢を既知としているが、Feed-forwardモデルで解決できるかも 探索範囲は決まっている カバレッジの最⼤化で3D再構成のタスクに特化したActive mappingではない 20