MP-SfM: Monocular Surface Priors for Robust Structure-from-Motion (CVPR 2025)

- 単眼デプス・法線の事前情報を統合したSfMパイプラインを提案。
- Low-overlap・Low-parallax・繰り返し構造シーンでの再構成を実現。

Transcript

1. MP-SfM: Monocular Surface Priors for Robust Structure-from-Motion (CVPR 2025) 著者: Zador Pataki, Paul-Edouard Sarlin, Johannes L. Schonberger, Marc Pollefeys 所属: ETH Zurich, Google, Microsoft Spatial AI Lab コード公開: github.com/cvg/mpsfm 2025/05/20 李 淳⾬
2. 2 Structure-from-Motion (SfM) が難しい Low-overlap • カメラオーバーラップが少ない • 最低３視点オーバーラップがないと トラックできない Low-parallax • カメラ視差が小さい • カメラポーズ推定誤差が大き くなる 繰り返し構造 • 誤マッチングが発生 ？
3. 3 - What: Structure-from-Motion (SfM) のロバスト性を向上させる ための新しいアプローチ - How: 単眼深度‧法線事前情報を SfMに統合 はじめに 以降とくに断りのない場合、図、表はいずれも MP-SfM: Monocular Surface Priors for Robust Structure-from-Motion (CVPR 2025) の論文からの引用となります
4. 4 複数画像からカメラポーズと点群を推定 オープンソースのソフトウェア：Colmap 関連研究 Structure-from-Motion (SfM) Two-View Initialization Next View Registration Local and Global Refinement 画像集合 Feature Detection & Matching No new view 主著Schönbergerは 本論⽂の第三著者 https://colmap.github.io/
5. 5 MP-SfM
6. 6 MP-SfM https://www.youtube.com/watch?v=Kl4l5fXBUkM
7. 7 MP-SfM データ準備 画像集合 単眼デプスマップ 法線マップ 疎なFeature 疎なMatching 密なMatching 単眼デプス・法線推定 （Metric3D-v2） 内部パラメータ Local Feature Matching （SuperPoint - LightGlue） Detector-free (Dense) Matching （RoMA or MASt3R） OR ３視点オーバーラップ制限がないため、 Detector-free (Dense) Matchingも使用可能 内部パラメータ既知！
8. 8 MP-SfM データ準備 単眼デプス‧法線推定 • [Metric3D-v2] Metric3D-v2: A Versatile Monocular Geometric Foundation Model for Zero-Shot Metric Depth and Surface Normal Estimation. IEEE TPAMI, 2024 Local Feature Matching • [SuperPoint] SuperPoint: Self-Supervised Interest Point Detection and Description. In CVPR Workshops, 2018 • [LightGlue] 3D Gaussian Splatting for Real-Time Radiance Field Rendering. TOG, 2023 Detector-free (Dense) Matching • [RoMa] RoMa: Robust Dense Feature Matching. CVPR, 2024 • [MASt3R] Grounding Image Matching in 3D with MASt3R. In ECCV, 2024
9. 9 - COLMAPとほぼ同じ MP-SfM パイプライン 単眼デプスマップ 法線マップ 疎なFeature 疎なMatching 密なMatching 内部パラメータ OR Two-View Initialization Next View Registration Local and Global Refinement カメラポーズ 𝑃，点群𝘟， 最適化したデプス𝘋* No new view
10. 10 最初の画像Pairの姿勢推定 • 特徴Matchingが⼀番多い画像Pairを探す 視差が⼗分に⼤きい場合 • Ransac相対姿勢推定法（Colmapと同じ） もし↑失敗したら、単眼デプス事前知識を⽤いて カメラを制約 • AのFeature点を3D空間に投影して、PnPアル ゴリズムによってBのPoseを計算 Two-View Initialization A B 💡Low-parallax対策！ 視差が小さい場合性能悪い 2D-3D Correspondence
11. 11 提案法 追加済みの⼀枚の画像（B）のFeature点を 3D空間に投影して、PnPアルゴリズムによっ てCのPoseを計算（Aは要らない） 従来法（Colmap） 追加済みの複数の画像（A、B）で三⾓測量 された3D点を⽤い、PnPアルゴリズムによっ てCのPoseを計算 Next View Registration A B C 2D-3D Correspondence A B C 2D-3D Correspondence Depth 新規カメラ視点のポーズ推定 • 2視点Matchingがあれば新規カメラを追加可能 💡Low-overlap対策！ 最低3視点 overlap が必要 2視点 overlapで推定可能
12. 12 3D点再構成 • Matchingした点を三角測量で3D位置を推定 • 他にMatchingしない画素は単眼デプスを3D空間 に投影（Lifting） 単眼デプスに不確実性があるので、三角測量で得ら れた3D点と単眼デプスの3D点とズレが発生する可能 性はある ページ15のRefinementで最適化 Next View Registration
13. 13 Next View Registration Low-overlapシーンの結果 Middle ⾚いカメラ：推定 ⻘いカメラ：GT Right ⾚：１視点 緑：２視点 ⻘：３視点以上
14. 14 デプス⼀致性チェック（Depth Consistency Check） • 繰り返し構造で対応点誤マッチングが発⽣しやすい • 新規画像のデプスが追加済みの画像と⽐べて⽭盾する観測が多い場 合、新規画像を破棄 • デプスマップは画像全体の情報を持っているため Next View Registration 💡繰り返し構造対策！ 追加済みの画像 新規画像 青い点：Local Feature対応点 黄色、赤：デプスが矛盾する部分 シアン：デプスが一致する部分
15. 15 バンドル調整 + 深度統合 最適化パラメーター：カメラポーズ 𝑃，点群𝘟，デプス𝘋*（内部パラメータKは固定） Local and Global Refinement 再投影誤差を最⼩化 デプス𝘋*と三⾓測量で得られた３D点Xのデプ スを近くする デプス𝘋*が入力デプス・法線からあまり離れ ないようにする
16. 16 バンドル調整 + 深度統合 • 交互最適化 Local and Global Refinement 点群𝘟固定 デプス𝘋*固定
17. 17 実験結果
18. 18 Low-overlapシーン ETH3D datasetのサブセットで評価 カメラポーズ精度について定量評価（Area Under the recall Curve (AUC) up to 1/5/20°） Local Feature Matchining Detector-Free (Dense) Matching Low overlap High overlap Low overlap、High overlap両⽅性能⾼い
19. 19 Low-parallaxシーン RealEstate10k datasetで評価 https://google.github.io/realestate10k/ Local Feature Matchining Detector-Free (Dense) Matching RealEstate10k dataset
20. 20 Ablation Study 単眼推定精度の重要性 単眼デプス‧法線⼿法の精度に依存する
21. 21 Ablation Study デプス最適化 no depth refinement no depth reg. デプス最適化（特にLoｗ overlapシーンに）有効
22. 22 - 復元精度は単眼デプス‧法線の結果に影響される - 処理時間増加（深度推定 + 最適化） - （論⽂には書いてないが）内部パラメータ既知 - 事前キャリブレーションが必要 Limitations
23. 23 単眼事前知識の統合 - デプスマップと法線マップをSfMパイプラインに統合 - 3 視点間のトラックがなくても正確な 3D 再構成が可能 デプス⼀致性チェック - 単眼デプスの⼀貫性をチェックすることで、繰り返し構造によって誤っ た画像ポーズ推定を防ぎ 効率的な最適化 - 単眼事前知識不確実性を考慮した最適化（バンドル調整 + 深度最適化） - Low overlapに有効 まとめ
24. 24 - 簡潔で効果的 - ⾮専⾨家によるデータ収集の実⽤化に寄与 - デプスも点群結果として得られるので、3DGSとか初期点群必要な⼿法 にとって嬉しい 感想
25. Making the real world computable