HOLO: Homography-Guided Pose Estimator Network for Fine-Grained Visual Localization on SD Maps

Paper from CVPR2026 introduced in 67th Kanto Computer Vision reading group

Transcript

1. HOLO: Homography-Guided Pose Estimator Network for Fine-Grained Visual Localization on SD Maps Xuchang Zhong, Xu Cao, Jinke Feng, Hao Fang tomoaki_teshima tomoaki0705 tomoaki_teshima tomoaki0705
2. Disclaimer 本発表の内容および見解は発表者個人のものであり 所属組織およびその業務とは一切関係ありません 2026/Aug/29 第67回 コンピュータビジョン勉強会＠関東（後編） 2
3. Introduction • Goal : Localization • Input : 6 image • Output : Location + angle 2026/Aug/29 第67回 コンピュータビジョン勉強会＠関東（後編） 3
4. Localization issue • GPS : Noisy • Visual Localization • Matching base • Regression base • Cross modal 2026/Aug/29 第67回 コンピュータビジョン勉強会＠関東（後編） 4
5. Matching based visual localization 11 18 28 19 2026/Aug/29 第67回 コンピュータビジョン勉強会＠関東（後編） 5
6. Regression based visual localization Feature extraction -> cross modal fusion -> pose decoding 7 6 2026/Aug/29 第67回 コンピュータビジョン勉強会＠関東（後編） 6
7. Cross-modal Homography Estimation 29 RGB/NIR/depth/SD map 4 22 2026/Aug/29 第67回 コンピュータビジョン勉強会＠関東（後編） 7
8. Related works • Visual localization • Matching based method • Pose retrieval な問題に帰結 • 学習位置が離散的で、学習位置にひっぱられがち • Regression based method • 位置情報を入れないため、位置精度おちがち • Cross-modal Homography estimation • アノテーション済のHomographyと位置情報が必要 2026/Aug/29 第67回 コンピュータビジョン勉強会＠関東（後編） 8
9. Method 2026/Aug/29 第67回 コンピュータビジョン勉強会＠関東（後編） 9
10. BEV Perception Module Camera Encoder : 画像特徴量抽出で遠さを推 定 Neural View Transformation : 特徴量を俯瞰画 像に変換 BEV Encoder : 俯瞰画像特徴量 Semantic feature : Road / Building 2026/Aug/29 第67回 コンピュータビジョン勉強会＠関東（後編） 10
11. Map Process Module 2026/Aug/29 Map Rasterization : Open Street Map はベク タ形式で保存されてるのでラスタ画像形式に変 換 Map Encoder : BEV 特徴量マップ 第67回 コンピュータビジョン勉強会＠関東（後編） 11
12. Homography Guided pose estimation Feature Fusion : 初期位置合わせ Iterative Pose Refinement : 反復的な調整 最終的にHomographyが計算されたら、BEV特 徴マップの中心と向きをSDマップ空間に投影 できる=>現在地GET 2026/Aug/29 第67回 コンピュータビジョン勉強会＠関東（後編） 12
13. Experiment • Dataset : nuScenes (BostonとSingapore) • 性能評価 • Recall@Xm • Recall@X° • Absolute Position Error • Absolute Orientation Error 2026/Aug/29 第67回 コンピュータビジョン勉強会＠関東（後編） 13
14. 性能評価 2026/Aug/29 第67回 コンピュータビジョン勉強会＠関東（後編） 14
15. HOLO-CA 2026/Aug/29 第67回 コンピュータビジョン勉強会＠関東（後編） 15
16. Ablation study (Homography Estimation) • タイトルにもあるHomographyを使って良くなったの？ • 良くなってる • Cross Modal の方がCross Attention より良い 2026/Aug/29 第67回 コンピュータビジョン勉強会＠関東（後編） 16
17. Training & validation curves 2026/Aug/29 第67回 コンピュータビジョン勉強会＠関東（後編） 17
18. Ablation study (Iterative Strategy) • 反復的に改善して効果あり • Iterationが増えると計算時間が増える • 2 iterations で 25.6FPS • 6 iterations で 19.9FPS 2026/Aug/29 第67回 コンピュータビジョン勉強会＠関東（後編） 18
19. Summary • 画像と地図データからHomographyを計算して現在地推定 • Homographyの教師データが不要 • 学習データにない位置でも精度よく位置推定できる • Matching based methodよりよい精度が出る • 直接位置推定するのではなく、Homographyを求める 2026/Aug/29 第67回 コンピュータビジョン勉強会＠関東（後編） 19
20. 余談 • Homographyを計算して自車位置推定をする修士論文(フレーム間) • 本論文も車載カメラを使った自車位置推定 • BEV便利！ • BEV便利！ • Homographyは画像のマッチングで計算 • 時代はDNNでHomography推定 • 単眼カメラ5FPS • 6台カメラで25FPS • 気分はチャオズ 2026/Aug/29 第67回 コンピュータビジョン勉強会＠関東（後編） 20
21. Reference 4: Si-Yuan Cao, Jianxin Hu, Zehua Sheng, and Hui-Liang Shen. Iterative deep homography estimation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 1879–1888, 2022 6: Shuai Chen, Tommaso Cavallari, Victor Adrian Prisacariu, and Eric Brachmann. Map-relative pose regression for visual re-localization. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 20665–20674, 2024 7: Siyan Dong, Shuzhe Wang, Shaohui Liu, Lulu Cai, Qingnan Fan, Juho Kannala, and Yanchao Yang. Reloc3r: Largescale training of relative camera pose regression for generalizable, fast, and accurate visual localization. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 16739–16752, 2025. 11: Ted Lentsch, Zimin Xia, Holger Caesar, and Julian FP Kooij. Slicematch: Geometry-guided aggregation for cross-view pose estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 17225–17234, 2023. 18: Paul-Edouard Sarlin, Daniel DeTone, Tsun-Yi Yang, Armen Avetisyan, Julian Straub, Tomasz Malisiewicz, Samuel Rota Bulo, Richard Newcombe, Peter Kontschieder, and Vasileios Balntas. Orienternet: Visual localization in 2d public maps with neural matching. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 21632–21642, 2023. 19: Paul-Edouard Sarlin, Eduard Trulls, Marc Pollefeys, Jan Hosang, and Simon Lynen. Snap: Self-supervised neural maps for visual positioning and semantic understanding. Advances in Neural Information Processing Systems, 36:7697–7729, 2023. 22: Sanghyeob Song, Jaihyun Lew, Hyemi Jang, and Sungroh Yoon. Unsupervised homography estimation on multimodal image pair via alternating optimization. Advances in Neural Information Processing Systems, 37:61306–61327, 2024 28: Zimin Xia, Olaf Booij, and Julian FP Kooij. Convolutional cross-view pose estimation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 46(5):3813–3831, 2023 29: Junchen Yu, Si-Yuan Cao, Runmin Zhang, Chenghao Zhang, Zhu Yu, Shujie Chen, Bailin Yang, and Hui-Liang Shen. Sshnet: Unsupervised cross-modal homography estimation via problem reformulation and split optimization. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 16685–16694, 2025. 2026/Aug/29 第67回 コンピュータビジョン勉強会＠関東（後編） 21