Share
Embed
HOLO: Homography-Guided Pose Estimator Network for Fine-Grained Visual Localization on SD Maps
Paper from CVPR2026 introduced in 67th Kanto Computer Vision reading group
Aki Teshima
August 28, 2026
Transcript
21 slides
-
HOLO: Homography-Guided Pose Estimator Network for Fine-Grained Visual Localization on
SD Maps Xuchang Zhong, Xu Cao, Jinke Feng, Hao Fang tomoaki_teshima tomoaki0705 tomoaki_teshima tomoaki0705 -
Introduction • Goal : Localization • Input : 6 image
• Output : Location + angle 2026/Aug/29 第67回 コンピュータビジョン勉強会@関東(後編) 3 -
Localization issue • GPS : Noisy • Visual Localization •
Matching base • Regression base • Cross modal 2026/Aug/29 第67回 コンピュータビジョン勉強会@関東(後編) 4 -
Matching based visual localization 11 18 28 19 2026/Aug/29 第67回
コンピュータビジョン勉強会@関東(後編) 5 -
Regression based visual localization Feature extraction -> cross modal fusion
-> pose decoding 7 6 2026/Aug/29 第67回 コンピュータビジョン勉強会@関東(後編) 6 -
Cross-modal Homography Estimation 29 RGB/NIR/depth/SD map 4 22 2026/Aug/29 第67回
コンピュータビジョン勉強会@関東(後編) 7 -
Related works • Visual localization • Matching based method •
Pose retrieval な問題に帰結 • 学習位置が離散的で、学習位置にひっぱられがち • Regression based method • 位置情報を入れないため、位置精度おちがち • Cross-modal Homography estimation • アノテーション済のHomographyと位置情報が必要 2026/Aug/29 第67回 コンピュータビジョン勉強会@関東(後編) 8 -
BEV Perception Module Camera Encoder : 画像特徴量抽出で遠さを推 定 Neural View
Transformation : 特徴量を俯瞰画 像に変換 BEV Encoder : 俯瞰画像特徴量 Semantic feature : Road / Building 2026/Aug/29 第67回 コンピュータビジョン勉強会@関東(後編) 10 -
Map Process Module 2026/Aug/29 Map Rasterization : Open Street Map
はベク タ形式で保存されてるのでラスタ画像形式に変 換 Map Encoder : BEV 特徴量マップ 第67回 コンピュータビジョン勉強会@関東(後編) 11 -
Homography Guided pose estimation Feature Fusion : 初期位置合わせ Iterative Pose
Refinement : 反復的な調整 最終的にHomographyが計算されたら、BEV特 徴マップの中心と向きをSDマップ空間に投影 できる=>現在地GET 2026/Aug/29 第67回 コンピュータビジョン勉強会@関東(後編) 12 -
Experiment • Dataset : nuScenes (BostonとSingapore) • 性能評価 • Recall@Xm
• Recall@X° • Absolute Position Error • Absolute Orientation Error 2026/Aug/29 第67回 コンピュータビジョン勉強会@関東(後編) 13 -
Ablation study (Homography Estimation) • タイトルにもあるHomographyを使って良くなったの? • 良くなってる • Cross
Modal の方がCross Attention より良い 2026/Aug/29 第67回 コンピュータビジョン勉強会@関東(後編) 16 -
Ablation study (Iterative Strategy) • 反復的に改善して効果あり • Iterationが増えると計算時間が増える • 2
iterations で 25.6FPS • 6 iterations で 19.9FPS 2026/Aug/29 第67回 コンピュータビジョン勉強会@関東(後編) 18 -
Summary • 画像と地図データからHomographyを計算して現在地推定 • Homographyの教師データが不要 • 学習データにない位置でも精度よく位置推定できる • Matching based
methodよりよい精度が出る • 直接位置推定するのではなく、Homographyを求める 2026/Aug/29 第67回 コンピュータビジョン勉強会@関東(後編) 19 -
余談 • Homographyを計算して自車位置推定をする修士論文(フレーム間) • 本論文も車載カメラを使った自車位置推定 • BEV便利! • BEV便利! •
Homographyは画像のマッチングで計算 • 時代はDNNでHomography推定 • 単眼カメラ5FPS • 6台カメラで25FPS • 気分はチャオズ 2026/Aug/29 第67回 コンピュータビジョン勉強会@関東(後編) 20 -
Reference 4: Si-Yuan Cao, Jianxin Hu, Zehua Sheng, and Hui-Liang
Shen. Iterative deep homography estimation. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pages 1879–1888, 2022 6: Shuai Chen, Tommaso Cavallari, Victor Adrian Prisacariu, and Eric Brachmann. Map-relative pose regression for visual re-localization. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 20665–20674, 2024 7: Siyan Dong, Shuzhe Wang, Shaohui Liu, Lulu Cai, Qingnan Fan, Juho Kannala, and Yanchao Yang. Reloc3r: Largescale training of relative camera pose regression for generalizable, fast, and accurate visual localization. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pages 16739–16752, 2025. 11: Ted Lentsch, Zimin Xia, Holger Caesar, and Julian FP Kooij. Slicematch: Geometry-guided aggregation for cross-view pose estimation. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 17225–17234, 2023. 18: Paul-Edouard Sarlin, Daniel DeTone, Tsun-Yi Yang, Armen Avetisyan, Julian Straub, Tomasz Malisiewicz, Samuel Rota Bulo, Richard Newcombe, Peter Kontschieder, and Vasileios Balntas. Orienternet: Visual localization in 2d public maps with neural matching. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pages 21632–21642, 2023. 19: Paul-Edouard Sarlin, Eduard Trulls, Marc Pollefeys, Jan Hosang, and Simon Lynen. Snap: Self-supervised neural maps for visual positioning and semantic understanding. Advances in Neural Information Processing Systems, 36:7697–7729, 2023. 22: Sanghyeob Song, Jaihyun Lew, Hyemi Jang, and Sungroh Yoon. Unsupervised homography estimation on multimodal image pair via alternating optimization. Advances in Neural Information Processing Systems, 37:61306–61327, 2024 28: Zimin Xia, Olaf Booij, and Julian FP Kooij. Convolutional cross-view pose estimation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 46(5):3813–3831, 2023 29: Junchen Yu, Si-Yuan Cao, Runmin Zhang, Chenghao Zhang, Zhu Yu, Shujie Chen, Bailin Yang, and Hui-Liang Shen. Sshnet: Unsupervised cross-modal homography estimation via problem reformulation and split optimization. In Proceedings of the Computer Vision and Pattern Recognition Conference, pages 16685–16694, 2025. 2026/Aug/29 第67回 コンピュータビジョン勉強会@関東(後編) 21