Block NeRF

Slide used in kantocv #cvsaisentan on 30/Apr/2023

Transcript

1. Block-NeRF: Scalable Large Scene Neural View Synthesis Matthew Tancik, Vincent Casser, Xinchen Yan, Sabeek Pradhan, Ben Mildenhall, Pratul Srinivasan, Jonathan T. Barron, Henrik Kretzschmar tomoaki_teshima tomoaki0705 tomoaki_teshima tomoaki0705
2. もうNeRFでおなかいっぱい だいじょうぶ、きょう最後のNeRFの論文だよ！ 2
3. NeRFのおさらい(誤り) 3
4. 実際のNeRF 出てくるのはメッシュや点群ではなく、色の分布と密度の組み合わせ 4
5. Block NeRFたる部分 • Large Scale • 町まるごとみたいなのは、NeRF(2020)では難しい •Staticかどうか • 駐車車両、歩行者など動く対象ぶつは（略 • 見えの変化、時刻の変化 5
6. Large Scale model • 複数のModelに分割する • オーバーラップするように分割する 6
7. Visibility Prediction • そもそもその点が見えるかどうか“Visibility”を表すモデルfv 7
8. Transient objects • Semantic segmentation で動く物体を除去する • マスクを使ってtrainingの対象外とする 8
9. Appearance Embedding • NeRF-Wでも紹介された、Appearance Embedding • Exposureの違いも学習する 9
10. Appearance Embeddings • 時刻の違い、昼夜の違いなどを表現できる • 隣接するBlock NeRFを組み合わせる際にも調整用に使われる 10
11. Exposure Input 11
12. Pose estimation • NeRF(2020)はCOLMAPでカメラ位置を計算していた • 学習用データは車載カメラで収集された • We calculate the corresponding camera ray origins and directions in a common coordinate system • performing odometry using various sensors on the vehicle as the images are collected. • We assume that camera pose are provided • 初期位置としてGPSかなんかを使っている？ 12
13. Pose refinement • Previous NeRF based models [32,58,66,71]. • で研究されているPose Refinement(位置の最適化)を行う • 対象物体の形状を先に学習し、その後位置を最適化する 13
14. ざっくりした手法 • Block NeRFを町をカバーする分撮影して用意します • ほしい位置の近傍のBlock NeRFを選択します • 選択したBlock NeRFをうまいことマージする 14
15. Block NeRF selection • 指定位置の近傍のBlock NeRFだけ選択する • 近くてもVisibilityが低ければ選択しない • typically one to three Block-NeRFs left to merge. • 大規模な町でも実際マージするのは3個ぐらいの NeRF 15
16. Block NeRF compositing • 複数のモデルをマージする • 最終的な2D出力で色補間する • 重みはIDW (Invert Distance Weight） 16
17. Appearance matching • BaseのBlock NeRFの見えとマッチするように他のBlock NeRF を調整する 17
18. Ablation Study 18
19. Summary • 大規模NeRF • 基本的には小さいNeRFの組み合わせ • つなぎ目が目立たないようにPose Refinement、Appearance Embeddings、Exposureなどを調整 • 天候、時間の違いにも対応 • 同物体が写り込んでもノイズを抑えておいた 19