GNeRF: GAN-based Neural Radiance Field without Posed Camera

第９回全日本コンピュータビジョン勉強会
ICCV2021論文読み回発表資料
GNeRF: GAN-based Neural Radiance Field without Posed Camera

Transcript

1. GNeRF: GAN-based Neural Radiance Field without Posed Camera @peisuke 9
2. ABEJA Twitter @peisuke Github https://github.com/peisuke Qiita https://qiita.com/peisuke SlideShare https://www.slideshare.net/FujimotoKeisuke
3. • • GNeRF: GAN-based Neural Radiance Field without Posed Camera • • NeRF • • • GAN Radiance Field • RF
4. NeRF • / 5 •
5. • • (x,y,z)T (φ1,θ1)T (φ2,θ2)T (x,y,z) φ2,θ2 (x,y,z) φ1,θ1
6. NeRF • • •
7. NeRF • NeRF in the Wild • NeRF • iNeRF • iNeRF NeRF in the Wild BP
8. 条件 iNeRF NeRF-- IDR GNeRF(提案⼿法) 事前学習 必要 不要 不要 不要 粗いカメラ座標 必要 必要 必要 不要 前⽅のみの制約 不要 必要 不要 不要 マスク 不要 不要 必要 不要 • •
9. • • • • • GAN Radiance Field • RF
10. • Phase A Phase B
11. RF • D E 3
12. GAN Real • • Discriminator Real • Dynamic Patch Sampling / 16x16 • Dynamic Patch Sampling
13. GAN Fake • • NeRF 16x16 • G
14. • 6 𝑹 = 𝑟!! 𝑟!" 𝑟!# 𝑟"! 𝑟"" 𝑟"# 𝑟#! 𝑟#" 𝑟## 𝒓 = 𝑟!! 𝑟!" 𝑟!# 𝑟"! 𝑟"" 𝑟"# $ • SO(3) NN • On the Continuity of Rotation Representations in Neural Networks
15. • Inversion network • Static Patch Sampling • E • Static Patch Sampling
16. G G D G
17. • • Inversion network • refinement
18. • Refinement
19. • • • • • Photometric loss
20. • • Generator • NeRF • Discriminator • Instance Normalization Spectral Normalization • Inversion network • Vision Transformer • • A • A B 1 iteration • B
21. • • COLMAP NeRF C+n • Refine C+r • Ground Truth NeRF G+n • • Synthetic-NeRF image size: 400x400 DTU 500x400 • 100 • • Peak Signal-to-Noise Ratio SSIM LPIPS • / • Single TAITAN GPU 30
22. COLMAP •
23. • COLMAP Drums
24. 難しいシーン 特徴の少ない シーン
25. IDR • 3D IDR • IDR • PNSR •
26. • COLMAP • Drums Lego COLMAP
27. Ablation Study • • GAN InvNet. PhaseB • • A B A ABABABAB B
28. • • • COLMAP • •
29. • NeRF • • GAN RF • RF • • • COLMAP