Θ (MLP)の内訳(工夫点1) ▪ 位置 X(3次元) と視点の角度 d(3次元)はそれぞれ下記の Positional Encoding の式 によって固定長のベクトルに変換されてから入力される • 位置 X は L = 10, 角度 d は L = 4 • sin と cos があるので、位置 X は 3*2*10=60、角度 d は 3*2*4=24 次元に変換される NeRF について
sampling(階層的ボリュームサンプリング)という 手法を使っている(先行研究で提案されている手法、工夫点2) i. 同じ構造のネットワークを2つ用意する 1. Coarse(粗い)レンダリング用ネットワーク 2. Fine(細かい)レンダリング用ネットワーク ii. まず光線の各点を粗くサンプリングし、Coarse ネットワークで各点について色と密度 を計算してレンダリング iii. Coarse レンダリング結果を元に各点を重み付け iv. 重み付けした結果を元に光線から再度サンプリング(ii. より多く) v. ii. と iv. で得た各点について Fine ネットワークで色と密度を計算してレンダリング NeRF について
Srinivasan, M. Tancik, J. T. Barron, R. RamamoorthiとR. Ng, 「NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis」, arXiv:2003.08934 [cs], 8月 2020, 参照: 5月 14, 2021. [Online]. Available at: http://arxiv.org/abs/2003.08934 • R. Martin-Brualla, N. Radwan, M. S. M. Sajjadi, J. T. Barron, A. DosovitskiyとD. Duckworth, 「NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections」, arXiv:2008.02268 [cs], 1月 2021, 参照: 5月 14, 2021. [Online]. Available at: http://arxiv.org/abs/2008.02268 • [DL輪読会]NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis • 【論文読解】NeRF in the Wild: Neural Radiance Fields for Unconstrained Photo Collections - Qiita • 三次元空間のニューラルな表現と NeRF | ALBERT Official Blog 参考文献