Neural Fieldの紹介

何回かの講演スライドをNeural Fieldの紹介としてまとめ直しました．
誤りなどあればお知らせください．

Transcript

1. Neural Fieldの紹介 大阪大学 千葉
2. Neural Fieldとは 空間中の（連続な）各点𝒙𝒙に対応した関数値𝒇𝒇 𝒙𝒙 を ニューラルネットワークでモデル化 • 画像などは要素を列挙した離散な表現 • 関数として連続な表現として学習させる 2 𝑓𝑓 𝑖𝑖, 𝑗𝑗 , 𝑓𝑓𝑖𝑖,𝑗𝑗 など 𝑓𝑓 𝑥𝑥, 𝑦𝑦 画像：離散な表現 Neural Field：連続な関数で表現
3. Neural Fieldの登場した経緯 ニューラルネットワークによる3Dデータ処理が 発展（ボクセル，点群，メッシュなど） これらの表現には種々の限界（後述）があった 精緻な三次元形状を記述できる＆ ニューラルネットワークと相性のよい手法 → DeepSDF（等）が提案された （別の文脈で）NeRFが登場（後述）・発展 → これらが徐々に整理され，Neural Field系の 技術として発展 3 2016-2018年頃 2019年 2020年
4. Neural Field以前の3D形状表現 代表的な3D形状表現を紹介 ボクセル • グリッド上に情報を 並べて表現 • 空間解像度の3乗で メモリを消費するため 空間解像度が上げにくい 空間座標：離散 データ点：離散 表面の記述：あり 4 *: L. Mescheder+. Occupancy Networks: Learning 3D Reconstruction in Function Space, CVPR2019 *ボクセルの例
5. Neural Field以前の3D形状表現 代表的な3D形状表現を紹介 点群 • 三次元点の座標の集合で 形状を記述する • 非グリッドな記述であり メモリ効率よく 空間解像度の高い表現 • 点群深層学習が発展 • 明示的に表面は記述して いない 空間座標：連続 データ点：離散 表面の記述：なし 5 *: L. Mescheder+. Occupancy Networks: Learning 3D Reconstruction in Function Space, CVPR2019 *点群の例
6. Neural Field以前の3D形状表現 代表的な3D形状表現を紹介 メッシュ • 頂点・（辺・）面の 集合で形状を記述 • 非グリッドな記述 • 頂点の座標が離散なので 滑らかな表現は難しい 空間座標：連続 データ点：離散 表面の記述：あり 6 *: L. Mescheder+. Occupancy Networks: Learning 3D Reconstruction in Function Space, CVPR2019 *メッシュの例
7. Neural Fieldによる表面モデル ボクセル・点群・メッシュなどは陽なデータ表現 ＝直接データ点を保持，記述 これらの非構造データの処理も面白い課題，今回は省略 Neural Fieldを用いた表面モデル＝ Implicit Surface Representationが登場 空間座標：連続 データ点：連続 離散な点について 好きなだけクエリする 表面の記述：あり 7 *: L. Mescheder+. Occupancy Networks: Learning 3D Reconstruction in Function Space, CVPR2019 ボクセル 点群 メッシュ Neural Field *
8. Neural Fieldによる表面モデル Neural Fieldを用いた表面モデル • DeepSDF（今回主に紹介） • Occupancy Network • IM-Net がほぼ同時期（すべてCVPR2019）に提案 ニューラルネットワークで陰に表面形状を 記述するというアイデアは共通 どのような関数を経由するか・表現の利用方法に差異 8
9. Fieldによる表面形状表現 Fieldによる表面形状の記述とは 空間中の各点での値を返す関数の等高面で形状を記述 𝑓𝑓 𝑥𝑥; 𝜃𝜃 = 𝜏𝜏 • 𝜃𝜃: 形状を表すパラメータ • 𝑥𝑥: 座標 • 𝜏𝜏: 等高面の高さ 𝑓𝑓𝜃𝜃 𝜏𝜏 記述したい形状 9
10. Implicit Function系手法の紹介 •メタボール：濃度分布をもつ球の集合で形状を定義 等高線で表面形状を表す •陰関数表現：メタボールの一般化 • 内側・外側で符号を変えることで向きを 表現（Signed Distance Function: SDF） • SDFの勾配方向を計算することで 法線も同時に得られる • Marching Cubes法などの等値面抽出手法で メッシュを再構成できる William E. Lorensen+, Marching Cubes: A high resolution 3D surface construction algorithm. SIGGRAPH1987. 10 Wikipedia: メタボール
11. DeepSDFの紹介 形状ごとのSigned Distance Function (SDF)を ニューラルネットワークで学習 シンプルなネットワークで三次元形状が記述できる Neural Fieldなのでなめらかな表面が表せる Signed Distance Function (SDF) 𝑓𝑓 𝒙𝒙 � > 0（物体の外側） = 0（物体の表面） < 0（物体の内側） 11 J. J. Park+. DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation. CVPR2019.
12. DeepSDFでのモデル 単一形状を記述する場合 座標を入力，SDFを出力すればよい 複数形状を記述する場合 形状ごとの潜在ベクトル（Code）と座標を入力， SDFを出力する 単一形状の場合 複数形状の場合 J. J. Park+. DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation. CVPR2019. 12
13. ネットワーク構造 ネットワークの構成 • SDF自体を学習するため，ネットワークの構造はシンプル • 基本的には単純なMLP 形状を表現するコード 三次元点 SDFの出力値 13 J. J. Park+. DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation. CVPR2019.
14. Codeの決め方 オートデコーダー • 形状ごとにCodeを設定 • デコーダーを同時にCodeも最適化 • 初期値はランダムに与える • 推論時は与えられたサンプル点の集合から Codeについて最適化，SDFを得る 14 J. J. Park+. DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation. CVPR2019.
15. 学習方法 ロス関数 L1ロス with clamp，SDFの値を −𝛿𝛿, 𝛿𝛿 の範囲に限定 ℒ = clamp 𝑓𝑓𝜃𝜃 𝑥𝑥 , 𝛿𝛿 − clamp 𝑠𝑠, 𝛿𝛿 • clamp ⋅, 𝛿𝛿 : 値を −𝛿𝛿, 𝛿𝛿 に限定 • 𝑠𝑠: 教師信号 学習する点のサンプリング • 一つの形状についていくつものサンプル点を与えて学習 • 表面付近を重点的にサンプリング＆ 空間全体でサンプリング 15
16. 出力の例 既存手法との比較 良好な再構成結果が得られている 16 J. J. Park+. DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation. CVPR2019.
17. 出力の例 片面点群から全体形状の補完 見えていない部分も再現している 17 J. J. Park+. DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation. CVPR2019.
18. 出力の例 形状補間の例 なめらかに補間できている 18 J. J. Park+. DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation. CVPR2019.
19. 表面点群のみからSDFを学習 Implicit Geometric Regularization [A.Gropp+, ICML2020] • 表面点群（＝Implicit Functionのゼロ面上の点）から Implicit FunctionによりSDFを学習 • 適切な初期化と空間中での勾配に関する制約（SDFの 勾配があらゆる点で1になる）を用いて学習 19 A. Gropp+. Implicit Geometric Regularization for Learning Shapes. ICML2020.
20. 他の表面モデル 20 Occupancy Network • SDFではなくその点での 占有率でモデル化 • 占有しているかどうかの 二値分類と考え， Cross-entropy Lossで学習 • エンコーダーと 組み合わせ，画像からの 3D再構成や低解像度の ボクセル表現からの 超解像も実現 L. Mescheder+. Occupancy Networks: Learning 3D Reconstruction in Function Space, CVPR2019
21. 他の表面モデル 21 Occupancy Network • Neural Fieldの特徴として，解像度によらずパラメータ数 が一定であることを強調 • メッシュとして表面形状をきれいに出力する手法 Multiresolution IsoSurface Extractionも提案 L. Mescheder+. Occupancy Networks: Learning 3D Reconstruction in Function Space, CVPR2019
22. 他の表面モデル IM-Net • 占有率でモデル化，（重み付き）L2 Lossで学習 • 生成モデルとして使うことに重点 • 学習の過程や潜在ベクトル空間での補間の性質が良い 22 Z. Chen+. Learning Implicit Fields for Generative Shape Modeling, CVPR2019
23. 表面モデルから体積モデルへ Neural Fieldのアイデアが3D表現を革新 シンプルなネットワークで複雑な形状を モデル化できるようになった 表面モデルのlimitation • 半透明・構造色を含むシーンには対応していない • 3Dの教師データが必要 → NeRF (Neural Radiance Field) の登場 • 体積（Volumetric）ベースのモデル • 多視点画像のみから任意視点画像生成を可能に • 視点依存性にも対応 • （オリジナルのNeRFでは）シーンごとに最適化， DeepSDFのようにCodeで制御しない 23
24. NeRFの紹介 NeRF (Neural Radiance Field) [Ben Mildenhall+, ECCV2020] • 新規視点画像生成（Novel View Synthesis）を行う あるシーンの多視点画像を学習しておき， そのシーンの任意視点での画像を推定できるように • アプローチ • Radiance Field （放射輝度場）をNNでモデル化 • Volume Renderingを深層学習フレームワーク上で 計算，シーンごとに勾配ベースで最適化 24 B. Mildenhall+. NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis. ECCV2020.
25. Radiance FieldとVolume Rendering Radiance Field ＝ある点・ある視点についての放射輝度 NeRFでは色と密度でモデル化 色：𝑐𝑐 𝐫𝐫 𝑡𝑡 , 𝐝𝐝 … 色については座標と見る角度𝐝𝐝に依存 密度： 𝜎𝜎 𝐫𝐫 𝑡𝑡 … 密度は座標にのみ依存 Radiance FieldについてVolume Renderingすると • 見る角度で色が変わるシーンに対応 • 霧・煙などにも対応 できる 25
26. Volume Rendering 画像＝光線に対応した画素の輝度値を並べたもの 画素の輝度値 ＝光線上の放射輝度を足し合わせたもの カメラ カメラ画像平面 26
27. Volume Rendering 画像＝光線に対応した画素の輝度値を並べたもの 画素の輝度値 ＝光線上の放射輝度を足し合わせたもの 放射輝度（Radiance）の 考え方・・・ 空間中の各点から光が放出 •方向には依存 •ライティングは固定 27
28. Volume Rendering 光線上の放射輝度を足し合わせたもの 28 影響小：ここは素通り 影響大：ここで反射 影響小：ここは隠れている 𝑇𝑇 𝑡𝑡 = exp − � 𝑡𝑡𝑛𝑛 𝑡𝑡 𝜎𝜎 𝐫𝐫 𝑠𝑠 𝑑𝑑𝑑𝑑 ある点までの密度の積分： どれくらい既に隠れているか
29. Volume Rendering 画像＝光線に対応した画素の輝度値を並べたもの 画素の輝度値 ＝光線上の放射輝度を足し合わせたもの 29 𝐶𝐶 𝐫𝐫 = � 𝑡𝑡𝑛𝑛 𝑡𝑡𝑓𝑓 𝑇𝑇 𝑡𝑡 𝜎𝜎 𝐫𝐫 𝑡𝑡 𝑐𝑐 𝐫𝐫 𝑡𝑡 , 𝐝𝐝 𝑑𝑑𝑑𝑑 𝑇𝑇 𝑡𝑡 = exp − � 𝑡𝑡𝑛𝑛 𝑡𝑡 𝜎𝜎 𝐫𝐫 𝑠𝑠 𝑑𝑑𝑑𝑑 その点の密度 その点の色 （方向を考慮） そこまでの密度 画素の色 これを深層学習フレームワークで実装し 微分可能なボリュームレンダリングを実現， NeRFの最適化が可能になった
30. Volume Rendering 光線上の放射輝度を足し合わせたもの 30 𝐶𝐶 𝐫𝐫 = � 𝑡𝑡𝑛𝑛 𝑡𝑡𝑓𝑓 𝑇𝑇 𝑡𝑡 𝜎𝜎 𝐫𝐫 𝑡𝑡 𝑐𝑐 𝐫𝐫 𝑡𝑡 , 𝐝𝐝 𝑑𝑑𝑑𝑑 𝑇𝑇 𝑡𝑡 = exp − � 𝑡𝑡𝑛𝑛 𝑡𝑡 𝜎𝜎 𝐫𝐫 𝑠𝑠 𝑑𝑑𝑑𝑑 その点の密度 その点の色 （方向を考慮） そこまでの密度 画素の色 その部分まで見通せる＆ その点で密度が高い → その点での放射輝度を採用 密度小さい → 影響小
31. Volume Rendering 光線上の放射輝度を足し合わせたもの 31 𝐶𝐶 𝐫𝐫 = � 𝑡𝑡𝑛𝑛 𝑡𝑡𝑓𝑓 𝑇𝑇 𝑡𝑡 𝜎𝜎 𝐫𝐫 𝑡𝑡 𝑐𝑐 𝐫𝐫 𝑡𝑡 , 𝐝𝐝 𝑑𝑑𝑑𝑑 𝑇𝑇 𝑡𝑡 = exp − � 𝑡𝑡𝑛𝑛 𝑡𝑡 𝜎𝜎 𝐫𝐫 𝑠𝑠 𝑑𝑑𝑑𝑑 その点の密度 その点の色 （方向を考慮） そこまでの密度 画素の色 その部分まで見通せる＆ その点で密度が高い → その点での放射輝度を採用 見通せる＆密度大 → 影響大
32. Volume Rendering 光線上の放射輝度を足し合わせたもの 32 𝐶𝐶 𝐫𝐫 = � 𝑡𝑡𝑛𝑛 𝑡𝑡𝑓𝑓 𝑇𝑇 𝑡𝑡 𝜎𝜎 𝐫𝐫 𝑡𝑡 𝑐𝑐 𝐫𝐫 𝑡𝑡 , 𝐝𝐝 𝑑𝑑𝑑𝑑 𝑇𝑇 𝑡𝑡 = exp − � 𝑡𝑡𝑛𝑛 𝑡𝑡 𝜎𝜎 𝐫𝐫 𝑠𝑠 𝑑𝑑𝑑𝑑 その点の密度 その点の色 （方向を考慮） そこまでの密度 画素の色 その部分まで見通せる＆ その点で密度が高い → その点での放射輝度を採用 見通せない → 𝑇𝑇 𝑡𝑡 が小さい → 影響小
33. 余談：レンダリング方程式 レンダリング方程式 𝐿𝐿𝑜𝑜 𝑥𝑥, 𝜔𝜔𝑜𝑜 = 𝐿𝐿𝑒𝑒 𝑥𝑥, 𝜔𝜔𝑜𝑜 + ∫ 𝑆𝑆2 𝑓𝑓 𝑥𝑥, 𝜔𝜔𝑖𝑖 , 𝜔𝜔𝑜𝑜 𝐿𝐿𝑖𝑖 𝑥𝑥, 𝜔𝜔𝑖𝑖 𝜔𝜔𝑖𝑖 ⋅ 𝑛𝑛 d𝜔𝜔𝑖𝑖 • 𝐿𝐿𝑜𝑜 : ある点である方向に出てくる光 • 𝐿𝐿𝑒𝑒 : その点でその方向への発光 • 𝐿𝐿𝑖𝑖 : その点でその方向への出力光に関する， ある方向からの入力光 • 𝑥𝑥: 着目点の座標 • 𝜔𝜔𝑜𝑜 : 光の出る方向 • 𝜔𝜔𝑖𝑖 : 光の入る方向 • 𝑛𝑛: 法線方向 • 𝑆𝑆2: 球面全体について 33
34. 余談：レンダリングでの定式化との関係 レンダリング方程式 𝐿𝐿𝑜𝑜 𝑥𝑥, 𝜔𝜔𝑜𝑜 = 𝐿𝐿𝑒𝑒 𝑥𝑥, 𝜔𝜔𝑜𝑜 + ∫ 𝑆𝑆2 𝑓𝑓 𝑥𝑥, 𝜔𝜔𝑖𝑖 , 𝜔𝜔𝑜𝑜 𝐿𝐿𝑖𝑖 𝑥𝑥, 𝜔𝜔𝑖𝑖 𝜔𝜔𝑖𝑖 ⋅ 𝑛𝑛 d𝜔𝜔𝑖𝑖 NeRFでは単純化して 𝐿𝐿𝑜𝑜 𝑥𝑥, 𝜔𝜔𝑜𝑜 = 𝑁𝑁𝑁𝑁 𝑥𝑥, 𝜔𝜔𝑜𝑜 → 入射光に関して放射輝度が変化しない （＝ライティングは一定）と仮定 34
35. 余談：レンダリングでの定式化との関係 ボリュームレンダリング方程式 （数式自体はやたらややこしいので省略） 表面での反射（レンダリング方程式）に加え， • 光の吸収 • 光の散乱（in scattering / out scattering） • 発光 の影響を考える． これを光線にしたがって積分（NeRFでやっていること） すると，観測される輝度値になる （さらに余談：この文脈で密度𝜎𝜎は散乱係数と呼ばれる） 35
36. NeRFのモデル化の限界 •シーンについて • 単独のシーンについて最適化 • 複数のシーンは扱えない • 変形を含むシーン（時系列など）は扱えない •光学現象について • 密度と放射輝度でモデル化 • 方向による輝度値変化（鏡面反射や構造光）は扱える • 散乱を含むシーン（煙など）は扱える • ただし実際やってみるといずれもきれいには最適化できない， あくまでモデルとして可能であるの意味 • ライティングの変化は扱えない 36
37. NeRFのモデルとロス関数 NNによるモデル • 入力：位置・光線の角度 • 出力：色・密度 ロス関数：輝度値を比較（L2ロス） 37 B. Mildenhall+. NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis. ECCV2020.
38. NeRFの工夫 Hierarchical Volume Sampling 粗いレンダリングでどこにあるかを推定してから， 密なレンダリングで重点的にサンプリング Positional Encoding 座標・光線方向を高周波・高次元な表現に変換してから NNの入力とする 38 nerf2D: https://github.com/ankurhanda/nerf2D 2DでのPositional Encodingの例 正解画像 Positional Encodingあり Positional Encodingなし
39. ネットワーク構造 シンプルなMLPでRadiance Fieldをモデル化 光線上の各点についてクエリし Volume Renderingする 座標の入力 視点角度の入力 密度の出力 色の出力 39 Ben Mildenhall+. NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis. ECCV2020. ここで方向を 入れるので， 色のみ視点依存
40. 別の歴史的背景 メッシュベースの微分可能レンダリング • Neural 3D Mesh Renderer • 画像上からパラメータの勾配を計算 （勾配が通るようにBack Prop.を書き換え） • メッシュの頂点座標やテクスチャを最適化できるように 40 H. Kato+. Neural 3D Mesh Renderer. CVPR2018.
41. 出力の例 細かい箇所まで良好な画像を出力 正解 出力 正解 出力 シーン シーン 41 Ben Mildenhall+. NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis. ECCV2020.
42. カメラ姿勢の最適化 NeRFは微分可能レンダリング Radiance Fieldだけでなく，ほかのパラメータに 微分を伝える（→勾配法で最適化する）ことが可能に カメラ姿勢推定の例 42 I. Ueda+. Neural Density-Distance Fields. ECCV2022.
43. NeRFのネットワーク構造 シンプルなMLPでRadiance Fieldをモデル化 光線上の各点についてクエリし Volume Renderingする 座標の入力 視点角度の入力 密度の出力 色の出力 43 Ben Mildenhall+. NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis. ECCV2020.
44. NeRFを空間方向に分解する 一つのMLPでモデル化すると重い → 部分ごとに分割して情報を保持すれば良い MLP 視点 𝑑𝑑 � 密度 𝜎𝜎 色 𝑐𝑐 MLP等 � 密度 𝜎𝜎 色 𝑐𝑐 うまい データ 構造 NeRFの模式図 グリッドを用いたRFの模式図 座標 𝑥𝑥 視点 𝑑𝑑 座標 𝑥𝑥 44
45. 小さいNeRFに分割 NeRFをそのままグリッドで部分ごとに分割 • kiloNeRF, FastNeRFなど • 各座標でのRadiance Fieldの評価で，毎回 全体のMLPを計算しない • 座標に対応した軽量な MLPのみ評価することで 大幅に高速化 C. Reiser+. KiloNeRF: Speeding up Neural Radiance Fields with Thousands of Tiny MLPs. ICCV2021. 45
46. スパースボクセル ボクセルに分割して物体のあるところだけ 特徴量を割り当てる • NSVF：物体がある領域に特徴量を割り当て， 後段に軽量なMLPを通してRFをモデル化 • 段階的に解像度を上げて物体が存在する部分だけ保持 スパースボクセルの例（NSVF） L. Liu+. Neural Sparse Voxel Fields. NeurIPS2020. 46
47. スパースボクセル ボクセルに分割して物体のあるところだけ 特徴量を割り当てる • NSVF：物体がある領域に特徴量を割り当て， 後段に軽量なMLPを通してRFをモデル化 • 段階的に解像度を上げて物体が存在する部分だけ保持 スパースボクセルの例（NSVF） L. Liu+. Neural Sparse Voxel Fields. NeurIPS2020. 47
48. スパースボクセル ボクセルに分割して物体のあるところだけ 特徴量を割り当てる • SNeRF：学習済みのNeRFをスパースボクセル表現に 変換してレンダリングを高速化 P. Hedman+. Baking Neural Radiance Fields for Real-Time View Synthesis. ICCV2021. 48
49. スパースボクセル ボクセルに分割して物体のあるところだけ 特徴量を割り当てる • Plenoxels： Radiance Fieldをそのまま スパースボクセルとしてモデル化（MLPなし） • カラーを球面調和関数でモデル化 S. Fridovich-Keil & A. Yu+. Plenoxels: Radiance Fields without Neural Networks. CVPR2022. 49
50. Octree 適応的に切り分けた空間分割で特徴量を ボクセル上に配置する • NGLOD：各解像度の特徴量の和を利用 • PlenOctree: NeRFをOctreeに変換，高速なレンダリング T. Takikawa+. Neural Geometric Level of Detail: Real-time Rendering with Implicit 3D Surfaces. CVPR2021. 50
51. Hash / Codebook ハッシュ / コードを用いてコンパクトな特徴量表現 • Instant-NGP Multiresolution Hash Encodingで ハッシュ化・特徴量をルックアップ • VQAD: Softmaxで頂点のコードを学習可能にし最適化 T. Müller+. Instant Neural Graphics Primitives with a Multiresolution Hash Encoding. SIGGRAPH2022. T. Takikawa+. Variable Bitrate Neural Fields. SIGGRAPH2022. 51
52. 低次元に分解 各面（など）に分解して再構成 • Tri-plane：各面の特徴量を足し合わせてその点での特徴 量を記述，軽量なMLPでRFを出力 Hybrid Representationと命名 E. R. Chan+. Efficient Geometry-aware 3D Generative Adversarial Networks. CVPR2022. 52
53. 低次元に分解 各面（など）に分解して再構成 • TensoRF: テンソル分解によって各点のRadiance Fieldを ベクトル・行列積の和としてモデル化 MLPを経由せず，線形変換でRFに変換 A. Chen+. TensoRF: Tensorial Radiance Fields. ECCV2022. 53
54. 2Dでの応用例 Local Implicit Image Function (LIIF) • 画像を2DのNeural Fieldで記述 • 各座標値を入力，輝度値を返すようにモデル化 • 着目範囲をセルとして与える工夫 • 細かくサンプリングすることで超解像を実現 54 Y. Chen+. Learning Continuous Image Representation with Local Implicit Image Function. CVPR2021.
55. Neural Fieldとも考えられる構造 Parametric Continuous Convolutions 非グリッドな環境（点群を想定）での畳み込み 1. 局所領域を選択 2. 注目点との相対 座標→その点での 重みを出力 相対座標を入力して 関数を返すことで 連続な表現に ＝Neural Fieldと同じ アイデア Grid Convolution Continuous Convolution 55 S. Wang+. Deep Parametric Continuous Convolutional Neural Networks. CVPR2018.
56. Neural Fieldに近いアイデア 点群における物体検出手法 VoteNet • 点群を入力し，各点が属する物体の中心座標を推定 • 点群上で定義された「物体中心を指すベクトル場」と みなせる • 空間全体に拡張するとNeural Field 56 C. R. Qi+. Deep Hough Voting for 3D Object Detection in Point Clouds. ICCV2019.
57. まとめ •NeRFに至る研究の背景について， Neural Fieldの観点から紹介 「空間中の各点に対応した関数値」をニューラルネット ワークでモデル化 • 表面モデルのDeepSDF • 体積モデルのNeRF •NeRFが想定する光学的なモデルと， Neural Fieldによる実現について紹介 •特徴量のグリッド表現を紹介 さまざまな工夫によって高速な学習・推論を実現 57