Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Neural Fieldの紹介

Naoya Chiba
December 10, 2024

Neural Fieldの紹介

何回かの講演スライドをNeural Fieldの紹介としてまとめ直しました.
誤りなどあればお知らせください.

Naoya Chiba

December 10, 2024

Transcript

57 slides
  1. Neural Field以前の3D形状表現 代表的な3D形状表現を紹介 ボクセル • グリッド上に情報を 並べて表現 • 空間解像度の3乗で メモリを消費するため

    空間解像度が上げにくい 空間座標:離散 データ点:離散 表面の記述:あり 4 *: L. Mescheder+. Occupancy Networks: Learning 3D Reconstruction in Function Space, CVPR2019 *ボクセルの例
  2. Neural Field以前の3D形状表現 代表的な3D形状表現を紹介 点群 • 三次元点の座標の集合で 形状を記述する • 非グリッドな記述であり メモリ効率よく

    空間解像度の高い表現 • 点群深層学習が発展 • 明示的に表面は記述して いない 空間座標:連続 データ点:離散 表面の記述:なし 5 *: L. Mescheder+. Occupancy Networks: Learning 3D Reconstruction in Function Space, CVPR2019 *点群の例
  3. Neural Field以前の3D形状表現 代表的な3D形状表現を紹介 メッシュ • 頂点・(辺・)面の 集合で形状を記述 • 非グリッドな記述 •

    頂点の座標が離散なので 滑らかな表現は難しい 空間座標:連続 データ点:離散 表面の記述:あり 6 *: L. Mescheder+. Occupancy Networks: Learning 3D Reconstruction in Function Space, CVPR2019 *メッシュの例
  4. Neural Fieldによる表面モデル ボクセル・点群・メッシュなどは陽なデータ表現 =直接データ点を保持,記述 これらの非構造データの処理も面白い課題,今回は省略 Neural Fieldを用いた表面モデル= Implicit Surface Representationが登場

    空間座標:連続 データ点:連続 離散な点について 好きなだけクエリする 表面の記述:あり 7 *: L. Mescheder+. Occupancy Networks: Learning 3D Reconstruction in Function Space, CVPR2019 ボクセル 点群 メッシュ Neural Field *
  5. Neural Fieldによる表面モデル Neural Fieldを用いた表面モデル • DeepSDF(今回主に紹介) • Occupancy Network •

    IM-Net がほぼ同時期(すべてCVPR2019)に提案 ニューラルネットワークで陰に表面形状を 記述するというアイデアは共通 どのような関数を経由するか・表現の利用方法に差異 8
  6. Fieldによる表面形状表現 Fieldによる表面形状の記述とは 空間中の各点での値を返す関数の等高面で形状を記述 𝑓𝑓 𝑥𝑥; 𝜃𝜃 = 𝜏𝜏 • 𝜃𝜃:

    形状を表すパラメータ • 𝑥𝑥: 座標 • 𝜏𝜏: 等高面の高さ 𝑓𝑓𝜃𝜃 𝜏𝜏 記述したい形状 9
  7. Implicit Function系手法の紹介 •メタボール:濃度分布をもつ球の集合で形状を定義 等高線で表面形状を表す •陰関数表現:メタボールの一般化 • 内側・外側で符号を変えることで向きを 表現(Signed Distance Function:

    SDF) • SDFの勾配方向を計算することで 法線も同時に得られる • Marching Cubes法などの等値面抽出手法で メッシュを再構成できる William E. Lorensen+, Marching Cubes: A high resolution 3D surface construction algorithm. SIGGRAPH1987. 10 Wikipedia: メタボール
  8. DeepSDFの紹介 形状ごとのSigned Distance Function (SDF)を ニューラルネットワークで学習 シンプルなネットワークで三次元形状が記述できる Neural Fieldなのでなめらかな表面が表せる Signed

    Distance Function (SDF) 𝑓𝑓 𝒙𝒙 � > 0(物体の外側) = 0(物体の表面) < 0(物体の内側) 11 J. J. Park+. DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation. CVPR2019.
  9. Codeの決め方 オートデコーダー • 形状ごとにCodeを設定 • デコーダーを同時にCodeも最適化 • 初期値はランダムに与える • 推論時は与えられたサンプル点の集合から

    Codeについて最適化,SDFを得る 14 J. J. Park+. DeepSDF: Learning Continuous Signed Distance Functions for Shape Representation. CVPR2019.
  10. 学習方法 ロス関数 L1ロス with clamp,SDFの値を −𝛿𝛿, 𝛿𝛿 の範囲に限定 ℒ =

    clamp 𝑓𝑓𝜃𝜃 𝑥𝑥 , 𝛿𝛿 − clamp 𝑠𝑠, 𝛿𝛿 • clamp ⋅, 𝛿𝛿 : 値を −𝛿𝛿, 𝛿𝛿 に限定 • 𝑠𝑠: 教師信号 学習する点のサンプリング • 一つの形状についていくつものサンプル点を与えて学習 • 表面付近を重点的にサンプリング& 空間全体でサンプリング 15
  11. 表面点群のみからSDFを学習 Implicit Geometric Regularization [A.Gropp+, ICML2020] • 表面点群(=Implicit Functionのゼロ面上の点)から Implicit

    FunctionによりSDFを学習 • 適切な初期化と空間中での勾配に関する制約(SDFの 勾配があらゆる点で1になる)を用いて学習 19 A. Gropp+. Implicit Geometric Regularization for Learning Shapes. ICML2020.
  12. 他の表面モデル 20 Occupancy Network • SDFではなくその点での 占有率でモデル化 • 占有しているかどうかの 二値分類と考え,

    Cross-entropy Lossで学習 • エンコーダーと 組み合わせ,画像からの 3D再構成や低解像度の ボクセル表現からの 超解像も実現 L. Mescheder+. Occupancy Networks: Learning 3D Reconstruction in Function Space, CVPR2019
  13. 表面モデルから体積モデルへ Neural Fieldのアイデアが3D表現を革新 シンプルなネットワークで複雑な形状を モデル化できるようになった 表面モデルのlimitation • 半透明・構造色を含むシーンには対応していない • 3Dの教師データが必要

    → NeRF (Neural Radiance Field) の登場 • 体積(Volumetric)ベースのモデル • 多視点画像のみから任意視点画像生成を可能に • 視点依存性にも対応 • (オリジナルのNeRFでは)シーンごとに最適化, DeepSDFのようにCodeで制御しない 23
  14. NeRFの紹介 NeRF (Neural Radiance Field) [Ben Mildenhall+, ECCV2020] • 新規視点画像生成(Novel

    View Synthesis)を行う あるシーンの多視点画像を学習しておき, そのシーンの任意視点での画像を推定できるように • アプローチ • Radiance Field (放射輝度場)をNNでモデル化 • Volume Renderingを深層学習フレームワーク上で 計算,シーンごとに勾配ベースで最適化 24 B. Mildenhall+. NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis. ECCV2020.
  15. Radiance FieldとVolume Rendering Radiance Field =ある点・ある視点についての放射輝度 NeRFでは色と密度でモデル化 色:𝑐𝑐 𝐫𝐫 𝑡𝑡

    , 𝐝𝐝 … 色については座標と見る角度𝐝𝐝に依存 密度: 𝜎𝜎 𝐫𝐫 𝑡𝑡 … 密度は座標にのみ依存 Radiance FieldについてVolume Renderingすると • 見る角度で色が変わるシーンに対応 • 霧・煙などにも対応 できる 25
  16. Volume Rendering 光線上の放射輝度を足し合わせたもの 28 影響小:ここは素通り 影響大:ここで反射 影響小:ここは隠れている 𝑇𝑇 𝑡𝑡 =

    exp − � 𝑡𝑡𝑛𝑛 𝑡𝑡 𝜎𝜎 𝐫𝐫 𝑠𝑠 𝑑𝑑𝑑𝑑 ある点までの密度の積分: どれくらい既に隠れているか
  17. Volume Rendering 画像=光線に対応した画素の輝度値を並べたもの 画素の輝度値 =光線上の放射輝度を足し合わせたもの 29 𝐶𝐶 𝐫𝐫 = �

    𝑡𝑡𝑛𝑛 𝑡𝑡𝑓𝑓 𝑇𝑇 𝑡𝑡 𝜎𝜎 𝐫𝐫 𝑡𝑡 𝑐𝑐 𝐫𝐫 𝑡𝑡 , 𝐝𝐝 𝑑𝑑𝑑𝑑 𝑇𝑇 𝑡𝑡 = exp − � 𝑡𝑡𝑛𝑛 𝑡𝑡 𝜎𝜎 𝐫𝐫 𝑠𝑠 𝑑𝑑𝑑𝑑 その点の密度 その点の色 (方向を考慮) そこまでの密度 画素の色 これを深層学習フレームワークで実装し 微分可能なボリュームレンダリングを実現, NeRFの最適化が可能になった
  18. Volume Rendering 光線上の放射輝度を足し合わせたもの 30 𝐶𝐶 𝐫𝐫 = � 𝑡𝑡𝑛𝑛 𝑡𝑡𝑓𝑓

    𝑇𝑇 𝑡𝑡 𝜎𝜎 𝐫𝐫 𝑡𝑡 𝑐𝑐 𝐫𝐫 𝑡𝑡 , 𝐝𝐝 𝑑𝑑𝑑𝑑 𝑇𝑇 𝑡𝑡 = exp − � 𝑡𝑡𝑛𝑛 𝑡𝑡 𝜎𝜎 𝐫𝐫 𝑠𝑠 𝑑𝑑𝑑𝑑 その点の密度 その点の色 (方向を考慮) そこまでの密度 画素の色 その部分まで見通せる& その点で密度が高い → その点での放射輝度を採用 密度小さい → 影響小
  19. Volume Rendering 光線上の放射輝度を足し合わせたもの 31 𝐶𝐶 𝐫𝐫 = � 𝑡𝑡𝑛𝑛 𝑡𝑡𝑓𝑓

    𝑇𝑇 𝑡𝑡 𝜎𝜎 𝐫𝐫 𝑡𝑡 𝑐𝑐 𝐫𝐫 𝑡𝑡 , 𝐝𝐝 𝑑𝑑𝑑𝑑 𝑇𝑇 𝑡𝑡 = exp − � 𝑡𝑡𝑛𝑛 𝑡𝑡 𝜎𝜎 𝐫𝐫 𝑠𝑠 𝑑𝑑𝑑𝑑 その点の密度 その点の色 (方向を考慮) そこまでの密度 画素の色 その部分まで見通せる& その点で密度が高い → その点での放射輝度を採用 見通せる&密度大 → 影響大
  20. Volume Rendering 光線上の放射輝度を足し合わせたもの 32 𝐶𝐶 𝐫𝐫 = � 𝑡𝑡𝑛𝑛 𝑡𝑡𝑓𝑓

    𝑇𝑇 𝑡𝑡 𝜎𝜎 𝐫𝐫 𝑡𝑡 𝑐𝑐 𝐫𝐫 𝑡𝑡 , 𝐝𝐝 𝑑𝑑𝑑𝑑 𝑇𝑇 𝑡𝑡 = exp − � 𝑡𝑡𝑛𝑛 𝑡𝑡 𝜎𝜎 𝐫𝐫 𝑠𝑠 𝑑𝑑𝑑𝑑 その点の密度 その点の色 (方向を考慮) そこまでの密度 画素の色 その部分まで見通せる& その点で密度が高い → その点での放射輝度を採用 見通せない → 𝑇𝑇 𝑡𝑡 が小さい → 影響小
  21. 余談:レンダリング方程式 レンダリング方程式 𝐿𝐿𝑜𝑜 𝑥𝑥, 𝜔𝜔𝑜𝑜 = 𝐿𝐿𝑒𝑒 𝑥𝑥, 𝜔𝜔𝑜𝑜 +

    ∫ 𝑆𝑆2 𝑓𝑓 𝑥𝑥, 𝜔𝜔𝑖𝑖 , 𝜔𝜔𝑜𝑜 𝐿𝐿𝑖𝑖 𝑥𝑥, 𝜔𝜔𝑖𝑖 𝜔𝜔𝑖𝑖 ⋅ 𝑛𝑛 d𝜔𝜔𝑖𝑖 • 𝐿𝐿𝑜𝑜 : ある点である方向に出てくる光 • 𝐿𝐿𝑒𝑒 : その点でその方向への発光 • 𝐿𝐿𝑖𝑖 : その点でその方向への出力光に関する, ある方向からの入力光 • 𝑥𝑥: 着目点の座標 • 𝜔𝜔𝑜𝑜 : 光の出る方向 • 𝜔𝜔𝑖𝑖 : 光の入る方向 • 𝑛𝑛: 法線方向 • 𝑆𝑆2: 球面全体について 33
  22. 余談:レンダリングでの定式化との関係 レンダリング方程式 𝐿𝐿𝑜𝑜 𝑥𝑥, 𝜔𝜔𝑜𝑜 = 𝐿𝐿𝑒𝑒 𝑥𝑥, 𝜔𝜔𝑜𝑜 +

    ∫ 𝑆𝑆2 𝑓𝑓 𝑥𝑥, 𝜔𝜔𝑖𝑖 , 𝜔𝜔𝑜𝑜 𝐿𝐿𝑖𝑖 𝑥𝑥, 𝜔𝜔𝑖𝑖 𝜔𝜔𝑖𝑖 ⋅ 𝑛𝑛 d𝜔𝜔𝑖𝑖 NeRFでは単純化して 𝐿𝐿𝑜𝑜 𝑥𝑥, 𝜔𝜔𝑜𝑜 = 𝑁𝑁𝑁𝑁 𝑥𝑥, 𝜔𝜔𝑜𝑜 → 入射光に関して放射輝度が変化しない (=ライティングは一定)と仮定 34
  23. 余談:レンダリングでの定式化との関係 ボリュームレンダリング方程式 (数式自体はやたらややこしいので省略) 表面での反射(レンダリング方程式)に加え, • 光の吸収 • 光の散乱(in scattering /

    out scattering) • 発光 の影響を考える. これを光線にしたがって積分(NeRFでやっていること) すると,観測される輝度値になる (さらに余談:この文脈で密度𝜎𝜎は散乱係数と呼ばれる) 35
  24. NeRFのモデル化の限界 •シーンについて • 単独のシーンについて最適化 • 複数のシーンは扱えない • 変形を含むシーン(時系列など)は扱えない •光学現象について •

    密度と放射輝度でモデル化 • 方向による輝度値変化(鏡面反射や構造光)は扱える • 散乱を含むシーン(煙など)は扱える • ただし実際やってみるといずれもきれいには最適化できない, あくまでモデルとして可能であるの意味 • ライティングの変化は扱えない 36
  25. ネットワーク構造 シンプルなMLPでRadiance Fieldをモデル化 光線上の各点についてクエリし Volume Renderingする 座標の入力 視点角度の入力 密度の出力 色の出力

    39 Ben Mildenhall+. NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis. ECCV2020. ここで方向を 入れるので, 色のみ視点依存
  26. 別の歴史的背景 メッシュベースの微分可能レンダリング • Neural 3D Mesh Renderer • 画像上からパラメータの勾配を計算 (勾配が通るようにBack

    Prop.を書き換え) • メッシュの頂点座標やテクスチャを最適化できるように 40 H. Kato+. Neural 3D Mesh Renderer. CVPR2018.
  27. 出力の例 細かい箇所まで良好な画像を出力 正解 出力 正解 出力 シーン シーン 41 Ben

    Mildenhall+. NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis. ECCV2020.
  28. NeRFを空間方向に分解する 一つのMLPでモデル化すると重い → 部分ごとに分割して情報を保持すれば良い MLP 視点 𝑑𝑑 � 密度 𝜎𝜎

    色 𝑐𝑐 MLP等 � 密度 𝜎𝜎 色 𝑐𝑐 うまい データ 構造 NeRFの模式図 グリッドを用いたRFの模式図 座標 𝑥𝑥 視点 𝑑𝑑 座標 𝑥𝑥 44
  29. 小さいNeRFに分割 NeRFをそのままグリッドで部分ごとに分割 • kiloNeRF, FastNeRFなど • 各座標でのRadiance Fieldの評価で,毎回 全体のMLPを計算しない •

    座標に対応した軽量な MLPのみ評価することで 大幅に高速化 C. Reiser+. KiloNeRF: Speeding up Neural Radiance Fields with Thousands of Tiny MLPs. ICCV2021. 45
  30. Hash / Codebook ハッシュ / コードを用いてコンパクトな特徴量表現 • Instant-NGP Multiresolution Hash

    Encodingで ハッシュ化・特徴量をルックアップ • VQAD: Softmaxで頂点のコードを学習可能にし最適化 T. Müller+. Instant Neural Graphics Primitives with a Multiresolution Hash Encoding. SIGGRAPH2022. T. Takikawa+. Variable Bitrate Neural Fields. SIGGRAPH2022. 51
  31. 2Dでの応用例 Local Implicit Image Function (LIIF) • 画像を2DのNeural Fieldで記述 •

    各座標値を入力,輝度値を返すようにモデル化 • 着目範囲をセルとして与える工夫 • 細かくサンプリングすることで超解像を実現 54 Y. Chen+. Learning Continuous Image Representation with Local Implicit Image Function. CVPR2021.
  32. Neural Fieldとも考えられる構造 Parametric Continuous Convolutions 非グリッドな環境(点群を想定)での畳み込み 1. 局所領域を選択 2. 注目点との相対

    座標→その点での 重みを出力 相対座標を入力して 関数を返すことで 連続な表現に =Neural Fieldと同じ アイデア Grid Convolution Continuous Convolution 55 S. Wang+. Deep Parametric Continuous Convolutional Neural Networks. CVPR2018.
  33. まとめ •NeRFに至る研究の背景について, Neural Fieldの観点から紹介 「空間中の各点に対応した関数値」をニューラルネット ワークでモデル化 • 表面モデルのDeepSDF • 体積モデルのNeRF

    •NeRFが想定する光学的なモデルと, Neural Fieldによる実現について紹介 •特徴量のグリッド表現を紹介 さまざまな工夫によって高速な学習・推論を実現 57

More Decks by Naoya Chiba

Other Decks in Research