Differentiable Adaptive 4D Structured Illumination for Joint Capture of Shape and Reflectance

物体に合わせてLEDアレイ＋LCDによる4D構造化照明を微分可能・適応的に最適化し，形状と材質を単一カメラで同時取得する手法を提案．微分可能レンダリングのアイデアを用い，深度の不確かさを最小化する次パターンを撮影しながら適応的に作り計測を行う．

Transcript

1. Spatial AI Network 勉強会（6/16） 紹介論文: Differentiable Adaptive 4D Structured Illumination for Joint Capture of Shape and Reflectance (CVPR 2026) 論文著者: Huakeng Ding, Yaowen Chen, Kun Zhou, Hongzhi Wu 発表担当: 千葉 直也（大阪大学）
2. 論文概要 LEDアレイ x LCDマスクが作る4D（空間×角度）構造化光 構造化光を物体に合わせてその場で微分可能に最適化 単一カメラで 形状と材質 （SVBRDF）を 同時に計測 2
3. 論文概要 LEDアレイ x LCDマスクが作る4D（空間×角度）構造化光 構造化光を物体に合わせてその場で微分可能に最適化 単一カメラで形状と材質（SVBRDF）を同時に計測 論文のアイデア： 各画素の「深度の不確かさ」を最小化する方向に， 次に当てる照明パターンを決める 結果（同システムでの既存手法と比較）： • 露光時間：最大100×短縮（複数LED同時） • 総取得時間：約2.4×高速（24分→10分） • 深度精度も向上 3
4. 計測対象 ゴール：現実物体のデジタル化 • 3D形状（深度／メッシュ）＋ 6D SVBRDF Spatially Varying Bidirectional Reflectance Distribution Function: 空間的に変化する反射特性 • 揃えば任意の視点・任意の照明でフォトリアルに描画できる • 応用：文化財アーカイブ，質感再現など 難しさ： • 形状は「光線を空間のどこに当てたか」 • 反射は「どの角度から当てたか」 • ・・・要求する光の構造が違う → 従来は別装置・別撮影 本研究：単一視点・単一カメラで両方を一度に計測する 4
5. アクティブ計測の理由 •カメラでの計測手法を大別すると，次の2つ • パッシブ（自然光・通常撮影） • アクティブ（既知パターンを能動投影） •アクティブ構造化照明の利点： • 高SNR • 能動的に計測できる → 逆問題を良条件化（低テクスチャなど） •既存研究： • 形状：空間パターン → 光線を符号化 → 三角測量 • 材質：角度パターン → 表面でBRDFと畳み込み → 復元 5
6. 形状のアクティブ計測 原理： 1. 空間的に区別できるパターンを投影 2. カメラ観測 3. プロジェクター画素とカメラ画素の対応を推定 4. 三角測量で深度計測 パターン設計の目的：符号化のロバスト性・計算効率・計測速度 例：位相シフト，グレイコード，Micro Phase Shifting 対応推定のメトリック：ZNCC（ゼロ平均正規化相互相関）が定番 → 本研究でも深度推定に採用 6 [16] M. Gupta+, Micro Phase Shifting. CVPR2012.
7. 材質の計測 材質（BRDF）は本来角度をしらみ潰しに走査 ・・・膨大な時間がかかる → 照明の多重化（マルチプレキシング）： • 複数角度の光を同時に強度変調 → 複数条件の測定から反射率を一括復元 • 少ない撮影枚数で計測でき，各計測でのSNRも向上 近年：照明パターンを手作り → 自動・学習で設計 本研究：多重化を4D（空間×角度）に拡張 7
8. 材質のモデル化 •SVBRDF（Spatially-Varying BRDF）： • 場所ごとに反射特性が異なる6次元の関数 • 出力は複数のテクスチャマップ •GGX：マイクロファセット系のBRDF，本研究の材質表現 あまり自分も調べられていない＆今回の本題から外れるので 詳しい紹介は省略 8 [41] B. Walter+, Microfacet Models for Refraction through Rough Surfaces. EGSR2007.
9. 関連研究：パターンの作り方 ハンドクラフトの優れた手法：Micro Phase Shifting（CVPR2012） • 狭い高周波バンド＋位相合成で相互反射・デフォーカスにロバスト． • 実質5〜7枚 • 本研究でも幾何ベースライン 9 [16] M. Gupta+, Micro Phase Shifting. CVPR2012.
10. 関連研究：パターンの作り方 微分可能最適化へ： à la carte（CVPR2018） • ZNCC＋softmaxで，復号誤りの期待値を 微分可能に最小化するよう 投影パターンを最適化． • 本研究でのマスク最適化に利用 10 [32] P. Mirdehghan+, Optimal Structured Light à la Carte. CVPR2018.
11. 関連研究：パターンの作り方 微分可能最適化へ： Optical SGD（CVPR2020） • 実機ループの光学的SGDで 画像ヤコビアンを実測し最適化 • Light Transportの線形性を利用して 変動させた画像を投影して ヤコビアンを計測する 11 [4] W. Chen+, Auto-tuning Structured Light by Optical Stochastic Gradient Descent. CVPR2020.
12. 関連研究：パターンの作り方 微分可能最適化へ：DDPS（CVPR2024） • 微分可能なモデル＋フォトメトリックステレオでパターンを最適化 • LCDモニタからの反射光で計測 12 [5] S. Choi+, Differentiable Display Photometric Stereo. CVPR2024.
13. 関連研究：学習型の多重化計測 オートエンコーダーの重み としてモデル化（ToG, 2018） • 照明パターンをエンコーダの 重みとして，モデルに 組み込んで最適化 • 16〜32枚でSVBRDFを計測 13 [17] K. Kang+, Efficient Reflectance Capture Using an Autoencoder. ToG, 2018.
14. 関連研究：学習型の多重化計測 Deep Gated MoE （TVCG, 2024） 128のMoEとして モデル化し， 画素ごとに デコーダーを選択 14 [29] X. Ma+, Efficient Reflectance Capture with a Deep Gated Mixture-of-Experts. TVCG, 2024.
15. 関連研究：学習型の多重化計測 OpenSVBRDF（ToG, 2023） • SVBRDFの1,000点のデータベース • 本研究のBRDFのデータ元 15 [28] X. Ma+, OpenSVBRDF: A Database of Measured Spatially Varying Reflectance. ToG, 2023.
16. 関連研究：学習型の多重化計測 Neural SI（CVPR2024） 動的な体積モデルに応用，プロジェクター＋3視点で計測 16 [45] Y. Zeng+, Real-time Acquisition and Reconstruction of Dynamic Volumes with Neural Structured Illumination. CVPR2024.
17. 関連研究：パターンの選択・生成 Information-Driven Adaptive SL（CVPR2016） • 構造化光法において， 相互情報量が最大の次パターンを Greedyに選択 • （劣モジュラ性で準最適性を 保証しているらしい） 17 [35] G. Rosman+, Information-Driven Adaptive Structured-Light Scanners. CVPR2016.
18. 関連研究：同型の計測システム（前身） Unified Spatial-Angular Structured Light（CVPR2023） • LEDアレイ＋LCDマスク＋単一カメラ • ライトフィールドプロジェクタとして 4D構造化光を提案 • 提案法でも同じシステムを利用 18 [43] X. Xu+, A Unified Spatial-Angular Structured Light for Single-view Acquisition of Shape and Reflectance. CVPR2023.
19. 関連研究：同型の計測システム（前身） Unified Spatial-Angular Structured Light（CVPR2023） • LEDアレイ＋LCDマスク＋単一カメラ • ライトフィールドプロジェクタとして4D構造化光を提案 • 提案法でも同じシステムを利用 既に実装されている要素技術： • 形状：最適化済みバイナリマスクを投影 • LCDマスク越しのボケを利用し，ZNCCで低解像度LCDを超える深度計測 • マスクは多クラス分類で最適化（à la carteを参考） • 材質：マスク透明化＋学習済み投影パターン（学習型の多重化計測を参考） GGXを16次元の潜在ベクトル＋MLPで再パラメータ化 ただし照明は事前最適化（計測対象によらず固定） 19 [43] X. Xu+, A Unified Spatial-Angular Structured Light for Single-view Acquisition of Shape and Reflectance. CVPR2023.
20. 本研究の新規性 •ヒストグラム確率モデル もともとは形状計測とアピアランスを逐次計測 → 深度不確かさを利用して形状と材質を同時計測 •適応的な計測 計測パターンを固定 → 物体に合わせて適応的に •LED・マスク同時多重化 1個ずつ投影していたため暗く，露光を長くしていた → LED点灯を多重化 20
21. 装置と制御変数 •構成： • RGB LEDアレイ：64×48＝3,072個，各LEDは 2mm×2mm の面光源 • LCDマスク：1,920×1,080 • カメラ：Canon EOS R5（45MP, 24mm, f/22） •制御変数（＝最適化する対象）はたった2つ： • ライトパターン 𝐿𝐿𝑗𝑗 𝑙𝑙 ∈ 0,1 ：𝑗𝑗番目パターンでのLED 𝑙𝑙の相対強度 • マスクパターン 𝑀𝑀𝑗𝑗 ：LCD各画素の透過 •推定したい未知数 各画素の深度と材質（後述） •内部／外部パラメータは校正済み 21
22. 計測の流れ •初期化： 各有効画素の深度とBRDFパラメータの確率分布を一様で初期化 •Stage 1：微分可能適応計測： 投影・マスクパターンを3枚作成 → 物理撮影 → 確率モデルをモンテカルロ更新 24ラウンドを3枚ずつ＝合計72回の計測 •Stage 2： fine-tuning 計測データで深度とBRDFを同時最適化 •出力：深度マップ ＋ GGXによる材質（テクスチャ群） 22
23. 提案法の全体像 23
24. 観測モデル 厳密形：𝐼𝐼𝑗𝑗,𝑘𝑘 = ∑𝑙𝑙 ∫ 𝐴𝐴 𝐿𝐿𝑗𝑗 𝑥𝑥𝑙𝑙 , −𝜔𝜔𝑘𝑘 𝑖𝑖 𝑀𝑀𝑗𝑗 𝑥𝑥𝑙𝑙 𝑥𝑥𝑘𝑘 𝑓𝑓𝑘𝑘,𝑙𝑙 𝐹𝐹𝐹𝐹𝐹𝐹 • 𝑥𝑥𝑙𝑙 : LED上の点 • 𝑥𝑥𝑘𝑘 : 画素の3D点 • 𝜔𝜔𝑘𝑘 𝑖𝑖 : 入射方向 • 𝜔𝜔𝑘𝑘 𝑜𝑜: 視線方向 • 𝐿𝐿𝑗𝑗 : LED放射輝度 • 𝑀𝑀𝑗𝑗 : 光線が液晶を通る位置の透過 • 𝑓𝑓𝑘𝑘,𝑙𝑙 : GGX BRDF値 • 𝐹𝐹 = 𝜔𝜔𝑘𝑘 𝑖𝑖 ⋅𝑛𝑛𝑘𝑘 + −𝜔𝜔𝑘𝑘 𝑖𝑖 ⋅𝑛𝑛𝑙𝑙 + 𝑥𝑥𝑙𝑙−𝑥𝑥𝑘𝑘 2 : フォームファクタ， 𝑥𝑥 + = max 𝑥𝑥, 0 で負の光を抑制 24
25. 観測モデル 厳密形：𝐼𝐼𝑗𝑗,𝑘𝑘 = ∑𝑙𝑙 ∫ 𝐴𝐴 𝐿𝐿𝑗𝑗 𝑥𝑥𝑙𝑙 , −𝜔𝜔𝑘𝑘 𝑖𝑖 𝑀𝑀𝑗𝑗 𝑥𝑥𝑙𝑙 𝑥𝑥𝑘𝑘 𝑓𝑓𝑘𝑘,𝑙𝑙 𝐹𝐹𝐹𝐹𝐹𝐹 小立体角で近似： 𝑓𝑓𝑘𝑘,𝑙𝑙 , F, 𝜔𝜔𝑘𝑘 𝑖𝑖 を積分範囲内で定数と近似 𝐿𝐿𝑗𝑗 𝑥𝑥𝑙𝑙 , −𝜔𝜔𝑘𝑘 𝑖𝑖 ≈ 𝐿𝐿𝑗𝑗 𝑙𝑙 Ψ −𝜔𝜔𝑘𝑘 𝑖𝑖 𝐿𝐿 𝑥𝑥𝑙𝑙 • 𝐿𝐿𝑗𝑗 𝑙𝑙 : LED輝度の相対強度 • Ψ −𝜔𝜔𝑘𝑘 𝑖𝑖 : 事前キャリブレーション済みの角度分布関数 • 𝐿𝐿 𝑥𝑥𝑙𝑙 : 5x5の事前キャリブレーション済みカーネル 25
26. 観測モデル 利用する観測モデル： 𝐼𝐼𝑗𝑗,𝑘𝑘 = � 𝑙𝑙 𝑓𝑓𝑘𝑘,𝑙𝑙 𝐹𝐹𝐿𝐿𝑗𝑗 𝑙𝑙 Ψ −𝜔𝜔𝑘𝑘 𝑖𝑖 � 𝐴𝐴 𝐿𝐿 𝑥𝑥𝑙𝑙 𝑀𝑀𝑗𝑗 𝑥𝑥𝑙𝑙 𝑥𝑥𝑘𝑘 𝑑𝑑𝑑𝑑 役割： • 校正済み（既知・固定）＝ Ψ, 𝐿𝐿 𝑥𝑥𝑙𝑙 ・・・カメラ／LED幾何 • 制御変数（各計測で調整）：𝐿𝐿𝑗𝑗 𝑙𝑙 , 𝑀𝑀𝑗𝑗 ・・・はライトとマスク • 未知数：深度（→𝑥𝑥𝑘𝑘 , 𝐹𝐹）と材質GGX 𝑓𝑓𝑘𝑘,𝑙𝑙 𝐼𝐼は各構成要素の微分可能関数 → 勾配ですべて最適化できる 26
27. 深度のモデル化 発想：各画素で深度をヒストグラムで持ち，その尖り具合で 不確かさをモデル化する 流れ： 1. 範囲決め：カメラ光線と有効体積から計算 2. 離散化：100 個の bin に等分 3. 各 bin のスコア： その深度候補が 投影済みパターン下で 出すZNCCの最大値 4. 正規化 27
28. 材質のモデル化 深度同様のヒストグラムで表現 • 範囲はOpenSVBRDFのデータ • スコアはL1 distanceの逆数 深度とGGXを独立にサンプリングして計算・更新 本来は違うが，計算できるように独立性を仮定 モンテカルロ更新 1. 全ヒストグラムを一様分布で初期化 2. 現在のPMFから n_sample＝600 個の候補をサンプル 3. 各候補のスコア（深度=ZNCC，BRDF=L1の逆数）を計算し， 対応 bin にその最良値を格納 4. 測定が増えるほど分布が真値周辺に収束 28
29. 不確かさのモデル化 目的関数：全画素の深度不確かさの総和 • 1画素の不確かさはCross Entropyで計算 • 現在のヒストグラムから候補をサンプル．各候補をそれ自身のクラスとみなす • 𝑦𝑦𝑎𝑎,𝑏𝑏 ：理想の尤度 • a＝b なら1、それ以外0（候補は自分自身にだけ分類されるべき） • � 𝑦𝑦𝑎𝑎,𝑏𝑏 ：次パターン下での実際の分類尤度 クロスエントロピーを下げると，各候補が紛れない → 候補同士を見分けやすい次パターンを選ぶ 29
30. 不確かさのモデル化 予測モデル：ZNCC の softmax � 𝑦𝑦𝑎𝑎,𝑏𝑏 = exp 𝑍𝑍𝑍𝑍𝑍𝑍𝑍𝑍 𝐼𝐼𝑗𝑗,𝑎𝑎 𝑗𝑗 , 𝐼𝐼𝑗𝑗,𝑏𝑏 𝑗𝑗 Σ𝑏𝑏′ exp 𝑍𝑍𝑍𝑍𝑍𝑍𝑍𝑍 𝐼𝐼𝑗𝑗,𝑎𝑎 𝑗𝑗 , 𝐼𝐼𝑗𝑗,𝑏𝑏′ 𝑗𝑗 � 𝑦𝑦𝑎𝑎,𝑏𝑏 が小さい（＝aとbが ZNCC的に非相関）ほど 損失が下がる → 候補間の測定を非相関化する観測を狙う 材質は少数枚でも比較的復元できるので， 深度（＝対応関係）が重要 30
31. fine-tuningとGGXパラメータ推定 初期化：各binをさらに5分割して，スコアの良いbinでサンプル → depth と各GGXの初期値 同時 fine-tuning： • 観測と微分可能レンダリングが一致するように， 深度と材質のパラメータを同時最適化 • GGXパラメータ推定： 直接最適化が難しいので16次元の潜在ベクトル→MLPで表現し最適化 • 潜在ベクトルはそれまでの観測から初期値設定 解像度：低解像度（127×64） →フル解像度へ段階的アップサンプリング ここはあまり高速化を考えておらず，約2時間の最適化計算 31
32. テクニック的な部分 •前景分割：SAMで前景を選択 •各パターン画素は sigmoid で [0,1] に マスクは二値が理想なので，大きい値を掛けてから sigmoid •バッチ計測：一度3枚を同時最適化（24回×3枚＝72枚） •全候補ではなく上位ピーク（3候補）だけ使う • 最良から大きく劣る候補：解になり得ない • 最良に近すぎる候補：LCD解像度的に区別不能 → 無理に分離しない • 計算も効率化 •カメラ解像度： 適応取得時は127×64にダウンサンプル，後にフルで最適化 32
33. 計測の例 33
34. 結果 同じパターン数で適応 ＞ 非適応 ＞前身＞ MPS 34
35. Ablation 全LED活用 vs 単一光源： 1個のLEDだけだと影領域で深度が破綻 → 本手法は異なる方向から光 を当て、影が減りより完全な深度 35
36. Ablation 材質推定 • 最適化に使っていない新規照明下でrelightingし， 実写真と検証したところ前身手法と同等 • 深度の不確かさだけの最適化の結果，材質もちゃんと高品質に計測できた 36
37. Ablation •適応 vs 非適応：適応が一貫して優位 •パラメータ依存性（深度RMSE 代表値）： • パターン数：36→54→72 で 4.95→4.94→4.78 • n_sample：100→300→600 で 1.87→1.79→1.75 • n_batch：2/3/6 で 3.57/3.54/3.59 ・・・ 3 が最良 • n_peak：2/3/6 で 2.40/2.30/2.40 ・・・ 3 が最良 • n_bin：50→75→100 で 7.58→7.53→7.30 • 入力解像度：512×256 / 254×128 / 127×64 で 4.20/4.17/3.71 （低解像でも十分） •既定値は精度と計算のバランスで妥当 • n_bin=100, n_sample=600, n_batch=3, n_peak=3, 72枚, 127×64 37
38. Limitation •間接照明を未考慮なので相互反射に弱い •表現力に限界がある 深度マップ＋パラメトリックBRDF（GGX）では 毛・半透明・強い異方性ハイライトが苦手 •取得は速いがfine-tuningが遅い 38
39. まとめ 物体に合わせ4D構造化照明を利用して，形状・材質を計測 • 微分可能・適応的にパターンを最適化 • 深度の不確かさを最小化する次パターンの適応的な最適化 39