Blurred LiDAR for Sharper 3D: Robust Handheld 3D Scanning with Diffuse LiDAR and RGB

CVPR 2025で発表が予定されている"Blurred LiDAR for Sharper 3D: Robust Handheld 3D Scanning with Diffuse LiDAR and RGB"の論文の内容をまとめたスライドです。
- 低精度かつ広範な領域の深度を得るDiffuse LiDARを用いて、カバレッジ性の高い3D reconstruction手法を提案
- シーンの特性に合わせてDiffuse LiDARとRGBの重み付けを動的に行うことで、低SNR領域でも精細な再構築が可能

Transcript

1. 〇梅村歩（東北大），宇野健太朗（東北大），ミカエル・レネ（東北大），吉田和哉（東北大） 1/8 Spatial AI 勉強会 2025.4.1 Blurred LiDAR for Sharper 3D: Robust Handheld 3D Scanning with Diffuse LiDAR and RGB Nikhil Behari, Aaron Young, Siddharth Somasundaram, Tzofi Klinghoffer, Akshat Dave, Ramesh Raskar 東北大学大学院 梅村歩 Paper: https://arxiv.org/pdf/2411.19474 Website: https://nikhilbehari.github.io/bls3d-web/ Conference: CVPR 2025
2. 扱う問題: 3D Reconstruction 求められる要件 1. ローコストかつ精細な復元が可能であること 2. テクスチャレス、暗所等の領域も復元可能であること 復元対象 出力 2
3. 既存手法 • RGBを活用した手法 NeRF, Gaussian Splatting, Surfels… 問題点：ローテクスチャ、暗所、低アルベド（反射）領域の深度が得にくい • Sparse LiDARと併用した手法 LiDARの測定値を学習に考慮することで、低SNRな環境でも深度推定が可能 Limitation: 測定領域がスパースである以上、十分な深度情報を得るには多くのキャプチ ャが必要 3
4. 着眼点(1): Diffuse LiDARの利用 • Diffuse LiDARは一測定単位から広範な領域の深度を一度に得る事が可能 • 複数の深度が統合された状態で出力される →計測は曖昧になるが、情報は保持されている状態。Sparseよりも少ないキャプチ ャ数でシーン全体の再構築が可能に（次スライドで検証） 𝑖 𝑡 : ToF measurement 𝑥: 計測点 4
5. 着眼点(2)：RGBとの相補的な活用 • RGBは高密度な色情報、空間的情報を提供 • Diffuse LiDARは低SNRにロバストかつ、カバレッジの広い情報を提供 • シーンの領域ごとに、どちらかの測定を優先的に活用することで、Diffuse LiDARの 曖昧な計測を補完 5
6. 本研究の主要な貢献 研究の貢献 • 低SNRかつキャプチャが少ない条件下でも、Diffuse LiDARとRGBを活用することで、 高精細なシーンの復元が可能であることを示した • シーンの特性に合わせてRGBとDiffuse LiDARの重み付けを動的に行う手法を提案 前提条件 • 静的な環境を対象とする。シーン中に鏡面反射する物体は存在しない • 各センサーの姿勢は既知 6
7. シーンのCoverage率の検証
8. シーンのカバレッジ率について 目的：LiDARの観測回数に対するシーンのカバレッジ率を調査 単一rayの観測値𝒚を以下の式で表せるものとする。（𝒙: シーンのジオメトリ） 𝒚 = 𝑨𝒙 Aはセンサーの特性やconfigurationから一意に求まる 例 0 1 0 1 0 0 0 1 0 𝑥1 𝑥2 𝑥3 = 𝑥2 𝑥1 𝑥2 Sparse LiDARの場合 Diffuse LiDARの場合 𝛼 𝛽 𝛾 𝛿 𝜀 𝜖 𝜁 𝜊 𝜋 𝑥1 𝑥2 𝑥3 = 𝛼𝑥1 + 𝛽𝑥2 + 𝛾𝑥3 … … 外パラやセンサーの応答特性から推定 Aの行数=観測回数 シーン(x)のカバレッジ率=Aのrank数 と解釈できる 8
9. シーンのカバレッジ率の比較 • Diffuse LiDARの特性上、線形独立な組み合わせ が増えやすい • シーンのカバレッジ率が上昇しやすい • Sparse LiDARは1観測につき１深度 • 同じ𝒙を観測した場合は冗長に 0 1 0 1 0 0 0 1 0 𝑥1 𝑥2 𝑥3 = 𝑥2 𝑥1 𝑥2 Sparse LiDAR Diffuse LiDAR 𝛼 𝛽 𝛾 𝛿 𝜀 𝜖 𝜁 𝜊 𝜋 𝑥1 𝑥2 𝑥3 = 𝛼𝑥 + 𝛽𝑥2 + 𝛾𝑥3 … … 9
10. 提案手法
11. 手法の大まかな概要 Real data Gaussian Surfel Rendered data Photometric, KL divergence loss Optimize 以降は各データのレンダリングについて説明 11
12. Gaussian Surfel Gaussian Surfel • 3Dガウシアンの法線方向を0にして3次元物体の表面として活用 12 • rayの交差点を明確に定義することで、深 度の精度向上 • 法線方向を明確に定義することで、最 適化計算の効率向上
13. RGB rendering • 半正定値性を担保するために共分散行列を固有値分解して保持 • Z軸方向のスケールを0にしてSurfelに 𝒔 = 𝑠1 , 𝑠2 , 0 𝑇 ※各要素は3D gaussianの主成分の大きさ あとは通常のGaussian splattingと同様に、Gaussian kernelを算出 𝑺 = 𝑑𝑖𝑎𝑔(𝒔) 3D ガウシアンの式 (Rは3D gaussianの回転行列) 𝑥𝑖: Surfelの位置 𝒓𝐢: Surfelのrotation 𝒔𝑖 :scaling 𝑜𝑖: opacity 𝐶𝑖: color 13
14. RGB rendering (2) Surfel Rasterization 画像平面上の共分散行列の算出 RGB rendering (alpha blending) 𝑇𝑖: 透過率 𝛼i: 不透明度 𝑐𝑖 : color 𝑱: 射影行列のヤコビアン 𝑾: view transformation 14
15. Transient Rasterization Surfel rendering 1 − 𝑇𝑛+1 = σ𝑖=0 𝑛 𝑇𝑖 𝛼𝑖 であるため、𝑇𝑖 𝛼𝑖 を係数にした𝑑𝑖 (𝒖)の重み付き平均 投影操作は非線形なので、surfelの奥行きから線形近似で求める ※𝑑𝑖 (𝒖): rayとsurfelの交差点の深度 𝑑𝑖 𝒖𝒊 : 各surfelの中心点の深度 W: カメラ座標系へのtransform R: surfelの回転 𝑱𝒑𝒓 −𝟏: 逆投影操作のヤコビアン行列 𝒖𝒊 : surfelの中心点を投影した座標 𝒖: rayのサンプル位置 𝑑𝑖 (𝒖𝒊 ) 𝑑𝑖 (𝒖) 補正 15
16. Transient Rasterization Diffuse LiDARのToF measurementのモデル化 t Surface Diffuse LiDAR a) rayをサンプリング b) Transient histogram形成 c) Weighted Summation 𝑑𝑠 Discrete samplingの場合 T … Δt b) 2𝑑𝑠 ∆𝑡 ※𝑑𝑠 は時間単位 1 T … 𝜔𝛽𝑠 Soft histogrammingを採用（最適化効率向上） 𝛽𝑠 𝛽𝑠 𝜔𝛽𝑠 = 1 − 2𝑑𝑠 ∆𝑡 − 𝐵𝑠 𝜔𝛽𝑠+1 = 1 − 𝜔𝛽𝑠 𝜔𝛽𝑠+1 𝛿[𝑡 − 𝑡′] t’ 16
17. Transient Rasterization (2) Diffuse LiDARのToF measurementのモデル化 t Surface 𝑆 Diffuse LiDAR a) rayをサンプリング b) Transient histogram形成 c) Weighted Summation c) 𝑖(𝑡) 𝛿[𝑡 − 𝑡′] t’ 𝒓 𝑜𝑠 : Surfelの不透明度 17
18. Scene adaptive loss 観測領域に応じて、Photometric lossとKL lossの重みを動的にチュー ニングする機構 Rendering Gaussian Surfel Histogram KL loss Photometric loss 18
19. RGB情報の信頼性の定義 テクスチャ量やSNR値からRGB情報の有用性を定量化 • RGBをパッチに分解（パッチ一辺の長さはDiffuse LiDARの 測定単位に揃える） 𝜔𝑠𝑛𝑟 = 𝜇𝑝 𝜎𝑝 2 , 𝜔𝑡𝑒𝑥𝑡𝑢𝑟𝑒 = 𝜎𝑝 2 𝑝: 𝑝𝑎𝑡𝑐ℎ 各測定単位ごとにRGBの重みを定義 … … 𝑥 = 𝜔𝑡𝑒𝑥𝑡𝑢𝑟𝑒 𝜖 = 𝑎𝜔𝑠𝑛𝑟 + 𝑏 ※aの値は負であれば正しく機能すると思われる 19
20. 各種ロス RGB loss: L1 lossとSSIM lossの重み付け Transient loss: KL divergence loss ෩ 𝑪, 𝑪: Rendered, GT image 20 transient
21. 評価実験
22. Simulated Experiments ベースライン • Gaussian Surfel (w. RGB) • 単眼Depth＋Gaussian surfel • Sparse LiDAR+ Gaussian Surfel シミュレーション概要 • Diffuse LiDAR (測定単位が8 × 8 pixel) • Sparse LiDAR (Diffuse LiDARの各パッチの中心点を計測点とする) その他 • RGBに4つのバリエーションを用意 • キャプチャ数は訓練用、テスト用ともに10 22
23. 定量評価 Blender Chair Hotdog Lego テクスチャがフルに使える場合は、単眼depthによる法線推定が優れている 23
24. 定性評価 Diffuse LiDARのcoverage率の高 さが効いてる 24
25. Low SNR conditions RGBのSNR値を減少させて、深度 の精度の変化を観測 RGB+Sparse LiDARの精度も悪化 していることから、 少ないキャプ チャ数ではRGB情報が補完してい ることがわかる 25
26. Real World Experiments AMS TMF8828 ToF sensor + Realsense D435i 密なD435iの深度マップから深度をサブサンプルしてsparse lidarの出力を再現 ※Capture nums: 90 26
27. Ablation study • LiDARのみで3D reconstructionを行った際の精度比較 • ロスの計算もTransient lossのみ • Scene adaptive lossが良い仕事をしているとあるが、RGBを使っていない状態でど うプラスに働いているのかがわからない… 27
28. Limitation & 所感 Limitation • Sensorのposeはすでに得られている前提であること • 動的な環境下では適切に動作しないこと 所感 • 未開拓のセンサから可能性を見出して、実際に有用性を示した点が面白いと感じた • Supplementaryが見つからず、論文の意図を把握しきれなかったことが残念 28