MIRU2020若手プログラム "Non-line-of-sight Surface Reconstruction Using the Directional Light-cone Transform"

MIRU2020若手プログラムのグループEの発表資料です．
- 秋山 諒(NTTコミュニケーション科学基礎研究所)
- 福井 宏祐(大阪大学)
- 前田 涼汰(兵庫県立大学)
- 國益 良太(九州工業大学)

1. 秋山 諒（NTTコミュニケーション科学基礎研究所） 福井 宏祐（大阪大学） ◦前田 涼汰（兵庫県立大学） 國益 良太（九州工業大学） 1 MIRU2020 若手プログラム 論文プレゼンテーション Non-line-of-sight Surface Reconstruction Using the Directional Light-cone Transform
2. Non-line-of-sight Surface Reconstruction Using the Directional Light-cone Transform Sean I. Young, David B. Lindell, Bernd Girod, David Taubman, Gordon Wetzstein CVPR2020 2
3. Non-line-of-sight Surface Reconstruction Using the Directional Light-cone Transform Sean I. Young, David B. Lindell, Bernd Girod, David Taubman, Gordon Wetzstein CVPR2020 3
4. Non-line-of-sight ? 4 カメラはドアしか見えないが… http://web.media.mit.edu/~raskar/cornar/
5. Non-line-of-sight ? 5 1回反射 2回反射 3回反射 カメラはドアしか見えないが… 部屋の中が見れるのでは！？ http://web.media.mit.edu/~raskar/cornar/
6. Non-line-of-sight ? 6 1回反射 2回反射 3回反射 カメラはドアしか見えないが… 部屋の中が見れるのでは！？ http://web.media.mit.edu/~raskar/cornar/ 直接観測できないシーンを推定!
7. How to see around corners 7 https://youtu.be/JWDocXPy-iQ
8. 自動運転での人や車の検出 8 http://web.media.mit.edu/~raskar/cornar/
9. 災害現場での生存者の位置推定 9 http://web.media.mit.edu/~raskar/cornar/
10. 内視鏡検査でアクセスが難しい部位を観測 10 http://web.media.mit.edu/~raskar/cornar/
11. 元祖NLOS 11 2008 Raskarらにより，NLOSの提案（Looking around the corner） 2009 Kirmaniらにより，平面のパッチに限定して復元できることを確認 （元祖NLOS） 2012 Veltenらにより，完全な３次元復元を実現
12. 近年ホットなNLOS 12 Computational Photographyの分野では，NLOSがホット ICCP2019ではNLOSだけのセッションが CVPR2019のBest PaperにNLOS [Xin et al]
13. 今回紹介 NLOS in CVPR2020 13 Chopite et al, Deep Non-Line-Of-Sight Reconstruction Scheiner et al, Seeing Around Street Corners: Non-Line-of-Sight Detection and Tracking In-the-Wild Using Doppler Radar Isogawa et al, Optical Non-Line-of-Sight Physics-based 3D Human Pose Estimation Young et al, Non-line-of-sight Surface Reconstruction Using the Directional Light- cone Transform Tanaka et al, Polarized Non-Line-of- Sight Imaging
14. NLOSの分類 ① 14 Time-of-Flight (ToF) 光強度 [Velten et al, Nature 2012] [O’Toole et al, Nature 2018] [Heide et al, SIGGRAPH 2019] [Lindell et al, SIGGRAPH 2019] [Manna et al, TPAMI 2019] [Tsai et al, CVPR 2017] [Xin et al, CVPR 2019] [Tsai et al, CVPR 2019] [Young et al, CVPR 2020] : コヒーレンス [Katz et al, Nature 2012] [Bertolotti et al, Nature 2012] [Smith et al, CVPR 2018] [Batarseh et al, Nature 2018] [Bouman et al, ICCV 2017] [Baradad et al, CVPR 2018]
15. NLOSの分類 ② 15 音 遠赤外線 [Maeda et al, ICCP 2019] [Kaga et al, TCVA 2019] [Lindell et al, CVPR 2019] [Abib et al, SIGCOMM 2013] [Abib et al, SIGA 2015] [Scheiner et al, CVPR 2020] 電波
16. Time-of-Flight方式のNLOS 16
17. 求めるシーン 17 ボクセル ・アルベド（反射率）! ・法線" https://en.wikipedia.org/wiki/Voxel # # #
18. 問題設定 18 !’ "’ # $(!, ", #) センサ レーザ
19. 時間 t 強度 計測方法 19 !’ "’ # センサ レーザ $(!, ", #) r rl PDM, MICRO PHOTON DEVICES SPAD(Single Photon Avalanche Diode)センサ ・ピコ秒時間分解能 SuperK EXTREME, NKT Photonics 短パルスレーザ ・ピコ秒短パルス ・高出力
20. 時間 t 強度 計測方法 20 !’ "’ # センサ レーザ $(!, ", #) r rl PDM, MICRO PHOTON DEVICES SPAD(Single Photon Avalanche Diode)センサ ・ピコ秒時間分解能 SuperK EXTREME, NKT Photonics 短パルスレーザ ・ピコ秒短パルス ・高出力 スキャンしながら 計測を行う
21. 復元方法 21 !’ "’ # センサ レーザ $(!, ", #) r rl 未知のシーン 計測データ 変換行列
22. 復元方法 22 !’ "’ # センサ レーザ $(!, ", #) r rl Iterative Inversion [Gupta 12, Wu 12, Heide 13] 計算時間: O(N⁵) per iter メモリ: O(N⁵) → 1時間以上 Back-Projection [Velten 12, Buttafava 15] 計算時間: O(N⁵) メモリ: O(N³) → 約10分 未知のシーン 計測データ 変換行列
23. 復元方法 23 !’ "’ # センサ レーザ $(!, ", #) r rl Iterative Inversion [Gupta 12, Wu 12, Heide 13] 計算時間: O(N⁵) per iter メモリ: O(N⁵) → 1時間以上 Back-Projection [Velten 12, Buttafava 15] 計算時間: O(N⁵) メモリ: O(N³) → 約10分 未知のシーン 計測データ 変換行列 計算コストが高い
24. 高速な復元方法は？ 24 !’ "’ # センサ レーザ $(!, ", #) r rl 3D Deconvolution [O’Toole et al, Nature 2018] 計算時間: O(N³ log(N)) メモリ: O(N³) → 1秒以下 手順 1. レーザとセンサを同軸に (confocal sampling) 2. 行列を変形(light cone transform)して，3次元 の畳み込み演算で表す ＊拡散反射or再帰性反射のみと仮定
25. 高速な復元方法は？ 25 !’ "’ # 3D Deconvolution [O’Toole et al, Nature 2018] 計算時間: O(N³ log(N)) メモリ: O(N³) → 1秒以下 手順 1. レーザとセンサを同軸に (confocal sampling) 2. 行列を変形(light cone transform)して，3次元 の畳み込み演算で表す ＊拡散反射or再帰性反射のみと仮定 センサ レーザ $(!, ", #) r rl
26. 高速な復元方法は？ 26 !’ "’ # 同軸 レーザ＋センサ $(!, ", #) r 3D Deconvolution [O’Toole et al, Nature 2018] 計算時間: O(N³ log(N)) メモリ: O(N³) → 1秒以下 手順 1. レーザとセンサを同軸に (confocal sampling) 2. 行列を変形(light cone transform)して，3次元 の畳み込み演算で表す ＊拡散反射or再帰性反射のみと仮定
27. 高速な復元方法は？ 27 !’ "’ # $(!, ", #) r 同軸 レーザ＋センサ 3D Deconvolution [O’Toole et al, Nature 2018] 計算時間: O(N³ log(N)) メモリ: O(N³) → 1秒以下 手順 1. レーザとセンサを同軸に (confocal sampling) 2. 行列を変形(light cone transform)して，3次元 の畳み込み演算で表す ＊拡散反射or再帰性反射のみと仮定
28. 高速な復元方法は？ 28 !’ "’ # $(!, ", #) r light cone transform LCT 同軸 レーザ＋センサ 3D Deconvolution [O’Toole et al, Nature 2018] 計算時間: O(N³ log(N)) メモリ: O(N³) → 1秒以下 手順 1. レーザとセンサを同軸に (confocal sampling) 2. 行列を変形(light cone transform)して，3次元 の畳み込み演算で表す ＊拡散反射or再帰性反射のみと仮定
29. 逆畳み込み演算による高速な復元 29 ̅ " = ℎ ∗ ̅ & シーンを復元するには ＝ ∗ Wienerフィルターで 逆畳み込み O’Toole et al, Nature 2018
30. 逆畳み込み演算による高速な復元 30 ̅ " = ℎ ∗ ̅ & シーンを復元するには ＝ ∗ Wienerフィルターで 逆畳み込み O’Toole et al, Nature 2018 法線を推定できない
31. Non-line-of-sight Surface Reconstruction Using the Directional Light-cone Transform Sean I. Young, David B. Lindell, Bernd Girod, David Taubman, Gordon Wetzstein CVPR2020 31
32. これまでは ü 従来のNLOSの手法は計算コストが高い ü 高速な逆畳み込み演算によるNLOSでは法線を推定できない 32
33. これまでは ü 従来のNLOSの手法は計算コストが高い ü 高速な逆畳み込み演算によるNLOSでは法線を推定できない キーアイデア ü アルベドと法線を同時に逆畳み込み演算で推定できる手法の提案 ü Cholesky–Wiener Solverによる計算（ここでは解説しません） 33
34. これまでは ü 従来のNLOSの手法は計算コストが高い ü 高速な逆畳み込み演算によるNLOSでは法線を推定できない キーアイデア ü アルベドと法線を同時に逆畳み込み演算で推定できる手法の提案 ü Cholesky–Wiener Solverによる計算（ここでは解説しません） 貢献 ü アルベドと法線が同時に高速に推定できる ü 法線をもとにした高精度なメッシュの復元 34
35. 理想的な拡散反射のモデル 反射光 ! は，入射光方向 " と法線 # の内積に比例 $ : アルベド（拡散反射率） シーンの仮定：ランバート拡散反射 35 θ n l ! = $ #, " = $ max 0, # + " = $ max 0, cos /
36. 法線を加えたモデルは？ 36 !’ "’ # $(!, ", #) r 同軸 レーザ＋センサ s’ s n ランバート拡散反射
37. 法線を加えたモデルは？ 37 !’ "’ # $(!, ", #) r 同軸 レーザ＋センサ s’ s n ランバート拡散反射 で置き換えて変形すると… アルベド 法線
38. Directional Albedo Model 38 !’ "’ # $(!, ", #) r 同軸 レーザ＋センサ s’ s n ランバート拡散反射
39. Directional Albedo Model 39 !’ "’ # $(!, ", #) r 同軸 レーザ＋センサ s’ s n ランバート拡散反射 directional light cone transform D-LCT
40. Directional Albedo Model 40 !"#"!"$% & ̅ ( = *+ , *- , *. ̅ ( − ̅ 0 1 1 + 3 ̅ ( 1 1 ̅ 0 = ℎ+ ∗ ̅ (+ + ℎ- ∗ ̅ (- + ℎ. ∗ ̅ (. ＝ + + ∗ ∗ ∗ シーンを復元するには
41. Cholesky-Wiener Deconvolution • 最適化問題を解くために式を変形 • コレスキー分解等を用いて効率的に解く方法を提案している（詳細は割愛） 41 !" # + %& !" ∗!( !" ∗!) !( ∗!" !( # + %& !( ∗!) !) ∗!" !) ∗!( !) # + %& ̅ +" ̅ +( ̅ +) = !" ∗ ̅ - !( ∗ ̅ - !) ∗ ̅ - +" +( +) アルベドと法線が求まる
42. 従来手法[O’Toole et al, 2018] 提案手法 デプスの誤差比較 42 RMSE 5.97 cm 4.96 cm MAE 1.87 cm 1.59 cm > >
43. 提案手法 法線の誤差比較 43 RMSE 0.91 cm 0.52 cm MAE 0.61 cm 0.38 cm > > 従来手法[O’Toole et al, 2018]
44. メッシュの復元 • 得られたアルベド・法線をもとにメッシュを復元 [Kazhdan et al, 2013] • 法線情報があるので高精度 44 メッシュ化
45. 合成データの復元結果 45 Ground-truth 復元結果
46. 実データの復元結果 46 復元結果 Ground-truth
47. 復元精度と計算時間の比較 47 提案手法 1.6秒 7時間 5.2秒 Fermat Flow [Xin et al, CVPR2019] Beyond Volumetric Albedo [Tsai et al, CVPR2019]
48. まとめ キーアイデア ü アルベドと法線を同時に逆畳み込み演算で推定できる手法の提案 ü Cholesky–Wiener Solverによる計算 貢献 ü アルベドと法線が同時に高速に推定できる ü 法線をもとにした高精度なメッシュの復元 48 !’ "’ #
50. Zaragoza NLOS synthetic dataset [Galindo et al, ICCP2019] • Transient Renderer [Jarabo et al, SIGA2014] を使ってレンダリングされた NLOSのデータセット • binが幅10psで512ピクセルの時間解像度と, 256×256ピクセルの空間解像度 50 https://graphics.unizar.es/nlos_dataset.html Canonical scenes High complexity scenes Phasor Fields
51. Stanford datasets [Lindell et al, SIGGRAPH2019] • 実シーンのNLOSデータセット • bin が幅32psで512ピクセルの時間解像度と, 512×512または64×64ピクセル の空間解像度を持つ 51 http://www.computationalimaging.org/publications/nlos-fk/
52. 計測装置 [Lindell et al, SIGGRAPH2019] 52
53. 実データのメッシュ復元結果 53
54. 計算時間の比較 54
55. Cholesky-Wiener Deconvolution 55 このままでは未知数が多く、簡単に求 められない。 最小二乗法で解く これらはフィルターとして表せる
56. Cholesky-Wiener Deconvolution 56 正規方程式を用いて 簡単にする 正規方程式
57. Cholesky-Wiener Deconvolution 57 修正コレスキー分解を用 いて高速に求める 修正コレスキー分解 この部分はフィルターを 用いて計算できる 変形
58. Cholesky-Wiener Deconvolution 58 と置いてこれを求めたのち を計算 これらはどちらもフーリエ領域において、フィルターの計算により求まる