X-maps: Direct Depth Lookup for Event-based Structured Light Systems

X-maps: Direct Depth Lookup for Event-based Structured Light Systems[Morgenstern+, CVPRW2023] (https://fraunhoferhhi.github.io/X-maps/) の論文紹介資料です．

イベントカメラとレーザプロジェクタを用いた構造化光による深度推定手法です．X-mapsと呼ばれるデータ構造を事前計算することで，従来手法で問題となっていた対応点探索を不要にし，リアルタイムな深度推定を実現しています．

p.2 https://fraunhoferhhi.github.io/X-maps/static/videos/x_maps_hand_demo_h264.mp4
p.4,8,9 MC3D: Motion Contrast 3D Scanning [Matsuda+, ICCP2015] (https://compphotolab.northwestern.edu/project/mc3d-motion-contrast-3d-laser-scanner/)
p.5(※1) https://support.prophesee.ai/portal/en/kb/articles/evk1-vga-camera-manual
p.5(※2) 高谷剛志, イベントカメラの基礎と応用[CVIM研究会 チュートリアル 2024] (https://speakerdeck.com/t244/ibentokameranoji-chu-toying-yong)
p.7 https://anybeamstore.com/en/home-3/mems-laser-technology-en/
p.9,10,18 ESL: Event-based Structured Light [Muglikar+, 3DV 2021] (https://rpg.ifi.uzh.ch/esl.html)
p.25, 26 [Prophesee Metavision® EVK3D] (https://www.prophesee.ai/event-camera-structured-light-evk-3d/)
p.27 EventPS: Real-Time Photometric Stereo Using an Event Camera[Bohan+, CVPR2024] (https://www.ybh1998.space/eventps-real-time-photometric-stereo-using-an-event-camera/)
p.28 Event-based Shape from Polarization[Muglikar+, CVPR2023] (https://rpg.ifi.uzh.ch/esfp.html)

Transcript

1. X-maps: Direct Depth Lookup for Event-based Structured Light Systems   ⽔⾕ 航太（京都⼯芸繊維⼤学）   Authors: Wieland Morgenstern, Niklas Gard, Simon Baumann, Anna Hilsmann, Peter Eisert Venue: CVPR 2023 Workshop on Event-based vision Web: https://fraunhoferhhi.github.io/X-maps/ ※特に注釈がない場合，図や表はいずれも該当論⽂からの引⽤です 2024/12/21 第1回 Spatial AI Network勉強会
2. デモ 2 https://fraunhoferhhi.github.io/X-maps/static/videos/x_maps_hand_demo_h264.mp4
3. 概要 イベントカメラとレーザプロジェクタによる構造化光深度推定 ⾼い精度(~0.7mm)を低遅延(~3ms)，⾼FR(~60fps)で達成 従来⼿法は対応点探索が必要なため計算コストが⾼い 事前計算されたX-mapsを⽤いることで対応点探索を不要にする What Why How 3 X-maps デモ
4. ３次元形状計測 • ステレオ視形状（奥⾏）分解能は画像解像度依存．エラーの原因は対応点探索 ◦ パッシブステレオ (e.g., StereoLabs ZED 2) ◦ アクティブステレオ ▪ 1-shot • ランダムドット (e.g., MS Kinect v1, Intel RealSense) • デブルーイン系列 ▪ N-shot • スポット光 (１点) • スリット光 (ライン) • グレイコード • Phase-shift • 照度差ステレオ • Time-of-Flight ◦ 1-shot ▪ ToFカメラ (e.g., MS Kinect v2) ◦ N-shot ▪ LiDAR 4 本⼿法 ※1 MC3D: Motion Contrast 3D Scanning [Matsuda+, ICCP2015](https://compphotolab.northwestern.edu/project/mc3d-motion-contrast-3d-laser-scanner/) ※1
5. イベントカメラとは 5 • 各画素独⽴に輝度変化(イベント)を検出するカメラ ⾼時間分解能(1μs) ⾼ダイナミックレンジ(120dB) 低消費電⼒(10mW) （   従来のカメラは全画素同時に輝度を検出） イベントカメラ 従来のカメラ ※1 https://support.prophesee.ai/portal/en/kb/articles/evk1-vga-camera-manual ※2 高谷剛志, イベントカメラの基礎と応用[CVIM研究会 チュートリアル 2024](https://speakerdeck.com/t244/ibentokameranoji-chu-toying-yong) ※1 ※2
6. イベントカメラに適した構造化光 • イベントカメラは⼈間の⽬に⾒えない⾼速な輝度変化でも検出可能 ▪ 高速な輝度変化 ＝ フリッカー，画面のリフレッシュなど • もし⾼速にシーン全体をレーザーポインターが⾛査できたら... 6 シーン全体で輝度変化が発⽣する必要がある
7. レーザプロジェクタとは • 基本原理 ◦ RGBのレーザーをMEMSミラーで制御 ◦ 高速なスキャンで映像を描画 ◦ 実際には各時刻で１点しか光らない ▪ ブラウン管と同じ • 利点 ◦ 構造化光として使える ◦ 焦点調整不要 ◦ 安価な市販品を利用可能 7 MEMSミラー レーザポインタの⾊を変化させながらシーン全体をスキャンするもの ※1 https://anybeamstore.com/en/home-3/mems-laser-technology-en/ ※1
8. イベントベース構造化光 8 • イベントが発⽣すると，対応点が⾃動的に決まる ◦ イベントカメラ側：画素位置と，イベント発生時刻が決まる ◦ プロジェクタ側：イベント発生時刻に光ってた画素が決まる • イベント検出の時間精度が対応点探索の精度になる アイデア: ⾼速なレーザスキャンをイベントカメラで撮影する フレームカメラ (無駄な領域が多い) イベントカメラ (必要な情報だけ) ※1 ※2 ※1,2 MC3D: Motion Contrast 3D Scanning [Matsuda+, ICCP2015](https://compphotolab.northwestern.edu/project/mc3d-motion-contrast-3d-laser-scanner/)
9. MC3D: Motion Contrast 3D Scanning [Matsuda+, ICCP2015] 9 • エピポーラ線上で対応点を探索 ◦ イベント発生時刻とプロジェクタ照射角度は比例する イベント発⽣時刻からプロジェクタ照射⾓度を推定 深度マップ 撮影シーン ※1 MC3D: Motion Contrast 3D Scanning [Matsuda+, ICCP2015](https://compphotolab.northwestern.edu/project/mc3d-motion-contrast-3d-laser-scanner/) ※2 ESL: Event-based Structured Light [Muglikar+, 3DV 2021](https://rpg.ifi.uzh.ch/esl.html) ※2 ※1
10. ESL: Event-based Structured Light [Muglikar+, 3DV 2021] • イベントをタイムマップに変換 • タイムマップのエピポーラ線上で対応点を探索 •  ➜ 画素ごとに対応点を探索するので計算量が⼤きい 10 時刻が⼀致する座標を探索して対応点として利⽤ 深度マップ 撮影シーン ※2 ※1 ※1,2 ESL: Event-based Structured Light [Muglikar+, 3DV 2021](https://rpg.ifi.uzh.ch/esl.html)
11. イベント群からタイムマップを取得 11 XYTの3Dグラフ タイムマップ 上から⾒る 変換 タイムマップは各座標のイベント発⽣時刻を格納した2Dマップ X Timestamp Y
12. やりたいこと 12 対応点探索を不要にしたい
13. アイデア 13 • X-mapsとは ◦ カメラで観測されたイベントが，どのプロジェクタ座標から来たものか を直接格納したデータ構造 ◦ タイムマップを変換するだけで作成できる • 利点 ◦ カメラ，プロジェクタ，相対姿勢が決まれば事前に作成可能 ◦ 対応情報を参照するだけで視差が得られる ◦ リアルタイム処理に適した構造 ルックアップテーブルを事前に作成して計算を効率化
14. イベント群からタイムマップを取得 14 XYTの3Dグラフ タイムマップ 上から⾒る 変換 タイムマップは各座標のイベント発⽣時刻を格納した2Dマップ X Timestamp Y
15. タイムマップをXマップに変換 15 • ステレオ画像の平⾏化により，y座標は既知 • タイムマップmを参照し，時間差t_dが最⼩となるx座標を探索 タイムマップ X-maps タイムマップを参照して(y,t)に対応するx座標を探索
16. Xマップを⽤いた視差計算 Xマップが準備できれば，各イベントの視差を瞬時に取得できる 16
17. タイムマップをXマップに変換 17 XYTの3Dグラフ タイムマップ: (x, y)→ t t軸側から⾒る x軸側から⾒る X-maps: t → (x, y) 逆関数みたいなもの
18. 評価⽤データセット 18 David Heart Book-Duck Plant City of Lights Cycle Room Desk-chair Desk-books • ESLの公開データセットを使⽤ ◦ すべて静的シーンのイベントデータ 9点 ◦ 最適化後のESLによる推定結果をベースラインとする 時間フィルタを使っていないので 結果を動的シーンにも適⽤できる ESL: Event-based Structured Light [Muglikar+, 3DV 2021](https://rpg.ifi.uzh.ch/esl.html)
19. 形状復元精度の定量的評価 19 精度はESLとほとんど変わらない • ⾼速化を狙った論⽂なのでこの結果でよい
20. 実⾏時間の定量的評価 20 CPUで1000倍以上の⾼速化，GPUでも7倍の⾼速化
21. 定性的評価 21 MC3D ESL-init X-maps
22. 定性的評価 22 ESL-init X-maps
23. まとめ 背景 従来のイベントベース構造化光⼿法は対応点探索の計算コストが⼤きい ⼿法 事前計算されたX-mapsに対応点を格納しておくことで対応点探索を排除 結果 従来⼿法と同等の推定精度を保ちながら，1000倍以上の⾼速化を達成 23 X-maps デモ
24. 24 補⾜資料： イベントカメラを⽤いた他の3次元形状計測⼿法
25. Prophesee Metavision® EVK3D 25 https://www.prophesee.ai/event-camera-structured-light-evk-3d/
26. Prophesee Metavision® EVK3D 26 https://www.prophesee.ai/event-camera-structured-light-evk-3d/
27. EventPS [Bohan+, CVPR2024] 27 https://www.ybh1998.space/eventps-real-time-photometric-stereo-using-an-event-camera/
28. Event-based Shape from Polarization[Muglikar+, CVPR2023] 28 https://rpg.ifi.uzh.ch/esfp.html