SSII2025 [OS2-02] イベントカメラの研究紹介と可視光通信への応用

Transcript

1. イベントカメラの研究紹介と 可視光通信への応⽤ 芝 慎太朗（ウーブン・バイ・トヨタ株式会社）
2. 2 Proprietary & Confidential 関係者外秘 自己紹介 § 東京大学総合文化研究科 修士（神経科学） 岡ノ谷研究室 § 慶應義塾大学 理工学研究科 博士（工学） 青木研究室 ベルリン工科大学コンピュータサイエンス学科 留学 専門はイベントベースカメラのコンピュータビジョン・機械学習 § トヨタ自動車 → ウーブン・バイ・トヨタ株式会社 Vision AI リサーチサイエンティスト § その他 未踏アドバンスト事業（イベントカメラ） ドイツ学術振興会 二国間博士研究フェローシップ 第14回 日本学術振興会育志賞
3. 3 Proprietary & Confidential 関係者外秘
4. 4 Proprietary & Confidential 関係者外秘
5. 5 Proprietary & Confidential 関係者外秘 6 14 23 Contents 概論 研究紹介 可視光通信への応用
6. 6 Proprietary & Confidential 関係者外秘 概論 センサの歴史、仕組み、最近のトレンド 01
7. 7 Proprietary & Confidential 関係者外秘 Neural Computation, Vol. 1 (1989), MIT Press
8. 8 Proprietary & Confidential 関係者外秘 イベントカメラ 深層学習 Neural Computation, Vol. 1 (1989), MIT Press
9. 9 Proprietary & Confidential 関係者外秘 差分を検出する眼の仕組み 1920x1080の動画、60fps: 1.32 Gbps ヒト網膜から脳へのデータ量（推定）：8.75 Mbps 変化のみに着目したセンシング Kostas Daniilidis (GRASP seminar, 2022)
10. 10 Proprietary & Confidential 関係者外秘 データ 時間解像度 電力効率 データ効率 ダイナミックレンジ 同期：フレーム ~10 ms 低い 低い 約60dB 非同期：イベント ~10 μs 高い 高い ~120dB イベントカメラとは？
11. 11 Proprietary & Confidential 関係者外秘 画素ピッチの推移 産業側の推移 ハードウェア関連企業 パッケージ・ソリューション企業 ソニーセミコンダクタソリューションズ（日本） OMNIVISION（中国） iniVation（スイス） Prophesee（フランス） センチュリーアークス（日本） LUCID（カナダ） SynSense（中国） BranChip（アメリカ）
12. 12 Proprietary & Confidential 関係者外秘 ワークショップ ロボティクス系：ICRA (’15, ‘17, 20), IROS (’15, ’18, ’24) 画像処理系：ECCV/ICCV: (‘23, ‘24, ‘25), CVPR (‘19, 21, ‘23, ‘25) 論文数の推移 アカデミアでの盛り上がり CVPR / ICCV ’25投稿テーマ
13. 13 Proprietary & Confidential 関係者外秘 研究機関・大学 特に中国と欧州が圧倒的
14. 14 Proprietary & Confidential 関係者外秘 研究紹介 02 センサの汎用性
15. 15 Proprietary & Confidential 関係者外秘 オプティカルフローや深度の推定 入力イベント 動き補填後 フロー 深度 左 右 Shintaro Shiba, Yannick Klose, Yoshimitsu Aoki, Guillermo Gallego (ECCV, 2022, IEEE T-PAMI 2024) https://www.youtube.com/watch?v=5_uKRya795I
16. 16 Proprietary & Confidential 関係者外秘 SLAM Hanme Kim, Stefan Leutenegger and Andrew J. Davison (ECCV, 2016) https://www.youtube.com/watch?v=yHLyhdMSw7w
17. 17 Proprietary & Confidential 関係者外秘 衝突回避 Davide Falanga, Kevin Kleber and Davide Scaramuzza, Science Robotics 2020 https://www.youtube.com/watch?v=BzykucxFddI
18. 18 Proprietary & Confidential 関係者外秘 ブラー除去 Prophesee, 2023 https://www.youtube.com/watch?v=1LXt4ScwfXA
19. 19 Proprietary & Confidential 関係者外秘 動画の高fps化 Tulyakov et al. CVPR 2021 https://www.youtube.com/watch?v=dVLyia-ezvo
20. 20 Proprietary & Confidential 関係者外秘 Structured Light での高fps深度推定 Manasi Muglikar; Guillermo Gallego; Davide Scaramuzza (2021 3DV) https://www.youtube.com/watch?v=SITmvZ8VLfs
21. 21 Proprietary & Confidential 関係者外秘 宇宙産業 ICNS, Western Sydney University, 2022 https://www.youtube.com/watch?v=f_DEjYafPIk
22. 22 Proprietary & Confidential 関係者外秘 現在の課題は？ 研究 § 非同期データに適した処理理 論の構築、進展 § 高速、低レイテンシで動く手 法や、システムとしての実装 § Spiking Neural Network等の 新しい理論との統合 産業 § 企業での応用の実装、活用 § 処理方法の知見共有、ライブ ラリ等 § サービス、システム、ソリュ ーションとしての事業化
23. 23 Proprietary & Confidential 関係者外秘 可視光通信への応用 03
24. 24 Proprietary & Confidential 関係者外秘 身の回りのローカルな情報伝達 決済 ロボットの位置推定 広告 インターネットの普及した現代でも多用される 重要なローカル通信手段 (OpenCV official docs)
25. 25 Proprietary & Confidential 関係者外秘 可視光通信とは？ LED照明等の可視光を高速に変調する ことで情報通信する仕組み 明滅そのものを2値情報に対応させる、 明滅の間隔を対応させるなどの方式 東京タワー 本日のチケット：有 位置情報 位置情報 自己位置推定
26. 26 Proprietary & Confidential 関係者外秘 信号 信号機検出 信号情報の送信 信号機周辺の情報送信 非常灯 位置情報（ARマーカー） 工場（あんどん） ラインの状態の監視 車のヘッドランプ 車車間の通信 船の誘導灯 電波の届きにくい場所 でのPtoP通信 日常で使われる光 日常の可視光を用いて、帯域幅に影響せず、 様々な情報送信や、位置推定への応用が可能 街灯・街路灯 インフラから車などへの通信 ARシステム用の情報
27. 27 Proprietary & Confidential 関係者外秘 可視光通信の受信センサにおける課題 時間解像度 空間解像度 フォトダイオード 高い（GHz） 低い フレームベースカメラ 低い（~60 Hz） 高い（~1000万画素） イベントカメラ 高い（~MHz） 高い（~100万画素） イベントカメラを用いた可視光通信に着目 通信や位置推定を検証 送信の帯域幅 に影響 複数信号の混信 位置推定に影響
28. 28 Proprietary & Confidential 関係者外秘 1. モバイル搭載・データセット 2. 車載・符号化技術 3. 屋外での実証 Woven by Toyota での取り組み
29. 29 Proprietary & Confidential 関係者外秘 E-VLCデータセット これまで可視光通信に着目したデータセットが存在せず、通 信や位置推定の精度評価や改善が難しかった フレーム、イベント、モーションキャプチャを同期した、様 々な条件で撮影した110シーンのデータセットE-VLCを公開 Marker Detection & Localization Benchmark Motion compensation and LED decoding 3 sensitivities 4 scene luminances 4 motions LED markers with precise locations Synchronized events + frames Synchronized motion capture 110 sequences, 7.5G events (1Mpix) 88k frames (1Mpix), 266k annotations × × E-VLC Dataset: 課題 本研究
30. 30 Proprietary & Confidential 関係者外秘 E-VLCデータセット｜送信機 5kHzで明滅し、異なるIDを送るLEDを、様々な物体に取り付ける
31. 31 Proprietary & Confidential 関係者外秘 E-VLCデータセット｜明滅プロトコル 照明の明滅パターンによって、バイナリを符号化
32. 32 Proprietary & Confidential 関係者外秘 E-VLCデータセット｜受信機 タブレット（モバイルを想定）にイベントカメラ、フレームカメラ、 同期用の信号ボックスを取り付け
33. 33 Proprietary & Confidential 関係者外秘 E-VLCデータセット｜受信機の外部同期 同期信号を外部のモーションキャプチャに出力し、LEDの送信ID情報 のアノテーションも作成 Back Front 取得データ例 Frame Event GT Pose LED Annotation 2 1 3 7 6 9 13 3 モーションキャプチャへ同期
34. 34 Proprietary & Confidential 関係者外秘 E-VLCデータセット｜撮影シーン § 動きのパターン § シーンの明るさ § カメラの感度 を変えて、データ取得
35. 35 Proprietary & Confidential 関係者外秘 E-VLCデータセット｜詳細
36. 36 Proprietary & Confidential 関係者外秘 E-VLCデータセット｜位置推定精度の向上 動きを推定・補填することでデコードと位置推定の精度を向上
37. 37 Proprietary & Confidential 関係者外秘 E-VLCデータセット｜位置推定結果 マーカーまでの距離4m以下の場合のみの 比較で、イベントカメラは、検出率が向上 し（4倍~）、精度が少し低下（~2cm） イベントカメラは、シーンの明るさに よらず遠方まで検出（>10m）
38. 38 Proprietary & Confidential 関係者外秘 ウォルシュ・アダマール符号を用いた車への通信 車載カメラのようなカメラが高速に動く環境で、頑健に通信 できるプロトコルがわかっていなかった ウォルシュ・アダマール符号化を用いて、車載環境でも長距 離通信できる符号化・復号アルゴリズムを提案 課題 本研究 ※名古屋大学、トヨタ自動車との共同研究
39. 39 Proprietary & Confidential 関係者外秘 ウォルシュ・アダマール符号を用いた車への通信 ※名古屋大学、トヨタ自動車との共同研究 ウォルシュ・アダマール（WH）行列とは、1, -1で構成される、各行が直行する正方行列 例 +1 +1 +1 −1 エンコード デコード
40. 40 Proprietary & Confidential 関係者外秘 ウォルシュ・アダマール符号を用いた車への通信 動的環境 静止環境 20km/h … 50m以内、40km/h … 40m以内で、 エラーフリーの通信を実現 ※名古屋大学、トヨタ自動車との共同研究
41. 41 Proprietary & Confidential 関係者外秘 1. モバイル搭載・データセット 2. 車載・符号化技術 Woven by Toyota での取り組み｜論文情報まとめ “E-VLC: A Real-World Dataset for Event-based Visible Light Communication And Localization”, Shiba S., Kong Q., Kobori N., CVPRW2025 “Augmented Reality Applications Using Active Markers With An Event Camera”, Shiba S., Kong Q., Kobori N., CVPRW2025 https://woven-visionai.github.io/evlc-dataset/ ”Evaluation of Mobile Environment for Vehicular Visible Light Communication Using Multiple LEDs and Event Cameras”, Soga R., Shiba S., Kong Q., Kobori N., Shimizu T., Lu S., Yamazato T, IEEE IV 2025. ”Distance Estimation in Outdoor Driving Environments Using Phase-only Correlation Method with Event Cameras”, Kobayashi M., Shiba S., Kong Q., Kobori N., Shimizu T., Lu S., Yamazato T, IEEE IV 2025. 他、電気情報通信学会 総合大会 2025等
42. 42 Proprietary & Confidential 関係者外秘 まとめ § イベントカメラの概論：歴史、仕組み、産学のトレンド § 研究紹介：センサの汎用性を紹介 § 応用紹介：可視光通信（モバイル搭載・データセット、車載・ 符号化、屋外での実証） 来月開催のCVPR Event-based Vision WSにて招待講演・発表予定