[CV関東3D勉強会] TPVFormer ~マルチカメラを用いた自動運転の3D Occupancy Prediction~

CVPR2023に発表されたTri-Perspective View for Vision-Based 3D Semantic Occupancy Predictionをベースにマルチカメラを用いた自動運転の流れなどを紹介します。
Paper: Tri-Perspective View for Vision-Based 3D Semantic Occupancy Prediction
arXive: https://arxiv.org/abs/2302.07817
Github: https://github.com/wzzheng/TPVFormer

Transcript

1. マルチカメラを用いた自動運転の 3D Occupancy Prediction Turing Inc. Inoue Yuichi
2. 自己紹介 ❏ Inoue Yuichi Turing Inc.で自動運転開発 京都大学 博士（薬学） Kaggle competition grandmaster Twitter: https://twitter.com/inoichan Github: https://github.com/Ino-Ichan Kaggle: https://www.kaggle.com/inoueu1 Linkedin: https://www.linkedin.com/in/inoichan Google検索 「Turing 自動運転」
3. Outline • 3D occupancy predictionが自動運転で注目された背景 • Tri-Perspective View for Vision-Based 3D Semantic Occupancy Prediction • 関連研究の紹介
4. Outline • 3D occupancy predictionが自動運転で注目された背景 • Tri-Perspective View for Vision-Based 3D Semantic Occupancy Prediction • 関連研究の紹介
5. 自動運転のVision-centric Occupancy Predictionのはじまり マルチカメラのOccupancy Predictionが初めて大々的に発表されたのが CVPR'22 WAD WorkshopでのTeslaのDirector of AutopilotのAshokによるKeynote。 Youtube link
6. 自動運転のVision-centric Occupancy Predictionのはじまり マルチカメラから抽出した特徴量を Cross Attentionで Occupancy Queryに組み込んでいく。 Youtube link
7. 自動運転のVision-centric Occupancy Predictionのはじまり もともとTeslaは鳥瞰図のSegmentationを行っていたが、それ を3DのOccupancyに拡張したようなモデル。 参考: Teslaはカメラを使ってどのように世界を認識しているか Youtube link
8. 自動運転のVision-centric Occupancy Predictionのはじまり 2022年はマルチカメラの3D物体検出とBEVセグメンテーションが流 行っていた。 参考: Awesome BEV Perception from Multi-Cameras
9. Outline • 3D occupancy predictionが自動運転で注目された背景 • Tri-Perspective View for Vision-Based 3D Semantic Occupancy Prediction • 関連研究の紹介
10. Tri-Perspective View for Vision-Based 3D Semantic Occupancy Prediction 今日紹介する論文 - Voxel表現の計算量が多い問題 - 鳥瞰図(BEV)表現のz軸ない問題 ➔ BEV planeにさらに2 plane加えたTri-Perspective View（TPV）表現を提案。 TPVにより計算量を抑えてVoxel表現を実現。
11. Tri-Perspective View（TPV）とは • 3つの互いに直行した平面でセグメンテーションを行う。 • TPVからVoxelに変換するときは、双線形補間＋和算で算出する。 [TPVの定義] [TPVからVoxelへの変換]
12. TPVFormer • TPVをマルチカメラの入力から効率よく作成するための Transformerベースの手法を同時に提 案している。 • 画像空間の特徴量をTPV空間のQueryとCross-AttentionをするImage Cross-Attentionと TPV空間の特徴同士でSelf-Attentionを行うCross-View Hybrid-Attentionを使用。
13. Image Cross-Attention 1. 各平面のQueryのピクセルが世界座標でどの位置に相当するかを計算 2. そのQueryの世界座標での位置で、周囲Nref点をサンプリング （位置についてはDeformable Attentionを使用しているので学習対象） 3. サンプリングしたNref個の点について透視投影を使って画像上のピクセル座標を計算 4. 対応点がないものは取り除く 5. これを各TPV平面、各カメラに対して行う。 *BEVFormerのSpatial Cross-Attentionに近い。 参考: BEVFormer: Learning Bird’s-Eye-View Representation from Multi-Camera Images via Spatiotemporal Transformers
14. Cross-View Hybrid-Attention TPV平面同士のCross-Attention 計算量を考慮し、ここでもDeformable Cross-Attentionを使用 例えばTop平面のある点をQueryとしたときサンプリングする点は、 1. Top平面のその周囲の点からランダムにサンプリング 2. Side、Front平面の重なる箇所から均一にサンプリング 3. 各平面のすべての点で同じように Cross-Attention
15. TPVFormer • 最後にVoxel出力をするために軽量なMLPで各Voxelのクラスを予測している。 [TPVからVoxelへの変換] (再掲)
16. タスクについて 1. 3D semantic occupancy prediction（nuScenes） LiDARのスパースなラベルを使って学習し、推論は Denseに行う。 Denseな予測に関して本手法がベンチマークとなる。 2. LiDAR segmentation（nuScenes） LiDARで認識したpointに対してのクラスを予測する。 3. Semantic Scene Completion（Semantic KITTI） Voxelデータで学習し、推論を行う。 *nuScenesもKITTIも有名な自動運転のデータセット
17. nuScenesの結果
18. nuScenesの結果 LiDARのSoTAにはまだまだ届かないが、カメラのみを使った LiDARセグメンテーションのベンチマー クとしてはまずまず。
19. Semantic KITTIの結果 この分野で有名なMonoSceneを超えたし、パラメータサイズも軽量！ （TPVFormer 6.0M vs MonoScene 15.7M）
20. TeslaのOccupancy Networkとの比較 現状、Tesla、強すぎ...😂
21. Outline • 3D occupancy predictionが自動運転で注目された背景 • Tri-Perspective View for Vision-Based 3D Semantic Occupancy Prediction • 関連研究の紹介
22. Occupancyデータセット: SurroundOcc • マルチカメラのOccupancy Datasetがないので作る研究 • LiDARのデータを静的な背景シーンと動的な移動物体に分けて時間を加味してス パースな空間を埋めていく。 • TPVFormerと同じラボの仕事
23. Occupancyデータセット: OpenOccupancy • LiDARから作ったVoxelアノテーションをベースに、モデル学習〜疑似ラベル付け を行い、最後に人の手でPurifyしている。 • Voxel解像度も従来よりも高く設定されている。
24. 新しいモデルが次々と提案されている。 SurroundOcc（2023.3） BEVFormer 3D拡張版（2023.3） BEVDet4Dの拡張版（2023.4） OccFormer（2023.4） VoxFormer（2023.2） 宮澤さんの資料を見てね
25. CVPR’23 VCAD WorkshopでChallengeが開催中 - VCAD Workshop: https://vcad.site/ - Challenge page: https://opendrivelab.com/AD23Challenge.html#Track3 - Devkit: https://github.com/CVPR2023-3D-Occupancy-Prediction/CVPR2023-3D-Occupancy-Prediction
26. 3D Occupancyのその次 • 3D Occupancyで認識したVoxel空間の情報だけでなく、その手前の Occupancy Query特徴も活用してさまざまなタスクに取り組む。 NeRFやレーングラフの推定にも 使ってる。 参考: Teslaにおけるコンピュータビジョン技術の調査 (2) link Youtube link
27. Planning-oriented Autonomous Driving • 自動運転のタスクをフルスタックで組み込んだフレームワーク • BEVFormerのBEV特徴量をベースにAttentionをフル活用して自動運転を行う。 • CVPR 2023のAward Candidates
28. まとめ • 自動運転の認識タスクは3D Occupancyで行うトレンドがある。 • 計算効率と3D Occupancy空間への情報伝達、データセットの作成に工夫の余地が ありそう。 • 3D Occupancyで認識した後の自動運転へのつなぎこみが、今後重要になってきそ う。
29. まとめ • 自動運転の認識タスクは3D Occupancyで行うトレンドがある。 • 計算効率と3D Occupancy空間への情報伝達、データセットの作成に工夫の余地が ありそう。 • 3D Occupancyで認識した後の自動運転へのつなぎこみが、今後重要になってきそ う。 今年もWAD Workshopで面白い発表がありそうなので要チェック → WAD Workshop
30. 参考文献 • Li, Zhiqi, Wenhai Wang, Hongyang Li, Enze Xie, Chonghao Sima, Tong Lu, Qiao Yu, and Jifeng Dai. 2022. “BEVFormer: Learning Bird’s-Eye-View Representation from Multi-Camera Images via Spatiotemporal Transformers.” arXiv [cs.CV]. arXiv. http://arxiv.org/abs/2203.17270. • Huang, Yuanhui, Wenzhao Zheng, Yunpeng Zhang, Jie Zhou, and Jiwen Lu. 2023. “Tri-Perspective View for Vision-Based 3D Semantic Occupancy Prediction.” arXiv [cs.CV]. arXiv. http://arxiv.org/abs/2302.07817. • Mescheder, Lars, Michael Oechsle, Michael Niemeyer, Sebastian Nowozin, and Andreas Geiger. 2018. “Occupancy Networks: Learning 3D Reconstruction in Function Space.” arXiv [cs.CV]. arXiv. http://arxiv.org/abs/1812.03828. • Wang, Xiaofeng, Zheng Zhu, Wenbo Xu, Yunpeng Zhang, Yi Wei, Xu Chi, Yun Ye, Dalong Du, Jiwen Lu, and Xingang Wang. 2023. “OpenOccupancy: A Large Scale Benchmark for Surrounding Semantic Occupancy Perception.” arXiv [cs.CV]. arXiv. http://arxiv.org/abs/2303.03991. • Wei, Yi, Linqing Zhao, Wenzhao Zheng, Zheng Zhu, Jie Zhou, and Jiwen Lu. 2023. “SurroundOcc: Multi-Camera 3D Occupancy Prediction for Autonomous Driving.” arXiv [cs.CV]. arXiv. http://arxiv.org/abs/2303.09551. • Zhang, Yunpeng, Zheng Zhu, and Dalong Du. 2023. “OccFormer: Dual-Path Transformer for Vision-Based 3D Semantic Occupancy Prediction.” arXiv [cs.CV]. arXiv. http://arxiv.org/abs/2304.05316. • Occupancy Dataset for nuScenes: https://github.com/FANG-MING/occupancy-for-nuscenes • BEVDet4D: https://github.com/HuangJunJie2017/BEVDet#nuscenes-occupancy • Hu, Yihan, Jiazhi Yang, Li Chen, Keyu Li, Chonghao Sima, Xizhou Zhu, Siqi Chai, et al. 2022. “Planning-Oriented Autonomous Driving.” arXiv [cs.CV]. arXiv. http://arxiv.org/abs/2212.10156.
31. Thank you for listening!!