深層学習を用いた点群処理の紹介とFull waveform lidar データへの応用

Transcript

1. 深層学習を用いた点群処理の紹介と Full Waveform LiDARデータへの応用 篠原崇之 1 令和2年度 第2回動体計測研究会 2020/07/31 14:30~ オンライン開催
2. Outline 1. 深層学習を⽤いた点群処理の紹介 1. 3次元深層学習の概要 2. PointNet 3. 点群に対する畳み込み演算 2. Full Waveform LiDARデータへの応⽤ 1. ⼿法 2. 実験 3. まとめ 2
3. 1.深層学習を⽤いた点群処理の紹介 3
4. 深層学習で解ける点群タスクの例 n分類 • ⼊⼒された点群が何のクラスか推定 nセマンティックセグメンテーション • ⼊⼒された点群の各点に対してクラスを推定 n物体検出 • ⼊⼒された点群のどこに何がいるのかを推定 n⽣成 • ⼊⼒された点群から潜在変数zを得るような確率分布を推定 n補間・超解像 • ⼊⼒された点群から情報⽋損を補う 4
5. 3次元データの深層学習⼿法 5 https://arxiv.org/abs/1808.01462 点群
6. 3次元深層学習⼿法❶ n2次元投影 6 H. Su et al., Multi-view Convolutional Neural Networks for 3D Shape Recognition. ICCV, 2015 • ⾒たことない視点からの認識に弱い • 推論時にも訓練時と同じ視点の画像が必要
7. 3次元深層学習⼿法❷ nボクセル 7 Z. Wu et al., 3D ShapeNets: A Deep Representation for Volumetric Shape Modeling. CVPR, 2015. • 低解像度（にせざるを得ない）のため認識精度は⾼くない。 • 回転にどう対応するか？という問題
8. 3次元深層学習⼿法❸ n⽣の点群 8 C. Qi et al., PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation. CVPR, 2017. • ⽣の点群を⼊⼒するため情報損失が起きない • 推論を⼀回の⼊⼒で可能
9. PointNet❶ n⽣の点群をそのまま⼊⼒できるネットワーク 9 http://stanford.edu/~rqi/pointnet/docs/cvpr17_pointnet_slides.pdf クラス分類 セグメンテーション 点群
10. PointNet❷ n点群を扱う問題点：⼊⼒順番依存 • 1点はxi (x, y, z, 特徴量)のD次元 • N点を纏めて⼊⼒ ⁃ N!だけ順番のバリエーションが存在する ⁃ これを同じように扱える関数f, symmetric functionが欲しい 10 http://stanford.edu/~rqi/pointnet/docs/cvpr17_pointnet_slides.pdf 点の⼊⼒順に⾮依存
11. PointNet❸ nMaxPoolで順番依存を抜く 11 http://stanford.edu/~rqi/pointnet/docs/cvpr17_pointnet_slides.pdf g: Max Pooling 最⼤値をとることで 順番依存が消える
12. PointNet❹ n層設計 12 Max Pooling 点ごとに独⽴した特徴抽出
13. PointNet❺ n問題点 • 階層的な特徴抽出ができない ⁃ ⾼次の特徴抽出ができない 13 画像に⽤いられるCNNのように局所的な畳み込みを階層的に⾏う必要がある • 局所情報の損失 ⁃ グローバル情報に依存しすぎる https://developers.google.com/machine-learning/practica/image-classification/convolutional-neural-networks
14. PointNet++❶ n⼿法の概要 14 畳み込みとダウンサンプリング アップサンプリング x, y, z座標を⽤いて代表点周辺の点を集めグループ化 グループ化された点に対する特徴抽出 これらを繰り返す
15. PointNet++❷ n畳み込みとダウンサンプリング 15 !"# : x, y, z, 特徴量 ! : x, y, z, 特徴量 近隣点をまとめて 別の特徴量を作る演算 ユークリッド距離で 半径内に⼊る点を探索 PointNetで特徴抽出
16. PointNet++❸ nアップサンプリング 16
17. Dynamic Graph CNN❶ 17 nDynamic Graph CNN • k-NN近隣を定義（※ただし特徴量空間） ⼊⼒する点群数nは固定
18. Dynamic Graph CNN❷ n特徴量空間でk-NN？ 18 M次元の特徴 N 個の点 これに近い点 1 4 2 3 これに近い点 1 4 2 3 kNN MLP 畳み込まれた 特徴量空間でk-NNすると 幾何的に遠くても同じ特徴を持つ点を集められる 例．机の4本の⾜は特徴似ているけど それぞれの⾜は幾何的に遠くに存在
19. 点群深層学習⼿法まとめ n⽣の点群に対する深層学習⼿法の誕⽣ • PointNetの登場により⽣の点群を扱えるようになった • ⼊⼒順に依存しない⼿法 n点群に対する畳み込み演算 • PointNet++ ⁃ ３次元の幾何的な情報を⽤いて，代表点抽出・グルーピング ⁃ 近隣点を３次元空間のユークリッド距離で定義 ⁃ 近隣点をPointNetに⼊⼒し特徴抽出 • Dynamic Graph CNN ⁃ k-NNで近隣点を定義 ⁃ 距離は特徴量空間におけるユークリッド距離 19
20. 2. Full Waveform LiDARデータへの応⽤ 20
21. タスクの設定 21 Input Data Trained Model power time Classified Data セグメンテーションタスクを解く x, y, z座標と波形のセット
22. 点群の深層学習⼿法との関係 22 ⼊⼒ ∈ ℝ!"# , , , , , , ⋮ $ , $ , $ , $ , , , 点群の場合 Full waveform の場合 , , , , ⋮ $ , $ , $ , , , , , , , , ⋮ $ , $ , $ , $ , , , 点群の⼿法を拡張可能
23. ⼿法：層設計 23 x, y, z を⽤いた グループ化と 波形に対する 特徴抽出を 繰り返す
24. ⼿法：畳み込み演算 n1DCNN • 時系列の⾳声や⽂章の解析 に使⽤される１次元畳み込み • 波形データは時系列と定義可能 • 1x3の畳み込みを波形に適⽤する 24
25. ⼿法：最適化 nloss関数 • 重み付きクロスエントロピー ⁃ クラス間のデータ量に応じて lossを増加/減少させる n最適化⼿法 • ADAM 25
26. 実験：データセット 26 波形 訓練とテストデータの量 訓練とテストデータ ⾚枠がテストエリア
27. 実験：定性評価結果 27
28. 実験：定量評価結果 28 1DCNNによる波形単位の学習と⽐較すると， PointNet＋＋を利⽤したモデルは空間的な学習が可能となり， 抽出性能が⾼い
29. 実験：ablation study n⼿法の効果を実験的に確認 • 波形を抜いたデータで学習：Model A ⁃ 波形を⼊れることで点群のみで学習する場合より⾼性能 ⁃ 波形情報の有効性を⽰した • PointNetで学習：Model B ⁃ PointNet++はPointNetよりも⾼性能 ⁃ 階層的な学習⼿法の有効性を⽰した 29
30. まとめと課題 nまとめ • 幾何情報と波形情報を⼊⼒として，点群のセマンティックセグメン テーションを⾏なった • PointNet++を元にした層設計と波形に対する１DCNNを⽤いることで ⾼性能な予測結果が得られた • Ablation Studyによって提案⼿法の有効性を⽰した n課題 • 幾何的な情報を代表点抽出とグループ化にのみ使⽤ ⁃ ⾼次な幾何的特徴の学習ができない 30