Upgrade to Pro — share decks privately, control downloads, hide ads and more …

深層学習を用いた点群処理の紹介とFull waveform lidar データへの応用

teddy
July 31, 2020

深層学習を用いた点群処理の紹介とFull waveform lidar データへの応用

teddy

July 31, 2020
Tweet

More Decks by teddy

Other Decks in Research

Transcript

  1. 3次元深層学習⼿法❶ n2次元投影 6 H. Su et al., Multi-view Convolutional Neural

    Networks for 3D Shape Recognition. ICCV, 2015 • ⾒たことない視点からの認識に弱い • 推論時にも訓練時と同じ視点の画像が必要
  2. 3次元深層学習⼿法❷ nボクセル 7 Z. Wu et al., 3D ShapeNets: A

    Deep Representation for Volumetric Shape Modeling. CVPR, 2015. • 低解像度(にせざるを得ない)のため認識精度は⾼くない。 • 回転にどう対応するか?という問題
  3. 3次元深層学習⼿法❸ n⽣の点群 8 C. Qi et al., PointNet: Deep Learning

    on Point Sets for 3D Classification and Segmentation. CVPR, 2017. • ⽣の点群を⼊⼒するため情報損失が起きない • 推論を⼀回の⼊⼒で可能
  4. PointNet❷ n点群を扱う問題点:⼊⼒順番依存 • 1点はxi (x, y, z, 特徴量)のD次元 • N点を纏めて⼊⼒

    ⁃ N!だけ順番のバリエーションが存在する ⁃ これを同じように扱える関数f, symmetric functionが欲しい 10 http://stanford.edu/~rqi/pointnet/docs/cvpr17_pointnet_slides.pdf 点の⼊⼒順に⾮依存
  5. PointNet++❷ n畳み込みとダウンサンプリング 15 !"# : x, y, z, 特徴量 !

    : x, y, z, 特徴量 近隣点をまとめて 別の特徴量を作る演算 ユークリッド距離で 半径内に⼊る点を探索 PointNetで特徴抽出
  6. Dynamic Graph CNN❷ n特徴量空間でk-NN? 18 M次元の特徴 N 個の点 これに近い点 1

    4 2 3 これに近い点 1 4 2 3 kNN MLP 畳み込まれた 特徴量空間でk-NNすると 幾何的に遠くても同じ特徴を持つ点を集められる 例.机の4本の⾜は特徴似ているけど それぞれの⾜は幾何的に遠くに存在
  7. 点群深層学習⼿法まとめ n⽣の点群に対する深層学習⼿法の誕⽣ • PointNetの登場により⽣の点群を扱えるようになった • ⼊⼒順に依存しない⼿法 n点群に対する畳み込み演算 • PointNet++ ⁃

    3次元の幾何的な情報を⽤いて,代表点抽出・グルーピング ⁃ 近隣点を3次元空間のユークリッド距離で定義 ⁃ 近隣点をPointNetに⼊⼒し特徴抽出 • Dynamic Graph CNN ⁃ k-NNで近隣点を定義 ⁃ 距離は特徴量空間におけるユークリッド距離 19
  8. タスクの設定 21 Input Data Trained Model power time Classified Data

    セグメンテーションタスクを解く x, y, z座標と波形のセット
  9. 点群の深層学習⼿法との関係 22 ⼊⼒ ∈ ℝ!"# , , , , ,

    , ⋮ $ , $ , $ , $ , , , 点群の場合 Full waveform の場合 , , , , ⋮ $ , $ , $ , , , , , , , , ⋮ $ , $ , $ , $ , , , 点群の⼿法を拡張可能