Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
深層学習を用いた点群処理の紹介とFull waveform lidar データへの応用
Search
teddy
July 31, 2020
Research
2
800
深層学習を用いた点群処理の紹介とFull waveform lidar データへの応用
teddy
July 31, 2020
Tweet
Share
More Decks by teddy
See All by teddy
第36回ロボティクス勉強会 発表資料
shnhrtkyk
3
220
点群深層学習に計測の気持ちを入れた研究の紹介
shnhrtkyk
1
1.1k
Image to Point Cloud Translation using Conditional Generative Adversarial Network for Airborne LiDAR data
shnhrtkyk
2
540
3D Point Cloud Generation Using Adversarial Training for Large Scale Outdoor Scene
shnhrtkyk
2
610
Point2color: 3D Point Cloud Colorization Using a Conditional Generative Network and Differentiable Rendering for Airborne LiDAR
shnhrtkyk
2
690
Semantic Segmentation for Full Waveform LiDAR data using Local and Hierarchical Global Feature Extraction
shnhrtkyk
2
650
FWNetAE: Spatial Representation Learning forFull Waveform Data Using Deep Learning
shnhrtkyk
4
700
Do Deep Neural Networks Learn Full Waveform LiDAR Data?
shnhrtkyk
2
860
Other Decks in Research
See All in Research
機械学習でヒトの行動を変える
hiromu1996
1
200
言語と数理の交差点:テキストの埋め込みと構造のモデル化 (IBIS 2024 チュートリアル)
yukiar
3
260
DevGPT: Studying Developer-ChatGPT Conversations
taoxiaomark
0
120
Online Nonstationary and Nonlinear Bandits with Recursive Weighted Gaussian Process
monochromegane
0
260
第60回名古屋CV・PRML勉強会:CVPR2024論文紹介(AM-RADIO)
naok615
0
240
Weekly AI Agents News! 8月号 論文のアーカイブ
masatoto
1
160
「確率的なオウム」にできること、またそれがなぜできるのかについて
eumesy
PRO
7
3k
多様かつ継続的に変化する環境に適応する情報システム/thesis-defense-presentation
monochromegane
1
480
20240725異文化融合研究セミナーiSeminar
tadook
0
150
snlp2024_multiheadMoE
takase
0
410
Y.Morita_20240726_JBUG_Fukuoka#18
ymorita613
0
270
Weekly AI Agents News! 7月号 プロダクト/ニュースのアーカイブ
masatoto
0
150
Featured
See All Featured
The Cost Of JavaScript in 2023
addyosmani
45
6.6k
The Power of CSS Pseudo Elements
geoffreycrofte
72
5.3k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
The Invisible Side of Design
smashingmag
297
50k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
159
15k
Designing Experiences People Love
moore
138
23k
StorybookのUI Testing Handbookを読んだ
zakiyama
26
5.2k
YesSQL, Process and Tooling at Scale
rocio
167
14k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
41
2.1k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
28
9.1k
Side Projects
sachag
452
42k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
504
140k
Transcript
深層学習を用いた点群処理の紹介と Full Waveform LiDARデータへの応用 篠原崇之 1 令和2年度 第2回動体計測研究会 2020/07/31 14:30~
オンライン開催
Outline 1. 深層学習を⽤いた点群処理の紹介 1. 3次元深層学習の概要 2. PointNet 3. 点群に対する畳み込み演算 2.
Full Waveform LiDARデータへの応⽤ 1. ⼿法 2. 実験 3. まとめ 2
1.深層学習を⽤いた点群処理の紹介 3
深層学習で解ける点群タスクの例 n分類 • ⼊⼒された点群が何のクラスか推定 nセマンティックセグメンテーション • ⼊⼒された点群の各点に対してクラスを推定 n物体検出 • ⼊⼒された点群のどこに何がいるのかを推定
n⽣成 • ⼊⼒された点群から潜在変数zを得るような確率分布を推定 n補間・超解像 • ⼊⼒された点群から情報⽋損を補う 4
3次元データの深層学習⼿法 5 https://arxiv.org/abs/1808.01462 点群
3次元深層学習⼿法❶ n2次元投影 6 H. Su et al., Multi-view Convolutional Neural
Networks for 3D Shape Recognition. ICCV, 2015 • ⾒たことない視点からの認識に弱い • 推論時にも訓練時と同じ視点の画像が必要
3次元深層学習⼿法❷ nボクセル 7 Z. Wu et al., 3D ShapeNets: A
Deep Representation for Volumetric Shape Modeling. CVPR, 2015. • 低解像度(にせざるを得ない)のため認識精度は⾼くない。 • 回転にどう対応するか?という問題
3次元深層学習⼿法❸ n⽣の点群 8 C. Qi et al., PointNet: Deep Learning
on Point Sets for 3D Classification and Segmentation. CVPR, 2017. • ⽣の点群を⼊⼒するため情報損失が起きない • 推論を⼀回の⼊⼒で可能
PointNet❶ n⽣の点群をそのまま⼊⼒できるネットワーク 9 http://stanford.edu/~rqi/pointnet/docs/cvpr17_pointnet_slides.pdf クラス分類 セグメンテーション 点群
PointNet❷ n点群を扱う問題点:⼊⼒順番依存 • 1点はxi (x, y, z, 特徴量)のD次元 • N点を纏めて⼊⼒
⁃ N!だけ順番のバリエーションが存在する ⁃ これを同じように扱える関数f, symmetric functionが欲しい 10 http://stanford.edu/~rqi/pointnet/docs/cvpr17_pointnet_slides.pdf 点の⼊⼒順に⾮依存
PointNet❸ nMaxPoolで順番依存を抜く 11 http://stanford.edu/~rqi/pointnet/docs/cvpr17_pointnet_slides.pdf g: Max Pooling 最⼤値をとることで 順番依存が消える
PointNet❹ n層設計 12 Max Pooling 点ごとに独⽴した特徴抽出
PointNet❺ n問題点 • 階層的な特徴抽出ができない ⁃ ⾼次の特徴抽出ができない 13 画像に⽤いられるCNNのように局所的な畳み込みを階層的に⾏う必要がある • 局所情報の損失
⁃ グローバル情報に依存しすぎる https://developers.google.com/machine-learning/practica/image-classification/convolutional-neural-networks
PointNet++❶ n⼿法の概要 14 畳み込みとダウンサンプリング アップサンプリング x, y, z座標を⽤いて代表点周辺の点を集めグループ化 グループ化された点に対する特徴抽出 これらを繰り返す
PointNet++❷ n畳み込みとダウンサンプリング 15 !"# : x, y, z, 特徴量 !
: x, y, z, 特徴量 近隣点をまとめて 別の特徴量を作る演算 ユークリッド距離で 半径内に⼊る点を探索 PointNetで特徴抽出
PointNet++❸ nアップサンプリング 16
Dynamic Graph CNN❶ 17 nDynamic Graph CNN • k-NN近隣を定義(※ただし特徴量空間) ⼊⼒する点群数nは固定
Dynamic Graph CNN❷ n特徴量空間でk-NN? 18 M次元の特徴 N 個の点 これに近い点 1
4 2 3 これに近い点 1 4 2 3 kNN MLP 畳み込まれた 特徴量空間でk-NNすると 幾何的に遠くても同じ特徴を持つ点を集められる 例.机の4本の⾜は特徴似ているけど それぞれの⾜は幾何的に遠くに存在
点群深層学習⼿法まとめ n⽣の点群に対する深層学習⼿法の誕⽣ • PointNetの登場により⽣の点群を扱えるようになった • ⼊⼒順に依存しない⼿法 n点群に対する畳み込み演算 • PointNet++ ⁃
3次元の幾何的な情報を⽤いて,代表点抽出・グルーピング ⁃ 近隣点を3次元空間のユークリッド距離で定義 ⁃ 近隣点をPointNetに⼊⼒し特徴抽出 • Dynamic Graph CNN ⁃ k-NNで近隣点を定義 ⁃ 距離は特徴量空間におけるユークリッド距離 19
2. Full Waveform LiDARデータへの応⽤ 20
タスクの設定 21 Input Data Trained Model power time Classified Data
セグメンテーションタスクを解く x, y, z座標と波形のセット
点群の深層学習⼿法との関係 22 ⼊⼒ ∈ ℝ!"# , , , , ,
, ⋮ $ , $ , $ , $ , , , 点群の場合 Full waveform の場合 , , , , ⋮ $ , $ , $ , , , , , , , , ⋮ $ , $ , $ , $ , , , 点群の⼿法を拡張可能
⼿法:層設計 23 x, y, z を⽤いた グループ化と 波形に対する 特徴抽出を 繰り返す
⼿法:畳み込み演算 n1DCNN • 時系列の⾳声や⽂章の解析 に使⽤される1次元畳み込み • 波形データは時系列と定義可能 • 1x3の畳み込みを波形に適⽤する 24
⼿法:最適化 nloss関数 • 重み付きクロスエントロピー ⁃ クラス間のデータ量に応じて lossを増加/減少させる n最適化⼿法 • ADAM
25
実験:データセット 26 波形 訓練とテストデータの量 訓練とテストデータ ⾚枠がテストエリア
実験:定性評価結果 27
実験:定量評価結果 28 1DCNNによる波形単位の学習と⽐較すると, PointNet++を利⽤したモデルは空間的な学習が可能となり, 抽出性能が⾼い
実験:ablation study n⼿法の効果を実験的に確認 • 波形を抜いたデータで学習:Model A ⁃ 波形を⼊れることで点群のみで学習する場合より⾼性能 ⁃ 波形情報の有効性を⽰した
• PointNetで学習:Model B ⁃ PointNet++はPointNetよりも⾼性能 ⁃ 階層的な学習⼿法の有効性を⽰した 29
まとめと課題 nまとめ • 幾何情報と波形情報を⼊⼒として,点群のセマンティックセグメン テーションを⾏なった • PointNet++を元にした層設計と波形に対する1DCNNを⽤いることで ⾼性能な予測結果が得られた • Ablation
Studyによって提案⼿法の有効性を⽰した n課題 • 幾何的な情報を代表点抽出とグループ化にのみ使⽤ ⁃ ⾼次な幾何的特徴の学習ができない 30