3次元点群からの点の間引き（サンプリング）について

Transcript

1. 3次元点群からの点の間引き（サンプリング） 板倉健太 ImVisionLabs株式会社代表取締役
2. 点群データの取得と課題 点群データの取得方法として様々な方法がある • 地上型レーザースキャナー： TLS (Terrestrial Laser Scanning) • 車両レーザスキャナー ： MMS (Mobile Mapping System) • 航空機レーザースキャナー： ALS (Airborne Laser Scanning) 例： 写真1:地上型レーザースキャナー 写真1出典：株式会社かみえちご測地 https://kamiechigo.com/uav/uav03/ 写真2:車両レーザースキャナー 写真2出典:iPROSものづくり https://mono.ipros.com/product/detail/2000702522 写真3出典:i-Construction https://icon.fukuicompu.co.jp/start/drone.html 写真3:航空機レーザースキャナー
3. 点群データの取得と課題 点群は膨大な点数を含み（例1000万点）ファイルサイズが大きくなりやすい ファイルサイズが大きいと、処理を行う際に膨大な時間がかかる 点群処理を効率的に行うためには適切なサンプリング手法（点群の間引き）が必要 東京都のHPより点群データをダウンロードすると、 東京大学の本郷・弥生キャンパスの点群データは 約2.8GB （URL: 東京都デジタルツイン実現プロジェクト https://info.tokyo-digitaltwin.metro.tokyo.lg.jp）
4. サンプリング手法の例 代表的な点のサンプリング手法として、今回は5つの方法を紹介する 手法 概要 ランダムサンプリング（Random） 無作為に点を抽出 平均グリッドサンプリング※（Grid Average） グリット内平均で代表 Grid Nearest グリット内最近点を選ぶ FPS (Farthest Point Sampling) 最遠点を順に選ぶ IDISS (Inverse Density Importance Sub-Sampling) 密度逆比例で抽出 ※ボクセルグリッドサンプリング（フィルタリング）などとも呼ばれますが、ここではこのよ うに表現します
5. ランダムサンプリング(Random Sampling) 点群からランダムに点を選択する 全体の点密度を均等に減らす 局所的な情報が失われる可能性がある ランダムに点を選択 設定値：出力点数の比率 [0-1] ランダムサンプリング
6. ランダムサンプリングの特徴 高速に処理可能 全体の点密度を均等に減らす 局所的な情報が失われる可能性がある
7. ランダムサンプリングの特徴
8. 平均グリッドサンプリング(Grid Average Sampling) 各グリッド内の点の平均位置を取得 画像出典：Deliberate Learning https://tech-deliberate-jiro.com/downsampling-grid/
9. 平均グリッドサンプリングの特徴 各セルの代表点が安定 外れ値の影響を低減 処理速度が比較的速い
10. 平均グリッドサンプリングの特徴
11. グリッドサンプリング (Grid Nearest) 点群を指定したグリッドサイズで分割し、各グリッドの代表点を取得 設定値：グリッドのサイズ グリッドサンプリング 各グリッドの中心点に最も近い点を代表点とする
12. グリッドサンプリングの特徴 点密度を均一に調整可能 各グリッドの中心点に最も近い点を代表点として選ぶため、 元の点群の特徴を比較的忠実に維持できる
13. グリッドサンプリングの特徴
14. Farthest Point Sampling (FPS) ランダムに1点を選んだ後、既に選択した点から最も遠い点を順次選択 クラスタリングやメッシュ生成に有効 最初の点(点A)を ランダムに選択 点A、Bから最も離れた 点（点C）を選択 点A→ 点A→ 点A→ 点A→ 点Aから最も離れた 点（点B）を選択 点A、B、Cから最も 離れた点（点D）を選択 ←点B ↑点C ←点B ←点B ↑点C 点D↑
15. Farthest Point Sampling (FPS) の特徴 均一な点分布を実現しやすい ノイズに強い 計算コストが高い
16. Farthest Point Sampling (FPS) の特徴
17. Farthest Point Sampling (FPS) の特徴 右の動画はFPSが選択した点を 赤い点で順次表示したもの 均一に点を取得していることが感 覚的に理解できる
18. Inverse Density Importance Sub-Sampling (IDISS) 点密度の高い領域の点群を少なく、点密度の低い領域の点群を多く取得 点の局所密度に基づいてサンプルの優先度を決定 少なく取得 少なく取得 多く取得 多く取得
19. IDISSの特徴 点密度が低い領域から点群を多く取得するため、物体の形状をより忠実 に維持できる
20. IDISSの特徴
21. IDISSの特徴  IDISSの結果密度が低い領域の点群が多く残ることがわかる [a] 密度ごとに色分け下図（赤：密度小） [b] IDISSによりサンプリングした時の結果
22. IDISSの特徴  IDISSの結果密度が低い領域の点群が多く残ることがわかる
23. 応用例: 点群深層学習におけるサンプリング 点群を対象にした深層学習においてもサンプリングは重要 点群の深層学習で有名なPointNet++ではサンプリングにより効果的な処理を実現 図出典: Qi, C. R., Yi, L., Su, H., & Guibas, L. J. (2017). Pointnet++: Deep hierarchical feature learning on point sets in a metric space. Advances in neural information processing systems, 30. 図出典: MATLAB https://www.mathworks.com/help/lidar/ug/aerial-lidar- segmentation-using-pointnet-network.html
24. サンプリング手法のまとめ 手法名 処理速度 点密度の制御 特徴保持性能 主な用途・特徴 Random Sampling ◎ 全体を均等に減少 局所情報が失われやすい シンプルで高速な手法。全体的に点 数を減らす際に有効。 Grid Average Sampling 〇 グリッドで均一に制御可能 元の構造を比較的維持 各グリッドの平均点を代表点に。外 れ値の影響を低減するが元データ の点の位置が移動してしまう。 Grid Nearest Sampling 〇 グリッドで均一に制御可能 元の構造を比較的維持 各グリッド中心に最も近い点を選択。 構造保持に優れる。 Farthest Point Sampling (FPS) × 均一分布だが密度制御は不可 形状保持に優れる 形状を保持でき、PointNet++などの 深層学習モデルの中でも利用される。 IDISS △ 密度に応じて調整可能 形状保持に優れる 単純なランダムやグリッドサンプリン グでは冗長になりがちな密集領域を 効率的に間引ける。  様々なサンプリング方法があり、目的に応じて使い分けることが重要です