画像への投影を用いた3D点群認識

Transcript

1. 画像への投影を用いた3D点群認識 板倉健太 ImVisionLabs株式会社代表取締役
2. 点群分類のアプローチ概要 センサーフュージョンの例: 点群と画像を組み合わせてメッシュ生成 3D処理のイメージ： 点群にて円柱フィッティング 点群の2D投影による処理のイメージ： 上から見た視点に変換しエッジ抽出  点群を処理する方法の例を以下に示す • 3D処理：点群をそのまま空間的に扱い、幾何処理やクラスタリングなどの処理を行う • 2D投影：俯瞰画像などに変換し、エッジ処理などの画像処理ベースの手法を用いる • センサーフュージョン：点群にRGB画像を組み合わせ、色情報を加味した解析を行う
3. ラベリングが点群に比べて画像の方が工数が少ない なぜ投影ベース手法を用いるのか 画像解析分野で蓄積されてきた豊富なアルゴリズムを流用可能であり、開発効率が高い 点群を2D画像に投影することで、画像処理分野で発展した高性能なCNN（畳み込み ニューラルネットワーク）やYOLOなどの物体検出の手法などを流用できる 画像ラベリング 点群ラベリング
4. なぜ投影ベース手法を用いるのか 以下は2Dの画像（動画）に対して物体検出とカルマンフィルタによる追跡を利用した梨の カウントを行っている (Itakuraら, 2021) 点群を画像へ投影すれば同様のワークフローも利用可能 画像出典: Itakura, K., Narita, Y., Noaki, S., & Hosoi, F. (2021). Automatic pear and apple detection by videos using deep learning and a Kalman filter. Osa Continuum, 4(5), 1688-1695.
5. 投影ベース手法が適している場面の例 例）道路に沿ってLiDARで都市部を計測した場合 道路から見えない建物裏側の点群は取得が困難ため、投影によるセグメンテーショ ンでも失われる情報が少なく、分類精度に与える影響が小さい 画像に投影した時の様子 セグメンテーションした時の様子 視点を固定 点群密度が高く奥行きの少ない構造物（トンネル・マンホールなど）においても有効
6. 投影型セグメンテーションのワークフロー（処理の流れ） 1. 点群を正射影により 2D平面に投影 ２次元画像に投影 画像化 [i] [ii] 深層学習モデルによる分類 [iii] 物体ごとに取り出し 2. 深層ネットワークによる画像 セグメンテーション 3.セグメント結果を3D点群に再投影して ラベル付け 3次元点群 物体ごとに分離
7. 実践事例：都市樹木の自動検出への応用 LiDARデータを画像化し、機械学習（One Class SVM）によって都市内の樹木を識別 都市環境における樹木の自動検出において、点群を2D画像に投影してセグメンテー ションを行う手法が報告されている (Itakura and Hosoi, 2019) 投影を活用することで、高精度に樹木の点群のみを抽出することができた事例 画像出典: Kenta Itakura and Fumiki Hosoi. (2019). Automated tree detection from 3D lidar images using image processing and machine learning. Applied Optics, 58, 3807-3811.
8. 実践事例2：橋梁の構造情報の推定 投影画像にて主桁の交点を検出したときの様子 画像にて検出した交点を点群へ反映した様子  交点の検出により、橋梁構造内の桁配置や交差構造を明示でき、構造全体の理解 や部材分離の自動化に役立つ可能性がある  橋梁の3次元点群から主桁を取り出し、2D画像に変換した  画像解析の手法である細線化と組み合わせることで、主桁の交点を自動的に検出 画像出典: 板倉健太, 林拓哉, 上脇優人, & 全邦釘. (2024). セマンティックセグメン テーションやセンサーフュージョンを利用した橋梁の構造情報の推定のための点群 処理手法の開発.