Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
深層学習を利用した3次元点群の分類を行う際の手順について
Search
Kenta Itakura
August 31, 2024
Technology
0
130
深層学習を利用した3次元点群の分類を行う際の手順について
Kenta Itakura
August 31, 2024
Tweet
Share
More Decks by Kenta Itakura
See All by Kenta Itakura
LiDARとカメラのセンサーフュージョンによる点群からのノイズ除去
kentaitakura
0
3
センサーフュージョンを利用した橋梁の構造情報の推定
kentaitakura
0
3
外積やロドリゲスの回転公式を利用した点群の回転
kentaitakura
1
520
3次元点群の分類における評価指標について
kentaitakura
0
100
Segment Anything Modelを利用して 農作物のセグメンテーションを行ってみた
kentaitakura
0
170
LIMEを用いた判断根拠の可視化
kentaitakura
0
260
グリーンレーザーにより取得した3次元点群から海底や水面を分類した事例
kentaitakura
0
240
複数の入力の深層学習ネットワークの作成について
kentaitakura
0
150
LiDARとカメラのセンサーフュージョンによる点群のノイズ除去
kentaitakura
1
400
Other Decks in Technology
See All in Technology
技術ブログや登壇資料を秒で作るコツ伝授します
minorun365
PRO
23
5.5k
セキュリティ監視の内製化 効率とリスク
mixi_engineers
PRO
7
910
LandingZoneAccelerator と学ぶ 「スケーラブルで安全なマルチアカウントAWS環境」と 私たちにもできるベストプラクティス
maimyyym
1
130
AI でアップデートする既存テクノロジーと、クラウドエンジニアの生きる道
soracom
PRO
2
400
自社サービスのための独自リリース版Redmine「RedMica」の取り組み
vividtone
0
1.1k
Swift Testingのconfirmationを コードリーディング/Dive into Swift Testing confirmation
laprasdrum
1
230
やってやろうじゃないかメカアジャイル! / Let's do it, mechanical agile!
psj59129
1
180
20240911_New_Relicダッシュボード活用例
speakerdeckfk
0
100
突撃! 隣のAmazon Bedrockユーザー 〜YouはどうしてAWSで?〜
minorun365
PRO
3
330
Road to Single Activity
yurihondo
1
200
Oracle Exadata Database Service(Dedicated Infrastructure):サービス概要のご紹介
oracle4engineer
PRO
0
9.5k
AWS SAW を広めたい @四国クラウドお遍路
kazzpapa3
0
220
Featured
See All Featured
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
36
1.7k
Git: the NoSQL Database
bkeepers
PRO
425
64k
Visualization
eitanlees
142
15k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
502
140k
Pencils Down: Stop Designing & Start Developing
hursman
119
11k
Web Components: a chance to create the future
zenorocha
308
42k
How to train your dragon (web standard)
notwaldorf
85
5.6k
Adopting Sorbet at Scale
ufuk
73
8.9k
Practical Orchestrator
shlominoach
185
10k
5 minutes of I Can Smell Your CMS
philhawksworth
202
19k
How GitHub Uses GitHub to Build GitHub
holman
472
290k
A Tale of Four Properties
chriscoyier
155
22k
Transcript
深層学習を利用して3次元点群を分類するとき のおおまかな流れについて ImVisionLabs株式会社
自己紹介:板倉健太 1 ImVisionLabs株式会社 代表取締役 3次元点群という3次元データの処理やアルゴリズム開発などを行っています ※東京都より公開されている 東京都デジタルツイン実現プロジェクトの データを利用しています
3次元点群とは? 2 バックパック型スキャナー iPhone12 LiDAR 点の集まりによって、対象の形状を表現するもの • 各点はXYZ以外に、RGBや反射強度などの情報を保持できる [動画]
近年様々な自治体によって公開され、利活用が進んでいる ※ 3次元点群データは東京都デジタルツイン実現プロジェクトよりダウンロー ドしました
3次元点群の利用例:工場の設備管理 4 バックパック型スキャナー iPhone12 LiDAR • 寸法といった現場でしか確認できなかったデータを遠隔で確認できる [動画] • 新たな設備の導入時に既存の設備との干渉の有無を確認ができる
画像出典: SUNTORY https://www.suntory.co.jp/company/digital/base/exchange.html 画像出典: PLANTAXIS「製造工場での技術伝承(継承) 問題を3Dデジタル工場で解決」 https://www.plantaxis.net/case/673/ 工場の設備を3次元点群データとして保存
3次元点群の処理について [a] ScanX2.0 点群から情報を得るためには、点群の認識が重要 例)樹木の量を知るために、植生を抽出、電線を抽出、対象外の自動車の点群を除去
深層学習によるセグメンテーション 6 ラベリングデータを利用して、モデルを学習 画像出典:MathWorks (Get Started with PointNet++) https://www.mathworks.com/help/lidar/ug/get-started-pointnetplus.html
入力点群の各点に分類情報を付与(ex:電線。樹木) • ラベリングデータとは、各点に分類が付与されたデータ 代表的なネットワークとして、PointNetが存在する
深層学習における画像と点群の主な違い 7 データの違い • 画像は、規則的な構造で、データ数が一定 • 点群は、不規則な構造で、データ数が一定でない 画像出典: https://www.realinite.co.jp/article/ai/article15/index.php?language=jp
X Y Z R G B 12 14 45 125 35 222 74 33 45 12 57 65 57 27 74 253 33 48 … … 23 34 56 255 46 64 N行
深層学習における画像と点群の主な違い 8 ラベリングの違い • 点群では、各点に対してラベル付け • 画像では、主にバウンディングボックスでラベル付け 画像出典:MATLAB https://jp.mathworks.com/help/vision/ref/trainingimagelabeler-app.html
点群において利用するファイル形式について 9 航空機やドローン(UAV)から取得する点群はLAS形式で保存されることが多い CloudCompareを利用して表示しています Classificationという分類専用のフィールドが存在する
ラベリングの結果の例 14 iPhone12 LiDAR 東京都の公開するオープンデータをラベリングしたときの例 手動によるラベリングを行った
学習過程の例 15 iPhone12 LiDAR 左下の動画は学習の過程で、そのモデルを利用して推論した時の結果を示す 右下の画像は学習の回数が多くなるほど、 学習時のミス(損失)が小さくなっていくイメージを示す
推論結果の例 16 iPhone12 LiDAR 点群を自動分類した時の結果の例 点群ファイル出典: 分類される前のオリジナルファイルは、長崎県より公開さ れているオープンナガサキデータよりダウンロードされました 点群ファイル出典:
分類される前のオリジナルファイルは、静 岡県より公開されているVIRTUALSHIZUOKAデータセット よりダウンロードされました 異なるクラスがそれぞれ別の色で示されている
まとめ 17 深層学習を用いることで、複雑で不規則な3次元点群データを自動的に分類すること が可能であることを紹介しました • 従来手動で行われていた分類作業が大幅に効率化され、様々なアプリケーションで の実用性が高まります 画像処理とは異なり、点群は各点が個別にラベル付けされ、データの不規則性が課
題となります • PointNetなどの点群の分類に特化したネットワークが使用されます