Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
3次元点群の分類における評価指標について
Search
Kenta Itakura
July 31, 2024
Research
0
95
3次元点群の分類における評価指標について
Kenta Itakura
July 31, 2024
Tweet
Share
More Decks by Kenta Itakura
See All by Kenta Itakura
深層学習を利用した3次元点群の分類を行う際の手順について
kentaitakura
0
39
外積やロドリゲスの回転公式を利用した点群の回転
kentaitakura
1
470
Segment Anything Modelを利用して 農作物のセグメンテーションを行ってみた
kentaitakura
0
150
LIMEを用いた判断根拠の可視化
kentaitakura
0
250
グリーンレーザーにより取得した3次元点群から海底や水面を分類した事例
kentaitakura
0
230
複数の入力の深層学習ネットワークの作成について
kentaitakura
0
150
LiDARとカメラのセンサーフュージョンによる点群のノイズ除去
kentaitakura
1
390
点群から道跡の検出を行った事例
kentaitakura
0
840
点群処理の基礎: 平面の検出と、その上下の点の取り出しについて
kentaitakura
0
510
Other Decks in Research
See All in Research
Weekly AI Agents News! 6月号 論文のアーカイブ
masatoto
1
120
論文読み会 SNLP2024 Instruction-tuned Language Models are Better Knowledge Learners. In: ACL 2024
s_mizuki_nlp
1
250
SNLP2024:Planning Like Human: A Dual-process Framework for Dialogue Planning
yukizenimoto
1
240
ニューラルネットワークの損失地形
joisino
PRO
24
7.6k
Weekly AI Agents News! 5月号 プロダクト/ニュースのアーカイブ
masatoto
0
110
ミニ四駆AI用制御装置の事例紹介
aks3g
0
120
20240710_熊本県議会・熊本市議会_都市交通勉強会
trafficbrain
0
670
SSII2024 [PD] 30周年記念特別企画SSII 技術マップ / LLMサーベイ
ssii
PRO
0
730
出生抑制策と少子化
morimasao16
0
390
「並列化時代の乱数生成」
abap34
2
290
論文紹介/Expectations over Unspoken Alternatives Predict Pragmatic Inferences
chemical_tree
1
220
LLM based AI Agents Overview -What, Why, How-
masatoto
1
300
Featured
See All Featured
Designing Experiences People Love
moore
138
23k
Build The Right Thing And Hit Your Dates
maggiecrowley
30
2.2k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
363
22k
Optimising Largest Contentful Paint
csswizardry
29
2.8k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
45
4.8k
The Straight Up "How To Draw Better" Workshop
denniskardys
230
130k
Large-scale JavaScript Application Architecture
addyosmani
508
110k
Visualization
eitanlees
142
15k
Teambox: Starting and Learning
jrom
131
8.7k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
22
1.7k
Embracing the Ebb and Flow
colly
83
4.4k
Side Projects
sachag
451
42k
Transcript
3次元点群の分類における評価指標について ImVisionLabs株式会社
3次元点群とは 3次元点群とは点の集合であり、3次元形状を表す 1 最近は、都道府県や建物の3次元点群データが公開されている 例)中野サンプラザ、綾瀬川 ※埼玉県より公開されている 道路・河川の3Dマップのデータを利用しています ※中野区より公開されているデータを利用しています
セマンティックセグメンテーション 2 ラベル付け前と後の画像 各点を分類し、どのような物体か判別する 画像出典: PLATEAU 「AIを用いた3D都市モデルの自動更新手法の開発」 https://www.mlit.go.jp/plateau/use-case/uc22-044/ 例) 人、車、植生、壁、フェンス
セマンティックセグメンテーションの例 セグメンテーションにより周辺環境を把握 例 道路、歩行者、障害物、標識、白線 衝突リスクの軽減する 走るべき場所を検出し、自動運転に寄与 3 自動運転 https://jp.mathworks.com/help/lidar/ug/automate- lidar-labeling-for-semantic-segmentation.html
https://medium.com/nerd-for-tech/autonomous-driving-annotation- case-study-semantic-segmentation-in-3d-point-cloud- 98e6da4f4dc0
分類精度評価指標の重要性 5 モデル A 分類精度 0.7 Loss 6 モデル B
分類精度 0.6 Loss 4 モデル A 分類精度 0.7 分類精度の高いA を採用しよう! 3割ほど誤分類のリ スクあるから、人によ る確認も追加しよう 分類精度をもとに最適なモデルを選択可能 誤分類の傾向を知ることでリスク回避につながる
予測値と正解の値(混同行列) 6 正 負 正 True Positive (TP) False Negative
(FN) 負 False Positive (FP) True Negative (TN) 機械学習モデル 手動でラベリング 予測 正解 予測と正解 が一致
全体精度(Accuracy) 7 正 負 正 True Positive (TP) False Negative
(FN) 負 False Positive (FP) True Negative (TN) Accuracy = TP + TN TP + TN + FP + FN = • シンプルな計算方法 • データセット全体の予測性能を評価 • クラス間で点数が大きく異なる場合に使いにくい メリット デメリット
再現率(Recall)、適合率(Precision) 8 Precision = TP TP + FP Recall =
TP TP + FN 予測値が正であるものが、 正解が正であるものをどれ だけ再現しているか 予測値が正であるものが、 正解が正であるものに適合 しているか トレードオフ 正 負 正 TP FN 負 FP TN 予測 正解
F1スコア 9 Precision Recall F1 = 2 × Precision ×
Recall Precision + Recall RecallとPrecisionの調和平均(逆数の和の平均の逆数) 調和平均は、2つの値がどちらも高い場合にのみ高い値を示す クラスの不均衡に対応しつつ、全体のデータセットの予測性能を評価できる
調和平均 vs 算術平均 10
IoU(Intersection over Union) 11 IoU = TP TP + FP
+ FN データセット全体の予測性能を評価 実際に真 予測が真 TP FP FN TN 正 負 正 TP FN 負 FP TN 予測 正解
具体例(クラスの不均衡) 12 正解データ 予測データ Accuracy: 0.995 Recall:0.928 Precision:0.540 F1:0.683 IOU:0.518
ほとんどが負のデータ であり、TP、FN、FP の比率にかかわらず、 Accuracyは大きくなる 正 負 正 TP 4428 FN 346 負 FP 3768 TN 876131 正解 予測 ※東京都より公開されている 東京都デジタルツイン実現プロジェクトのデータを利用しています 電線を正とする
具体例(クラス不均衡) 13 正解データ 予測データ Accuracy: 0.990 Recall:0.681 Precision:0.244 F1:0.360 IOU:0.220
同様にAccuracyは高 いが、Recall、 Precisionは低くなる 正 負 正 TP 2397 FN 1123 負 FP 7413 TN 873740 正解 予測 ※東京都より公開されている 東京都デジタルツイン実現プロジェクトのデータを利用しています 鉄塔を正とする
具体例(過剰予測) 14 正解データ 正 負 正 10758 (TP) 0 (FN)
負 67371 (FP) 0 (TN) 予測データ Accuracy: 0.14 Recall:1.00 Precision:0.14 F1:0.24 IOU:0.14 全然正しくないが Recallは高い ※DALESデータセットを利用しています 家を正とする
まとめ 15 iPhone12 LiDAR 3次元点群とは • 点の集合で3次元形状を表す 例:中野サンプラザ、綾瀬川 セマンティックセグメンテーション •
各点にクラスを分類(例:道路、歩行者) 利点:自動運転のリスク軽減 分類精度評価指標 • 指標例:Accuracy、Recall、Precision、F1スコア、IoU 分類精度評価の具体例を例示 • 目的に合った評価指標を中心に評価する必要性