Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
3次元点群の分類における評価指標について
Search
Kenta Itakura
July 31, 2024
Research
0
100
3次元点群の分類における評価指標について
Kenta Itakura
July 31, 2024
Tweet
Share
More Decks by Kenta Itakura
See All by Kenta Itakura
LiDARとカメラのセンサーフュージョンによる点群からのノイズ除去
kentaitakura
0
3
センサーフュージョンを利用した橋梁の構造情報の推定
kentaitakura
0
3
深層学習を利用した3次元点群の分類を行う際の手順について
kentaitakura
0
130
外積やロドリゲスの回転公式を利用した点群の回転
kentaitakura
1
520
Segment Anything Modelを利用して 農作物のセグメンテーションを行ってみた
kentaitakura
0
170
LIMEを用いた判断根拠の可視化
kentaitakura
0
260
グリーンレーザーにより取得した3次元点群から海底や水面を分類した事例
kentaitakura
0
240
複数の入力の深層学習ネットワークの作成について
kentaitakura
0
150
LiDARとカメラのセンサーフュージョンによる点群のノイズ除去
kentaitakura
1
400
Other Decks in Research
See All in Research
[第62回NLPコロキウム]「なりきり」を促すHCI設計:対話型接客ロボットの遠隔操作者へのリアルタイム変換音声フィードバックの適用
nami_ogawa
0
260
第28回 著者ゼミ:Identification of drug responsible glycogene signature in liver carcinoma from meta-analysis using RNA-seq data
ktatsuya
2
240
この先生きのこるには
verypluming
4
4.8k
[CV勉強会@関東 CVPR2024] Visual Layout Composer: Image-Vector Dual Diffusion Model for Design Layout Generation / kantocv 61th CVPR 2024
shunk031
1
290
Minimum Bayes-Risk Decoding における性能変動の理解に向けて(2024年6月5日 第59回 NLPコロキウム)
atsumoto
0
310
20240725異文化融合研究セミナーiSeminar
tadook
0
120
授業評価アンケートのテキストマイニング
langstat
1
320
Y.Morita_20240726_JBUG_Fukuoka#18
ymorita613
0
210
Isotropy, Clusters, and Classifiers
hpprc
3
480
論文紹介/Expectations over Unspoken Alternatives Predict Pragmatic Inferences
chemical_tree
1
230
工学としてのSRE再訪 / Revisiting SRE as Engineering
yuukit
18
8.9k
SNLP2024:Planning Like Human: A Dual-process Framework for Dialogue Planning
yukizenimoto
1
260
Featured
See All Featured
How GitHub (no longer) Works
holman
310
140k
In The Pink: A Labor of Love
frogandcode
139
22k
VelocityConf: Rendering Performance Case Studies
addyosmani
322
23k
Infographics Made Easy
chrislema
239
18k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
278
13k
Raft: Consensus for Rubyists
vanstee
135
6.5k
Bootstrapping a Software Product
garrettdimon
PRO
304
110k
Bash Introduction
62gerente
608
210k
BBQ
matthewcrist
83
9.1k
Thoughts on Productivity
jonyablonski
66
4.2k
How GitHub Uses GitHub to Build GitHub
holman
472
290k
Principles of Awesome APIs and How to Build Them.
keavy
125
16k
Transcript
3次元点群の分類における評価指標について ImVisionLabs株式会社
3次元点群とは 3次元点群とは点の集合であり、3次元形状を表す 1 最近は、都道府県や建物の3次元点群データが公開されている 例)中野サンプラザ、綾瀬川 ※埼玉県より公開されている 道路・河川の3Dマップのデータを利用しています ※中野区より公開されているデータを利用しています
セマンティックセグメンテーション 2 ラベル付け前と後の画像 各点を分類し、どのような物体か判別する 画像出典: PLATEAU 「AIを用いた3D都市モデルの自動更新手法の開発」 https://www.mlit.go.jp/plateau/use-case/uc22-044/ 例) 人、車、植生、壁、フェンス
セマンティックセグメンテーションの例 セグメンテーションにより周辺環境を把握 例 道路、歩行者、障害物、標識、白線 衝突リスクの軽減する 走るべき場所を検出し、自動運転に寄与 3 自動運転 https://jp.mathworks.com/help/lidar/ug/automate- lidar-labeling-for-semantic-segmentation.html
https://medium.com/nerd-for-tech/autonomous-driving-annotation- case-study-semantic-segmentation-in-3d-point-cloud- 98e6da4f4dc0
分類精度評価指標の重要性 5 モデル A 分類精度 0.7 Loss 6 モデル B
分類精度 0.6 Loss 4 モデル A 分類精度 0.7 分類精度の高いA を採用しよう! 3割ほど誤分類のリ スクあるから、人によ る確認も追加しよう 分類精度をもとに最適なモデルを選択可能 誤分類の傾向を知ることでリスク回避につながる
予測値と正解の値(混同行列) 6 正 負 正 True Positive (TP) False Negative
(FN) 負 False Positive (FP) True Negative (TN) 機械学習モデル 手動でラベリング 予測 正解 予測と正解 が一致
全体精度(Accuracy) 7 正 負 正 True Positive (TP) False Negative
(FN) 負 False Positive (FP) True Negative (TN) Accuracy = TP + TN TP + TN + FP + FN = • シンプルな計算方法 • データセット全体の予測性能を評価 • クラス間で点数が大きく異なる場合に使いにくい メリット デメリット
再現率(Recall)、適合率(Precision) 8 Precision = TP TP + FP Recall =
TP TP + FN 予測値が正であるものが、 正解が正であるものをどれ だけ再現しているか 予測値が正であるものが、 正解が正であるものに適合 しているか トレードオフ 正 負 正 TP FN 負 FP TN 予測 正解
F1スコア 9 Precision Recall F1 = 2 × Precision ×
Recall Precision + Recall RecallとPrecisionの調和平均(逆数の和の平均の逆数) 調和平均は、2つの値がどちらも高い場合にのみ高い値を示す クラスの不均衡に対応しつつ、全体のデータセットの予測性能を評価できる
調和平均 vs 算術平均 10
IoU(Intersection over Union) 11 IoU = TP TP + FP
+ FN データセット全体の予測性能を評価 実際に真 予測が真 TP FP FN TN 正 負 正 TP FN 負 FP TN 予測 正解
具体例(クラスの不均衡) 12 正解データ 予測データ Accuracy: 0.995 Recall:0.928 Precision:0.540 F1:0.683 IOU:0.518
ほとんどが負のデータ であり、TP、FN、FP の比率にかかわらず、 Accuracyは大きくなる 正 負 正 TP 4428 FN 346 負 FP 3768 TN 876131 正解 予測 ※東京都より公開されている 東京都デジタルツイン実現プロジェクトのデータを利用しています 電線を正とする
具体例(クラス不均衡) 13 正解データ 予測データ Accuracy: 0.990 Recall:0.681 Precision:0.244 F1:0.360 IOU:0.220
同様にAccuracyは高 いが、Recall、 Precisionは低くなる 正 負 正 TP 2397 FN 1123 負 FP 7413 TN 873740 正解 予測 ※東京都より公開されている 東京都デジタルツイン実現プロジェクトのデータを利用しています 鉄塔を正とする
具体例(過剰予測) 14 正解データ 正 負 正 10758 (TP) 0 (FN)
負 67371 (FP) 0 (TN) 予測データ Accuracy: 0.14 Recall:1.00 Precision:0.14 F1:0.24 IOU:0.14 全然正しくないが Recallは高い ※DALESデータセットを利用しています 家を正とする
まとめ 15 iPhone12 LiDAR 3次元点群とは • 点の集合で3次元形状を表す 例:中野サンプラザ、綾瀬川 セマンティックセグメンテーション •
各点にクラスを分類(例:道路、歩行者) 利点:自動運転のリスク軽減 分類精度評価指標 • 指標例:Accuracy、Recall、Precision、F1スコア、IoU 分類精度評価の具体例を例示 • 目的に合った評価指標を中心に評価する必要性