3次元点群の分類における評価指標について

2024年8月14日に開催された大阪駆動開発様主催のオンライン勉強会イベント「AIミーティング 」にて弊社エンジニアが3次元点群の分類における評価指標についての発表を行いました。

イベントページ
connpass: https://osaka-driven-dev.connpass.com/event/322269/

発表動画
https://youtu.be/-k9Mxld8vt0

Transcript

1. 3次元点群の分類における評価指標について ImVisionLabs株式会社
2. 3次元点群とは 3次元点群とは点の集合であり、3次元形状を表す 1 最近は、都道府県や建物の3次元点群データが公開されている 例）中野サンプラザ、綾瀬川 ※埼玉県より公開されている 道路・河川の３Dマップのデータを利用しています ※中野区より公開されているデータを利用しています
3. セマンティックセグメンテーション 2 ラベル付け前と後の画像 各点を分類し、どのような物体か判別する 画像出典: PLATEAU 「AIを用いた3D都市モデルの自動更新手法の開発」 https://www.mlit.go.jp/plateau/use-case/uc22-044/ 例） 人、車、植生、壁、フェンス
4. セマンティックセグメンテーションの例 セグメンテーションにより周辺環境を把握 例 道路、歩行者、障害物、標識、白線 衝突リスクの軽減する 走るべき場所を検出し、自動運転に寄与 3 自動運転 https://jp.mathworks.com/help/lidar/ug/automate- lidar-labeling-for-semantic-segmentation.html https://medium.com/nerd-for-tech/autonomous-driving-annotation- case-study-semantic-segmentation-in-3d-point-cloud- 98e6da4f4dc0
5. 分類精度評価指標の重要性 5 モデル A 分類精度 0.7 Loss 6 モデル B 分類精度 0.6 Loss 4 モデル A 分類精度 0.7 分類精度の高いA を採用しよう！ 3割ほど誤分類のリ スクあるから、人によ る確認も追加しよう 分類精度をもとに最適なモデルを選択可能 誤分類の傾向を知ることでリスク回避につながる
6. 予測値と正解の値（混同行列） 6 正 負 正 True Positive (TP) False Negative (FN) 負 False Positive (FP) True Negative (TN) 機械学習モデル 手動でラベリング 予測 正解 予測と正解 が一致
7. 全体精度（Accuracy） 7 正 負 正 True Positive (TP) False Negative (FN) 負 False Positive (FP) True Negative (TN) Accuracy = TP + TN TP + TN + FP + FN = • シンプルな計算方法 • データセット全体の予測性能を評価 • クラス間で点数が大きく異なる場合に使いにくい メリット デメリット
8. 再現率（Recall）、適合率（Precision） 8 Precision = TP TP + FP Recall = TP TP + FN 予測値が正であるものが、 正解が正であるものをどれ だけ再現しているか 予測値が正であるものが、 正解が正であるものに適合 しているか トレードオフ 正 負 正 TP FN 負 FP TN 予測 正解
9. F1スコア 9 Precision Recall F1 = 2 × Precision × Recall Precision + Recall  RecallとPrecisionの調和平均（逆数の和の平均の逆数）  調和平均は、2つの値がどちらも高い場合にのみ高い値を示す  クラスの不均衡に対応しつつ、全体のデータセットの予測性能を評価できる
10. 調和平均 vs 算術平均 10
11. IoU（Intersection over Union） 11 IoU = TP TP + FP + FN データセット全体の予測性能を評価 実際に真 予測が真 TP FP FN TN 正 負 正 TP FN 負 FP TN 予測 正解
12. 具体例（クラスの不均衡） 12 正解データ 予測データ Accuracy: 0.995 Recall:0.928 Precision:0.540 F1:0.683 IOU:0.518 ほとんどが負のデータ であり、TP、FN、FP の比率にかかわらず、 Accuracyは大きくなる 正 負 正 TP 4428 FN 346 負 FP 3768 TN 876131 正解 予測 ※東京都より公開されている 東京都デジタルツイン実現プロジェクトのデータを利用しています 電線を正とする
13. 具体例（クラス不均衡） 13 正解データ 予測データ Accuracy: 0.990 Recall:0.681 Precision:0.244 F1:0.360 IOU:0.220 同様にAccuracyは高 いが、Recall、 Precisionは低くなる 正 負 正 TP 2397 FN 1123 負 FP 7413 TN 873740 正解 予測 ※東京都より公開されている 東京都デジタルツイン実現プロジェクトのデータを利用しています 鉄塔を正とする
14. 具体例（過剰予測） 14 正解データ 正 負 正 10758 (TP) 0 (FN) 負 67371 (FP) 0 (TN) 予測データ Accuracy: 0.14 Recall:1.00 Precision:0.14 F1:0.24 IOU:0.14 全然正しくないが Recallは高い ※DALESデータセットを利用しています 家を正とする
15. まとめ 15 iPhone12 LiDAR 3次元点群とは • 点の集合で3次元形状を表す 例：中野サンプラザ、綾瀬川 セマンティックセグメンテーション • 各点にクラスを分類（例：道路、歩行者） 利点：自動運転のリスク軽減 分類精度評価指標 • 指標例：Accuracy、Recall、Precision、F1スコア、IoU 分類精度評価の具体例を例示 • 目的に合った評価指標を中心に評価する必要性