$30 off During Our Annual Pro Sale. View Details »

3次元点群の分類における評価指標について

 3次元点群の分類における評価指標について

2024年8月14日に開催された大阪駆動開発様主催のオンライン勉強会イベント「AIミーティング 」にて弊社エンジニアが3次元点群の分類における評価指標についての発表を行いました。

イベントページ
connpass: https://osaka-driven-dev.connpass.com/event/322269/

発表動画
https://youtu.be/-k9Mxld8vt0

Kenta Itakura

July 31, 2024
Tweet

More Decks by Kenta Itakura

Other Decks in Research

Transcript

  1. 分類精度評価指標の重要性 5 モデル A 分類精度 0.7 Loss 6 モデル B

    分類精度 0.6 Loss 4 モデル A 分類精度 0.7 分類精度の高いA を採用しよう! 3割ほど誤分類のリ スクあるから、人によ る確認も追加しよう 分類精度をもとに最適なモデルを選択可能 誤分類の傾向を知ることでリスク回避につながる
  2. 予測値と正解の値(混同行列) 6 正 負 正 True Positive (TP) False Negative

    (FN) 負 False Positive (FP) True Negative (TN) 機械学習モデル 手動でラベリング 予測 正解 予測と正解 が一致
  3. 全体精度(Accuracy) 7 正 負 正 True Positive (TP) False Negative

    (FN) 負 False Positive (FP) True Negative (TN) Accuracy = TP + TN TP + TN + FP + FN = • シンプルな計算方法 • データセット全体の予測性能を評価 • クラス間で点数が大きく異なる場合に使いにくい メリット デメリット
  4. 再現率(Recall)、適合率(Precision) 8 Precision = TP TP + FP Recall =

    TP TP + FN 予測値が正であるものが、 正解が正であるものをどれ だけ再現しているか 予測値が正であるものが、 正解が正であるものに適合 しているか トレードオフ 正 負 正 TP FN 負 FP TN 予測 正解
  5. F1スコア 9 Precision Recall F1 = 2 × Precision ×

    Recall Precision + Recall  RecallとPrecisionの調和平均(逆数の和の平均の逆数)  調和平均は、2つの値がどちらも高い場合にのみ高い値を示す  クラスの不均衡に対応しつつ、全体のデータセットの予測性能を評価できる
  6. IoU(Intersection over Union) 11 IoU = TP TP + FP

    + FN データセット全体の予測性能を評価 実際に真 予測が真 TP FP FN TN 正 負 正 TP FN 負 FP TN 予測 正解
  7. 具体例(クラスの不均衡) 12 正解データ 予測データ Accuracy: 0.995 Recall:0.928 Precision:0.540 F1:0.683 IOU:0.518

    ほとんどが負のデータ であり、TP、FN、FP の比率にかかわらず、 Accuracyは大きくなる 正 負 正 TP 4428 FN 346 負 FP 3768 TN 876131 正解 予測 ※東京都より公開されている 東京都デジタルツイン実現プロジェクトのデータを利用しています 電線を正とする
  8. 具体例(クラス不均衡) 13 正解データ 予測データ Accuracy: 0.990 Recall:0.681 Precision:0.244 F1:0.360 IOU:0.220

    同様にAccuracyは高 いが、Recall、 Precisionは低くなる 正 負 正 TP 2397 FN 1123 負 FP 7413 TN 873740 正解 予測 ※東京都より公開されている 東京都デジタルツイン実現プロジェクトのデータを利用しています 鉄塔を正とする
  9. 具体例(過剰予測) 14 正解データ 正 負 正 10758 (TP) 0 (FN)

    負 67371 (FP) 0 (TN) 予測データ Accuracy: 0.14 Recall:1.00 Precision:0.14 F1:0.24 IOU:0.14 全然正しくないが Recallは高い ※DALESデータセットを利用しています 家を正とする
  10. まとめ 15 iPhone12 LiDAR 3次元点群とは • 点の集合で3次元形状を表す 例:中野サンプラザ、綾瀬川 セマンティックセグメンテーション •

    各点にクラスを分類(例:道路、歩行者) 利点:自動運転のリスク軽減 分類精度評価指標 • 指標例:Accuracy、Recall、Precision、F1スコア、IoU 分類精度評価の具体例を例示 • 目的に合った評価指標を中心に評価する必要性