リスク運転行動検知タスクにおけるData-CentricなAIモデル改善の実践例

第16回Data-Centric AI勉強会での発表資料です。

Transcript

1. © GO Drive Inc. リスク運転行動検知タスクに おけるData-CentricなAIモデル改 善の実践例 第16回 Data Centric AI勉強会@2025-11-11
2. © GO Drive Inc. 2 • 廣中 栄介 • 所属 ◦ GOドライブ株式会社 ◦ AI本部 AI技術開発2部 データサイエンティスト • 経歴 ◦ ~2019/10 研究開発エンジニア@パナソニック ◦ ~2022/11 データアナリスト@サマリー ◦ ~2024/1 AIエンジニア@HEROZ 自己紹介 @pensuke_san
3. © GO Drive Inc. GOドライブ株式会社 　　社名 GOドライブ株式会社（英文名： GO Drive Inc.） 　　設立 2025年8月1日 事業内容 車両管理を行う企業の安全管理サポートなどモビリティ関連事業 ・事故削減支援を行う次世代 AIドラレコサービス『 DRIVE CHART』の開発・運営 ・次世代のデータ活用基盤の開発を行う、道路情報の自動差分抽出プロジェクトなど ・業務用車両の運転管理支援サービス『 GO運転管理』の開発・運営 　代表者 代表取締役社長　川上 裕幸 　所在地 〒101-0065 東京都千代田区西神田 1丁目1番1号 オフィス 21ビル 7F 3
4. © GO Drive Inc. 社用車の交通事故未然防止を支援する 次世代AIドラレコサービス AI搭載の通信型ドラレコで運転を解析し、脇見運転や 一時不停止などの事故リスクの高い運転行動を自動 的に検出。業種を問わず活用され、車両契約数 10万 台以上（2025年8月時点）。 サービス・プロジェクト 4 道路情報の自動差分抽出プロジェクト 社用車の安全管理を高度化・効率化するサービスの提供や、データや AI技術を活用した プロジェクトを通じて、企業や社会が抱える運転に関する課題の解決を目指しています。 安全管理業務の遂行を支援する ドライバー管理サービス 企業が対応しなければならない酒気帯び確認、点呼、 日報作成などの日々の業務を、スマホアプリで効率 化。より確実な安全管理業務の遂行と、ドライバー・管 理者の工数削減を支援。 地図データ更新を迅速化する ゼンリンとの共同開発プロジェクト 『DRIVE CHART』のドラレコから得られる車外映像と センサー情報から、日々変わっていく標識等の道路状 況と地図データとの差分を自動で抽出する AIシステム を開発。
5. © GO Drive Inc. 5 『DRIVE CHART』のリスク運転行動検知モデルの改善に 向けてData-Centricなアプローチを実践した際に直面した 課題や解決策の事例を紹介 本日お話すること
6. © GO Drive Inc. • 次世代AIドラレコサービス『DRIVE CHART』の紹介 • Data-Centric AI実践 ◦ Data-Centric AIのアプローチが必要な理由 ◦ Data-Centricな開発の前準備 ▪ データパイプライン化 ▪ アノテーションの仕様統一 ◦ モデル性能向上のためにやったこと ▪ データサンプリングの工夫 ▪ データクリーニング • 結果と今後の課題 目次 6
7. © GO Drive Inc. 『DRIVE CHART』とは 7
8. © GO Drive Inc. AI搭載の通信型ドライブレコーダーが運転を解析 脇見運転や一時不停止などの様々なリスク運転行動を検知 次世代AIドラレコサービス『 DRIVE CHART』 8 ⾞内を記録する 内向きカメラ ⾞外を記録する 外向きカメラ ⾞両修繕費 保険料 安全指導時間 事故対応時間 AIがリスク運転の映像を抽出 映像を⽤いた運転の振り返り
9. © GO Drive Inc. 事故削減に有効な全14項目のリスク運転行動を精度99%以上で検出可能 9 『DRIVE CHART』のAIが検出するリスク運転行動 ハインリッヒの法則 事故につながる リスク運転⾏動の振り返りに アプローチ
10. © GO Drive Inc. 『DRIVE CHART』の仕組み イベント検出モデル 
 急加速
 急減速
 急ハンドル
 一時不停止
 速度超過
 車間距離不足
 脇見
 急後退
 エッジデバイス 
 クライアント 
 レポート表示
 DB・S3 
 地図
 リアルタイム警報 📣
 脇見警報
 外カメ画像
 内カメ画像
 深層学習
 モデル
 メール通知 
 衝撃検知
 前方衝突警報
 センサー
 加速度センサ、
 ジャイロセンサ
 GPS
 深層学習
 モデル
 クラウドサーバ 
 車間距離警報
 眠気警報
 10 出力結果
11. © GO Drive Inc. Data-Centric AI実践 11
12. © GO Drive Inc. 質の良いデータを集めてモデル性能を改善. 『DRIVE CHART』のドラレコを搭載した車両は日々日本全国を走行 • リスク運転検知モデル開発の特徴 ◦ エッジデバイス上でのモデル推論 ▪ リソースと実時間性の制約からモデルの選択肢は制限される ◦ 検出対象のリスク運転行動はレアイベント ▪ レアイベントのためそもそも収集が難しい ◦ 多様な走行環境や車種、撮影環境 ▪ レアイベントに加えてデータの多様性もある リスク運転検知モデル開発と Data-Centricなアプローチの相性の良さ 12
13. © GO Drive Inc. 一定の精度のモデルが数年前にリリース済み 誤検知を減らすため精度改善を実現したい • やったこと ◦ データの前処理・アノテーション仕様の統一 ◦ モデルが苦手なデータのサンプリング ◦ データクリーニングによるラベルミスの修正 リスク運転検知モデル改善プロジェクト 13
14. © GO Drive Inc. 課題：各エンジニアがnotebookで前処理を実行→属人化＆バグ混入 対策：AIインフラチームと共同でデータの前処理をパイプライン化 →前処理が共通化＆自動化され信頼性 UP＆工数削減 データセット作成：データの前処理のパイプライン化 データセット名 アノテーションタスク番号 aws s3のpath カメラ種類 ⋮ Kubeflowでの前処理パイプライン 各種パラメータをGUIで指定 14
15. © GO Drive Inc. 15 • アノテーション仕様変更の経緯 ◦ 開発上、ラベル定義を細分化したいニーズが発生 ◦ 複数チームが別々でアノテーション・担当者の入れ替わり • アノテーション仕様統一の辛かったところ ◦ 過去verのマニュアル・ツール設定を精査・比較 ◦ 費用対効果がわかりづらい ▪ アノテーションを全部やり直すのは工数大 ▪ 仕様不整合の精度への悪影響度合いが不明 データセット作成：アノテーションデータの仕様統一 アノテーション仕様が過去何度か変更され データセット内に複数の仕様が混在→仕様統一が必要に
16. © GO Drive Inc. データセット作成：アノテーションデータの付け直し 動画の中でリスク運転ラベルが付いている区間のみ アノテーションをやり直して効率良く修正 16 再アノテーションルール • ラベル付け必須 • 区間の長さ変更は無し • そもそもリスク運転 してなければ削除
17. © GO Drive Inc. サービス運用中のモデルの推論結果から、そのモデルが苦手な データを中心にサンプリング リスク運転データのサンプリング 17
18. © GO Drive Inc. ユーザーからの誤判定の報告を活用し、間違って検出された 可能性が高いデータをサンプリング データサンプリング：①ユーザーフィードバック • 誤判定申請機能 ◦ 『DRIVE CHART』では間違って検出さ れた動画をユーザーが報告できる ◦ False Positiveデータを効率良く サンプリング可能 ◦ ※ただしアノテーション定義と ユーザーの解釈の差異は一定存在 18
19. © GO Drive Inc. 一定の属性ごとにサンプリングし、学習データの中で 割合が少ない属性のデータを補強 データサンプリング：②層化サンプリング • サンプリング実践例 ◦ 例えば特定のカメラの種類・取付位置の データを中心にサンプリング ◦ ランダムサンプリングデータでの 検証では改善が見えにくいので 検証データは属性別に用意 19
20. © GO Drive Inc. モデルが自信を持って判断できない決定境界近くのデータを 中心にサンプリングして効率良く性能改善 データサンプリング：③不確実性サンプリング • サンプリング実践例 ◦ 今回はモデルの予測確率が上がりき らず検出されなかったデータをサンプ リング ◦ 他には最大の予測確率が低いデータ やエントロピーが高いデータをサンプ リングする手法など 20
21. © GO Drive Inc. 学習が進むにつれてPrecision Recall曲線の曲線下面積 （PR-AUC）は改善する一方、何故か検証lossが増加 データクリーニング：学習曲線の違和感 検証loss 検証PR-AUC Iterations Iterations 21
22. © GO Drive Inc. 実際はリスク運転の無いデータにリスク運転有りのラベルが 付けられたデータが存在→精度が良くなる程lossが増加 データクリーニング：違和感の原因とラベルミスの特定 22 ※手法参考：Chen, P., Liao, B. B., Chen, G., & Zhang, S. (2019, May). Understanding and utilizing deep neural networks trained with noisy labels. In International conference on machine learning (pp. 1062-1070). PMLR. https://arxiv.org/abs/1905.05040 • ラベルミスの特定 ◦ データセットをCrossValidationで 分割し学習・検証→検証lossが 高いデータをサンプリング※ ◦ ラベル区間が重なっているデータ はラベルミスの可能性が高そう 実際のラベルミスの例 赤い場所は2重に付けられていた →付け直しの際にミス？
23. © GO Drive Inc. • 改善結果 ◦ サービス運用中のモデルと比較してPR-AUCが相対値37%の改善 ◦ リリース後リスク運転検出数が大幅増加 ▪ 一部ユーザーの行動変容が発生しリリース直後に検出数が増加→減少 ▪ 誤判定申請の承認数（＝本当に間違いだったもの）も減少 • 今後の課題 ◦ LLM/VLMを活用したメタデータに無い属性のデータサンプリング ◦ モデルベース能動学習（多様性サンプリングなど）の活用 改善結果と今後の課題 23
24. © GO Drive Inc. • 『DRIVE CHART』におけるData-Centric AIが効果を 発揮したリスク運転検知タスクという問題設定 • 実際のモデル開発に応用し効果があったData-Centricな手法 ◦ パイプライン化による前処理プロセスの改善 ◦ アノテーション仕様の統一 ◦ データサンプリング手法 ◦ データクリーニング手法 まとめ 24
25. © GO Drive Inc. 本日の発表に興味を持っていただいた方、 GOドライブではデータサイエンティストを募集しています！ ご応募お待ちしております！ We are hiring!! 25
26. 文章・画像等の内容の無断転載及び複製等の行為はご遠慮ください。 © GO Drive Inc. 26