ラベルの順序情報を活用し たAUC直接最適化手法

Transcript

1. AI Community 2025.07.17 廣中 栄介 株式会社ディー・エヌ・エー / GO株式会社 / GOドライブ株式会社 AI技術共有会 ラベルの順序情報を活用し たAUC直接最適化手法
2. 廣中 栄介 GOドライブ株式会社 AI本部 AI技術開発2部 • 業務内容 ◦ 次世代AIドラレコサービス『DRIVE CHART』のリスク運転検出機能開発 • 経歴 ◦ 機械工学専攻修士卒 (~2018.3) ◦ 大手車載機器メーカー入社(~2019.10) ▪ ドライバー状態推定の研究開発 ◦ IT・Webベンチャー(~2022.11) ▪ Web/Appの分析、画像認識モデル開発 ◦ AIベンチャー(~2024.1) ▪ 建設業界向けAIシステム開発・ゲームAI開発 ◦ GO株式会社 (2024.2~)、GOドライブ株式会社(2025.9~) ▪ 『DRIVE CHART』の分析・AI機能開発 • SNS ◦ X:https://twitter.com/pensuke_san ◦ kaggle:https://www.kaggle.com/pensukesan 自己紹介 2
3. ▪ 学会発表との関係性 ▪ 本資料はMIRU2025に投稿・発表した研究成果に関して非公開の DeNA・GO・GOドライブ（※当時はDeNA+GOの2社）の3社勉 強会での説明に使用したものです。 ▪ 学会への投稿・発表前に公開された資料ではありません。 ▪ 所属組織について ▪ GO所属時にMIRU2025にて発表した内容ですが、その後会社分 割・転籍に伴い、GOドライブの所属として資料を公開します。 本資料の学会発表との関係性と所属組織について
4. 4 目次 01｜背景と目的 02｜先行研究と提案手法 03｜実験結果と考察
5. 5 01 背景と目的
6. ▪ 以下のような機械学習タスクを検討する ▪ 深層学習の2値分類タスク ▪ 不均衡なデータセットでのReceiver Operating Characteristic (ROC) 曲線の曲線下の面積（ROC-AUC）を評価指標とする ▪ ラベルは元々順序尺度のラベルを持っており、一定の閾値以上か どうかを予測 背景 • ROC-AUC ◦ ROC曲線：縦軸に真陽性率（TPR）・横軸に偽 陽性率（FPR）を取り、閾値に沿ってプロット したもの ◦ ROC-AUC：ROC曲線の曲線下の面積、正例と負 例の予測値の大小関係が正しい順序である確率 を測定する（＝ランキング性能を測る指標） 6
7. 順序尺度とは 尺度 特徴 具体例 名義尺度 単なるカテゴリの名前 性別・電話番号・職業 順序尺度 順序による比較ができる レビュー・満足度・年齢 間隔尺度 数字の間に等しい距離がある 温度・年代 比例尺度 変数の比や乗除に意味がある 絶対温度・質量・長さ・エネルギー 尺度水準：https://ja.wikipedia.org/wiki/%E5%B0%BA%E5%BA%A6%E6%B0%B4%E6%BA%96 ▪ 尺度水準 ▪ 表の下の尺度はそれ以上の尺度の性質を満たす 7
8. 順序尺度ラベルを持つ出力が2値分類のタスクのイメージ ▪ 本研究では以下の3つのタスクを対象 ▪ 眠気度推定：眠気度が高い動画を検出[14,15] ▪ 画像品質推定：低品質・高品質な画像データを検出[1] ▪ 顔画像年齢推定：一定の年齢以上の画像を検出[16] rank=1 rank=３ rank=5 rank=7 rank=9 AVAデータセット[1] 8
9. ▪ Accuracyの最適化≠ROC-AUCの最適化 ▪ バイナリークロスエントロピー（BCE）などでAccuracyを最適化 するように学習してもROC-AUCが最適化されるとは限らない[2] ▪ ROC-AUCを代替関数を用いて微分可能するなど、直接最適化す る手法が提案されている[3] 2値分類におけるROC-AUCの直接最適化 微分可能にしたペアワイズロス P,N:正例・負例のサンプル数 y_hat_i,y_hat_j:正例・負例サンプルの予測値 ɪ:指示関数（True=>1 False=>0となる関数）, l:微分可能で正負の大小関係が間違っているほど大きくなるような代替関数 9
10. ▪ 順序尺度の特性 ▪ 分類でも回帰でも学習できるが… ▪ 単なるマルチクラス分類ではラベル間の順序を考慮できない ▪ 回帰手法では非連続な変化を考慮できない ▪ 順序尺度の学習手法を順序回帰（Ordinal Regression）という ▪ 深層学習でも順序回帰手法で性能改善が報告されている[4,5,6] 順序回帰 age=20 age=30 age=60 age=10 ◎顔画像年齢推定問題の例 同じ予測値で間違えたとき • CEは各年齢クラスが同じloss • MAEは顔の変化が非連続でも 距離が同じだと同じloss →順序情報を考慮すべき 10
11. ▪ 間違いの重みが異なるケース ▪ 5段階評価で同じ予測ミスでも1-4と3-4の間違いの重要度は異な り、実応用上3-4の近い間違いならば許容されるケースもある ▪ 例えば運転中の眠気度に応じてアラートを鳴らすシステムでは ”うとうと”した状態での誤検知ならば許容できる可能性がある 順序尺度ラベルの間違いの重要度の違い 覚醒 うとうと 居眠り 閾値 許容範囲 11
12. ▪ 課題 ▪ 従来のROC-AUC最適化では正例・負例の中の違いが2値化され 実際の順序情報・重要度の差を考慮できない 順序尺度を持つラベルの相対的な距離の考慮 １ 2 3 4 5 負例 正例 2値分類の誤差 順序尺度の誤差 予測ラベル 正解ラベル 12
13. ▪ 目的 ▪ ラベルが順序情報を持つ2値分類タスクにおいて、 順序的に距離が遠く重要度が高い間違いを削減しつつ ROC-AUCを改善すること ▪ 提案手法 ▪ 順序情報の距離を正規化し、ROC-AUC最大化の損失関数内の予 測値に対して重み付けする手法を提案した 目的 13
14. 14 02 先行研究と提案手法
15. 不均衡なマンモグラム医療画像データにおける乳がん検出タスクで、 ROC-AUCの直接最大化ペアワイズ損失を利用して性能改善[7] 先行研究：AUC最適化手法① N+,N-:正例・負例のサンプル数 xi,xj:正例・負例サンプル 15
16. ペアワイズ損失の計算量を抑えるために、 ペアが不要なmin-max型のROC-AUC損失関数を提案[3,8,9] 先行研究：AUC最適化手法② 鞍点の最大・最小化問題に変換 して、サンプル独立で計算 16
17. 順序回帰はy_iがrank_iより大きいかどうかの2値分類のK-1 サブ問題に変換可能[10] K-1個のHeadでNNで中間層を共有させて2値分類を学習[4] 先行研究：順序回帰① 17
18. ラベルのベクトルをつけられたラベルとの距離でsmoothing （下式）したラベルをCEで学習し、連続的な情報を考慮 Φは距離関数（MAE・RMSE）をタスクに応じて適用[11] 先行研究：順序回帰②（Soft Label） 18
19. 順序回帰①と同様にK-1個の2値分類のサブ問題に分解、それぞれ ROC-AUCペアワイズ損失の平均で学習してランキングを最適化[12] 半教師あり学習と組み合わせる手法も[13] 先行研究：順序回帰＋AUC最適化手法 19
20. ▪ 提案手法概要 ▪ 従来のROC-AUC最大化関数は予測値が正例＞負例の順に並ぶように 正例と負例の予測値が逆転している場合に損失を与える ▪ 提案手法では正規化した順序距離で損失に重み付けを与え、 順序的に遠く予測値が逆転しているサンプルの損失を大きくし、 順序的な間違いの重要度を考慮できるようにする 提案手法① 提案手法 従来手法 20
21. ▪ 提案手法①のバリアント ▪ ROC-AUC評価の観点ではラベルの順序どおり並んでいれば良い ▪ すべてのクラス間のペアについて重み付けした損失を算出し、 正例・負例内のペアからも学習させて学習データを増やす ▪ 欠点：想定した2値分類閾値のROC-AUCとは定義が乖離 提案手法② １ ２ ３ ４ ５ N：サンプル数 Z：y_i > y_jとなるすべての組み合わせ数 クラス4のサンプルの場合の重み付け距離 21
22. ▪ メリット ▪ 閾値から離れた大きな間違いを削減できる ▪ 順序情報を仮定することでAUC自体が改善される ▪ デメリット ▪ ペアワイズロスのため正例・負例の組み合わせとなり、順序情報 の仮定も入れるためデータ量が少ない場合に過学習しやすい ▪ 提案手法②は正例・負例内の組み合わせも考慮するため、 データ量の少なさの影響は軽減される ▪ 閾値から近いサンプルは相対的に損失が小さくなるため 分布によっては全体としてAUCが下がる可能性がある 提案手法の期待される効果 22
23. 23 03 実験結果と考察
24. 順序尺度ラベルを持つ出力が2値分類のタスク（再掲） ▪ 本研究では以下の3つのタスクを対象として評価実験 ▪ 眠気度推定：眠気度が高い動画を検出[14,15] ▪ 画像品質推定：低品質・高品質な画像データを分類[1] ▪ 顔画像年齢推定：一定の年齢以上の画像を検出[16] rank=1 rank=３ rank=5 rank=7 rank=9 AVAデータセット[1] 24
25. ▪ 様々なアプローチが考えられるので網羅的に比較実験 順序尺度ラベル＋2値分類出力へのアプローチ 手法名 手法タイプ 手法概要 BCE 2値分類 ラベルを2値に変換してBCEで学習 Pairwise AUC最大化 ラベルを2値に変換してペアワイズロスで学習 CE 多クラス分類 マルチクラス学習し閾値以上のクラス確率を合計 MAE 回帰 メトリック回帰で学習 SoftLabel 順序回帰 Softlabel[11]でエンコーディングしたラベルを マルチクラス学習し閾値以上のクラス確率を合計 Weighted Pairwise AUC最大化+順序回帰 提案手法① Weighted All-Pairs AUC最大化+順序回帰 提案手法② 25
26. ▪ 実験の共通設定 ▪ 深層学習＋画像認識タスク ▪ backboneエンコーダー：EfficientNetB0 ▪ Optimizer：Adam ▪ Scheduler：CosineAnnealing ▪ 学習率・バッチサイズ・epochはタスクに応じて調整 ▪ 各タスク・データセットの詳細はAppendixに 実験設定 26
27. ROCAUC評価結果 27
28. ▪ ROCAUCの結果で注目すべき点 ▪ 順序情報を付加することで通常のPairwiseより性能が改善 ▪ 画像品質推定では提案手法が既存手法を上回った ▪ 画像品質推定以外ではSoftLabelの性能が良かった 結果抜粋 手法 手法タイプ 眠気度推定 画像品質推定 年齢推定 BCE 2値分類 0.6642 0.7901 0.9617 Pairwise AUC最大化 0.6351 0.7933 0.9701 SoftLabel 順序回帰 0.6878 0.7830 0.9748 Weighted Pairwise AUC最大化+順序回帰 0.6513 0.7961 0.9717 Weighted All-Pairs AUC最大化+順序回帰 0.6781 0.7975 0.9605 28
29. ▪ 大きく間違えるサンプルの削減 ▪ 年齢推定タスク予測スコア上位200件のFalsePositive ▪ 提案手法ではFPが閾値60歳の近くで増加・閾値の遠くで減少 →順序距離の重みづけによる効果と考えられる 考察：False Positiveに注目した結果 減少 増加 29
30. ▪ 2値分類AUC最適化手法に順序情報を活用した ▪ 提案手法は評価タスクにおいて通常のペアワイズ損失より AUC の改善がみられ、特に画像品質推定ではすべての ベースライン手法の性能上回った、また閾値から順序的に 離れたデータをうまく分類できた ▪ データ量や多様性の観点でデータセット依存があるので、 より汎用的に効果がある改善が必要である 結論 30
31. 31 04 参考文献
32. [1]Murray, N., Marchesotti, L. and Perronnin, F.: AVA: A large-scale database for aesthetic visual analysis, 2012 IEEE conference on computer vision and pattern recognition, IEEE, pp. 2408–2415 (2012). pdf [2]Cortes, C. and Mohri, M.: AUC Optimization vs. Error Rate Minimization, Advances in Neural Information Processing Systems (Thrun, S., Saul, L. and Sch¨olkopf, B., eds.), Vol. 16, MIT Press (2003). pdf [3]Yang, T. and Ying, Y.: AUC maximization in the era of big data and AI: A survey, ACM computing surveys, Vol. 55, No. 8, pp. 1–37 (2022). pdf [4]Niu, Z., Zhou, M., Wang, L., Gao, X. and Hua, G.: Ordinal regression with multiple output cnn for age estimation, Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 4920–4928 (2016). pdf [5]Cao, W., Mirjalili, V. and Raschka, S.: Rank consistent ordinal regression for neural networks with application to age estimation, Pattern Recognition Letters, Vol. 140, pp. 325–331 (2020). pdf [6]Diaz, R. and Marathe, A.: Soft labels for ordinal regression, Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp. 4738–4747 (2019). pdf [7]Sulam, J., Ben-Ari, R. and Kisilev, P.: Maximizing AUC with Deep Learning for Classification of Imbalanced Mammogram Datasets., VCBM, pp. 131–135 (2017). pdf [8]Ying, Y., Wen, L. and Lyu, S.: Stochastic online AUC maximization, Advances in neural information processing systems, Vol. 29 (2016). pdf [9]Yuan, Z., Yan, Y., Sonka, M. and Yang, T.: Large-scale robust deep auc maximization: A new surrogate loss and empirical studies on medical image classification, Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 3040–3049 (2021). pdf 参考文献① 32
33. [10]Li, L. and Lin, H.-T.: Ordinal regression by extended binary classification, Advances in neural information processing systems, Vol. 19 (2006). pdf [11]Diaz, R. and Marathe, A.: Soft labels for ordinal regression, Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp. 4738–4747 (2019). pdf [12]Waegeman, W., De Baets, B. and Boullart, L.: ROC analysis in ordinal regression learning, Pattern Recognition Letters, Vol. 29, No. 1, pp. 1–9 (2008). pdf [13]Shi, W., Gu, B., Li, X. and Huang, H.: Quadruply stochastic gradient method for large scale nonlinear semi-supervised ordinal regression AUC optimization, Proceedings of the AAAI Conference on Artificial Intelligence, Vol. 34, No. 04, pp. 5734–5741 (2020). pdf [14]Ghoddoosian, R., Galib, M. and Athitsos, V.: A realistic dataset and baseline temporal model for early drowsiness detection, Proceedings of the ieee/cvf conference on computer vision and pattern recognition workshops, pp.0–0 (2019). pdf [15]Mag´an, E., Sesmero, M. P., Alonso-Weber, J. M. and Sanchis, A.: Driver drowsiness detection by applying deep learning techniques to sequences of images, Applied Sciences, Vol. 12, No. 3, p. 1145 (2022). pdf [16]Agustsson, E., Timofte, R., Escalera, S., Baro, X., Guyon, I. and Rothe, R.: Apparent and real age estimation in still images with deep residual regressors on appa-real database, 2017 12th IEEE International Conference on Automatic Face & Gesture Recognition (FG2017), IEEE, pp. 87–94 (2017). pdf 参考文献② 33
34. 34 Appendix
35. ROCAUC評価結果一覧表 手法 手法タイプ 眠気度推定 画像品質推定 年齢推定 BCE 2値分類 0.6642 0.7901 0.9617 Pairwise AUC最大化 0.6351 0.7933 0.9701 CE 多クラス分類 0.6629 0.7435 0.9718 MAE 回帰 0.6484 0.7711 0.9591 SoftLabel 順序回帰 0.6878 0.7830 0.9748 Weighted Pairwise AUC最大化+順序回帰 0.6513 0.7961 0.9717 Weighted All-Pairs AUC最大化+順序回帰 0.6781 0.7975 0.9605 35
36. ▪ 大きく間違えるサンプルの削減 考察：False Positiveに注目した結果（表） 手法＼年代 0~9 10~19 20~29 30~39 40~49 50~59 BCE 0 1 4 5 13 35 Pairwise 4 1 3 6 11 37 SoftLabel 0 2 1 3 9 39 Weighted Pairwise 0 0 0 1 11 44 Weighted All-Pairs 0 0 0 1 12 45 36
37. ▪ UTA-RLDDデータセット[14] ▪ 60人の被験者x10分の動画x3段階の眠気状態のデータ ▪ Alert・Low Vigilant・Drowsyの3段階で自身の眠気状態を評価 ▪ 被験者ごとにGroupKFoldされている ▪ 前処理[15] ▪ 先行研究を参考に以下の設定で学習・評価 ▪ dlibで顔領域を64x64で検出 ▪ 動画を5fpsでダウンサンプリング ▪ ランダムに1分間切り出し、単一の眠気度を学習 ▪ CNN+GRUのモデルを使用 ▪ 検証時は10分すべてを予測し、予測結果の最大値を取得 ▪ 閾値はDrowsyを正例、Drowsy未満を負例とした 眠気度推定（UTA-RLDD） 37
38. ▪ AVAデータセット[1] ▪ 写真コンテストサイトの美的品質スコア ▪ 1~10点で投票形式でスコアがつけられている ▪ 前処理 ▪ 最頻値を使用ラベルとした（同数の場合小さい方） ▪ 25万枚あるが、サブサンプリングで訓練・検証2万枚ずつで評価 ▪ 品質6以上を正例・5以下を負例とした ▪ 画像を224x224にリサイズ 画像品質推定（AVA） 38
39. ▪ APPA-REALデータセット[16] ▪ 顔画像年齢データセット ▪ 実年齢と見かけの年齢（投票）ラベルがつけられている ▪ 訓練4113枚・検証1500枚・テスト1978枚 ▪ 前処理 ▪ 顔領域検出して回転してクロップしたものを入力とした ▪ ラベルは見かけの年齢の平均値を整数に丸めたものを使用 ▪ 60以上を正例・60未満を負例とした 年齢推定（APPA-REAL） 39