Upgrade to Pro — share decks privately, control downloads, hide ads and more …

[JSAI24] Layer-Wise Relevance Propagation for R...

[JSAI24] Layer-Wise Relevance Propagation for ResNet: Visual Explanations Generation with Conservation Property

More Decks by Semantic Machine Intelligence Lab., Keio Univ.

Other Decks in Technology

Transcript

  1. Layer-Wise Relevance Propagation for ResNet: 保全公理を満たす視覚的説明生成 小槻 誠太郎1, 飯田 紡1,

    デュブレ フェリックス1, 平川 翼2, 山下 隆義2, 藤吉 弘亘2, 杉浦 孔明1 慶應義塾大学1, 中部大学2
  2. 背景: 深層学習モデルの判断根拠の可視化は有用 モデルの推論による 過失が致命的な分野 (医療, 交通, ...) 説明責任の強化 課題: 説明生成手法自体の

    透明性が不十分, 適用可能範囲に制限 - 3 - モデルの分析 (バグ, バイアスの有無, ...) モデル開発での利用
  3. 既存研究は透明性が不十分 or 適用可能範囲に制限 Grad-CAM [Selvaraju+, ICCV’17] 視覚的説明生成のアルゴリズムがモデルの最終層 の出力に依存. それ以前の構造に依らない. Layer-wise

    Relevance Propagation (LRP) [Bach+, PLOS ONE’15] 保全公理を満たすような逆伝播則に基づいて 推論の寄与の値を入力まで逆伝播. XAI for Transformers [Ali+, ICML’22] LRPをtransformerへ拡張. 残差接続に関する議論は無し. Grad-CAM (CAM) - 5 -
  4. 提案: LRPをResNetに適用できるよう拡張 新規性 - Relevance Splittingを提案 à LRPをResNetに適用できるよう拡張 - Heat

    Quantization: 関係のない領域へのattributionを低減 - 提案手法は保全公理を満たす - 8 -
  5. 実験設定: Caltech-UCSD Birds-200-2011 / ImageNet Caltech-UCSD Birds-200-2011 (CUB) dataset [Wah+,

    ’11]: 鳥の分類, 200クラス, 11k サンプル ImageNet [Deng+, CVPR’09]: 画像分類, 1kクラス, 50k サンプル (Validation set) 評価尺度: Insertion, Deletion, Insertion-Deletion scores - 11 - The CUB dataset ImageNet
  6. 定量的結果 [抜粋]: 全てのベースラインを全評価尺度で上回る ImageNetでの実験において, 最良baseline + 17.4ポイント - 16 -

    Methods [%] Insertion↑ Deletion↓ ID score↑ LRP 9.5 8.3 1.1 Integrated Gradients 5.2 6.2 -1.1 Grad-CAM 49.7 12.6 37.1 Score-CAM 48.8 13.3 35.5 Ours 56.3 1.8 54.5 +17.4
  7. Ablation study: Ratio-based SplittingがSymmetric Splittingを上回る Ratio-based Splittingが過剰な説明の生成を抑制 - 18 -

    Methods [%] Insertion↑ Deletion↓ ID score↑ Symmetric Splitting 55.3 3.6 51.7 Ratio-based Splitting 56.3 1.8 54.5 +2.8 Symmetric Splitting Ratio-based Splitting Water ouzel Ram Ram Water ouzel
  8. エラー分析: 3カテゴリに分類. 最多はWA IA (Insufficiently Attended): 視覚的説明の領域が過小 OA (Over-Attended): 視覚的説明の領域が過剰

    WA (Wrongly Attended): 関係のない領域に視覚的説明が生成 - 22 - IA OA WA #Failure 40 25 45 (IA) (OA) (WA) “Solar Collector” “Oboe” “Bubble”
  9. 定量的結果 – full CUB dataset - 23 - Methods [%]

    Insertion↑ Deletion↓ ID score↑ LRP 5.8±0.2 4.7±0.1 1.1±0.0 Integrated Gradients 2.0±0.1 1.5±0.1 0.6±0.0 Guided BP 4.2±0.2 1.4±0.1 2.8±0.2 Grad-CAM 50.8±1.5 5.5±0.4 45.3±1.1 Score-CAM 51.1±1.7 5.4±0.4 45.7±1.4 Ours 59.5±1.0 1.4±0.0 58.2±1.0
  10. 定量的結果 – full ImageNet - 24 - Methods [%] Insertion↑

    Deletion↓ ID score↑ LRP 9.5 8.3 1.1 Integrated Gradients 5.2 6.2 -1.1 Guided BP 11.5 5.7 5.7 Grad-CAM 49.7 12.6 37.1 Score-CAM 48.8 13.3 35.5 Ours 56.3 1.8 54.5
  11. Ablation study+: 恒等写像であるようなSkip connectionも寄与計算上重要 恒等写像であるようなSkip connectionの寄与を無視 (Ignore ID) した場合性能低下 -

    26 - Methods [%] Insertion↑ Deletion↓ ID score↑ Symmetric + Ignore ID 54.3 3.3 51.0 Symmetric 55.3 3.6 51.7 Ratio-based + Ignore ID 54.3 3.3 51.0 Ratio-based (Ours) 56.3 1.8 54.5 +3.5 +0.7
  12. 分析: 保全特性を満たすことを実験的にも確認 (a) 入力, (b) 最初のbottleneck block, (c) 最後のbottleneck block

    においてrelevanceの総和 (横) がモデルの出力値 (縦) とほぼ完全に一致 - 27 - (a) (b) (c)
  13. Gallery – Rock Wren - 29 - Original Ours IG

    Grad-CAM Guided BP LRP Score-CAM
  14. Gallery – Savannah Sparrow - 32 - Original Ours IG

    Grad-CAM Guided BP LRP Score-CAM
  15. Gallery – Brandt Cormorant - 33 - Original Ours IG

    Grad-CAM Guided BP LRP Score-CAM
  16. Gallery – American Crow - 34 - Original Ours IG

    Grad-CAM Guided BP LRP Score-CAM
  17. Gallery – Water Ouzel - 35 - Original Ours IG

    Grad-CAM Guided BP LRP Score-CAM
  18. Gallery – Arabian Camel - 36 - Original Ours IG

    Grad-CAM Guided BP LRP Score-CAM