Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
[JSAI24] Layer-Wise Relevance Propagation for R...
Search
Semantic Machine Intelligence Lab., Keio Univ.
PRO
May 23, 2024
Technology
1
230
[JSAI24] Layer-Wise Relevance Propagation for ResNet: Visual Explanations Generation with Conservation Property
Semantic Machine Intelligence Lab., Keio Univ.
PRO
May 23, 2024
Tweet
Share
More Decks by Semantic Machine Intelligence Lab., Keio Univ.
See All by Semantic Machine Intelligence Lab., Keio Univ.
[RSJ24] オフライン軌道生成による軌道に基づくOpen-Vocabulary物体操作タスクにおける将来成否予測
keio_smilab
PRO
0
36
[RSJ24] Object Retrieval in Large-Scale Indoor Environments Using Dense Text with a Multi-Modal Large Language Model
keio_smilab
PRO
0
220
[RSJ24] Task Success Prediction for Open-Vocabulary Manipulation Based on Multi-Level Aligned Representations
keio_smilab
PRO
0
220
[RSJ24] Object Segmentation from Open-Vocabulary Manipulation Instructions Based on Optimal Transport Polygon Matching with Foundation Models
keio_smilab
PRO
0
120
[RSJ24] Open-Vocabulary Mobile Manipulation Instructions Generation from Multiple Images with Automatic Metric Enhancement
keio_smilab
PRO
0
53
[RSJ24] Open-Vocabulary Mobile Manipulation Based on Dual Relaxed Contrastive Learning with Dense Labeling
keio_smilab
PRO
0
94
[RSJ24] Mobile Robot Environment Exploration via 3D Vision-Language Foundation Model and Submodular Optimization
keio_smilab
PRO
1
43
[Journal club] GRIT: Faster and Better Image Captioning Transformer Using Dual Visual Features
keio_smilab
PRO
0
55
[Journal club] PAC-Score: Positive-Augmented Contrastive Learning for Image and Video Captioning Evaluation
keio_smilab
PRO
0
39
Other Decks in Technology
See All in Technology
開発者体験を意識した開発チームの生産性向上の取り組み
ham0215
3
650
SHIFTの課題と目指したい組織像 / 20240827 Rinto Ikenoue
shift_evolve
0
140
Namespace, Now and Then
tagomoris
0
170
手軽に始める? おうちサーバーのすゝめ
nyagasan
0
180
Oracle Base Database Service:サービス概要のご紹介
oracle4engineer
PRO
0
13k
2024年版 運用者たちのLLM
nwiizo
3
290
エンジニア採用を起点に取り組む組織の改善活動と課題、中長期のタスク管理/ #HRmethod
nishiuma
4
3.3k
Hyperledger Fabricの成長、成熟を振り返る / Looking back history of Hyperledger Fabric
gakumura
0
180
ログラスが面白いと思う理由をマネージャーがエモく語ってみる / 20240829 vs LT
yoshikiiida
1
520
Estrategias de escalabilidade para projetos web
jessilyneh
1
150
Discover Your Tailored Platform Strategy with Real-World Practice
hhiroshell
1
130
【Λ(らむだ)最近のアプデ情報 / RPALT20240904
lambda
0
160
Featured
See All Featured
jQuery: Nuts, Bolts and Bling
dougneiner
61
7.4k
The Straight Up "How To Draw Better" Workshop
denniskardys
230
130k
Code Reviewing Like a Champion
maltzj
518
39k
A Tale of Four Properties
chriscoyier
155
22k
The Invisible Customer
myddelton
119
13k
A Philosophy of Restraint
colly
202
16k
Atom: Resistance is Futile
akmur
261
25k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
26
1.9k
The Mythical Team-Month
searls
218
43k
WebSockets: Embracing the real-time Web
robhawkes
59
7.3k
GraphQLの誤解/rethinking-graphql
sonatard
65
9.7k
A better future with KSS
kneath
235
17k
Transcript
Layer-Wise Relevance Propagation for ResNet: 保全公理を満たす視覚的説明生成 小槻 誠太郎1, 飯田 紡1,
デュブレ フェリックス1, 平川 翼2, 山下 隆義2, 藤吉 弘亘2, 杉浦 孔明1 慶應義塾大学1, 中部大学2
透明性の高い説明生成手法であるLRPを ResNetに適用できるよう拡張 画像分類モデルの判断根拠の視覚的説明生成 新規性 - Relevance Splittingを提案 à LRPをResNetに適用できるよう拡張 -
Heat Quantization: 関係のない領域へのattributionを低減 - 提案手法は保全公理を満たす - 2 -
背景: 深層学習モデルの判断根拠の可視化は有用 モデルの推論による 過失が致命的な分野 (医療, 交通, ...) 説明責任の強化 課題: 説明生成手法自体の
透明性が不十分, 適用可能範囲に制限 - 3 - モデルの分析 (バグ, バイアスの有無, ...) モデル開発での利用
問題設定: 画像分類モデルの判断根拠の視覚的説明生成 どの画素がどれほど画像分類モデル の予測に寄与したかを可視化 - 4 - 画像 予測 入力
判断根拠の視覚的説明 出力
既存研究は透明性が不十分 or 適用可能範囲に制限 Grad-CAM [Selvaraju+, ICCV’17] 視覚的説明生成のアルゴリズムがモデルの最終層 の出力に依存. それ以前の構造に依らない. Layer-wise
Relevance Propagation (LRP) [Bach+, PLOS ONE’15] 保全公理を満たすような逆伝播則に基づいて 推論の寄与の値を入力まで逆伝播. XAI for Transformers [Ali+, ICML’22] LRPをtransformerへ拡張. 残差接続に関する議論は無し. Grad-CAM (CAM) - 5 -
既存研究: Layer-wise Relevance Propagation (LRP) 保全公理を満たすような逆伝播則に基づき, モデルの出力の Relevance を入力まで逆伝播 各層でのRelevanceの総和
== モデルの出力 E.g.: を持つ全結合層での逆伝播 - 6 -
既存研究: Layer-wise Relevance Propagation (LRP) 保全公理を満たすような逆伝播則に基づき, モデルの出力の Relevance を入力まで逆伝播 -
7 - 課題 ResNetに対する適切な計算方法が未確立 ??? FAIL !
提案: LRPをResNetに適用できるよう拡張 新規性 - Relevance Splittingを提案 à LRPをResNetに適用できるよう拡張 - Heat
Quantization: 関係のない領域へのattributionを低減 - 提案手法は保全公理を満たす - 8 -
Relevanceの分割: 等分 or 出力値の比率による分配 Symmetric Splitting: 等分 Ratio-based Splitting: 出力値の比率で分配
- 9 - 採用
Heat Quantization: attributionへの後処理 関係のない領域へのattributionを低減 説明生成手法によって生成した説明 à 最終的な説明 の各要素の値について量子化 - 10
-
実験設定: Caltech-UCSD Birds-200-2011 / ImageNet Caltech-UCSD Birds-200-2011 (CUB) dataset [Wah+,
’11]: 鳥の分類, 200クラス, 11k サンプル ImageNet [Deng+, CVPR’09]: 画像分類, 1kクラス, 50k サンプル (Validation set) 評価尺度: Insertion, Deletion, Insertion-Deletion scores - 11 - The CUB dataset ImageNet
定性的結果: 分類に関連する領域を詳細に可視化 Grad-CAM, Score-CAM: 最終層の特徴マップサイズに依存, 高解像度な説明を生成できない - 12 - 詳細
ours Score-CAM Grad-CAM
定性的結果: 分類に関連する領域を詳細に可視化 Grad-CAM, Score-CAM: 最終層の特徴マップサイズに依存, 高解像度な説明を生成できない - 13 - 詳細
Score-CAM Grad-CAM ours
定性的結果: ResNetに対して適切に機能 既存のLRPはResNetに適用した際に適切な説明を生成できていない - 14 - 適切な説明 ours LRP
定性的結果: ResNetに対して適切に機能 既存のLRPはResNetに適用した際に適切な説明を生成できていない - 15 - 適切な説明 ours LRP
定量的結果 [抜粋]: 全てのベースラインを全評価尺度で上回る ImageNetでの実験において, 最良baseline + 17.4ポイント - 16 -
Methods [%] Insertion↑ Deletion↓ ID score↑ LRP 9.5 8.3 1.1 Integrated Gradients 5.2 6.2 -1.1 Grad-CAM 49.7 12.6 37.1 Score-CAM 48.8 13.3 35.5 Ours 56.3 1.8 54.5 +17.4
(Re.) Relevanceの分割: 等分 or 出力値の比率による分配 Symmetric Splitting: 等分 Ratio-based Splitting:
出力値の比率で分配 - 17 - 採用
Ablation study: Ratio-based SplittingがSymmetric Splittingを上回る Ratio-based Splittingが過剰な説明の生成を抑制 - 18 -
Methods [%] Insertion↑ Deletion↓ ID score↑ Symmetric Splitting 55.3 3.6 51.7 Ratio-based Splitting 56.3 1.8 54.5 +2.8 Symmetric Splitting Ratio-based Splitting Water ouzel Ram Ram Water ouzel
Ablation study: Heat Quantizationは 関係のない領域へのattributionを低減 ピンポン玉の周囲の 領域へのattributionを低減 - 19 -
Ins.↑ Del.↓ ID score↑ W/o HQ 44.2 6.6 37.6 W/ HQ 56.3 1.8 54.5 W/o HQ W/ HQ Original
透明性の高い説明生成手法であるLRPを ResNetに適用できるよう拡張 画像分類モデルの判断根拠の視覚的説明生成 新規性 - Relevance Splittingを提案 à LRPをResNetに適用できるよう拡張 -
Heat Quantization: 関係のない領域へのattributionを低減 - 提案手法は保全公理を満たす - 20 -
Appendix èèè - 21 -
エラー分析: 3カテゴリに分類. 最多はWA IA (Insufficiently Attended): 視覚的説明の領域が過小 OA (Over-Attended): 視覚的説明の領域が過剰
WA (Wrongly Attended): 関係のない領域に視覚的説明が生成 - 22 - IA OA WA #Failure 40 25 45 (IA) (OA) (WA) “Solar Collector” “Oboe” “Bubble”
定量的結果 – full CUB dataset - 23 - Methods [%]
Insertion↑ Deletion↓ ID score↑ LRP 5.8±0.2 4.7±0.1 1.1±0.0 Integrated Gradients 2.0±0.1 1.5±0.1 0.6±0.0 Guided BP 4.2±0.2 1.4±0.1 2.8±0.2 Grad-CAM 50.8±1.5 5.5±0.4 45.3±1.1 Score-CAM 51.1±1.7 5.4±0.4 45.7±1.4 Ours 59.5±1.0 1.4±0.0 58.2±1.0
定量的結果 – full ImageNet - 24 - Methods [%] Insertion↑
Deletion↓ ID score↑ LRP 9.5 8.3 1.1 Integrated Gradients 5.2 6.2 -1.1 Guided BP 11.5 5.7 5.7 Grad-CAM 49.7 12.6 37.1 Score-CAM 48.8 13.3 35.5 Ours 56.3 1.8 54.5
Ablation study+: Skip connectionが恒等写像の場合も寄与を考えるべきか 他の疑問 Skip Connectionが 恒等写像の場合を convolutionの場合と 同等に扱うべきか?
- 25 - 検討 パラメータによる変換を 伴わない恒等写像の場合, 寄与を0とする à Ignore ID
Ablation study+: 恒等写像であるようなSkip connectionも寄与計算上重要 恒等写像であるようなSkip connectionの寄与を無視 (Ignore ID) した場合性能低下 -
26 - Methods [%] Insertion↑ Deletion↓ ID score↑ Symmetric + Ignore ID 54.3 3.3 51.0 Symmetric 55.3 3.6 51.7 Ratio-based + Ignore ID 54.3 3.3 51.0 Ratio-based (Ours) 56.3 1.8 54.5 +3.5 +0.7
分析: 保全特性を満たすことを実験的にも確認 (a) 入力, (b) 最初のbottleneck block, (c) 最後のbottleneck block
においてrelevanceの総和 (横) がモデルの出力値 (縦) とほぼ完全に一致 - 27 - (a) (b) (c)
Insertion, Deletion, ID score Insertion: 視覚的説明の重要度が高い順に画素を挿入し, のAUCで評価 Deletionは削除のAUC, ID scoreは両者の差で定義
- 28 -
Gallery – Rock Wren - 29 - Original Ours IG
Grad-CAM Guided BP LRP Score-CAM
Gallery – Geococcyx - 30 - Original Ours IG Grad-CAM
Guided BP LRP Score-CAM
Gallery – Scissor-tailed Flycatcher - 31 - Original Ours IG
Grad-CAM Guided BP LRP Score-CAM
Gallery – Savannah Sparrow - 32 - Original Ours IG
Grad-CAM Guided BP LRP Score-CAM
Gallery – Brandt Cormorant - 33 - Original Ours IG
Grad-CAM Guided BP LRP Score-CAM
Gallery – American Crow - 34 - Original Ours IG
Grad-CAM Guided BP LRP Score-CAM
Gallery – Water Ouzel - 35 - Original Ours IG
Grad-CAM Guided BP LRP Score-CAM
Gallery – Arabian Camel - 36 - Original Ours IG
Grad-CAM Guided BP LRP Score-CAM
Gallery – Bee - 37 - Original Ours IG Grad-CAM
Guided BP LRP Score-CAM
Gallery – Bustard - 38 - Original Ours IG Grad-CAM
Guided BP LRP Score-CAM
Gallery – Ram - 39 - Original Ours IG Grad-CAM
Guided BP LRP Score-CAM
Gallery – Wombat - 40 - Original Ours IG Grad-CAM
Guided BP LRP Score-CAM