Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Grad-CAMの始まりのお話
Search
Shintaro Yoshida
October 25, 2020
Research
0
67
Grad-CAMの始まりのお話
EAGLYS株式会社 AI 勉強会第4回の資料になります。
Grad-CAMの実装とそのアイデアの元となったCAMやGuided-Back-Propagationについて説明しています。
Shintaro Yoshida
October 25, 2020
Tweet
Share
More Decks by Shintaro Yoshida
See All by Shintaro Yoshida
顔認証・顔識別周りのサーベイ
shintaro202020
0
28
人が注目する箇所を当てるSaliency Detectionの最新モデル UCNet(CVPR2020)
shintaro202020
0
190
The Origin of Grad-CAM
shintaro202020
0
86
Other Decks in Research
See All in Research
Embers of Autoregression: Understanding Large Language Models Through the Problem They are Trained to Solve
eumesy
PRO
6
1k
[第62回NLPコロキウム]「なりきり」を促すHCI設計:対話型接客ロボットの遠隔操作者へのリアルタイム変換音声フィードバックの適用
nami_ogawa
0
270
20240719_第2回熊本の交通を語る会
trafficbrain
0
400
Weekly AI Agents News! 7月号 論文のアーカイブ
masatoto
1
160
言語処理学会30周年記念事業留学支援交流会@YANS2024:「学生のための短期留学」
a1da4
1
190
SSII2024 [TS2] 深層学習に潜むバイアス
ssii
PRO
0
590
Weekly AI Agents News! 7月号 プロダクト/ニュースのアーカイブ
masatoto
0
120
医療分野におけるLLMの現状と応用可能性について
kento1109
11
3.1k
外積やロドリゲスの回転公式を利用した点群の回転
kentaitakura
1
530
SSII2024 [OS3] 企業における基盤モデル開発の実際
ssii
PRO
0
560
Weekly AI Agents News! 6月号 論文のアーカイブ
masatoto
1
130
Physics of Language Models: Part 3.1, Knowledge Storage and Extraction
sosk
1
800
Featured
See All Featured
Rails Girls Zürich Keynote
gr2m
93
13k
[RailsConf 2023] Rails as a piece of cake
palkan
48
4.6k
How to name files
jennybc
75
98k
Agile that works and the tools we love
rasmusluckow
327
20k
How GitHub (no longer) Works
holman
310
140k
jQuery: Nuts, Bolts and Bling
dougneiner
61
7.4k
Documentation Writing (for coders)
carmenintech
65
4.3k
In The Pink: A Labor of Love
frogandcode
139
22k
Happy Clients
brianwarren
96
6.6k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
363
22k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
45
4.8k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
38
9.2k
Transcript
Grad-CAMの 始まりの話 AI勉強会#4 @Eaglys on 2020/10/25 吉田 慎太郎 @sht_47
Grad-CAMの特徴 • Grad-CAM(Gradient-weighted Class Activation Mapping, 2016, Ramprasaath) ◦ XAIで最も有名なもの(理由はGrad-CAMのページで説明)
◦ CAM(2015, Zhou) の弱点を克服し、全てのCNNモデルに対して一般化 • XAI(Explainable Artificial Intelligence) の目的 (筆者の長期的な視点) 失敗の原因を特定 (モデル << 人間) 予測の根拠を説明し、判定の信頼⬆ (モデル ≒ 人間) 人間がAIに教わる (モデル >> 人間)
今回の勉強会で扱う内容 - Grad-CAMのアイデアになった論文たち - - - - Grad-CAMのモデル中身 - 実験結果
- Google Colaboratoryでの実装
NIN(Network In Network, 2014 Lin et al) - 偉大な論文 (2つのメインアイデア)
計算量削減のために1x1 Convを導入 ( InceptionNetのアイデアの源、ResNet Botttleneck Block) GAP(Global Average Pooling) を提案 → 最近だとAdaptive Average Pooling • GAP Structural Regularizerとして機能 ◦ Feature MapとCategory間の関係がより自然に ◦ 追加のParameterが不要 ◦ Spatial TranslationにRobust
Object Detectors Emerge In Deep Scene Cnns(2015 Zhou et al)
- Scene Recognitionの問題を解く → Object Detector が出現した Objectの正解ラベルを与えていないのに。。。 先行研究として、Object Classification問題のCNNで、Object Localizationの出現 Places Database (2014 Zhou et al )
CAM(Class Activation Mapping 2015 Zhou et al) … … Final
Conv GAP FC k枚 k個 … c個 a a 1 を用いて CAMを生成
CAM(Class Activation Mapping) … … Final Conv GAP FC 4096枚
4096個 … 1000個 VGG16 (ImageNet) 7 7
CAMの数式と概念図 iとjでSum Kで Sum それぞれのプロセスは独立 Zは最終Feature Mapのサイズ(今回は49)
CAMの使用方法(推論時に利用) Iとjで 平均 Kで 加重平均 (Image Source : Zhou et
al 2015) CAM Kで 加重平均 推論 CAM生成
Guided Back-Propagation(2015 Springenberg) - Deconvolutional Network (2011 Zeiler) Max Poolingの反対の操作
- Guided Backprop deconvNetを ReLUのBackPropagationに組み合わせ
Guided-Backpropの実験結果 Batch Size : 64 Learning Rate : 0.01 Weight
Decay : 0.001 Optimizer : SGD Conv6 Conv9
Grad-CAM(2016 Ramprasaath) CAMはGAPに限定 → 一般化( 全てのCNN Architectureで可能) CAM(Corase)とGuided-Backprop(Fined-Grained)を組み合わせ CAMにReLUを挿入(Positiveな影響を与えるもののみ必要) CAM,
Grad-CAM共にArchitectural ChangeやRe-Trainが必要ない iとjでSum Kで 加重平均 Kで 加重平均
Grad-CAMの結果1 - Microsoft COCO データセット - Validation Dataset からSample -
Ice Creamで誤り
Grad-CAMの結果2 VGG@ImageNetにおける間違い集 モデルがバイアスを含むかどうか
実装 - Pytorch 1.6 https://github.com/sht47/grad-cam-Pytorch1.6 - Tensorflow 2.3 https://github.com/sht47/grad-cam-Tensorflow2.3