Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Grad-CAMの始まりのお話
Search
Shintaro Yoshida
October 25, 2020
Research
0
80
Grad-CAMの始まりのお話
EAGLYS株式会社 AI 勉強会第4回の資料になります。
Grad-CAMの実装とそのアイデアの元となったCAMやGuided-Back-Propagationについて説明しています。
Shintaro Yoshida
October 25, 2020
Tweet
Share
More Decks by Shintaro Yoshida
See All by Shintaro Yoshida
顔認証・顔識別周りのサーベイ
shintaro202020
0
35
人が注目する箇所を当てるSaliency Detectionの最新モデル UCNet(CVPR2020)
shintaro202020
0
210
The Origin of Grad-CAM
shintaro202020
0
110
Other Decks in Research
See All in Research
CUNY DHI_Lightning Talks_2024
digitalfellow
0
660
CARMUI-NET:自動運転車遠隔監視のためのバーチャル都市プラットフォームにおける通信品質変動機能の開発と評価 / UBI85
yumulab
0
110
Vision Language Modelと完全自動運転AIの最新動向
tsubasashi
1
310
インドネシアのQA事情を紹介するの
yujijs
0
170
Data-centric AI勉強会 「ロボットにおけるData-centric AI」
haraduka
0
510
Remote Sensing Vision-Language Foundation Models without Annotations via Ground Remote Alignment
satai
3
180
PhD Defence: Considering Temporal and Contextual Information for Lexical Semantic Change Detection
a1da4
0
140
NeurIPS 2024 参加報告 & 論文紹介 (SACPO, Ctrl-G)
reisato12345
0
400
Poster: Feasibility of Runtime-Neutral Wasm Instrumentation for Edge-Cloud Workload Handover
chikuwait
0
430
[輪講] Transformer Layers as Painters
nk35jk
4
720
プロシェアリング白書2025_PROSHARING_REPORT_2025
circulation
1
260
ラムダ計算の拡張に基づく 音楽プログラミング言語mimium とそのVMの実装
tomoyanonymous
0
440
Featured
See All Featured
Reflections from 52 weeks, 52 projects
jeffersonlam
349
20k
Building Applications with DynamoDB
mza
94
6.3k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
4
500
The Invisible Side of Design
smashingmag
299
50k
Building a Scalable Design System with Sketch
lauravandoore
462
33k
For a Future-Friendly Web
brad_frost
176
9.6k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
16
1.1k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
30
2.3k
KATA
mclloyd
29
14k
XXLCSS - How to scale CSS and keep your sanity
sugarenia
248
1.3M
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
28
2k
Git: the NoSQL Database
bkeepers
PRO
429
65k
Transcript
Grad-CAMの 始まりの話 AI勉強会#4 @Eaglys on 2020/10/25 吉田 慎太郎 @sht_47
Grad-CAMの特徴 • Grad-CAM(Gradient-weighted Class Activation Mapping, 2016, Ramprasaath) ◦ XAIで最も有名なもの(理由はGrad-CAMのページで説明)
◦ CAM(2015, Zhou) の弱点を克服し、全てのCNNモデルに対して一般化 • XAI(Explainable Artificial Intelligence) の目的 (筆者の長期的な視点) 失敗の原因を特定 (モデル << 人間) 予測の根拠を説明し、判定の信頼⬆ (モデル ≒ 人間) 人間がAIに教わる (モデル >> 人間)
今回の勉強会で扱う内容 - Grad-CAMのアイデアになった論文たち - - - - Grad-CAMのモデル中身 - 実験結果
- Google Colaboratoryでの実装
NIN(Network In Network, 2014 Lin et al) - 偉大な論文 (2つのメインアイデア)
計算量削減のために1x1 Convを導入 ( InceptionNetのアイデアの源、ResNet Botttleneck Block) GAP(Global Average Pooling) を提案 → 最近だとAdaptive Average Pooling • GAP Structural Regularizerとして機能 ◦ Feature MapとCategory間の関係がより自然に ◦ 追加のParameterが不要 ◦ Spatial TranslationにRobust
Object Detectors Emerge In Deep Scene Cnns(2015 Zhou et al)
- Scene Recognitionの問題を解く → Object Detector が出現した Objectの正解ラベルを与えていないのに。。。 先行研究として、Object Classification問題のCNNで、Object Localizationの出現 Places Database (2014 Zhou et al )
CAM(Class Activation Mapping 2015 Zhou et al) … … Final
Conv GAP FC k枚 k個 … c個 a a 1 を用いて CAMを生成
CAM(Class Activation Mapping) … … Final Conv GAP FC 4096枚
4096個 … 1000個 VGG16 (ImageNet) 7 7
CAMの数式と概念図 iとjでSum Kで Sum それぞれのプロセスは独立 Zは最終Feature Mapのサイズ(今回は49)
CAMの使用方法(推論時に利用) Iとjで 平均 Kで 加重平均 (Image Source : Zhou et
al 2015) CAM Kで 加重平均 推論 CAM生成
Guided Back-Propagation(2015 Springenberg) - Deconvolutional Network (2011 Zeiler) Max Poolingの反対の操作
- Guided Backprop deconvNetを ReLUのBackPropagationに組み合わせ
Guided-Backpropの実験結果 Batch Size : 64 Learning Rate : 0.01 Weight
Decay : 0.001 Optimizer : SGD Conv6 Conv9
Grad-CAM(2016 Ramprasaath) CAMはGAPに限定 → 一般化( 全てのCNN Architectureで可能) CAM(Corase)とGuided-Backprop(Fined-Grained)を組み合わせ CAMにReLUを挿入(Positiveな影響を与えるもののみ必要) CAM,
Grad-CAM共にArchitectural ChangeやRe-Trainが必要ない iとjでSum Kで 加重平均 Kで 加重平均
Grad-CAMの結果1 - Microsoft COCO データセット - Validation Dataset からSample -
Ice Creamで誤り
Grad-CAMの結果2 VGG@ImageNetにおける間違い集 モデルがバイアスを含むかどうか
実装 - Pytorch 1.6 https://github.com/sht47/grad-cam-Pytorch1.6 - Tensorflow 2.3 https://github.com/sht47/grad-cam-Tensorflow2.3