Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Memorizing Normality to Detect Anomaly: Memory-...
Search
Masanori YANO
August 02, 2019
Science
0
690
Memorizing Normality to Detect Anomaly: Memory-augmented Deep Autoencoder for Unsupervised Anomaly Detection
論文LT会で作成した「Memorizing Normality to Detect Anomaly」の説明資料です。
Masanori YANO
August 02, 2019
Tweet
Share
More Decks by Masanori YANO
See All by Masanori YANO
Novelty Detection Via Blurring
msnr
0
530
Y-Net: Joint Segmentation and Classification for Diagnosis of Breast Biopsy Images
msnr
0
570
Pyramid-Based Fully Convolutional Networks for Cell Segmentation
msnr
0
570
Free-Form Image Inpainting with Gated Convolution
msnr
0
1k
Move Evaluation in Go Using Deep Convolutional Neural Networks
msnr
1
860
AlphaX: eXploring Neural Architectures with Deep Neural Networks and Monte Carlo Tree Search
msnr
0
1.2k
Towards Understanding Chinese Checkers with Heuristics, Monte Carlo Tree Search, and Deep Reinforcement Learning
msnr
0
510
SRCNN: Image Super Resolution Using CNN
msnr
0
740
One-Class Convolutional Neural Network
msnr
0
1.3k
Other Decks in Science
See All in Science
Cross-Media Technologies, Information Science and Human-Information Interaction
signer
PRO
3
31k
蔵本モデルが解き明かす同期と相転移の秘密 〜拍手のリズムはなぜ揃うのか?〜
syotasasaki593876
1
120
データベース12: 正規化(2/2) - データ従属性に基づく正規化
trycycle
PRO
0
1k
高校生就活へのDA導入の提案
shunyanoda
0
6k
CV_3_Keypoints
hachama
0
210
機械学習 - ニューラルネットワーク入門
trycycle
PRO
0
870
防災デジタル分野での官民共創の取り組み (1)防災DX官民共創をどう進めるか
ditccsugii
0
340
アナログ計算機『計算尺』を愛でる Midosuji Tech #4/Analog Computing Device Slide Rule now and then
quiver
1
320
コンピュータビジョンによるロボットの視覚と判断:宇宙空間での適応と課題
hf149
1
390
Machine Learning for Materials (Challenge)
aronwalsh
0
350
白金鉱業Meetup_Vol.20 効果検証ことはじめ / Introduction to Impact Evaluation
brainpadpr
1
1.2k
Lean4による汎化誤差評価の形式化
milano0017
1
340
Featured
See All Featured
Speed Design
sergeychernyshev
32
1.2k
Stop Working from a Prison Cell
hatefulcrawdad
272
21k
Automating Front-end Workflow
addyosmani
1371
200k
Build The Right Thing And Hit Your Dates
maggiecrowley
38
2.9k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
285
14k
Done Done
chrislema
185
16k
StorybookのUI Testing Handbookを読んだ
zakiyama
31
6.2k
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
10
620
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
37
2.6k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
55
3k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
A designer walks into a library…
pauljervisheath
209
24k
Transcript
画像処理&機械学習 論文LT会 #6 Memorizing Normality to Detect Anomaly: Memory-augmented Deep
Autoencoder for Unsupervised Anomaly Detection 2019年8月2日(金) 矢農 正紀 (Masanori YANO)
論文 2 Memorizing Normality to Detect Anomaly: Memory-augmented Deep Autoencoder
for Unsupervised Anomaly Detection 論文のURL: https://arxiv.org/abs/1904.02639 First Author: https://donggong1.github.io/ ⇒ 異常検知の論文で、ICCV 2019に採択されたとのこと 著者の所属は、オーストラリアのアデレード大学など 選んだ理由 ・CNNを活用した「異常検知」関連のタスクに関心あり ・Attentionが流行りだが、それ以上にMemoryに関心あり (Memory NetworksやNeural Turing Machinesの方向性) ・arXivを検索したら、異常検知+Memoryの本論文を発見
異常検知とは 3 画像や、時系列データなどから自動的に異常を検出 ・異常(Anomaly): 教師データの分布から逸脱したパターン ・新規性(Novelty): 既存の教師データに含まれないパターン ⇒ 「異常 ⊆
新規性」の関係 学習の種類で分類可能 ・教師あり学習 ⇒ 異常検知では、あまり考えられない状況 ・半教師あり学習 ⇒ わずかしかない教師データが問題 ・教師なし学習 ⇒ 一般に、教師あり/半教師ありより難しい 深層学習の進展以降も、さまざまな手法が開発 ⇒ 「深層学習の異常検知サーベイ」論文も発表済み Deep Learning for Anomaly Detection: A Survey 論文のURL: https://arxiv.org/abs/1901.03407
本論文のポイント 4 Autoencoderの中間にAttentionベースのMemory ・学習時に、重み・バイアスとともにMemoryを更新 ・推論時は、Memoryを固定 ⇒ データの「暗記」内容 ・Memory参照の重みは、エンコーダ出力と各Memoryとの コサイン類似度を全て計算し、それらのSoftmaxで算出 ・Hard
Shrinkageと呼ぶ「スパース化」を実施(後述)
本論文の評価結果(1/2) 5 複数のデータセットで評価(Memory関連の評価も) [1] MNIST・CIFAR-10 [2] 動画の異常検知データセット UCSD-Ped2・CHUK Avenue・ShanghaiTech [3]
サイバーセキュリティのデータセット KDDCUP ⇒ 全てのデータセットで、比較対象の方式よりも高い精度 UCSD-Ped2データセットのときの再構成誤差の例(Frameの赤枠が異常)
本論文の評価結果(2/2) 6 評価のうち「動画の異常検知データセット」の結果 [1] MemAE: 提案方式(動画のときは3次元のCNN) [2] MemAE-nonSpar: Memory参照のスパース化「なし」 ⇒
スパース化: 閾値λ以下を0に(ReLuを活用して実装)
まとめ 7 本論文は、Memoryを用いたAutoencoder異常検知 ・損失関数は再構成誤差とMemory参照重みのエントロピー ・汎用性が高いと主張し、複数のデータセットで検証済み ・今後は、より挑戦的なタスクへのMemoryの適用を検討 ・論文に「PyTorchで実装」とあるが(現在のところ)未公開 GitHub: https://github.com/donggong1/memae-anomaly-detection 所感
・個人的には、VAEによる異常検知より「行けそう」な予感 ・一方、GANを用いた手法との性能比較は記載がなく未知数 ・実際のデータで動かした場合の性能は、今後の確認事項 α = 0.0002で評価