Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
One-Class Convolutional Neural Network
Search
Masanori YANO
May 09, 2019
Science
0
1.3k
One-Class Convolutional Neural Network
論文LT会で作成したOC-CNN論文の説明資料です。
Masanori YANO
May 09, 2019
Tweet
Share
More Decks by Masanori YANO
See All by Masanori YANO
Novelty Detection Via Blurring
msnr
0
520
Y-Net: Joint Segmentation and Classification for Diagnosis of Breast Biopsy Images
msnr
0
570
Pyramid-Based Fully Convolutional Networks for Cell Segmentation
msnr
0
570
Free-Form Image Inpainting with Gated Convolution
msnr
0
1k
Memorizing Normality to Detect Anomaly: Memory-augmented Deep Autoencoder for Unsupervised Anomaly Detection
msnr
0
680
Move Evaluation in Go Using Deep Convolutional Neural Networks
msnr
1
850
AlphaX: eXploring Neural Architectures with Deep Neural Networks and Monte Carlo Tree Search
msnr
0
1.2k
Towards Understanding Chinese Checkers with Heuristics, Monte Carlo Tree Search, and Deep Reinforcement Learning
msnr
0
500
SRCNN: Image Super Resolution Using CNN
msnr
0
710
Other Decks in Science
See All in Science
[Paper Introduction] From Bytes to Ideas:Language Modeling with Autoregressive U-Nets
haruumiomoto
0
120
Masseyのレーティングを用いたフォーミュラレースドライバーの実績評価手法の開発 / Development of a Performance Evaluation Method for Formula Race Drivers Using Massey Ratings
konakalab
0
180
サイゼミ用因果推論
lw
1
7.5k
mathematics of indirect reciprocity
yohm
1
160
NASの容量不足のお悩み解決!災害対策も兼ねた「Wasabi Cloud NAS」はここがスゴイ
climbteam
0
110
白金鉱業Meetup Vol.16_【初学者向け発表】 数理最適化のはじめの一歩 〜身近な問題で学ぶ最適化の面白さ〜
brainpadpr
11
2.3k
06_浅井雄一郎_株式会社浅井農園代表取締役社長_紹介資料.pdf
sip3ristex
0
600
Ignite の1年間の軌跡
ktombow
0
140
CV_3_Keypoints
hachama
0
200
モンテカルロDCF法による事業価値の算出(モンテカルロ法とベイズモデリング) / Business Valuation Using Monte Carlo DCF Method (Monte Carlo Simulation and Bayesian Modeling)
ikuma_w
0
240
コンピュータビジョンによるロボットの視覚と判断:宇宙空間での適応と課題
hf149
1
300
システム数理と応用分野の未来を切り拓くロードマップ・エンターテインメント(スポーツ)への応用 / Applied mathematics for sports entertainment
konakalab
1
380
Featured
See All Featured
ReactJS: Keep Simple. Everything can be a component!
pedronauck
667
120k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
3k
How GitHub (no longer) Works
holman
315
140k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
131
19k
Designing for Performance
lara
610
69k
Automating Front-end Workflow
addyosmani
1370
200k
Faster Mobile Websites
deanohume
309
31k
Code Review Best Practice
trishagee
70
19k
RailsConf 2023
tenderlove
30
1.2k
Facilitating Awesome Meetings
lara
55
6.5k
Music & Morning Musume
bryan
46
6.7k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
53
2.9k
Transcript
画像処理&機械学習 論文LT会 #2 One-Class Convolutional Neural Network 2019年5月9日(木) 矢農 正紀
(Masanori YANO)
論文 2 One-Class Convolutional Neural Network 論文のURL: https://arxiv.org/abs/1901.08688 実装のURL: https://github.com/otkupjnoz/oc-cnn
⇒ 著者は、アメリカ東海岸のJohns Hopkins University IEEE Signal Processing Letters Volume 26に採録 Second AuthorのPatel助教は、異常検知の論文が多い 選んだ理由 ・異常検知の手法に関心があった ※ 1クラス分類 = 異常(Anomaly) ∪ 新規性(Novelty) ・arXiv論文を検索してみたら上位で、わりと新しかった ・つよそうな題名で、シンプルなアプローチが好み
異常検知とは 3 画像や、時系列データなどから自動的に異常を検出 ⇒ 各社がソフトウェア・サービスをリリースしている状況 [例1] ISP(システム計画研究所) ・gLupe 数十枚の正常データのみで異常検知、学習も数秒 [例2]
PFN(Preferred Networks) ・Preferred Networks Visual Inspection 良品画像100枚と不良品画像20枚から異常検知が可能 ・ファナックとの共同開発によるAI新機能 (1) モータの故障の予兆を異常度で監視: 深層学習 (2) ロボットが撮影した画像の良否判定: 機械学習 深層学習ではなく
1クラス分類(One-Class Classification)とは 4 一種類の、特定のクラスに対する分類を行う ・教師データには、負例のデータが含まれないため難しい ・異常(Anomaly)や新規性(Novelty)の検出に応用される 1クラス分類のアプローチ ・SVM(サポートベクターマシン)ベースの手法が多い ・CNNの中間層から、SVMなどを使って解く手法も多い ・オートエンコーダを使う方法が多く、最近はGANやVAEも
・One-Class Neural Networkは、最適化手順に工夫あり ・Patel助教は、他のデータセットも使う学習手法を提案 Learning Deep Features for One-Class Classification 論文のURL: https://arxiv.org/abs/1801.05365 実装例: https://qiita.com/shinmura0/items/cfb51f66b2d172f2403b ⇒ 本論文は追加データ不要で、かつend-to-endと主張
本論文の手法 5 CNNの特徴量と同じ長さの正規乱数データを加える ・ミニバッチ数が64であれば、正規乱数データも64セット ・損失関数は、合計128データの交差エントロピーの平均 ・本論文の評価では、正規分布の平均0&分散0.01で統一 One-Class Convolutional Neural Networkのアーキテクチャ
本論文の評価結果 6 新規性(Novelty)検知のデータセット3種類で評価 ・OC-CNN: 本論文の手法 ・OC-SVM+: OC-CNNの判別をNNではなくSVMで実施 (本論文の主軸はOC-CNNだが、OC-SVM+も高い性能) 学習済みのVGG16を使用して評価した結果の比較 (論文には、学習済みのAlexNetを使用した結果も掲載)
本論文で評価している3種類のデータセット
まとめ 7 1クラス分類に対する、CNNベースの新手法を提案 ・疑似的な負例のデータとして、正規乱数データを追加 ・データセットを用いた評価でも、一貫して良い性能 ・今後は、検出(detection)と分類を合体させた手法の開発 (すでに、本論文を引用した新規性の検出の論文を発表) 所感 ・シンプルで、2019年発表の新しい手法であることが驚き ・ただ、正規乱数のパラメータで境界面を調節できそうで、
異常検知に使えるのであれば、実用の観点では興味深い [参考] 深層学習の異常検知サーベイ Deep Learning for Anomaly Detection: A Survey 論文のURL: https://arxiv.org/abs/1901.03407