Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Future Frame Prediction for Anomaly Detection -...
Search
tereka114
March 15, 2022
Programming
0
110
Future Frame Prediction for Anomaly Detection - A New Baseline
tereka114
March 15, 2022
Tweet
Share
More Decks by tereka114
See All by tereka114
トラブルがあったコンペに学ぶデータ分析
tereka114
2
1.5k
Harnessing Large Language Models for Training-free Video Anomaly Detection
tereka114
1
1.5k
KDD2023学会参加報告
tereka114
2
560
Prompting Large Language Models with Answer Heuristics for Knowledge-based Visual Question Answering
tereka114
0
380
Mobile-Former: Bridging MobileNet and Transformer
tereka114
0
1.1k
DER: Dynamically Expandable Representation for Class Incremental Learning
tereka114
0
190
Jupyter Notebookを納品した話
tereka114
0
430
Multi Scale Recognition with DAG-CNNs
tereka114
0
130
How to use scikit-image for data augmentation
tereka114
0
240
Other Decks in Programming
See All in Programming
ベクトル検索システムの気持ち
monochromegane
29
8.7k
技術好きなエンジニアが "リーダーへの進化" によって得たものと失ったもの
pospome
5
1.3k
OUPC2024 Day 1 解説
kowerkoint
0
390
ローコードサービスの進化のためのモノレポ移行
taro28
1
330
小さく段階的リリースすることで深夜メンテを回避する
mkmk884
2
130
Modern Angular:Renovation for Your Applications @angularDays 2025 Munich
manfredsteyer
PRO
0
120
2025/3/18 サービスの成長で生じる幅広いパフォーマンスの問題を、 AIで手軽に解決する
shirahama_x
0
160
プログラミング教育のコスパの話
superkinoko
0
110
snacks.nvim内のセットアップ不要なプラグインを紹介 / introduce_snacks_nvim
uhooi
0
330
Go1.24で testing.B.Loopが爆誕
kuro_kurorrr
0
150
PHPer's Guide to Daemon Crafting Taming and Summoning
uzulla
2
960
なぜselectはselectではないのか
taiyow
2
290
Featured
See All Featured
Building Your Own Lightsaber
phodgson
104
6.3k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
Speed Design
sergeychernyshev
28
860
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
16
1.1k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
367
25k
Designing for Performance
lara
606
69k
Typedesign – Prime Four
hannesfritz
41
2.6k
Measuring & Analyzing Core Web Vitals
bluesmoon
6
320
Building Flexible Design Systems
yeseniaperezcruz
328
38k
What's in a price? How to price your products and services
michaelherold
245
12k
Done Done
chrislema
183
16k
Fireside Chat
paigeccino
37
3.3k
Transcript
Future Frame Prediction for Anomaly Detection - A New Baseline
tereka114
Self Introduction • ⼭本 ⼤輝(@tereka114) • Acroquest Technology株式会社 • 画像認識、⾃然⾔語処理
• Kaggle Master • https://www.kaggle.com/tereka • のんびりしているエンジニアの⽇記 • http://nonbiri-tereka.hatenablog.com/ • 寄稿記事 • Interface 3⽉号 ラズパイにON!Google⼈⼯知能 • Interface 12⽉号 ⼈⼯知能ウルトラ⼤百科
CVPR2018 ⾏ってきました。 • 初参加、楽しかった! • CVPR2018ブログ書いてました。 • http://acro-engineer.hatenablog.com/entry/2018/06/19/140042 • http://acro-engineer.hatenablog.com/entry/2018/06/20/145859
• http://acro-engineer.hatenablog.com/entry/2018/06/21/130625 • http://acro-engineer.hatenablog.com/entry/2018/06/22/125831 • http://acro-engineer.hatenablog.com/entry/2018/06/23/132716
Outline • 概要 • 関連研究 • 提案⼿法 • 実験 •
結論
概要 • ビデオから異常となるイベントを検出する。 • U-Netを使って現在から未来のフレームを予測する。 • Generative Adversarial Network(GAN)の仕組みが使われている。 •
Flow Netを使ったOptical Flowの算出誤差を誤差式に組み込んだ。 イベントの中の動作の⼀貫性を考慮した。 • 読んでみたかった理由 • 画像の異常検知論⽂を⾒たことがなかったので、勉強がてら読んでみ ました。
概要
Related Works • Learning Temporal Regularity in Video Sequences •
ビデオのフレーム(Hog+HOF, Image)を復元を⾏い、差分を異常検知 のスコアとする。 • Abnormal Event Detection in Videos using Spatiotemporal Autoencoder • 時間⽅向の特徴を獲得するConv LSTMを提案
Learning Temporal Regularity in Video Sequences
Abnormal Event Detection in Videos using Spatiotemporal Autoencoder
提案⼿法の⽴ち位置 1. 従来の⼿法は輝度差分、勾配差分、Adversarial Lossで成り ⽴っている。 1. これらの誤差は⼗分にモーションの情報を獲得できていない。 2. 動画の解析で時系列特徴は重要である。 3.
Optical Flowの誤差を追加し、モーションの⼀貫性に制約を かけた。
提案⼿法の概要 1. U-Netを⽤いて未来のフレーム(t+1)を予測する。 2. Optical Flowの算出 1. 予測した未来のフレームと現在のフレーム 2. 未来のフレームと現在のフレーム
3. U-Netの学習には複数の誤差を組み合わせた誤差関数を最適 化する。(後述) 4. 未来のフレームと実際の未来のフレームをPSNRで⽐較をし、 異常度を計算する。
提案⼿法の概要
U-Netを⽤いた未来フレーム予測 1. U-Netを⽤いて現在フレームを⼊⼒し、未来のフレーム(t+1) を予測する。
Optical Flowの算出 1. 2つのOptical FlowをFlow Netで計算する。 1. 現在フレーム(t)と予測した未来のフレーム(t+1)に対して Optical Flowを計算する。
2. 現在フレーム(t)と未来のフレーム(t+1)に対してOptical Flow を計算する。 2. 動作の⼀貫性を担保するための制約をかける。 1. 異常検知では、⾮常に重要な要素
Flow Net • Optical Flowを算出するニューラルネットワーク
誤差計算 • Generator Loss • Intensity loss • Gradient loss
• Optical flow loss • Adversarial Loss(Generator) • Discriminator Loss • Adversarial Loss(Discriminator)
誤差計算① • Generator Loss • Discriminator Loss 予測 フレーム 実際の
フレーム
誤差計算② • Intensity Loss • Gradient Loss • Optical Flow
Loss
誤差計算③ • Adversarial Loss(D) • Adversarial Loss(G)
PSNR(Peak Signal to Noise Ratio) • 画像の品質に使われる指標。本異常検知では、MSEでの検知で はなく、PSNRを⽤いる。 • PSNRの値が⾼ければ、正常である。
実験 • 動画に対する異常検知を複数データセットに対して適⽤した。 • データセット • CUHK Avenue dataset •
The UCSD Dataset • The Shanghai Tech Dataset • 誤差関数の⽐較
データセット • CUHK Avenue dataset • Training 16, Testing 21
• Abnormal Event 47 • The UCSD Dataset • Two Parts: Ped 1, Ped 2 • The Shanghai Tech Dataset • Training 330、Testing 107 • Abnormal Event:130
実験結果① ⼿法と結果⼀覧
実験結果② 評価結果
実験結果③ 出⼒結果
実験結果④ 動画の異常検知結果
結論 • 未来のフレーム予測を⽤いた異常検出を⾏った。 • U-Netを使い、よりリアルな未来のフレーム予測を可能とした。 • 特にOptical Flowによる制約が有効だった。 • 今回検証した3つのデータセットでは、従来⼿法よりも⾼精度
な結果が出た。