Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Future Frame Prediction for Anomaly Detection -...
Search
tereka114
March 15, 2022
Programming
0
130
Future Frame Prediction for Anomaly Detection - A New Baseline
tereka114
March 15, 2022
Tweet
Share
More Decks by tereka114
See All by tereka114
トラブルがあったコンペに学ぶデータ分析
tereka114
2
1.7k
Harnessing Large Language Models for Training-free Video Anomaly Detection
tereka114
1
1.6k
KDD2023学会参加報告
tereka114
2
620
Prompting Large Language Models with Answer Heuristics for Knowledge-based Visual Question Answering
tereka114
0
410
Mobile-Former: Bridging MobileNet and Transformer
tereka114
0
1.1k
DER: Dynamically Expandable Representation for Class Incremental Learning
tereka114
0
220
Jupyter Notebookを納品した話
tereka114
0
490
Multi Scale Recognition with DAG-CNNs
tereka114
0
150
How to use scikit-image for data augmentation
tereka114
0
280
Other Decks in Programming
See All in Programming
複雑なフォームに立ち向かう Next.js の技術選定
macchiitaka
2
200
Android端末で実現するオンデバイスLLM 2025
masayukisuda
1
170
奥深くて厄介な「改行」と仲良くなる20分
oguemon
1
560
テストカバレッジ100%を10年続けて得られた学びと品質
mottyzzz
2
610
より安全で効率的な Go コードへ: Protocol Buffers Opaque API の導入
shwatanap
2
630
アルテニア コンサル/ITエンジニア向け 採用ピッチ資料
altenir
0
110
個人軟體時代
ethanhuang13
0
330
MCPとデザインシステムに立脚したデザインと実装の融合
yukukotani
4
1.4k
Navigating Dependency Injection with Metro
zacsweers
3
2.5k
プロポーザル駆動学習 / Proposal-Driven Learning
mackey0225
2
1.3k
楽して成果を出すためのセルフリソース管理
clipnote
0
180
詳解!defer panic recover のしくみ / Understanding defer, panic, and recover
convto
0
250
Featured
See All Featured
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
61k
Building Flexible Design Systems
yeseniaperezcruz
329
39k
Raft: Consensus for Rubyists
vanstee
140
7.1k
Testing 201, or: Great Expectations
jmmastey
45
7.7k
Why You Should Never Use an ORM
jnunemaker
PRO
59
9.5k
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
Art, The Web, and Tiny UX
lynnandtonic
303
21k
Producing Creativity
orderedlist
PRO
347
40k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
234
17k
How GitHub (no longer) Works
holman
315
140k
GraphQLの誤解/rethinking-graphql
sonatard
72
11k
Transcript
Future Frame Prediction for Anomaly Detection - A New Baseline
tereka114
Self Introduction • ⼭本 ⼤輝(@tereka114) • Acroquest Technology株式会社 • 画像認識、⾃然⾔語処理
• Kaggle Master • https://www.kaggle.com/tereka • のんびりしているエンジニアの⽇記 • http://nonbiri-tereka.hatenablog.com/ • 寄稿記事 • Interface 3⽉号 ラズパイにON!Google⼈⼯知能 • Interface 12⽉号 ⼈⼯知能ウルトラ⼤百科
CVPR2018 ⾏ってきました。 • 初参加、楽しかった! • CVPR2018ブログ書いてました。 • http://acro-engineer.hatenablog.com/entry/2018/06/19/140042 • http://acro-engineer.hatenablog.com/entry/2018/06/20/145859
• http://acro-engineer.hatenablog.com/entry/2018/06/21/130625 • http://acro-engineer.hatenablog.com/entry/2018/06/22/125831 • http://acro-engineer.hatenablog.com/entry/2018/06/23/132716
Outline • 概要 • 関連研究 • 提案⼿法 • 実験 •
結論
概要 • ビデオから異常となるイベントを検出する。 • U-Netを使って現在から未来のフレームを予測する。 • Generative Adversarial Network(GAN)の仕組みが使われている。 •
Flow Netを使ったOptical Flowの算出誤差を誤差式に組み込んだ。 イベントの中の動作の⼀貫性を考慮した。 • 読んでみたかった理由 • 画像の異常検知論⽂を⾒たことがなかったので、勉強がてら読んでみ ました。
概要
Related Works • Learning Temporal Regularity in Video Sequences •
ビデオのフレーム(Hog+HOF, Image)を復元を⾏い、差分を異常検知 のスコアとする。 • Abnormal Event Detection in Videos using Spatiotemporal Autoencoder • 時間⽅向の特徴を獲得するConv LSTMを提案
Learning Temporal Regularity in Video Sequences
Abnormal Event Detection in Videos using Spatiotemporal Autoencoder
提案⼿法の⽴ち位置 1. 従来の⼿法は輝度差分、勾配差分、Adversarial Lossで成り ⽴っている。 1. これらの誤差は⼗分にモーションの情報を獲得できていない。 2. 動画の解析で時系列特徴は重要である。 3.
Optical Flowの誤差を追加し、モーションの⼀貫性に制約を かけた。
提案⼿法の概要 1. U-Netを⽤いて未来のフレーム(t+1)を予測する。 2. Optical Flowの算出 1. 予測した未来のフレームと現在のフレーム 2. 未来のフレームと現在のフレーム
3. U-Netの学習には複数の誤差を組み合わせた誤差関数を最適 化する。(後述) 4. 未来のフレームと実際の未来のフレームをPSNRで⽐較をし、 異常度を計算する。
提案⼿法の概要
U-Netを⽤いた未来フレーム予測 1. U-Netを⽤いて現在フレームを⼊⼒し、未来のフレーム(t+1) を予測する。
Optical Flowの算出 1. 2つのOptical FlowをFlow Netで計算する。 1. 現在フレーム(t)と予測した未来のフレーム(t+1)に対して Optical Flowを計算する。
2. 現在フレーム(t)と未来のフレーム(t+1)に対してOptical Flow を計算する。 2. 動作の⼀貫性を担保するための制約をかける。 1. 異常検知では、⾮常に重要な要素
Flow Net • Optical Flowを算出するニューラルネットワーク
誤差計算 • Generator Loss • Intensity loss • Gradient loss
• Optical flow loss • Adversarial Loss(Generator) • Discriminator Loss • Adversarial Loss(Discriminator)
誤差計算① • Generator Loss • Discriminator Loss 予測 フレーム 実際の
フレーム
誤差計算② • Intensity Loss • Gradient Loss • Optical Flow
Loss
誤差計算③ • Adversarial Loss(D) • Adversarial Loss(G)
PSNR(Peak Signal to Noise Ratio) • 画像の品質に使われる指標。本異常検知では、MSEでの検知で はなく、PSNRを⽤いる。 • PSNRの値が⾼ければ、正常である。
実験 • 動画に対する異常検知を複数データセットに対して適⽤した。 • データセット • CUHK Avenue dataset •
The UCSD Dataset • The Shanghai Tech Dataset • 誤差関数の⽐較
データセット • CUHK Avenue dataset • Training 16, Testing 21
• Abnormal Event 47 • The UCSD Dataset • Two Parts: Ped 1, Ped 2 • The Shanghai Tech Dataset • Training 330、Testing 107 • Abnormal Event:130
実験結果① ⼿法と結果⼀覧
実験結果② 評価結果
実験結果③ 出⼒結果
実験結果④ 動画の異常検知結果
結論 • 未来のフレーム予測を⽤いた異常検出を⾏った。 • U-Netを使い、よりリアルな未来のフレーム予測を可能とした。 • 特にOptical Flowによる制約が有効だった。 • 今回検証した3つのデータセットでは、従来⼿法よりも⾼精度
な結果が出た。