Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Future Frame Prediction for Anomaly Detection -...
Search
tereka114
March 15, 2022
Programming
0
120
Future Frame Prediction for Anomaly Detection - A New Baseline
tereka114
March 15, 2022
Tweet
Share
More Decks by tereka114
See All by tereka114
トラブルがあったコンペに学ぶデータ分析
tereka114
2
1.6k
Harnessing Large Language Models for Training-free Video Anomaly Detection
tereka114
1
1.6k
KDD2023学会参加報告
tereka114
2
600
Prompting Large Language Models with Answer Heuristics for Knowledge-based Visual Question Answering
tereka114
0
400
Mobile-Former: Bridging MobileNet and Transformer
tereka114
0
1.1k
DER: Dynamically Expandable Representation for Class Incremental Learning
tereka114
0
210
Jupyter Notebookを納品した話
tereka114
0
470
Multi Scale Recognition with DAG-CNNs
tereka114
0
150
How to use scikit-image for data augmentation
tereka114
0
280
Other Decks in Programming
See All in Programming
チームで開発し事業を加速するための"良い"設計の考え方 @ サポーターズCoLab 2025-07-08
agatan
1
410
効率的な開発手段として VRTを活用する
ishkawa
0
140
Goで作る、開発・CI環境
sin392
0
230
技術同人誌をMCP Serverにしてみた
74th
1
640
Porting a visionOS App to Android XR
akkeylab
0
460
Node-RED を(HTTP で)つなげる MCP サーバーを作ってみた
highu
0
120
「テストは愚直&&網羅的に書くほどよい」という誤解 / Test Smarter, Not Harder
munetoshi
0
170
AI時代のソフトウェア開発を考える(2025/07版) / Agentic Software Engineering Findy 2025-07 Edition
twada
PRO
86
28k
Composerが「依存解決」のためにどんな工夫をしているか #phpcon
o0h
PRO
1
250
Azure AI Foundryではじめてのマルチエージェントワークフロー
seosoft
0
170
地方に住むエンジニアの残酷な現実とキャリア論
ichimichi
5
1.5k
Rails Frontend Evolution: It Was a Setup All Along
skryukov
0
140
Featured
See All Featured
Why Our Code Smells
bkeepers
PRO
336
57k
Music & Morning Musume
bryan
46
6.6k
The Power of CSS Pseudo Elements
geoffreycrofte
77
5.9k
Designing Experiences People Love
moore
142
24k
Producing Creativity
orderedlist
PRO
346
40k
Building a Scalable Design System with Sketch
lauravandoore
462
33k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
48
2.9k
How to Think Like a Performance Engineer
csswizardry
25
1.7k
4 Signs Your Business is Dying
shpigford
184
22k
The Straight Up "How To Draw Better" Workshop
denniskardys
234
140k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
233
17k
Testing 201, or: Great Expectations
jmmastey
43
7.6k
Transcript
Future Frame Prediction for Anomaly Detection - A New Baseline
tereka114
Self Introduction • ⼭本 ⼤輝(@tereka114) • Acroquest Technology株式会社 • 画像認識、⾃然⾔語処理
• Kaggle Master • https://www.kaggle.com/tereka • のんびりしているエンジニアの⽇記 • http://nonbiri-tereka.hatenablog.com/ • 寄稿記事 • Interface 3⽉号 ラズパイにON!Google⼈⼯知能 • Interface 12⽉号 ⼈⼯知能ウルトラ⼤百科
CVPR2018 ⾏ってきました。 • 初参加、楽しかった! • CVPR2018ブログ書いてました。 • http://acro-engineer.hatenablog.com/entry/2018/06/19/140042 • http://acro-engineer.hatenablog.com/entry/2018/06/20/145859
• http://acro-engineer.hatenablog.com/entry/2018/06/21/130625 • http://acro-engineer.hatenablog.com/entry/2018/06/22/125831 • http://acro-engineer.hatenablog.com/entry/2018/06/23/132716
Outline • 概要 • 関連研究 • 提案⼿法 • 実験 •
結論
概要 • ビデオから異常となるイベントを検出する。 • U-Netを使って現在から未来のフレームを予測する。 • Generative Adversarial Network(GAN)の仕組みが使われている。 •
Flow Netを使ったOptical Flowの算出誤差を誤差式に組み込んだ。 イベントの中の動作の⼀貫性を考慮した。 • 読んでみたかった理由 • 画像の異常検知論⽂を⾒たことがなかったので、勉強がてら読んでみ ました。
概要
Related Works • Learning Temporal Regularity in Video Sequences •
ビデオのフレーム(Hog+HOF, Image)を復元を⾏い、差分を異常検知 のスコアとする。 • Abnormal Event Detection in Videos using Spatiotemporal Autoencoder • 時間⽅向の特徴を獲得するConv LSTMを提案
Learning Temporal Regularity in Video Sequences
Abnormal Event Detection in Videos using Spatiotemporal Autoencoder
提案⼿法の⽴ち位置 1. 従来の⼿法は輝度差分、勾配差分、Adversarial Lossで成り ⽴っている。 1. これらの誤差は⼗分にモーションの情報を獲得できていない。 2. 動画の解析で時系列特徴は重要である。 3.
Optical Flowの誤差を追加し、モーションの⼀貫性に制約を かけた。
提案⼿法の概要 1. U-Netを⽤いて未来のフレーム(t+1)を予測する。 2. Optical Flowの算出 1. 予測した未来のフレームと現在のフレーム 2. 未来のフレームと現在のフレーム
3. U-Netの学習には複数の誤差を組み合わせた誤差関数を最適 化する。(後述) 4. 未来のフレームと実際の未来のフレームをPSNRで⽐較をし、 異常度を計算する。
提案⼿法の概要
U-Netを⽤いた未来フレーム予測 1. U-Netを⽤いて現在フレームを⼊⼒し、未来のフレーム(t+1) を予測する。
Optical Flowの算出 1. 2つのOptical FlowをFlow Netで計算する。 1. 現在フレーム(t)と予測した未来のフレーム(t+1)に対して Optical Flowを計算する。
2. 現在フレーム(t)と未来のフレーム(t+1)に対してOptical Flow を計算する。 2. 動作の⼀貫性を担保するための制約をかける。 1. 異常検知では、⾮常に重要な要素
Flow Net • Optical Flowを算出するニューラルネットワーク
誤差計算 • Generator Loss • Intensity loss • Gradient loss
• Optical flow loss • Adversarial Loss(Generator) • Discriminator Loss • Adversarial Loss(Discriminator)
誤差計算① • Generator Loss • Discriminator Loss 予測 フレーム 実際の
フレーム
誤差計算② • Intensity Loss • Gradient Loss • Optical Flow
Loss
誤差計算③ • Adversarial Loss(D) • Adversarial Loss(G)
PSNR(Peak Signal to Noise Ratio) • 画像の品質に使われる指標。本異常検知では、MSEでの検知で はなく、PSNRを⽤いる。 • PSNRの値が⾼ければ、正常である。
実験 • 動画に対する異常検知を複数データセットに対して適⽤した。 • データセット • CUHK Avenue dataset •
The UCSD Dataset • The Shanghai Tech Dataset • 誤差関数の⽐較
データセット • CUHK Avenue dataset • Training 16, Testing 21
• Abnormal Event 47 • The UCSD Dataset • Two Parts: Ped 1, Ped 2 • The Shanghai Tech Dataset • Training 330、Testing 107 • Abnormal Event:130
実験結果① ⼿法と結果⼀覧
実験結果② 評価結果
実験結果③ 出⼒結果
実験結果④ 動画の異常検知結果
結論 • 未来のフレーム予測を⽤いた異常検出を⾏った。 • U-Netを使い、よりリアルな未来のフレーム予測を可能とした。 • 特にOptical Flowによる制約が有効だった。 • 今回検証した3つのデータセットでは、従来⼿法よりも⾼精度
な結果が出た。