Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Future Frame Prediction for Anomaly Detection - A New Baseline
Search
tereka114
March 15, 2022
Programming
0
70
Future Frame Prediction for Anomaly Detection - A New Baseline
tereka114
March 15, 2022
Tweet
Share
More Decks by tereka114
See All by tereka114
KDD2023学会参加報告
tereka114
2
350
Prompting Large Language Models with Answer Heuristics for Knowledge-based Visual Question Answering
tereka114
0
260
Mobile-Former: Bridging MobileNet and Transformer
tereka114
0
880
DER: Dynamically Expandable Representation for Class Incremental Learning
tereka114
0
120
Jupyter Notebookを納品した話
tereka114
0
220
Multi Scale Recognition with DAG-CNNs
tereka114
0
85
How to use scikit-image for data augmentation
tereka114
0
120
面倒くさいこと考えたくないあなたへ〜Tpotと機械学習〜
tereka114
0
170
Chainerを使ったらカノジョができたお話
tereka114
0
110
Other Decks in Programming
See All in Programming
JavaScript Closure
asoluka
0
1k
PHPはいつから死んでいるかの調査
chiroruxx
2
420
Try creating your own orderedmap
kazamori
1
270
Elm 0.19.0 Changes
bkuhlmann
0
510
Goのmultiple errorsについて (2024年4月版)
syumai
4
1.2k
VS Code をプロダクトにどう取り込むか
onomax
1
780
Amazon SQSコンシューマー疎結合への旅 - 出張! #DevelopersIO IT技術ブログの中の人が語る勉強会 #3
quiver
0
340
Node.js v22 で変わること
yosuke_furukawa
PRO
12
4.1k
if constexpr文はテンプレート世界のラムダ式である
faithandbrave
3
700
AppRouter Panel Talk
yosuke_furukawa
PRO
1
500
Tailwind CSSを本気でカスタマイズする方法
fsubal
15
5.6k
ServerAction で Progressive Enhancement はどこまで頑張れるか? / progressive-enhancement-with-server-action
takefumiyoshii
6
470
Featured
See All Featured
VelocityConf: Rendering Performance Case Studies
addyosmani
321
23k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
221
21k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
14
8.4k
Making the Leap to Tech Lead
cromwellryan
125
8.5k
YesSQL, Process and Tooling at Scale
rocio
165
13k
GraphQLの誤解/rethinking-graphql
sonatard
56
9.3k
Code Reviewing Like a Champion
maltzj
515
39k
Web Components: a chance to create the future
zenorocha
306
41k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
41
4.4k
Visualization
eitanlees
137
14k
Building an army of robots
kneath
300
41k
Optimising Largest Contentful Paint
csswizardry
13
2.4k
Transcript
Future Frame Prediction for Anomaly Detection - A New Baseline
tereka114
Self Introduction • ⼭本 ⼤輝(@tereka114) • Acroquest Technology株式会社 • 画像認識、⾃然⾔語処理
• Kaggle Master • https://www.kaggle.com/tereka • のんびりしているエンジニアの⽇記 • http://nonbiri-tereka.hatenablog.com/ • 寄稿記事 • Interface 3⽉号 ラズパイにON!Google⼈⼯知能 • Interface 12⽉号 ⼈⼯知能ウルトラ⼤百科
CVPR2018 ⾏ってきました。 • 初参加、楽しかった! • CVPR2018ブログ書いてました。 • http://acro-engineer.hatenablog.com/entry/2018/06/19/140042 • http://acro-engineer.hatenablog.com/entry/2018/06/20/145859
• http://acro-engineer.hatenablog.com/entry/2018/06/21/130625 • http://acro-engineer.hatenablog.com/entry/2018/06/22/125831 • http://acro-engineer.hatenablog.com/entry/2018/06/23/132716
Outline • 概要 • 関連研究 • 提案⼿法 • 実験 •
結論
概要 • ビデオから異常となるイベントを検出する。 • U-Netを使って現在から未来のフレームを予測する。 • Generative Adversarial Network(GAN)の仕組みが使われている。 •
Flow Netを使ったOptical Flowの算出誤差を誤差式に組み込んだ。 イベントの中の動作の⼀貫性を考慮した。 • 読んでみたかった理由 • 画像の異常検知論⽂を⾒たことがなかったので、勉強がてら読んでみ ました。
概要
Related Works • Learning Temporal Regularity in Video Sequences •
ビデオのフレーム(Hog+HOF, Image)を復元を⾏い、差分を異常検知 のスコアとする。 • Abnormal Event Detection in Videos using Spatiotemporal Autoencoder • 時間⽅向の特徴を獲得するConv LSTMを提案
Learning Temporal Regularity in Video Sequences
Abnormal Event Detection in Videos using Spatiotemporal Autoencoder
提案⼿法の⽴ち位置 1. 従来の⼿法は輝度差分、勾配差分、Adversarial Lossで成り ⽴っている。 1. これらの誤差は⼗分にモーションの情報を獲得できていない。 2. 動画の解析で時系列特徴は重要である。 3.
Optical Flowの誤差を追加し、モーションの⼀貫性に制約を かけた。
提案⼿法の概要 1. U-Netを⽤いて未来のフレーム(t+1)を予測する。 2. Optical Flowの算出 1. 予測した未来のフレームと現在のフレーム 2. 未来のフレームと現在のフレーム
3. U-Netの学習には複数の誤差を組み合わせた誤差関数を最適 化する。(後述) 4. 未来のフレームと実際の未来のフレームをPSNRで⽐較をし、 異常度を計算する。
提案⼿法の概要
U-Netを⽤いた未来フレーム予測 1. U-Netを⽤いて現在フレームを⼊⼒し、未来のフレーム(t+1) を予測する。
Optical Flowの算出 1. 2つのOptical FlowをFlow Netで計算する。 1. 現在フレーム(t)と予測した未来のフレーム(t+1)に対して Optical Flowを計算する。
2. 現在フレーム(t)と未来のフレーム(t+1)に対してOptical Flow を計算する。 2. 動作の⼀貫性を担保するための制約をかける。 1. 異常検知では、⾮常に重要な要素
Flow Net • Optical Flowを算出するニューラルネットワーク
誤差計算 • Generator Loss • Intensity loss • Gradient loss
• Optical flow loss • Adversarial Loss(Generator) • Discriminator Loss • Adversarial Loss(Discriminator)
誤差計算① • Generator Loss • Discriminator Loss 予測 フレーム 実際の
フレーム
誤差計算② • Intensity Loss • Gradient Loss • Optical Flow
Loss
誤差計算③ • Adversarial Loss(D) • Adversarial Loss(G)
PSNR(Peak Signal to Noise Ratio) • 画像の品質に使われる指標。本異常検知では、MSEでの検知で はなく、PSNRを⽤いる。 • PSNRの値が⾼ければ、正常である。
実験 • 動画に対する異常検知を複数データセットに対して適⽤した。 • データセット • CUHK Avenue dataset •
The UCSD Dataset • The Shanghai Tech Dataset • 誤差関数の⽐較
データセット • CUHK Avenue dataset • Training 16, Testing 21
• Abnormal Event 47 • The UCSD Dataset • Two Parts: Ped 1, Ped 2 • The Shanghai Tech Dataset • Training 330、Testing 107 • Abnormal Event:130
実験結果① ⼿法と結果⼀覧
実験結果② 評価結果
実験結果③ 出⼒結果
実験結果④ 動画の異常検知結果
結論 • 未来のフレーム予測を⽤いた異常検出を⾏った。 • U-Netを使い、よりリアルな未来のフレーム予測を可能とした。 • 特にOptical Flowによる制約が有効だった。 • 今回検証した3つのデータセットでは、従来⼿法よりも⾼精度
な結果が出た。