生成モデルの今までと異常検知への応用(GAN,anoGAN,ganomaly,efficient,skip))

体裁を整えたもの。まだ追加する予定。2020/10/30

1. 異常検知と生成モデル ちょっとだけ歴史 + ANOGAN,EFFICIENT,GANOMALY,SKIP,あたりの話
2. 生成モデル全体の歴史を振り返りながら 生成モデルの異常検知への活用を学ぶ 全体の流れ @Ringa_hyj @Ringa_hyj 修正コメント待ってます
3. 生成モデルとは何ぞ AE,VAE,pixel CNN,RNN GANの種類 それぞれについて詳しく 生成モデル(GAN)の異常検知への活用 異常検知とはどんなタスクか 全体構成
4. 異常検知とは？
5. 起こるかもしれない確率・範囲、 を基準に異常を判定する (確率分布を 仮定or求める) 例：混合正規分布, X-bar管理図 集団からの離れ具合、 を基準に異常を判定する (計算された空間中の距離を比較) 例：マハラノビス, 1C-SVM 異常検知とは 両者は概念の提案であって根本的には同じ
6. 離れ具合、確率 を計算する関数(model)A = A(・) データ X をモデル A に入れたときに出てくる値 A(X) A(X) が基準 Φ よりも大きかったら異常 A(X) > Φ Φは基準であり、ヒューリスティックに決める 異常検知とは
7. 生成モデルとは？
8. 何も有用な情報がない所から対象(画像・数値)を生成する関数(モデル) 車を作るには材料(金属,プラスチック,布)を用意しておく ↓ 車の写真を見せる 試行錯誤して車らしいものを作る ※材料 = 規則性を持った一定の確率分布(正規分布)を用意する 生成モデルとは
9. どんな活用方法が？ ・架空の画像生成 ・超解像技術(ノイズを消す, 画質を上げる) ・線画に色を塗る ・時系列を生成(スケジュール計画,まるで強化学習) ・潜在変数を表現できる→潜在変数の変化から異常検知活用 ・特定の生成を行うためのモデルは、学習したものしか作れなくなる→異常検知 生成モデルとは
10. バッテリー(正規品の分布)を中心として車を作っていく自動工場(パラメータ固定NN)に、 バッテリー以外のもの(異なる分布)を出発部品として入れると、 無理やり工場を通って徐々に歪み不良品が製造される 生成モデルと異常検知
11. 生成モデルのスタート地点としてAEを考える Auto encoder (science,2006,hinton) Reducing the Dimensionality of Data with Neural Networks ニューラルネットを使って次元削減 手元の画像を入力として、画像自身を再構成する ネットワークを作る。 ネットワークは中央の層をくびれさせた構造をとることで、 高次元入力を低次元で表現できるようになる。 (ノイズ特徴量減・過学習防止) 再度同じ画像へ展開するために最低限必要な次元数(情報)を決めるのは難しい 主成分分析のような考え方。 抽出された中央の層は「潜在変数 Latent Variable」と呼ばれる。 潜在変数がどのようなパターンを持っているのか理解できれば、 元の画像がなくとも新しい画像が作れるのでは？ = 生成モデルの考え 構造は全結合やReLU CNN 損失は再構成画像との L2 loss 2 Auto encoderの紹介
12. AEを有用な特徴量を作り出すために使う 元画像を再構成できる潜在変数ならば、 分類モデルの入力にしても働いてくれるだろう Xから潜在変数Zへのエンコーダーだけ切り取る (エンコーダー = 主成分を作り出す役) Zを入力とし分類器(CNN)を作る (エンコーダーの重みを初期値とし、再度CNNと共にファインチューニングしてもいい) 分類器 y_hat 余談：AEの教師あり学習での活用
13. 生成モデルの俯瞰 2017,Ian,NIPS 2016 Tutorial:Generative Adversarial Networks 再構成のための関数は最尤法によって求める 明示的(Explicit)に密度関数を仮定する場合と 暗黙的(Implicit)に密度関数など求めない場合 VAEは潜在変数を正規分布だと仮定する 正規分布に変換,当てはめ(近似)する (Markovでpdfを近似する場合もある) 分布をNN等で表す (Tractable)方法 GANはそもそも密度関数とか潜在変数に関係なく、 ゲーム理論的に2人のゲームプレイヤーが 互いに高め合うことで、 結果生成モデルができる 生成モデルの俯瞰
14. Pixel-RNN 2016, Pixel Recurrent Neural Networks,AVDoord 端のピクセルから横や下に伝播して情報を伝える。 (previous) 過去のピクセル値パターンから近傍ピクセルの情報を推定 大変生成が遅い。 (colabのGPUを借りてMNIST1epoc 30s, 自前CPUなら3000s) ピクセルが増えるともう… 図はBiLSTMのもの Pixel-RNN
15. Pixel-CNN 2016, Conditional Image Generation with PixelCNN Decoders,AVDoord RNNが前後(previous)の関係であったものに対して、 CNNは周辺(region)の情報を見て次のピクセルの内容を推定する。 RNNに同じく大変遅い。 やっていることは 周辺ピクセルが得られた時 次のピクセル値を返す関数の尤度最大化 データの分布(関数)はNNによって表現される。 遅い対策として畳み込みゲートを追加する、スキップ構造を採用する等 Pixel-CNN
16. 2014-D.P.kingma Auto-Encoding Variational Bayes ある潜在変数ZはΘというパラメータを持った関数である 画像Xは、AEのように入力Xがなくとも、 潜在変数Zが分かればデコーダーだけで生成できる。 潜在変数Zがどんな形かわからなければ、関数もΘも求められないのでは？？ ↓ 昔から正規分布を変分法により求める手法がある(EM algorithm) VAE(変分AE)
17. 手元のデータが正規分布に従う潜在変数に変換できるとする。 XからZ (平均0,分散1)を出力するネットワークを作る。 Zからを潜在変数とする。 潜在変数から元画像への関数(デコーダー, NN)を学習させる。 (コスト関数は元画像との比較。関数は尤度法で学習。) 以上の学習が完了すると、 正規分布に従う乱数を生成するだけで、 画像を作る事ができる。 (AEのように元画像が不要) VAE その2
18. Pixel-RNN,CNNは最尤法により求めた VAEは密度関数を設定しているので積分により求める必要がある そもそも積分可能か？問題がある 上記の場合p(Z)は正規分布と置いているので求められそう。 p(X|Z)はNNで再現しようとしている。 p(x)をベイズの定理で以下のように描き替える。 しかし、xからzが生成する過程も分母p(x)が結局も止まらないから積分できない。 どうするか？ xからzを作るニューラルネット(エンコーダー,q(z|x))を作って、近似してしまう。 VAE その3 余談,VAEの変分法
19. 対数尤度を上記のように変形していく。 q(z|x)を導入して変形することで最後の式が求まる。 デコーダーが第一項を計算できる。(reparametrization trick-論文p4,2.4を使って微分できる) 第二項目は事前分布としてp(z)はガウス分布として決めていた。q(z|x)もガウス分布になるはず。 第三項目はp(z|x)が求まらないという問題があった。 しかし、KLダイバージェンスは0以上(Jensenの不等式)であるので、第三項目は定数として考えよう。 KLダイバージェンスの最小化を考えるとは、他の求められる項を最大化することと等しい。 VAE その4 余談,VAEの変分法
20. 前半の二項を目的関数として、最適化を行う。 この項をELBO:Evidence Lower Bound 詳しくは変分ベイズへ ELBOの項を最大化することでVAEによる生成を最適化する。 (計算できるようになって嬉しい) VAE その5 余談,VAEの変分法
21. 正規分布ZからXを作る事ができた。 これからは正規分布乱数を用意できれば画像が生成できる。 問題：VAEは生成写真がボケる。 分布を仮定してしまっているため表現しきれない VAE その6
22. GAN
23. GAN Generative Adversarial Networks, ian, 2014 Pixel,VAEのようにNNやガウス分布で確率密度関数を表現しようとする考えに対して、 そもそもデータが生まれる確率密度とか関係なく、ひたすら乱数から元画像を生成するように学習させる。 ゲーム理論的に二つのモデルを戦わせる。 ジェネレータ：ディスクリミネーターを騙す画像を生成 ディスクリミネーター：本当の画像か、生成された画像かを見分ける GAN
24. D(x)が1(max)になるようにDを最適化 Z generator G(Z) discriminator G(Z)なら0 Xなら1を返す X 1-D(G(Z))が1(max)になるようにDを最適化 1-D(G(Z))が0(min)になるようにDを最適化 Generatorの気持ち: Discriminatorの気持ち: 敵対 乱数 GANのやりたいこと
25. D(x)が1(max)になるようにDを最適化 Z generator G(Z) discriminator G(Z)なら0 Xなら1を返す X discriminatorが訓練される → 偽物と本物がわかる 1-D(G(Z))が1(max)になるようにDを最適化 1-D(G(Z))が0(min)になるようにDを最適化 Generatorの気持ち: Discriminatorの気持ち: 敵対 乱数
26. D(x)が1(max)になるようにDを最適化 Z generator G(Z) discriminator G(Z)なら0 Xなら1を返す X 訓練されたdiscriminatorを騙そうとgeneratorが頑張る → より本物らしい画像が生成される 1-D(G(Z))が1(max)になるようにDを最適化 1-D(G(Z))が0(min)になるようにDを最適化 Generatorの気持ち: Discriminatorの気持ち: 敵対 乱数 理論的なゴールはdiscriminatorが0.5を出すようになること(ナッシュ均衡) 本物と偽物の区別がつかないくらいgeneratorの精度が上がる
27. min-max損失の欠点 log(1-D(G(z))) D(G(z)) 0 1 生成画像が明らかにfakeである時、 D()の出力は0になる しかし損失関数の購買はほとんど0 なので学習は進まない 0 0 0 D(G(z)) 1 - log D(G(z)) 非飽和GAN(non-saturating) の損失の場合 初期状態の学習は素早く反映される (代わりに収束する補償はなくなる) binary cross entropy : y(log y^) + (1-y)(log (1-y^) )
28. より良い損失関数を求めて Wasserstein GAN, 2017 Improved Training of Wasserstein GANs,2017 GAN 余談：w-GAN
29. 1.z~P(Z)からm個の乱数を発生させる 2.x~P(X)から実画像をm個取り出す 3.discriminatorのパラメータΘについてmin-maxの式を微分する(m個をミニバッチとする) 4.Θを更新したdiscriminatorを使ってgeneratorの生成結果を評価する いくつかの経験的テクニック ・繰り返しの学習は行わず、一度学習させるごとにdiscriminatorもgeneratorも更新する ・discriminatorを先に何度か学習させて賢くしてからgeneratorを学習させる ・バッチ正規化する(諸説) ・discriminatorはすべてleakyReLU ・generatorはReLU,出力はtanh GANのアルゴリズム復習
30. generatorはupconvの構造 Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks, 2016 図はDCGANの様子 ジェネレータ構造：DCGAN
31. 学習の進み方(生成分布で考える) 0 1 青い点線は入力に対するDの判定値0~1 黒線は真の生成分布 緑線はGの生成しようとしている分布 zという乱数から値を写像したい(上向きの矢印たち) 写像した結果は黒線のようになるようにしたい (リアルな分布を表現する写像が作りたいから) 学習の過程：図示
32. discriminatorが訓練されて 真と偽の判断基準がはっきりしてくる generatorが訓練されて 真の分布への写像Gが成長する 繰り返しを経て真と偽の分布が一致(似る) discriminatorも真と偽は判別できないので 「どちらともいえない=0.5」を出力するようになる 学習の過程：図示
33. DCGANより all-conv-CNN ・mini-batch 128 ・データは正規化しておく(0,sd=0.2) ・leakyReLUの傾き0.2 ・adam最適化を使い、lr=0.0002, momentum = 0.5 STRIVING FORSIMPLICITY:THEALLCONVOLUTIONALNET, 2015, springberg DCGAN論文中での実験条件
34. ・VAEは潜在変数を二次元にすることで、角度や明暗など二軸の学習が行われることがわかってる。 ・故に足し引きによって生成したいものをコントロールできる ・GANでも同じく、該当する変数を足したり引くことで 「笑顔」に関するベクトルを引けば「真顔」になり 「男性」を表すため、女性から女性を引くことができる (word2vec のように、潜在変数に意味が付与されているっぽい？ 故に生成したい画像が計算で決められる) VAE,GANの潜在変数の役割
35. モード崩壊 Mode Collapse UNROLLEDGENERATIVEADVERSARIALNETWORKS, L Metz,2017 generatorが同じような画像を生成し続けてしまう問題 同じような出力で止まっている ある一つの出力しかしなくなる 原因？ discriminatorを騙しやすい画像を見つけると、 そればかり生成して損失を小さくしようとしてしまう adaGAN VEEGAN WGAN UnrolledGAN などが解決に向けて研究している Mode Collapse
36. 条件付きGAN(CGAN-conditionalGAN) Conditional Generative Adversarial Nets,2014,M.Mirza GANは正規乱数から画像を生成できる。 一つだけ生成するよう訓練することもできれば、0~9をランダムに生成するような訓練の方法もある しかし、その場合指定はできなかった C-GANは指定した画像を生成できる (乱数から該当画像のどれかを生成するのでない) その他GAN
37. PGGAN PROGRESSIVE GROWING OF GANS FOR IMPROVED QUALITY, STABILITY, AND VARIATION, 2018 小さいサイズの画像を生成するネットワークから、 徐々に大きい画像生成ネットワークへと層を追加していく(PROGRESSIVE) 層を追加するといっても簡単に学習は進まないので、 学習途中に影響力を弱めた新しい層を挟み学習させる方法を使う 高精度の画像を作る事ができる その他GAN
38. pix2pix Image-to-Image Translation with Conditional Adversarial Networks, 2018 cycle GAN Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks, 2017→2020 image-to-imageのGAN 線画→色付き シマウマ→縞なし 写真→ゴッホの画風 GANを二本用意して逆方向に走らせることで実現 その他GAN
39. cycleGAN XをYに翻訳 → YをXに逆翻訳 逆翻訳された画像 vs 元画像 の差 サイクル一貫性損失 同時にXをYに翻訳する時リアルに作れているかdiscriminatorを訓練させる 敵対性損失 その他GAN
40. 異常検知 by GAN
41. 本題 異常検知への応用 イントロ GAN CGAN BiGAN anoGAN efficientGAN EGBAD GANOMALY skip-ganoma
42. anoGAN GANをつかった異常検知の初めての例 らしい Unsupervised Anomaly Detection with Generative Adversarial Networks to Guide Marker Discovery, 2017 異常位置のアノテーション無しでも(特徴量空間の差異を可視化したら) 異常部位のマーカーを付けることができる 異常度の診断は、特徴空間上での離れ具合についてで判断される。 この以前の画像異常検知の研究では 世の中にはDBN(ディープビリーフネット)から特徴量を抽出して1classSVMで異常検知を行うアプローチもあった High-dimensional and large-scale anomaly detection using a linearone-class SVM with deep learning, Erfani, 2016 畳み込みAE+SVMでの正常学習とか Identifying and Categorizing Anomalies in Retinal Imaging Data anoGAN
43. discriminatorのオレンジの部分で、正常画像と異常画像の特徴量空間をt-SNE埋め込み 画像に対する前処理 m枚の正常な画像が手元にある 画像サイズはa*bで、画像内のランダムな部分をc*cのトリミングを行って切り出す。 こうして作り出したm*k?枚のトリミング画像を学習につかう 教師無し学習(GAN)によって、正常画像のばらつきを表す多様体カイを学習する テストデータは、0,1のラベルと、c*cの未学習の正常データと異常データの混ざったものを使う anoGAN
44. GANによって生成Gは潜在空間zからリアルな画像xをつくるための写像G(z)=z→xを学習した 逆写像をμとすると、μ(x)は潜在空間への写像だが、これはまだ得られていない 潜在空間は滑らかな遷移(smooth transitions)をもつので(DCGANの論文)、 潜在空間内の近い二点は近似した画像を生成することになる。 逆写像を求めることができれば、リアルな画像が潜在空間のどの位置に存在するのかを求めることができる こうすることで、潜在空間上で異常な部分や正常な部分が議論できる。 特徴量 空間 generator G(Z) でも、潜在空間への逆写像を求めることが大変に難しい よって、G(Z)を生成するための新しい中間層を特徴量の後に作り、 そこで調節してもダメだったなら以上だろう、と判断する anoGAN
45. Z空間からz1をサンプリングする 学習済み生成器に入れて画像を生成する G(z1) 損失関数を小さくするように次のz2を選ぶ これをガンマ回繰り返す residual loss 生成画像G(zガンマ) と 画像x の類似度を比較 discrimination loss 生成画像G(zガンマ) と 多様体カイ上の比較？？ anoGAN-アルゴリズム
46. Residual Loss 画像 x と G(zガンマ) の非類似度の測定 完璧な生成器ならば、その写像は全く同じ画像をつくるので損失は0になる Discrimination Loss G(zガンマ)をdiscriminatorに入れる。D(G(zガンマ)) α=1として シグモイドエントロピー σ() を計算する。 でもコレは使わないらしい (つかった実装も示されていない) anoGAN-アルゴリズム
47. feature matchingのアイデア 生成器の訓練を目的とせず、潜在空間へのマッピングのためにfeature matchingをつかう discriminator lossは以下を提案する 異常のlossから逆写像が求まらない代わりに、 discriminatorの最終層の値って潜在空間のように考えられそうだよね。 って考えから特徴量(最終層の出力)は、元の画像の特性をよく表していることが期待できるので、 これを利用する 中間層の出力 f() は調整前の中間層の値？ 以上からzの係数を最適化する ←再学習はさせない？ 最適化の実装がみつからない そのための加重和の損失 これが潜在空間へのマッピングに使用される損失関数 anoGAN-アルゴリズム
48. 中間層を出力するdiscriminatorは固定してgeneratorの重みは更新して、 特徴空間の近さ(重み0.1)＆生成画像の精度(0.9)を重みとして評価 こうすることで変な画像が来たとしても、正常画像に変形しようとしてしまう。(これが狙い) 変な画像が正常画像に近づき過ぎると、その変化差分が大きくなる = 差分を異常度として考えられる anoGAN-アルゴリズム
49. 追記 Gと中間層までのDは訓練不可とする そのかわり、lossをもとに、最初の始まりのノイズ変数z に対して最適化を行うことで、 正常画像をよく生成するような潜在変数を作り出す。(重み層を作り出す？) 10個ほどの重み層にシグモイド活性関数をかませてから、Gへ入れている。 anoGAN-アルゴリズム：余談
50. 異常度評価 異常度は先ほどの損失関数を使う anoGAN-アルゴリズム：余談
51. anoGANは 逆写像を求められないので、入力ノイズとジェネレータの間で、 正常画像に特化した重み層を作り出し、潜在空間を疑似的に調整した。 毎回？重み層を探索する必要があるので、遅い efficientganは逆写像に相当する部分もNNによって再現することでのアプローチを行う この「逆写像NNはエンコーダー」と呼ばれ、正常画像xを潜在空間に写像する エンコーダーはG,Dとともに学習される。 そのため、検証時に重み層を探索するような計算コストは必要ない この考え方は主にBiGAN(Adversarial Feature Learning,2016)に触発されたもの 同時に学習する枠組みは以下 efficient-gan
52. 異常度は 最高性損失 LG 識別機の損失 LD 二つの損失が定義できる どっち使ってもいい から、anoGANのように以下で定義する LG(x) = ||x − G(E(x))||1 LD(x) =σ(D(x, E(x)), 1) LD(x) = ||fD(x, E(x)) − fD(G(E(x)), E(x))||1 サンプルが実データの分布から来た事を評価 feature-matching lossとして定義 再構成するときの特徴量が真の特徴量と似ているかどうかを評価できる efficient-gan
53. 画像空間から潜在空間への逆写像をするエンコーダーも学習 anoGANもそうだけど、画像の異常は潜在空間にも表れるだろうという考えがある(feature matching) 原文「abnormal samples differ from normality in not only high-dimensional image space but also with lower-dimensional latent space」 anoGANは事前に学習させたネットワークと調整層を使い、判定のために再度学習させ無理やり復元、 ここの学習に時間がかかり、efficientでなかった。 efficient-gan
54. efficient-gan：BiGANの逆写像(Gの逆向きEを追加)
55. GANOMALY, 2018 正常画像はおおくとも異常画像は少ない モデル f は正常画像の分布pXを学習し、 画像に対して異常スコア A(X) を返すことが望ましい A(X)がφよりも大きければ異常とする 学習時にはこのスコアを最小にするように進める という考えはいつも通り GANOMALY
56. GANとは ・ペアネットワークの共訓練 ・潜在空間から画像を生成する anoGANでは ・潜在ベクトルがデータの真の分布であれば、画像から潜在空間への逆写像を行うことで、潜在空間上の距離 を比べたら異常度の指標になるだろう という考え ・ただ、この逆写像関数を求めるのが非常に困難 ・調整層を追加して擬似的に潜在空間を作り出し、差分を確認する ・BiGANがこの逆写像を学習させることに成功した(MNISTだけです)ことで、anoGANが早くなった Adversarial Feature Learning, 2017 Efficient GAN-Based Anomaly Detection 2019 [EGBAD] 最近では2つのC-GAN(クラス別条件付き)を使ったアプローチによる異常検知も成果を上げている Training Adversarial Discriminators for Cross-channel Abnormal Event Detection in Crowds, 2018 GANOMALY：今までのおさらい
57. GANの訓練しておく 重み凍結してからGANを最適化することで逆写像を訓練 二回のGAN訓練を行うため計算が複雑で高コスト BiGANによって最初のGANの訓練と同時に潜在空間への写像も訓練できるようになる GAN自体もIanから発展し、全結合なし、バッチ正規化、DCGAN等を経てWGANも発見されたので、その知見を活用するのもいい GANOMALYの構造は 敵対的AEとして2つのエンコーダー・デコーダの組み合わせが存在する 潜在空間への逆写像を行うauto-encoderが存在している。 と解釈して GANOMALY
58. データをDとする。M個の訓練画像 テストはDhatとしてN個の正常、異常のラベル付き画像である MはNよりも非常に大きいことが望まれる 本論文の概念 ①最初にエンコーダーがありXを畳み込みzとする、デコーダへ渡し、Xhatへと再構築する Zはボトルネックfeatureであり、次元圧縮した潜在空間である デコーダーはDCGANのアーキテクチャーを採用している ②AEの次に渡すサブネットワークは別パラメタで同じ構造のエンコーダーである 再構成画像を再度潜在空間（Zhat）へとエンコードするのが目的。 （ZとZhatは同じ次元） GANOMALY
59. ③三つ目のサブネットワークはxと再構築xhatを見分けるための識別discriminatorである。 これも構造はDCGAN ①と③を見るといつものGAN ②が特徴量空間への逆写像(xhatによる特徴量空間とxによる特徴量空間を比較している) GANOMALY
60. 発想の背景 そもそもの考えとして、エンコーダは異常画像を潜在ベクトルにエンコードできても、 デコーダは異常画像を再構成できない※①という仮説によるものである これは正常画像しか学んでいないネットワークは、 再構築のパラメータが正常画像に特化されていると考えているから もし、うまく異常画像を再構成できたとしても、 異常画像によって再生成されたXhatが再度Ｚhatにマッピングされることで、 ZとZhatに不一致※②が生じるだろう あとはいつも通りのdiscriminatorの判定を元に差異を計算する※③ 生成画像の精度だけでなく、潜在空間に差が生じている場合を元に異常の判定に使ってみよう。 ※①②③を合計したものを損失とする GANOMALY
61. Ladv:adversarial Loss vanillaGANではDの判定に基づいてGを訓練していたが、Dの内部表現に基づいてGを訓練する (feature matchingの考え) 入力データ分布pX から得られたあるXに対してDの中間層を出力するモデルをf()とする 本当の画像を入れた時の特徴量と 再構成した画像を入れた時の特徴量の一致度をL2ノルムによって見るものである GANOMALY
62. Lcon:contextual Loss discriminatorを騙すため「だけ」ならばLadvを使えばいい。 画像を正しく再構成しているか、も確認して罰則としたいので、再構成画像とのL1ノルムを使う。 この考え方は Image-to-Image Translation with Conditional Adversarial Networks, 2017 によるものである GANOMALY
63. Lenc:encoder Loss 二つの損失関数によって良い感じのGをつくるようにできる ZとZhatの差を最小化するための損失関数も作っておく こうすることで生成器は逆写像のネットワークを得る ZからZhatまでのG,Dは正常画像のために最適化されているので、(最初のデコードをすり抜けても？) Zhatが正常な状態にはならないだろう。 GANOMALY
64. 以上考えた損失の加重和を考えたものを全体損失とする 加重はどこの影響を重視するかの重みづけである 異常度はLencを使う テストセットのなかでの異常度を計算し、異常スコアは0から1へ収まるようにする PyTorch(v0.4.0、Python 3.6.5) Adam 初期学習率lr=2e-3、β1=0.5,β2=0.999 重み値wbce=1, wrec=50, wenc=1 GANOMALY：実験条件,総損失
65. GANOMALY：参考、予備
66. 異常スコアのhist discriminator f() の畳み込み層のt-SNE GANOMALY：異常スコア,特徴量t-SNE
67. GAN + 1C-SVM : Adversarially Learned One-Class Classifier for Novelty Detection, 2016 GANより簡単の特徴量を使ったものだと Learning Deep Features for One-Class Classification、2018 があって、こっちは異常が画像の差分として出てくるので、異常部分の可視化ができる 再構築した画像が 「正常から再構成された画像」か「異常から再構成された画像」か を判定するCNNをGANの後ろにくっつけたもの 1C-SVMとGANの関係論文
68. skip-ganomaly, 2019 skip構造を持つganomaly GANの中のU-net構造は、より正確に画像を学習し再現することが知られている。 正確に再構成する目的だけでなく、U-netは潜在空間もまた、より正確,堅牢に正常を学習する 潜在空間や再構成画像からの異常検知の有用性はanoGANからGanomalyまでの 一連の先行研究で知られているため、これらを組み合わせることでより異常検知性を上昇させたい skip-GANOMALY
69. Towards Automatic Threat Detection: A Survey of Advances of Deep Learning within X-ray Security Imaging, 2020
70. Modeling the Distribution of Normal Data in Pre-Trained Deep Features for Anomaly Detection 2020 (efficianNetのADを超えた最近pubされたもの)
71. multiple 何とかって異常検知も話題になってた
72. てきすと
73. 参考 https://francisleon.github.io/2018/07/23/semi-supervised-seg-GAN/ https://guimperarnau.com/blog/2017/03/Fantastic-GANs-and-where-to-find-them https://blog.negativemind.com/2019/10/05/conditional-gan/ https://jaan.io/what-is-variational-autoencoder-vae-tutorial/ https://wiseodd.github.io/techblog/2016/12/10/variational-autoencoder/ https://towardsdatascience.com/auto-regressive-generative-models-pixelrnn-pixelcnn- 32d192911173https://keras.io/examples/generative/pixelcnn/ https://isabelaalb.wordpress.com/2017/03/07/first-results-l1-vs-l2-loss-cnn-autoencoder/ http://cs231n.stanford.edu/slides/2017/cs231n_2017_lecture13.pdf https://www.renom.jp/ja/notebooks/tutorial/generative-model/VAE/notebook.html https://www.slideshare.net/yuifu/ss-49489128https://qiita.com/takuro- Ishida/items/2ecfafc679260211a0ab https://machinethink.net/blog/coreml-upsampling/ https://cedar.buffalo.edu/~srihari/CSE676/22.3-GAN%20Mode%20Collapse.pdf