Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
異常検知の最新事情と給与の話
Search
palloc
January 20, 2019
Technology
4.7k
4
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
異常検知の最新事情と給与の話
palloc
January 20, 2019
Transcript
28 slides
Deepな異常検知の最新事情 伊東 道明
© 2018- ChillStack, Inc. 自己紹介 ◆ 所属 ◇ 法政大学 彌冨研究室
M1 ◇ クマ財団 2期生 ◇ (株)ChillStack 代表取締役 ◆ 好きなこと ◇ AIセキュリティ ◇ 100m
雑談
© 2018- ChillStack, Inc. 【雑談】経営者 vs エンジニア ◆ マウント合戦がアツく、何かと話題になる「年収」 ◆
エンジニアはよく薄給な会社と戦ってるイメージ イメージ) 年収400万しかもらってな いのおかしい!! 優秀なエンジニア 無能な経営陣 400万もあげれば十分だろ。 「ヤリガイ」を与えてるんだから!
© 2018- ChillStack, Inc. 【雑談】経営者視点での思考 初任給から年収5,000万円を定年退職までもらえたら、 エンジニアは最高効率で働いてくれる?
© 2018- ChillStack, Inc. 【雑談】労働の要因 ◆ 内発的動機づけ ◇ 達成感 ◇
仕事自体の楽しさ ◇ 自己の承認 ◆ 衛生要因 ◇ 給与 ◇ 職場の人間関係 ◇ 場所・機材などの環境 満足の原因 不満足の予防 詳細が気になる方は、以下のワードで検索してみてください ・デシ 心理学 実験 ・X理論 Y理論 ・ヴィクター ヴルーム 期待理論
© 2018- ChillStack, Inc. 【雑談】労働の要因 ◆ 内発的動機づけ ◇ 達成感 ◇
仕事自体の楽しさ ◇ 自己の承認 ◆ 衛生要因 ◇ 給与 ◇ 職場の人間関係 ◇ 場所・機材などの環境 満足の原因 不満足の予防 ブラックな上司や企業は大抵 片方しかみていない 詳細が気になる方は、以下のワードで検索してみてください ・デシ 心理学 実験 ・X理論 Y理論 ・ヴィクター ヴルーム 期待理論
って感じの内容を考えるのが 今の仕事の一つです
経営とか気になる方は是非懇親会で…
Deepな異常検知の最新事情 本題
© 2018- ChillStack, Inc. 異常検知手法 ◆ ホテリング法 ◆ ナイーブベイズ法 ◆
近傍法 ◆ OC-SVM ◆ 密度比推定 ◆ などなど k-meansとspectral clusteringを 使った異常検知の解説
© 2018- ChillStack, Inc. ディープな異常検知 ◆ CNN系を用いた2値分類による異常検知 ◇ 前回はこっち ◇
Web Application Firewall using Character-level Convolutional Neural Network ◆ GAN系を用いた異常検知 ◇ 今回はこっち
© 2018- ChillStack, Inc. GANとは ◆ 生成モデルの1種(Generative Adversarial Network) G
G(z) z x 潜在空間 観測空間 D 結果
© 2018- ChillStack, Inc. GANとは G G(z) z x 潜在空間
観測空間 D 結果 データを生成する種 (潜在変数) データ 生成器 生成データ 元データ 生成データ or 元データ か識別する識別器 GはDを騙せるように学習、 Dはちゃんと見分けられるように学習する
© 2018- ChillStack, Inc. GANの近年の成果 ◆ 人にサングラスをかけさせたり ◆ 馬をシマウマにしたり ◆
低画質な画像を超高画質にしたり ◆ めっちゃ高く売れる絵を描いちゃったり 他にも色々面白い成果を出している
© 2018- ChillStack, Inc. 【GANで異常検知】基本アイディア G G(z) z x 潜在空間
データ D 結 果 ◆ G は学習データの分布 p に従って画像を生成するモデル ◆ p に従ってサンプルしたx → G(z)≈x となる z が潜在空間に存在する ◆ p 内で低い確率 or 別の分布からサンプルしたx → 潜在空間に z が存在しない
© 2018- ChillStack, Inc. 【GANで異常検知】基本アイディア G G(z) z x 潜在空間
データ D 結 果 ◆ G(z)≈x となる z が存在しない時、x は異常 ◆ 存在しない is ? → G(z) と x がどれだけ離れているかを表す異常スコアが 閾値以上かどうかで判定
© 2018- ChillStack, Inc. AnoGAN ◆ GANで異常検知する手法 ◆ 基本的にさっきのアイディアを実用化した感じ ◆
Unsupervised Anomaly Detection with Generative Adversarial Networks to Guide Marker Discovery, IPMI 2017 ◆ https://arxiv.org/abs/1703.05921
© 2018- ChillStack, Inc. AnoGAN 1. 普通にGANを学習させる 2. 異常か知りたいデータ x
に一番似ている G(z) を作る z を探す 3. 異常スコアを LR と LD から計算する 4. 異常スコアが閾値を超えてたら異常 ※1 通称minmaxゲームってやつ ※1 ※2 ※2
© 2018- ChillStack, Inc. AnoGAN 1. 普通にGANを学習させる 2. 異常か知りたいデータ x
に一番似ている G(z) を作る z を探す 3. 異常スコアを LR と LD から計算する 4. 異常スコアが閾値を超えてたら異常 ※1 通称minmaxゲームってやつ ※1 ※2 ※2
© 2018- ChillStack, Inc. G(z) ≈ x となる z の探索
1. 初期値 z0 を決める 2. g(zn ) というモデル(論文内では確かfc)を作る 3. G(g(z0 )) と x の loss から g(zn ) の重みを更新 4. z1 ← g(z0 ) 5. 収束するまで 3, 4 を繰り返す G G(z) z x D 結 果 g
© 2018- ChillStack, Inc. G(z) ≈ x となる z の探索
1. 初期値 z0 を決める 2. g(zn ) というモデル(論文内では確かfc)を作る 3. G(g(z0 )) と x の loss から g(zn ) の重みを更新 4. z1 ← g(z0 ) 5. 収束するまで 3, 4 を繰り返す G G(z) z x D 結 果 g めっちゃ時間 かかる!
© 2018- ChillStack, Inc. Efficient GAN ◆ Bidirectional GAN のアイディアを利用し、
z の探索コストをほぼ無くした手法 ◆ Efficient GAN-Based Anomaly Detection ICLR worpshop 2018 ◆ https://arxiv.org/abs/1802.06222
© 2018- ChillStack, Inc. Efficient GAN ◆ 学習時に Encoder も一緒に学習する
G G(z) z x D 結果 E E(x) G(z), z x, E(x)
© 2018- ChillStack, Inc. Efficient GAN ◆ 潜在空間、観測空間それぞれで loss を計算
G G(z) z x D 結果 E E(x) G(z), z x, E(x)
© 2018- ChillStack, Inc. 何が嬉しいか ◆ Encoder を使う事で z を探索する必要がなくなる
◆ 速い G G(z) z x D 結果 E E(x) G(z), z x, E(x)
© 2018- ChillStack, Inc. 他にもいろいろ ◆ Adversarially Learned One-Class Classifier
for Novelty Detection ◇ オートエンコーダ使ったいい感じのやつ ◆ Anomaly Detection with Generative Adversarial Networks ◇ ADGANってやつ ◆ Anomaly detection with Wasserstein GAN ◇ WGAN使ってるやつ
© 2018- ChillStack, Inc. 株式会社ChillStack ◆ 異常検知プラットフォーム Stena を開発・提供 ◇
ゲームの悪質ユーザとかを検知 ◇ ログデータ解析からサービスの品質改良・自動化を支援 ◆ 不正ユーザに悩んでいる方 ◇ 低コスト高精度なシステムを提供します。ご相談ください! ◆ ログデータはあるが、有効活用するコストが割けない方 ◇ 有効活用できるシステムを共同研究・開発します。ご相談ください!
More Decks by palloc
See All by palloc
スタートアップでAIを使うときの壁
palloc
0
1.6k
Crypto講義資料
palloc
2
15k
Other Decks in Technology
See All in Technology
成長するID管理基盤における運用もコストも犠牲にしないオブザーバビリティ向上の実践 / Improving Observability for a Growing Identity Platform Without Adding Operational Burden or Cost
kaminashi
1
130
「個社」ではなく「業界」の課題を解く AI 対話開発 ー 価値を広げる設計と、価値を守るエンジニアリング ー
ivry_presentationmaterials
4
860
Re:ゼロから始めるシェアハウスのペットな鯖
silmin_
0
270
ワークフローからハーネスへ — Web フレームワークの作者たちが AI エージェントに向かう理由
azukiazusa1
2
730
Context parameters で作る!はじめての型クラス
kworkdev
PRO
1
180
メール到達性を支える、リンク先URLのドメイン評価の扱い方
wind111
0
200
フロントエンドのテストカバレッジは 100%強制がいい
bengo4com
3
830
2026-11-16 JAWS-UG コンテナ支部 #31 ゆるLT大会 ECR のライフサイクルポリシーを いい感じに設定したい / ECR Lifecycle policy
masasuzu
3
620
AWS Blocksで AIエージェント作れるの知ってます?
kmiya84377
1
170
Is the Website Dying?
miriamschwab
0
150
PHPで家庭用ゲーム機の専用コントローラーをMIDIデバイスとして扱ってみる
wind111
0
200
市販IoT機器や自作IoT機器とHomeAssistantを駆使して家の電気代をできる限り見える化する方法の考案
harutiro
0
420
Featured
See All Featured
The Impact of AI in SEO - AI Overviews June 2024 Edition
aleyda
6
1.3k
We Are The Robots
honzajavorek
0
460
B2B Lead Gen: Tactics, Traps & Triumph
marketingsoph
1
310
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
33
5.9k
Fashionably flexible responsive web design (full day workshop)
malarkey
409
67k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.9k
Documentation Writing (for coders)
carmenintech
77
5.6k
Taking LLMs out of the black box: A practical guide to human-in-the-loop distillation
inesmontani
PRO
3
2.5k
Agile Leadership in an Agile Organization
kimpetersen
PRO
0
320
Testing 201, or: Great Expectations
jmmastey
46
8.4k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
360
31k
The Language of Interfaces
destraynor
162
27k