Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
ことのはの力で画像の異常検知 / Anomaly Detection by Language
Search
Henry Cui
September 30, 2023
Technology
780
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
ことのはの力で画像の異常検知 / Anomaly Detection by Language
Henry Cui
September 30, 2023
Transcript
13 slides
ことのはの力で画像の異常検知 機械学習の社会実装勉強会第27回 Henry 2023/9/30
論文の紹介 ▪ 最近の基盤モデル(言語モデルと画像モデル)の発達により、その知識で 画像異常検知を行うモチベーション • まだ実用化まで距離あるが、技術的に面白い方法性 ▪ AnomalyGPT: Detecting Industrial
Anomalies using Large Vision-Language Models • https://github.com/CASIA-IVA-Lab/AnomalyGPT • 実装も公開されているのでありがたい 2
論文のモチベーション ▪ Vision付きLLM(MiniGPT-4やLLaVA)は一般物体について認 識できるが、ドメインごとの専門知識や局所の細部についての 知識がない ▪ 従来の異常検知手法は異常スコアを出せるが、人間が閾値を 設定する必要がある ▪ そこで、両者の良いところを結合したLarge
Vision-Language Model(LVLM)を用いた手法を提案 3
提案手法のイメージ 4
既存法との比較 ▪ 以下の側面で提案法は優れている • Few-shot learning:少量データで学習できる • Anomaly score:異常スコアを出力できる •
Anomaly localization:異常箇所を特定できる • Anomaly judegment:異常あり・無しを判断できる • Multi-turn dialogue:インタラクティブにやり取りできる 5
提案法の構成 6
Image Decoderの入力テキスト ▪ 前ページ構成図の上半分 ▪ テキストは以下のようなものを使う 7
学習データの準備 ▪ データ拡張に使われる技術で異常画像を生成する 8
学習データの準備 ▪ 学習用対話データは以下のように準備する 9
定量的な評価 ▪ 特に少数の学習データに強い 10
定性的な評価 11
定性的な評価 12
まとめ ▪ LVLM基盤モデルを用いた画像異常検知 • これからの発展が期待 13
More Decks by Henry Cui
See All by Henry Cui
プロダクション言語モデルの情報を盗む攻撃 / Stealing Part of a Production Language Model
zchenry
1
270
Direct Preference Optimization
zchenry
0
500
Diffusion Model with Perceptual Loss
zchenry
0
550
レンズの下のLLM / LLM under the Lens
zchenry
0
260
Go with the Prompt Flow
zchenry
0
270
Mojo Dojo
zchenry
0
300
驚愕の事実!LangChainが抱える問題 / Problems of LangChain
zchenry
0
360
MLOps初心者がMLflowを触る / MLflow Brief Introduction
zchenry
0
240
{{guidance}}のガイダンス / Guidance of guidance
zchenry
0
220
Other Decks in Technology
See All in Technology
ポケモンバトルのAIエージェント
koji_kawamura
0
200
成長するID管理基盤における運用もコストも犠牲にしないオブザーバビリティ向上の実践 / Improving Observability for a Growing Identity Platform Without Adding Operational Burden or Cost
kaminashi
1
120
NutanixへのSSHアクセスの今後について
shadowhat
0
160
Re:ゼロから始めるシェアハウスのペットな鯖
silmin_
0
270
信頼性を犠牲にせず、PR マージからデプロイまで人の介入を完全にゼロにするまでの道のり
knwoop
4
2.1k
OCI Artifact による自動運転タクシーに向けた OTA 基盤の構築
biwashi
1
290
Well, that’s weird…
csswizardry
1
200
みん強Lightning! データ基盤ひとりでできるかな
endonanana
0
190
常時稼働エージェントの作り方(Claude公式ブログを資料化)
minorun365
PRO
19
29k
その修正で本当に速くなったのか? k6とOpenTelemetryで確かめる性能改善 / Performance review with k6 and OpenTelemetry
ymotongpoo
3
430
Test Impact Analysis を武器に立ち向かう、AI 時代のテスト増加に対するヌーラボのアプローチ / getting-started-datadog-test-impact-analysis
k6s4i53rx
3
390
目を覚ませ!僕らの認証情報が何者かに侵略されてるぞ
tkito
2
480
Featured
See All Featured
Principles of Awesome APIs and How to Build Them.
keavy
128
18k
KATA
mclloyd
PRO
35
16k
Groundhog Day: Seeking Process in Gaming for Health
codingconduct
0
500
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
287
14k
Making Projects Easy
brettharned
120
6.9k
Ruling the World: When Life Gets Gamed
codingconduct
0
450
Abbi's Birthday
coloredviolet
5
11k
The untapped power of vector embeddings
frankvandijk
2
2k
Unsuck your backbone
ammeep
672
58k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
31
3.4k
Lightning Talk: Beautiful Slides for Beginners
inesmontani
PRO
2
850
Utilizing Notion as your number one productivity tool
mfonobong
4
650