JSAI2025発表資料 "拡散モデルを用いた画像インペインティングによる教師なし異常検知"

JSAI2025 2日目に発表した "拡散モデルを用いた画像インペインティングによる教師なし異常検知"の発表資料です．

Transcript

1. 拡散モデルを用いた 画像インペインティングによる教師なし異常検知 坂井 俊介†，長谷川 達人† †福井大学 長谷川研究室 JSAI2025 -画像音声メディア処理（一般） [3N4-GS-7-02]
2. 2025/5/29 拡散モデルを用いた画像インペインティングによる教師なし異常検知 #2 異常検知とは アンナ・カレーニナの法則 すべての幸せな家庭は似ている． 不幸な家庭は，それぞれ異なる理由で不幸である． 実際，多くのデータで上記のような性質が見られる． e.g., 不整脈の検出 [1], 製品の欠陥 [2], 深層NN [3]. 異常検知 ≜ 正常の概念から外れたデータ点の検出
3. 2025/5/29 拡散モデルを用いた画像インペインティングによる教師なし異常検知 #3 異常検知の難しさ 1. 異常データの取得が困難 2. 異常データの多様性 単純な教師あり学習では極端なクラス不均衡の影響大 異常検知の難しさ 教師なし異常検知 ≜ 正常データのみからの異常検知
4. 2025/5/29 拡散モデルを用いた画像インペインティングによる教師なし異常検知 #4 教師なし異常検知 -概要- Q. どうやって正常サンプルのみから異常を検出するか？ A. 正常サンプルを生成する分布の低確率密度領域を異常とみなす．[4] 𝑞normal(𝑥) 𝑥 異常 正常分布の近似なら多様なアプローチがある． e.g., 混合ガウスモデル，深層生成モデル（NF [5], VAE [6], Diffusion [7,8], …）
5. 2025/5/29 拡散モデルを用いた画像インペインティングによる教師なし異常検知 #5 拡散モデル [7,8] データの生成過程を，既知のノイズからの逐次的なデノイジング と定義すれば，深い確率層を持つモデルを効率的に訓練できる． 主な応用先: 高次元データ全般 画像生成 [9] 動画生成 [10] 言語生成 [11]
6. 2025/5/29 拡散モデルを用いた画像インペインティングによる教師なし異常検知 #6 拡散モデル x 異常検知 拡散モデルの持つ高い分布近似能力を異常検知に活用できないか？ “Removing Anomalies as Noises” [12] 正常画像で訓練した拡散モデルで，異常特徴をノイズとともに除去． 誤差は各逆拡散過程における 真の事後分布との KLダイバージェンスで評価．
7. 2025/5/29 拡散モデルを用いた画像インペインティングによる教師なし異常検知 #7 拡散モデル x 異常検知 その後もいくつかの方向性で発展． 2023 2024 2025 RemoveAsNoise [12] DiAD [13] DiffusionAD [14] DDAD [15] CAGEN [16] ScoreDD [17] DiffAD [18] GLAD [19] 再構成フリー 擬似異常の生成 正常特徴を条件づける 補助識別器の導入 適応的なノイズ強度の選択 InversionAD [20] 再構成フリー
8. 2025/5/29 拡散モデルを用いた画像インペインティングによる教師なし異常検知 #8 主要な課題 -ノイズ強度の選択- AEによる異常検知 [21, 22] 拡散モデルによる異常検知 拡散モデルによる異常検知では，拡散過程がEncoderによる圧縮を代替． 低次元の潜在表現に圧縮する過程で 異常特徴が失われる
9. 2025/5/29 拡散モデルを用いた画像インペインティングによる教師なし異常検知 #9 主要な課題 -ノイズ強度の選択- ノイズ強度の選択はトレードオフを引き起こす． (i) ノイズ強度が大きすぎる (ii) ノイズ強度が小さすぎる 拡散 異常特徴がデノイジングも残り続け，再 現率（Recall）が低下． 拡散 正常特徴の再構成誤差が増加し， 適合率（Precision）が低下．
10. 2025/5/29 拡散モデルを用いた画像インペインティングによる教師なし異常検知 #10 本研究の着想に至った経緯 ノイズ強度に依存しないアプローチはあるだろうか？ 画像補完におけるマスキングは強いノイズを局所的に加える操作と して解釈できる． （本研究の提案1）画像補完を用いた異常検知の導入 デノイジングと比較して，モデルの空間的推論能力を活用できる． 拡散 拡散 既存手法 本研究
11. 2025/5/29 拡散モデルを用いた画像インペインティングによる教師なし異常検知 #11 本研究の着想に至った経緯 一方で，画像補完モデルは訓練時に用いたマスク分布に過学習する． 推論時にのみマスクを適用して画像補完できるだろうか？ 【訓練時】 正常画像上で拡散モデルを学習（マスク不要） （本研究の提案2）推論時のみマスクを条件づけて画像補完 【推論時】 拡散モデルの事前分布に従い，マスク領域を補完 マスク分布に依存しない画像補完ベースの異常検知を実現
12. 2025/5/29 拡散モデルを用いた画像インペインティングによる教師なし異常検知 #12 本研究の着想に至った経緯 画像補完では，マスク領域の不確実性の影響を受ける [23, 24]． （本研究の提案3）再構成誤差による推論時マスクの反復的更新 Iter 1 Iter 2 Iter 3
13. 2025/5/29 拡散モデルを用いた画像インペインティングによる教師なし異常検知 #13 提案手法 -InpaintAD-
14. 2025/5/29 拡散モデルを用いた画像インペインティングによる教師なし異常検知 #14 DDPM 既存手法は拡散モデルとしてDenoising Diffusion Probabilistic Model(DDPM) [8]を用いる．
15. 2025/5/29 拡散モデルを用いた画像インペインティングによる教師なし異常検知 #15 DDPM [詳細は割愛] 𝒙0 𝒙1 𝒙2 𝒙𝑇 𝑞 𝒙1 𝒙0 𝑞 𝒙2 𝒙1 𝑞 𝒙𝑇 𝒙𝑇−1 𝑝𝜃 𝒙𝑇−1 𝒙𝑇 𝑝𝜃 𝒙1 𝒙2 𝑝𝜃 𝒙0 𝒙1 逆拡散過程 拡散過程 拡散過程 各拡散過程は既知の ガウシアンカーネルで表現
16. 2025/5/29 拡散モデルを用いた画像インペインティングによる教師なし異常検知 #16 DDPM [詳細は割愛] 𝒙0 𝒙1 𝒙2 𝒙𝑇 𝑞 𝒙1 𝒙0 𝑞 𝒙2 𝒙1 𝑞 𝒙𝑇 𝒙𝑇−1 𝑝𝜃 𝒙𝑇−1 𝒙𝑇 𝑝𝜃 𝒙1 𝒙2 𝑝𝜃 𝒙0 𝒙1 逆拡散過程 拡散過程 逆拡散過程 逆拡散過程も同じ関数形で表現
17. 2025/5/29 拡散モデルを用いた画像インペインティングによる教師なし異常検知 #17 DDPM [詳細は割愛] DDPMの学習 負の変分下限を最小化することで逆拡散過程のパラメータを学習（導出略）． 1本研究では， とする． 1 任意の時点の拡散過程の計算 𝒙0 , 𝑡が与えられた下で，ある時刻𝑡の潜在変数𝒙𝑡 は以下のように求まる．
18. 2025/5/29 拡散モデルを用いた画像インペインティングによる教師なし異常検知 #18 提案手法 -InpaintAD-
19. 2025/5/29 拡散モデルを用いた画像インペインティングによる教師なし異常検知 #19 DDRM ー 拡散モデルを用いて，任意の線形逆問題を解くために考案された． Denoising Diffusion Restoration Models (DDRM) [25] 線形逆問題 観測𝒚が真の信号𝒙の線形変換にノイズを加えたものであると仮定． 観測行列 観測ノイズ（ノイズ分布は既知） この時，観測から真の信号を推定する問題を線形逆問題という．
20. 2025/5/29 拡散モデルを用いた画像インペインティングによる教師なし異常検知 #20 線形逆問題の代表的な例 1上記画像はChatGPT4oによって生成されました．すごいですね．
21. 2025/5/29 拡散モデルを用いた画像インペインティングによる教師なし異常検知 #21 DDRM DDRMの考え方 1. 拡散モデル𝒑𝜽 (𝒙)を用いて，𝒙のデータ分布を近似する． 単純にDDPMを学習 2. 真の信号の事後分布は，以下のように表せる． ここは学習済み この部分がどう求まるか （次ページ）
22. 2025/5/29 拡散モデルを用いた画像インペインティングによる教師なし異常検知 #22 DDRM DDRMの考え方（続き） 3. 測定行列を特異値分解し，観測によって潰れる次元を特定． 4. スペクトル空間での逆拡散過程を考える． スペクトル空間の各次元𝒊に対応する固有値𝒔𝒊 で場合分けする． (𝒔𝒊 = 𝟎) 観測によりその次元の情報は失われているため，そのまま推論 (𝒔𝒊 ≠ 𝟎) 見えている画素については，同じ時刻まで拡散してから推論
23. 2025/5/29 拡散モデルを用いた画像インペインティングによる教師なし異常検知 #23 DDRM 画像補完に特化した RePaint [26]はDDRMの特殊形． どちらも推論時にのみマ スクを条件づける．
24. 2025/5/29 拡散モデルを用いた画像インペインティングによる教師なし異常検知 #24 提案手法 -InpaintAD-
25. 2025/5/29 拡散モデルを用いた画像インペインティングによる教師なし異常検知 #25 反復的マスク更新 異常検知のためのマスク要件 【要件1】 画像全体をカバーする（異常の位置は未知） 【要件2】 正常部を不必要にマスクしない（予測不確実性の低減） 【要件3】 多様な形状を取ること（異常の形状は未知） 画像の大部分を覆うランダムマスクで初期化1 再構成誤差に基づく反復的マスク更新の導入 推論時のみ条件付けるため，任意のマスクを使用可能
26. 2025/5/29 拡散モデルを用いた画像インペインティングによる教師なし異常検知 #26 反復的マスク更新
27. 2025/5/29 拡散モデルを用いた画像インペインティングによる教師なし異常検知 #27 異常度の算出 (i) 拡散モデルは事前訓練したVAE [9]の潜在空間で学習 これは潜在空間拡散モデル [30]と同様． VAE Encoder DDPM Training (ii) 再構成誤差はEfficientNet [27]の特徴空間上で評価
28. 2025/5/29 拡散モデルを用いた画像インペインティングによる教師なし異常検知 #28 実験設定 本研究ではあくまでSoTAではなく，アプローチの比較検証を実施． ・評価ベンチマーク; MVTecAD [32] ドメイン：製造業，食品，薬 タスク数：15種類 訓練データ：正常画像200枚（Avg.） 評価データ：正常画像 + 異常画像 計100枚以上
29. 2025/5/29 拡散モデルを用いた画像インペインティングによる教師なし異常検知 #29 実験設定 拡散モデル ・訓練時の目的関数，（逆）拡散過程の定義: DDPM [8] ・モデル構造：U-Net [28] ・ステップ数: 1000 (訓練時)・100（推論時） 最適化 ・最適化器: AdamW ・学習エポック数: 2000 (単一クラス設定) ・学習率: 1e-4固定
30. 2025/5/29 拡散モデルを用いた画像インペインティングによる教師なし異常検知 #30 実験結果 –MVTecADでの評価 – 既存の画像補完に基づく手法を やや上回る性能 ベースラインを上回る性能を達成 反復的マスク更新は性能向上に寄与
31. 2025/5/29 拡散モデルを用いた画像インペインティングによる教師なし異常検知 #31 ノイズ強度の影響 本研究では，デノイジングベースモデルのノイズ強度 （逆拡散の開始時点）への依存の解消を図る． 既存手法はノイズ強度に大きく依存するが，提案手法は十 分に深いステップからでも高性能．
32. 2025/5/29 拡散モデルを用いた画像インペインティングによる教師なし異常検知 #32 マスク更新の反復回数の影響 性能は15回ほどでピークに達するが，計算量は反復回数に対し て線形に増加し，各反復では一回の再構成が必要．
33. 2025/5/29 拡散モデルを用いた画像インペインティングによる教師なし異常検知 #33 反復的マスク更新の可視化
34. 2025/5/29 拡散モデルを用いた画像インペインティングによる教師なし異常検知 #34 まとめ デノイジングベースの異常検知手法を置き換える 画像補完に基づく拡散モデルを用いた異常検知手法InpaintADを提案 （本研究の提案2）推論時のみマスクを条件づけて画像補完 （本研究の提案1）画像補完を用いた異常検知の導入 （本研究の提案3）再構成誤差による推論時マスクの反復的更新 MVTecADにおいてベースラインを超える性能を示したが，課題は残る（次ページ）．
35. 2025/5/29 拡散モデルを用いた画像インペインティングによる教師なし異常検知 #35 線形逆問題としての一般化 線形逆問題 本研究では，画像補完をDDRMを用いて解いている．一方で，ブラー除去や超 解像など線形逆問題であれば他にもさまざまなタスクが考えられる． 異常検知に有効な観測行列は何か？非線形なAEベースとの関連はあるのか？
36. 2025/5/29 拡散モデルを用いた画像インペインティングによる教師なし異常検知 #36 再構成フリーな異常度推定 本研究では，再構成による誤差評価が必要であり，反復回数に応じて計算量が 飛躍的に増大する（e.g., K=5の時はFPS=10とかなり遅い）． 再構成を伴わずに異常を検出することは可能か？
37. 2025/5/29 拡散モデルを用いた画像インペインティングによる教師なし異常検知 #37 SoTAには及ばない性能… 精度が低いクラスに共通する特 徴はあるか？ 本研究では，可視化のために VAEを用いていたが直接 EfficientNetの特徴空間で学習 した方が性能が高い [20].
38. 2025/5/29 拡散モデルを用いた画像インペインティングによる教師なし異常検知 #38 本発表では，詳細なDDRMの定義や目的関数の導出，DDPMとの等価 性については扱いません． これらについては，原著論文 [25]もしくは私が論文を読んだ際のメモ [29] を参照してください． 疑問点等あれば，mf240599@g.u-fukui.ac.jpまでご連絡ください． なお，本研究に関連する実装等は後日GitHubにて公開予定です． 注意点
39. 2025/5/29 拡散モデルを用いた画像インペインティングによる教師なし異常検知 #39 引用文献 [1] Jiang et al., , “Anomaly Detection in Electrocardiograms: Advancing Clinical Diagnosis Through Self- Supervised Learning”, Arxiv preprint, 2024. link [2] Liu et al., “Deep Industrial Image Anomaly Detection: A Survey”, Machine Intelligence Research, 2024, link [3] Huh et al., “The Platonic Representation Hypothesis”, 42nd International Conference on Machine Learning (ICML), 2024, link [4] Ruff et al., “A Unifying Review of Deep and Shallow Anomaly Detection”, Proceedings of the IEEE, 2020, link [5] Rezende et al., “Variational Inference with Normalizing Flows”, Proceedings of the 32nd International Conference on Machine Learning (ICML), 2015, link [6] Kingma et al., “Auto-Encoding Variational Bayes”, 2nd International Conference on Learning Representations (ICLR), 2013, link [7] Shol-Dickstein et al., “Deep Unsupervised Learning using Nonequilibrium Thermodynamics”, Proceedings of the 32nd International Conference on Machine Learning (ICML), 2015, link [8] Ho et al., “Denoising Diffusion Probabilistic Models”, Proceedings of the 34th International Conference on Neural Information Processing Systems (NeurIPS), 2020, link
40. 2025/5/29 拡散モデルを用いた画像インペインティングによる教師なし異常検知 #40 引用文献 [9] Rombach et al., “High-Resolution Image Synthesis with Latent Diffusion Models”, 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2022, link [10] Google DeepMind, “Veo3”, link [11] Google DeepMind, “Gemini Diffusion”, link [12] Lu et al., “Removing Anomalies as Noises for Industrial Defect Localization”, 2023 IEEE/CVF International Conference on Computer Vision (ICCV), 2023, link [13] He et al., “A Diffusion-Based Framework for Multi-Class Anomaly Detection”, Proceedings of the AAAI Conference on Artificial Intelligence (AAAI), 2023, link [14] Zhang et al., “DiffusionAD: Denoising Diffusion for Anomaly Detection”, IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI), 2023, link [15] Mousakahan et al., “Anomaly Detection with Conditioned Denoising Diffusion Models”, Proceedings of the 46th German Conference on Pattern Recognition (GCPR 2024), 2024, link [16] Jiang et al., “CAGEN: Controllable Anomaly Generator using Diffusion Model”, 2024 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2024, link
41. 2025/5/29 拡散モデルを用いた画像インペインティングによる教師なし異常検知 #41 引用文献 [17] Teng et al., “Unsupervised Visual Defect Detection with Score-Based Generative Mode”, Arxiv Preprint, 2022, link [18] Zhang et al., “Unsupervised Surface Anomaly Detection with Diffusion Probabilistic Model”, 2023 IEEE/CVF International Conference on Computer Vision (ICCV), 2023, link [19] Yao et al., “GLAD: Towards Better Reconstruction with Global and Local Adaptive Diffusion Models for Unsupervised Anomaly Detection”, The 18th European Conference on Computer Vision (ECCV), 2024, link [20] Sakai et al., “Reconstruction-Free Anomaly Detection with Diffusion Models via Direct Latent Likelihood Evaluation”, Arxiv Preprint, 2025, link [21] Batzner et al., “EfficientAD: Accurate Visual Anomaly Detection at Millisecond-Level Latencies”, Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), 2024, link [22] Lu et al., “Hierarchical vector quantized transformer for multi-class unsupervised anomaly detection”, Proceedings of the 37th International Conference on Neural Information Processing Systems (NeurIPS), 2023, link [23] Yan et al., “Learning Semantic Context from Normal Samples for Unsupervised Anomaly Detection”, Proceedings of the AAAI Conference on Artificial Intelligence (AAAI), 2021, link
42. 2025/5/29 拡散モデルを用いた画像インペインティングによる教師なし異常検知 #42 引用文献 [24] Huang et al., “Self-Supervised Masking for Unsupervised Anomaly Detection and Localization”, IEEE Transactions on Multimedia (TMM), 2023, link [25] Kawar et al., “Denoising Diffusion Restoration Models”, Proceedings of the 36th International Conference on Neural Information Processing Systems (NeurIPS), 2022, link [26] Lugmayr et al., “RePaint: Inpainting using Denoising Diffusion Probabilistic Models”, IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2023, link [27] Tan et al., “EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks”, Proceedings of the 36-th International Conference on Machine Learning (ICML), 2019, link [28] Ronneberger et al., “U-Net: Convolutional Networks for Biomedical Image Segmentation”, Medical Image Computing and Computer-Assisted Intervention (MICCAI), 2015, link [29] DDRMの論文を読んだ際のメモ，link
43. 2025/5/29 拡散モデルを用いた画像インペインティングによる教師なし異常検知 #43 本発表資料 SlideShareで公開します． Xで#JSAI2025 InpaintADで検索お願いします！