SpectralMamba: Efficient Mamba for Hyperspectral Image Classification

本資料はSatAI.challengeのサーベイメンバーと共に作成したものです。
SatAI.challengeは、リモートセンシング技術にAIを適用した論文の調査や、より俯瞰した技術トレンドの調査や国際学会のメタサーベイを行うグループです。speakerdeckではSatAI.challenge内での勉強会で使用した資料をWeb上で共有しています。
https://x.com/sataichallenge
今回紹介する論文「SpectralMamba: Efficient Mamba for Hyperspectral Image Classification」では、ハイパースペクトルデータの高次元性やスペクトル変動・混同の課題に対処するため、Mambaをベースにした新たな手法が提案されています。従来のCNNやTransformerでは計算コストが高くなる問題がありましたが、本研究ではPSS（Piece-wise Sequential Scanning）でスペクトルデータを分割・整理し、冗長性を抑えつつ効率的に情報を抽出しています。また、GSSM（Gated Spatial-Spectral Merging）によって空間・スペクトル情報を動的に統合し、より効果的な特徴表現を実現しました。
その結果、SpectralMambaは複数のハイパースペクトルデータセットにおいて高い分類精度と計算効率を達成しました。

Transcript

1. SpectralMamba: Efficient Mamba for Hyperspectral Image Classification
 Esri
 佐々木謙一
 1 第4回 SatAI.challenge勉強会

2. 目次 
 2 • 自己紹介スライド
 • 研究の1ページサマリ紹介 
 • 研究の背景（Introduction） 
 • 手法について（Method） 
 • 実験（Experimet）
 • 結論（Conclusion）

3. 3 著者紹介 This image was generated by ChatGPT
4. 佐々木謙一 • 2012-2016:東工大機械宇宙学科 • 2016-2019:東工大院松永研究室 • 2019-2023:CU Boulder Aerospace Engineering Ph.D. in Remote Sensing, Marine pollution monitoring • Internship • 2023-: Esri, product engineer in spatial analysis team
5. 5 要約 This image was generated by ChatGPT
6. SpectralMamba: Efficient Mamba for Hyperspectral Image Classification 
 6 • SSMベースの新しいバックボーン : 計算効率と分類精度のバランスを最適化 • PSS (Piece-wise Sequential Scanning): スペクトル冗長性を削減し、文脈的関係を維持 • GSSM (Gated Spatial-Spectral Merging): 空間およびスペクトルの特徴を動的に統合 • 広範なベンチマーク評価 : 4つのデータセットで高い性能を実証 
 SpectralMamba: ハイパースペクトル画像分類のためのMambaモデル 
 Jing Yao et al. (2024), “SpectralMamba: Efficient Mamba for Hyperspectral Image Classification”, arXiv. より引用
7. 7 論文紹介 This image was generated by ChatGPT
8. ハイパースペクトル（ HS）画像: 高精細な空間およびスペクトル情報を提供 • 課題: ◦ 次元の呪い (Curse of Dimensionality) ◦ スペクトルの変動と混同 既存の解決策 : CNN、RNN、Transformer • 高計算コスト、非効率性の課題あり 目的: • SpectralMambaを提案し、効率的かつ高精度な分類を実現 
 Introduction 
 8 Jing Yao et al. (2024), “SpectralMamba: Efficient Mamba for Hyperspectral Image Classification”, arXiv. より引用
9. 手法
 9 SSM (状態空間モデル)
 制御工学などに利用されてきたシステム応答の記述システムで時系列データの予測，分 類などに近年応用された SSM:状態方程式と出力方程式で記述 ＊時不変離散系のシステムとみなせる S4 - HIPPO を用いた初期化 Mamba - ゲーティング機構
 Jing Yao et al. (2024), “SpectralMamba: Efficient Mamba for Hyperspectral Image Classification”, arXiv. より引用
10. 手法
 10 SpectralMamba
 • PSS (Piecewise Sequential Scanning) • GSSM (Gated Spatial Spectral Merging) • Selective state space model (S6) Jing Yao et al. (2024), “SpectralMamba: Efficient Mamba for Hyperspectral Image Classification”, arXiv. より引用
11. SpectralMamba
 11 主な構成要素 : • PSS (Piece-wise Sequential Scanning): スペクトルデータを分割し、文脈情報 を維持 • • GSSM (Gated Spatial-Spectral Merging): 空間・スペクトル情報の統合 利点: • 計算効率の向上 • スペクトル変動の軽減 • 高精度な特徴抽出 
 Jing Yao et al. (2024), “SpectralMamba: Efficient Mamba for Hyperspectral Image Classification”, arXiv. より引用
12. 実験
 12 Dataset
 Jing Yao et al. (2024), “SpectralMamba: Efficient Mamba for Hyperspectral Image Classification”, arXiv. より引用
13. 結果と評価
 13 定量評価
 Jing Yao et al. (2024), “SpectralMamba: Efficient Mamba for Hyperspectral Image Classification”, arXiv. より引用
14. 結果と評価
 14 推論結果: Houston 2013 dataset 
 Jing Yao et al. (2024), “SpectralMamba: Efficient Mamba for Hyperspectral Image Classification”, arXiv. より引用
15. Ablation study
 15 Key modules contribution
 OA: Overall Accuracy AA: Average Accuracy MAC: 積和演算量 Pixelwise Mambaとの比較 - PSSのよるパラメータ数の抑制 - Mambaによる精度の向上 Jing Yao et al. (2024), “SpectralMamba: Efficient Mamba for Hyperspectral Image Classification”, arXiv. より引用
16. Ablation study
 16 Piece size on PSS
 Houson2013で評価(都市部のデータ) N/A: PSSなし 6 pieceでの精度が最大 →100nm毎に区切ったケース Jing Yao et al. (2024), “SpectralMamba: Efficient Mamba for Hyperspectral Image Classification”, arXiv. より引用
17. まとめ
 17 結論
 SpectralMambaはSSMに基づく新しい空間・スペクトル統合モデル を提案 HS data固有のデータ性質を考慮したモデルを設計 高精度かつ高効率な分類性能 を実現 感想
 Spectral profileとPSSの関係性は考慮に入れるべき Band の貢献度をPSSとGSSMの両方で補償している点は面白い，単に次元圧縮した ケースとの精度の差は気になる 空間特徴量をより考慮したMambaモデルの発展に期待 
 Jing Yao et al. (2024), “SpectralMamba: Efficient Mamba for Hyperspectral Image Classification”, arXiv. より引用