Share
Embed
Φ-Sat-2のAutoEncoderによる情報圧縮系論文
本資料はSatAI.challengeのサーベイメンバーと共に作成したものです。
SatAI.challengeは、リモートセンシング技術にAIを適用した論文の調査や、より俯瞰した技術トレンドの調査や国際学会のメタサーベイを行う研究グループです。speakerdeckではSatAI.challenge内での勉強会で使用した資料をWeb上で共有しています。
https://x.com/sataichallenge
紹介する論文は、「Φ-Sat-2のAutoEncoderによる情報圧縮系論文」から3本選びました。
本研究は、小型衛星の観測データを地上に送るデータ量を削減するために、AutoEncoderを用いたボトルネック特徴だけを地上へ送る手法です。1バンドごとにAutoEncoderを適用する手法や、マルチバンドを一度にAutoEncoderに入力するモデルを疑似的なΦ-Sat-2データで学習して、再構成の質や下流タスクへの適用性を評価しました。そして、打ち上げ語のΦ-Sat-2データにモデルを適用しました。
SatAI.challenge
March 03, 2026
Transcript
33 slides
-
目次 2 • 自己紹介スライド • 手法の概要(3つの研究の1ページサマリ紹介) • 研究の背景(Introduction)
• 単バンドだけ ◦ 手法(Method) ◦ 実験(Experimet) • マルチスペクトル ◦ 手法(Method) ◦ 実験(Experimet) • ドメインギャップという打ち上げ後の苦労 ◦ 手法(Method) ◦ 実験(Experimet) • まとめ(Conclusion) • 感想 -
自己紹介 4 研究テーマ :3次元モデリング、サロゲートモデル、動的システム、土木インフラ 4 X(旧 Twitter) LinkedIn 産総研
- サロゲートモデル: 制御x深層学習モデル - 土木インフラxAI: インフラ劣化予測 篠原 崇之 -
Φ-Sat-2の情報圧縮系論文 6 • 背景: フラッグシップ衛星だけでなく、cubesatなどの小型地球観測衛星の数が増えた • 課題: 観測データを地上へ送る通信が逼迫しつつある •
提案手法: AutoEncoderによるオンボード次元圧縮で、通信量を削減。 • 実験結果: シミュレーションした画像で 学習を行いRGB/マルチスペクトル 両者で高効率な通信を可能に。 • 問題点として実データでは ドメインギャップがある notebooklmによるポンチ絵 -
• データ観測量増加 >>> 通信能力の進歩 ◦ センサはどんどん高解像度になり衛星数も増えるが、 ダウンリンク能力はあまり進歩しない •
無駄なデータ ◦ 地球はほとんど雲で覆われている ので、全部地上へ送ると無駄 • 小型衛星のリソース不足 ◦ 伝送能力を上げると 電力消費 も大きくなるので小型衛星だと難しい ◦ そもそも小型衛星の増加数に対して 地上のインフラ が足りない • Φ-Sat-1, 2ミッションとは ◦ 6Uのcubesat(2x3) 約6.11 kg ◦ HyperScout 2という ハイパースペクトルセンサ ◦ 数ワットのインテルのAIチップ ◦ 軌道上でのAI処理 の実証 背景: 人工衛星数の増加と通信帯域 9 ESAのΦ-Sat-1/2ではオンボード処理でデータの送信量を削減させる G. Giuffrida et al., “The Φ-Sat-1 Mission: The First On-Board Deep Neural Network Demonstrator for Satellite Earth Observation”,IEEE Transactions on Geoscience and Remote Sensing, vol. 60, pp. 1-14, 2022より引用 -
• 雲判読オンボードAIを構築 ◦ CloudScoutという深層学習モデルで、入力されたハイパースペクトル画像を 雲 有り無し 分類 ◦ CubeSatのスペックで動くように、軽量なCNNベースを設計し、
さらに量子化を行った ▪ 畳み込み層やMaxPool、FC層などの簡単なモデル ▪ OpenVinoで量子化 ◦ Sentinel-2のデータを加工して 疑似Φ-Sat-1データを作成 して学習データを構 築 ▪ Sentinel-2のBand 0, 1, 8だけを使う(Level-2A) ▪ 実運用ではΦ-Sat-1の放射輝度を使う ◦ ミッション初期にすべての画像とオンボード分類結果を地上に送り、 精度が担保できたので、 自動フィルタをミッション中期以降に動かした ◦ 欧州原子核研究機構の放射線体制試験を耐えたMyriad 2 VPUを搭載 背景: Φ-Sat-1 10 オンボードで雲の有無を判読して雲の無い画像だけを地上へ送る戦略で省エネに G. Giuffrida et al., “CloudScout: A Deep Neural Network for On-Board Cloud Detection on Hyperspectral Images”,Remote Sensing. 2020; 12(14):2205より引用 -
• 雲分類によるデータ削減以外にもデータ削減方法はある ◦ 畳み込みAutoEncoderによるデータ削減 • エッジ側で物体検出などを行いたい ◦
道路のセグメンテーション ◦ 海洋の異常検知 ◦ 山火事検出 ◦ (主に違法漁業の)船舶検出 • モデルの更新 ◦ 地上でファインチューニングしたモデルをアップロードして高性能に育てる ◦ 需要に合わせて、新たな物体検出モデルを入れ替える ▪ 現行の道路セグメンテーションモデルを倒壊建物検出モデルへ入れ替えるなど 背景: Φ-Sat-2では何をするか Constellation-as-a-Serviceの時代へ -
• 雲分類によるデータ削減以外にもデータ削減方法はある ◦ 畳み込みAutoEncoderによるデータ削減 • エッジ側で物体検出などを行いたい ◦
道路のセグメンテーション ◦ 海洋の異常検知 ◦ 山火事検出 ◦ (主に違法漁業の)船舶検出 • モデルの更新 ◦ 地上でファインチューニングしたモデルをアップロードして高性能に育てる ◦ 需要に合わせて、新たな物体検出モデルを入れ替える ▪ 現行の道路セグメンテーションモデルを倒壊建物検出モデルへ入れ替えるなど 背景: Φ-Sat-2では何をするか 目的:AutoEncoderによるデータ圧縮による通信負荷の軽減 -
13 1バンド(打ち上げ前 ) This image was generated by ChatGPT G.
Guerrisi, F. D. Frate and G. Schiavon, “Artificial Intelligence Based On-Board Image Compression for the Φ-Sat-2 Mission”, IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, vol. 16, pp. 8063-8075, 2023. より引用 -
• 深層学習ブーム当初、様々な推論用エッジデバイスが出た ◦ Intel Movidius Neural Compute Stick
▪ Myriad 2というビジョンプロセッサーチップが詰まったUSB型の機器 ▪ CVPR2017で展示されてて、参加者が購入して帰ってきていたので有名 ◦ NVIDIAのJetson ▪ GPU ◦ GoogleのCoral Accelerator Module ▪ TPU • 推論用のエッジデバイスを宇宙で使うには? ◦ Φ-Sat-1ミッションでは、地上で放射線実験を行い評価したMyriad 2が使われている ▪ 経年劣化: TID(累積線量)49 kradまで劣化なし ▪ 事故: • SEU(ビット反転):DRAM の断面積が小さいからOK • SEFI(機能停止・機能割り込み):同上 • SEL(ラッチアップ): 8.8 MeV·cm²/mg までOK ◦ 銀河宇宙線(GCR)の重イオンや太陽フレアのような状況 にもある程度耐える => 軌道上に上げてもOK 1band圧縮: エッジデバイス(補足) 14 Intel Movidius https://download.intel.com/newsroom/2021/ar chive/2018-10-18-press-kits-movidius.pdf -
• AutoEncoderでバンドごとに次元圧縮(SSIM最大化学習) ◦ Sentinel-2から仮想的なΦ-Sat-2 相当の画像を作成(タイルで48,640 枚) ◦ 単一のモデルをすべてのバンドへ適用
◦ オンボードで次元圧縮、ボトルネック特徴を地上へ送り、地上でデコード • 仮想的Φ-Sat-2の作り方 ◦ ソース ▪ Sentinel-2 L1C(TOA reflectance、16-bit整数で格納) ▪ 複数シーン(2019–2020頃)を学習・推論用に分けて利用 ◦ Sentinel-2からの変換方法 ▪ Sentinel-2でΦ-Sat-2に近いバンド選定 ▪ 空間補間で10 m から 4.75 mに ▪ SNRシミュレーション(ノイズ量) • ガウス分布に基づく人工ノイズ ▪ 伝達関数のシミュレーション(ぼけ・光学) • 2 次元フィルタリング ▪ Φ-Sat-2のスワス幅に合わせたタイル • モデル ◦ 画像サイズ256×256×1に対しボトルネック8192 ◦ Myriad 2で動かすためにOpenVINOでエッジ向けに変換 1band圧縮: 手法 15 G. Guerrisi, F. D. Frate and G. Schiavon, “Artificial Intelligence Based On-Board Image Compression for the Φ-Sat-2 Mission”, IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, vol. 16, pp. 8063-8075, 2023. より引用 シミュレーション結果 -
• 評価ハード VPU (Intel Movidius Myriad 2)、 比較としてGPU(GTX1650)
• 再構成誤差の評価 VPU だとGPUより大幅に遅いが画質はほぼ同 等で、検証セット平均 SSIM=0.9647 同じ圧縮率でJPEG 2000との比較ではCAEの SSIMが高い(元の画像の⅛のサイズ) 1band圧縮: 結果 16 G. Guerrisi, F. D. Frate and G. Schiavon, “Artificial Intelligence Based On-Board Image Compression for the Φ-Sat-2 Mission”, IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, vol. 16, pp. 8063-8075, 2023. より引用 再構成結果 計算の比較 -
• 下流タスクの評価 ◦ 衛星画像は見て終わりではなく活用されてなんぼなのでPSNR/SSIMのような 「画素レベルの類似度」だけでなく、 復元画像が実タスクに使えるか を確認する ◦
建物のセマンティックセグメンテーションで評価 ▪ Inria Aerial Image Labeling Datasetを学習したUnet ▪ 元画像とCAE圧縮→復元画像をそれぞれ入力して得た建物マスクを比較 ▪ 定性評価、建物棟数が正しいかの評価で元画像と復元画像が同じ結果 1band圧縮: 結果 17 G. Guerrisi, F. D. Frate and G. Schiavon, “Artificial Intelligence Based On-Board Image Compression for the Φ-Sat-2 Mission”, IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, vol. 16, pp. 8063-8075, 2023. より引用 セグメンテーション結果の評価 棟数は同じなので良い結果 -
• AutoEncoderでマルチスペクトル全体を次元圧縮(SSIM最大化RMSE最小化学習) ◦ 256×256×7 ピクセル( マルチスペクトルカメラの7つのバンド を一度に入力) ◦ 32×32×5
という極めてコンパクトなサイズへ圧縮(CR=89.6) ◦ デコーダによって元の 256×256×7 のマルチスペクトル画像へと再構成 • 仮想的Φ-Sat-2の作り方 ◦ ソース ▪ Sentinel-2 L1C(TOA reflectance、16-bit整数で格納) ▪ 複数シーン(2019–2020頃)を学習・推論用に分けて利用 ◦ Sentinel-2からの変換方法 ▪ Sentinel-2でΦ-Sat-2に近いBand 2, 3, 4, 5, 6, 7, 8 ※パンクロマティックはシミュレーションで ▪ 空間補間で10 m から 4.75 mに ▪ SNRシミュレーション(ノイズ量) • ガウス分布に基づく人工ノイズ ▪ 伝達関数のシミュレーション(ぼけ・光学) • 2 次元フィルタリング ▪ Φ-Sat-2のスワス幅に合わせたタイル • 空間的・スペクトル的な近傍関係(spatial/spectral correlations)を捉えつつ、 より小さい表現へ圧縮とあるが具体的には何も書いてない ◦ マルチスペクトル圧縮: 手法 19 G. Guerrisi, F. D. Frate and G. Schiavon, “ON-BOARD MULTISPECTRAL IMAGE COMPRESSION WITH AN ARTIFICIAL INTELLIGENCE BASED ALGORITHM”, IGARSS 2024 - 2024 IEEE International Geoscience and Remote Sensing Symposium. より引用 層設計 -
• 評価ハード VPU (Intel Movidius Myriad 2) •
再構成誤差の評価 PSNR:50.458,SSIM:0.9991 • 実行時間 • GPU(RTX 4070 Ti):7バンド全体の圧縮に 平均 8.67 秒 • VPU(Myriad 2):同じ処理に 215.64 秒 • エンコーダサイズ 53.248KB で、実行時間・モデルサイズ ・PSNR/SSIMが「ESA受け入れ基準を満たす」 マルチスペクトル圧縮: 結果 20 再構成結果の例 再構成結果の定量比較 G. Guerrisi, F. D. Frate and G. Schiavon, “ON-BOARD MULTISPECTRAL IMAGE COMPRESSION WITH AN ARTIFICIAL INTELLIGENCE BASED ALGORITHM”, IGARSS 2024 - 2024 IEEE International Geoscience and Remote Sensing Symposium. より引用 -
• 下流タスクの評価 ◦ 衛星画像は見て終わりではなく活用されてなんぼなのでPSNR/SSIMのような 「画素レベルの類似度」だけでなく、 復元画像が実タスクに使えるか を確認する ◦
NDVIマップで評価 ▪ 元画像と復元画像からNDVIを計算し、NDVIマップとヒストグラムの比較 ◦ 市街地抽出のセグメンテーションで評価 ▪ UNetによるセグメンテーションで、元画像入力と復元画像入力の結果を比較し、 都市ピクセル割合が「わずかに異なる」=差はあるが大崩れはしていない マルチスペクトル圧縮: 結果 21 市街地抽出 G. Guerrisi, F. D. Frate and G. Schiavon, “ON-BOARD MULTISPECTRAL IMAGE COMPRESSION WITH AN ARTIFICIAL INTELLIGENCE BASED ALGORITHM”, IGARSS 2024 - 2024 IEEE International Geoscience and Remote Sensing Symposium. より引用 -
• AIのモデルは打ち上げ前に作ってある程度検証しないといけない ◦ シミュレーションして作った疑似Φ-Sat-2データを学習する必要がある ◦ Sentinel-2を補間したりノイズ掛けたりして 疑似的な訓練データ を作るので、
実際のΦ-Sat-2が打ちあがり運用したらまったく性能が出ないのでは? ◦ ドメインギャップを調査する ドメインギャップ: 問題点 23 Guerrisi, Giorgia, et al, “Preliminary Domain Gap Assessment of Ai-Based Onboard Image Compression for The Phisat-2 Mission”, 2025 IEEE International Geoscience and Remote Sensing Symposium. より引用 観測データの例 -
ドメインギャップ: 手法(モデルは単バンドCAEと一緒) 24 Guerrisi, Giorgia, et al, “Preliminary Domain
Gap Assessment of Ai-Based Onboard Image Compression for The Phisat-2 Mission”, 2025 IEEE International Geoscience and Remote Sensing Symposium. より引用 • AutoEncoderでバンドごとに次元圧縮(SSIM最大化学習) ◦ Sentinel-2から仮想的なΦ-Sat-2相当の画像を作成(タイルで48,640 枚) ◦ 単一のモデルをすべてのバンドへ適用 ◦ オンボードで次元圧縮、ボトルネック特徴を地上へ送り、地上でデコード • 仮想的Φ-Sat-2の作り方 ◦ ソース ▪ Sentinel-2 L1C(TOA reflectance、16-bit整数で格納) ▪ 複数シーン(2019–2020頃)を学習・推論用に分けて利用 ◦ Sentinel-2からの変換方法 ▪ Sentinel-2でΦ-Sat-2に近いバンド選定 ▪ 空間補間で10 m から 4.75 mに ▪ SNRシミュレーション(ノイズ量) • ガウス分布に基づく人工ノイズ ▪ 伝達関数のシミュレーション(ぼけ・光学) • 2 次元フィルタリング ▪ Φ-Sat-2のスワス幅に合わせたタイル • モデル ◦ 画像サイズ256×256×1に対しボトルネック8192 シミュレーション結果 -
• ドメインギャップを再構成指標で評価 • 実データの再構成結果は 疑似より低い指標 ◦ 青のPSNRがシミュレーションして作った画像の再構成で、オレンジみどりが実際のデータ •
SSIMは高いがPSNRだけ実データだと劣化するのは、 画素値の一致は崩れたが、構造は保たれている ドメインギャップ: 結果 25 バンドごとに再構成結果の評価 Guerrisi, Giorgia, et al, “Preliminary Domain Gap Assessment of Ai-Based Onboard Image Compression for The Phisat-2 Mission”, 2025 IEEE International Geoscience and Remote Sensing Symposium. より引用 -
• ファインチューニングの効果 • 実データを使ってシミュレーションデータを学習したモデルをファインチューニング ◦ 実データ(256×256タイル 7199枚)をtrain/val/test =
70%/20%/10% • 定性評価(1枚前と同じデータで評価) ◦ 実画像ファインチューニングの PSNR/SSIM は シミュレーションデータだけ より低い ◦ 実データに含まれるノイズに引っ張られる学習 をしてしまう ドメインギャップ: 結果 26 バンドごとに再構成結果の評価 Guerrisi, Giorgia, et al, “Preliminary Domain Gap Assessment of Ai-Based Onboard Image Compression for The Phisat-2 Mission”, 2025 IEEE International Geoscience and Remote Sensing Symposium. より引用 -
• ファインチューニングへの悪影響要因 ◦ シミュレーション(a)と比較して、実データ(c)には ブラーと縞ノイズ が多く発生 ◦ ファインチューニング後の再構成結果(e)のSSIM/PSNRが悪化するのは、
実機特有ノイズ(特に縞)にモデルが影響され、再構成品質が不安定化 ドメインギャップ: 結果 27 再構成結果 Guerrisi, Giorgia, et al, “Preliminary Domain Gap Assessment of Ai-Based Onboard Image Compression for The Phisat-2 Mission”, 2025 IEEE International Geoscience and Remote Sensing Symposium. より引用 -
• ノイズの考察(SSIMを使った学習あるある) ◦ SSIMは人間の視覚に近い評価を行うため、ピクセル単位の誤差(MSE/RMSE)よりも 画像のテクスチャやパターンの維持を重視 ◦ Φ-Sat-2の実データに含まれる縦縞ノイズは、ランダムなノイズではなく、
一定の規則性を持った「構造」的な特徴がある ▪ SSIMを指標に学習すると、AIはこの縞模様を画像の本質的な特徴と誤認し、忠実に再現しようと学 習を進めてしまう =>ノイズを再現したほうがオリジナル(ノイズ入りの入力画像)との構造的類似性が高くなる • 学習時の工夫 ◦ 実データ側のデノイズ ▪ 縞模様をAIに学習させる前に、オンボードの前処理として 「デストライピング(縦縞除去)」アルゴリズムを適用 ◦ few-shot learning など「少量実データ」で素早く適応 ▪ ドメインギャップを埋めるというより、ダウンリンクする画像数を減らす為に 数枚の画像だけでファインチューニングできると良い • 今回のΦ-Sat2のように打ち上げ後に判明したセンサー特性などを少量の教師で吸収 ドメインギャップ: 今後の展開 28 -
• Φ-Sat-2では、衛星画像から地上へのダウンリンクを節約するために、 エッジ側で画像をエンコードしてボトルネック特徴だけを送信 する手法を提案した • Sentinel-2から作ったシミュレーションデータを使って、以下のモデルを作成 ◦
単バンドのAutoEncoder ▪ ボトルネック特徴だけ送る場合、圧縮率は⅛ JPEGでも圧縮できるが、JPEGだと後段に影響 ◦ マルチスペクトルのAutoEncoder ▪ ボトルネック特徴だけ送る場合、 圧縮率は約90% • 実機の打ち上げ後に実データを使って評価を行った ◦ シミュレーションデータを学習した場合、SSIM/PSNRともに実機でもある程度は再構成できる ◦ より高品質な再構成を目指して実データを使ったファインチューニングを行ったが、 実機特有の縞ノイズを強調するような学習 になってしまった。 • 今後の展開 ◦ ドメインギャップを埋める研究開発 ◦ AIモデルのアップリンク更新 まとめ 30 -
• 実機特有のノイズに悩まされるのはあるあるだなと思いながら読んでた • 一つの衛星に着目して同じ著者(つまり同じチーム)の取り組みを時系列で追うのは、 試行錯誤の追体験みたいでおもしろい • 元論文がIGARSSの予稿なので4ページしかなく、ほとんど情報が無い。行間を読むのが大変。
◦ 日本人がリモセン学会に出すノリに近い • SSIMだけで再構成学習したら、こうなるのはあたりまえなのではと思ったが、 素人の思うことはたいていやっていると思うので、他のやり方ではうまくいかなかったのだろう。 • そもそもこんなにノイジーな衛星画像で何ができるのかのアプリケーションを考えたほうがいいかも • もしくは、物理量は完全に捨てて、深層学習モデルベースのノイズ除去系の手法で見た目だけでもきれいにする など • Φ-Sat-2の風呂敷で、様々なAIを入れ替えて需要に合わせたサービス展開ができることやモデルのアップデー トを運用中に行うことが書かれていたが、資料が無いので今後に期待 ◦ (補足)山火事検出などのオンボードAIの運用が始まったとの話はあるが具体な話がない https://www.esa.int/Applications/Observing_the_Earth/Phsat-2/Phsat-2_begins_science_phase_for_AI_Ea rth_images 感想など 32 -
• Space Cloud: LEO Constellations for On-Orbit AI Computing
◦ 低軌道(LEO)衛星コンステレーションを活用して、軌道上でのエッジ推論を用いて federated learningや共同計算を行って複数の衛星を一つの計算リソースとして扱う ◦ 中国の武漢大学など • On-Orbit Demonstration of a Geospatial Foundation Model ◦ 地理空間基盤モデル(GeoFM)」を人工衛星などの限られた計算資源上で直接実行可能にするため 蒸留などを駆使してモデルサイズを小さくした ◦ 国際宇宙ステーション(ISS)のIMAGIN-eや、HyperScout-2といった実際の宇宙用ハードウェアを用いて、 軌道上および模擬環境での動作実証を達成 ◦ オーストラリアのアデレード大学など エッジ推論系の論文 33