Prithvi-EO-2.0

本資料はSatAI.challengeのサーベイメンバーと共に作成したものです。
SatAI.challengeは、リモートセンシング技術にAIを適用した論文の調査や、より俯瞰した技術トレンドの調査や国際学会のメタサーベイを行う研究グループです。speakerdeckではSatAI.challenge内での勉強会で使用した資料をWeb上で共有しています。
https://x.com/sataichallenge

本研究は、複数時期の衛星画像を扱う地球観測基盤モデル「Prithvi-EO-2.0」を提案しています。世界規模の約420万件のHLS時系列データを用いて事前学習し、画像情報に加えて撮影時期や緯度・経度をモデルに組み込むことで、季節変化や長期的な 地表変化を捉えます。災害対応、土地被覆・作物分類、生態系モニタリングなど、 多様な地球観測タスクで既存の基盤モデルを上回る性能を示しています。

Transcript

1. Prithvi-EO-2.0 地球観測の多様な応用に対応する多時期基盤モデル A Versatile Multi-Temporal Foundation Model for Earth Observation Applications Daniela Szwarcman, Sujit Roy, Paolo Fraccaro, et al. IBM Research, NASA IMPACT, and collaborating institutions https://arxiv.org/pdf/2412.02732 柴田たけお 1
2. Prithvi-EO-2.0: A Versatile Multi-Temporal Foundation Model for Earth Observation Applications 本資料はSatAI.challengeのサーベイメンバーと共に作成したものです。 SatAI.challengeは、リモートセンシング技術にAIを適用した論文の調査や、 より俯瞰した技術トレンドの調査や国際学会のメタサーベイを行う研究グループです。 speakerdeckではSatAI.challenge内での勉強会で使用した資料をWeb上で共有しています。 https://x.com/sataichallenge 紹介する論文は、 「 Prithvi-EO-2.0: A Versatile Multi-Temporal Foundation Model for Earth Observation Applications 」です。 本研究は、複数時期の衛星画像を扱う地球観測基盤モデル「Prithvi-EO-2.0」を 提案しています。世界規模の約420万件のHLS時系列データを用いて事前学習し、 画像情報に加えて撮影時期や緯度・経度をモデルに組み込むことで、季節変化や長期的な 地表変化を捉えます。災害対応、土地被覆・作物分類、生態系モニタリングなど、 多様な地球観測タスクで既存の基盤モデルを上回る性能を示しています。 2
3. 目次 ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ ▪ 自己紹介 研究の１ページサマリ 研究の背景 関連研究 手法 実験 実装による推論再現結果 まとめ 参考文献 3
4. 自己紹介 4 This image was generated by ChatGPT
5. X 自己紹介 LinkedIn Zenn 柴田たけお 東北大学理学部、カリフォルニア大学バークレー大学院で地球物理専攻 [東北大学] 査読付国際誌共著論文: https://doi.org/10.1029/95GL02338 [UC Berkley] 実験作業貢献: https://doi.org/10.1029/1999JB900374 その後IT業界で30年近くSYSTEM ENGINNERとしてシステム開発にかかわる。 現在はAIとGISやリモートセンシングを組み合わせたソリューションに興味あり 最近開発活動（POCも含む） •衛星.GIS関連: 衛星画像LANDSATと統計データを利用した新潟県の収穫量予測, 物流の最適運搬システム •一般AI関連: 開発実績: 音声特徴量での健康診断, 顔認証, 画像生成, 自動コード生成, END2ENDでのAI医療応用提案 •自動運転関連: 倉庫での運搬車の数理最適化 •ニッチAI関連: 味と栄養をAIを使って解析する •その他: SNSのコメントと写真情報からの災害対応システム 5
6. 研究の1ページサマリ 6 This image was generated by ChatGPT
7. Prithvi-EO-2.0 の１ページサマリ •目的 複数時期の衛星画像から、季節変化・長期変化を捉える汎用的な地球観測基盤モデルを構築 •対応データ Harmonized Landsat and Sentinel-2（HLS） 30m解像度、6スペクトルバンド、4時点の衛星画像 •主な機能 分類、セマンティックセグメンテーション、バイオマス・生産量推定 •強み 空間情報と時間変化を同時に学習 異なる地域・解像度・下流タスクに高い汎用性 少量の教師データでも高性能 •技術的特徴 Masked Autoencoderによる自己教師あり学習 3次元時空間パッチ埋め込み 撮影時期・緯度・経度のメタデータ埋め込み •学習データ・性能 世界規模の約420万HLS時系列サンプルで事前学習 GEO-BenchでPrithvi-EO-1.0および複数の既存モデルを上回る性能を達成 7
8. 研究の背景 8 This image was generated by ChatGPT
9. 研究の背景 • 地球観測と基盤モデル 衛星画像は世界規模かつ高頻度に取得され、膨大な画像が蓄積されている一方、 土地被覆・災害・作物などの学習用ラベルを人手で大量に作成するには大きなコストがかかる 大量の未ラベル衛星画像から汎用的な特徴を自己教師あり学習し、 少量の教師データで多様な下流タスクに適用できる地球観測基盤モデル（GFM）が 注目されている。 • 既存モデルの課題 ① 多くのGFMは単一時点の画像を中心に扱い、季節変化・長期変化を十分に活用できない ② 異なる地域・解像度・タスクを横断した統一的な評価が不足している ③ モデルが公開されていても、ファインチューニング用の手順や実装環境が十分に整備されていない • 本研究のアプローチ 米国のみを対象としたPrithvi-EO-1.0を発展させ、世界規模の約420万件のHLS時系列データを 用いて、空間情報・時間変化・撮影時期・位置情報を統合するマルチテンポラル基盤モデル ☆Prithvi-EO-2.0を提案 さらに、標準ベンチマークと実際の地球観測タスクの両面から汎用性を検証する 9
10. 関連研究 10 This image was generated by ChatGPT
11. 関連研究 既存の地球観測基盤モデルとPrithvi-EO-2.0の位置づけ • MAEベースの衛星画像モデル SatMAE：マルチスペクトルモデルと3時点RGBの時間モデルを提案 → スペクトル情報と時間情報は、単一モデルに統合されていない Scale-MAE：異なる空間解像度を考慮した画像再構成 → RGB画像のみで、時間方向は扱わない • 対照学習・マルチモーダルモデル MoCo／DINO：季節の異なるSentinel-2画像で事前学習 → 複数時点はデータ拡張として利用され、時系列としてはモデル化されない DeCUR／DOFA：異なるセンサーや波長に対応 → 基本的に2次元の単一時点画像を処理 • 時系列を扱うモデル Presto：12か月の画素時系列を扱うが、空間的な画像表現は限定的 U-BARN：空間・時間を統合するが、フランスの9タイル・64×64画像という小規模な事前学習 ☆Prithvi-EO-2.0の位置づけ 世界規模・10年間・420万件超のデータを用い、 空間表現を維持しながら季節変化と長期変化を統合的に学習 マルチスペクトル＋マルチテンポラル 世界規模の高品質データ 最大600Mパラメータ 時刻・位置メタデータを柔軟に利用 11
12. データセット 12 This image was generated by ChatGPT
13. 事前学習データ：HLS • HLSとは NASA/USGSのLandsat 8・9と、ESAのSentinel-2A・2Bの観測データを調和・統合した地球観測プロダクト • データの特徴 空間解像度30m、平均2～3日の観測頻度 1タイルは3,660×3,660ピクセルで、約109.8km四方をカバー • 使用バンド 両衛星に共通する6バンドを使用 >> Blue、Green、Red、NIR、SWIR1、SWIR2 世界規模の地表を、高頻度・6バンドで観測できるHLSを事前学習データとして採用
14. 世界規模データセットの構築 Fig. 1: LULC distribution of the training samples in compar- ison to all land tiles. • 多様な地域・土地被覆をカバー 土地被覆クラスとエコリージョンを考慮して HLSタイルを選択 都市域や土地被覆が混在する地域も Fig. 2: Global HLS dataset distribution visualized on a tile-level. The number of training samples are color-coded in blue to green, while validation tiles are visualized in magenta. 重点的に抽出 • 時系列サンプルを作成 2014〜2023年のHLS画像から、4時点の画像系列を構成 各時点の間隔は1〜6か月とし、季節変化・長期変化を捉える設計 • 品質管理 雲・欠損値の多いサンプルを除外、最終的に 約420万件の学習サンプル を構築 単なる大量データではなく、地域多様性・土地被覆・季節性を意識して設計された事前学習データセット 出典：Szwarcman et al.（2026）Prithvi-EO-2.0, arXiv:2412.02732v3, Fig. 1・Fig. 2
15. モデル構成 15 This image was generated by ChatGPT
16. Prithvi-EO-2.0の全体構造 Fig. 3: Prithvi-EO-2.0 architecture and general pretraining framework. • 入力: 4時点 × 6バンドのHLS画像系列 • 時空間パッチ化 3D Convで、時間・高さ・幅をまとめてパッチ埋め込み • MAEによる事前学習 一部のパッチをマスクし、Encoderで特徴を抽出 • 再構成タスク Decoderがマスクされた画像を復元するように学習 衛星画像の「空間構造」と「時間変化」を同時に学習するMasked Autoencoder 出典：Szwarcman et al.（2026）Prithvi-EO-2.0, arXiv:2412.02732v3, Fig. 3
17. マルチテンポラル化：2Dパッチから3D時空間パッチへ • 時空間パッチ埋込 *通常のMAEは、 画像を高さ・幅方向の 2Dパッチに分割 *Prithvi-EO-2.0は、 3D畳み込みにより 時間・高さ・幅を持つ 時空間トークンへ変換 • 3次元位置埋込 時間・高さ・幅それぞれに 1次元のsin/cos位置 埋め込みを作成し、 それらを組み合わせて 3次元位置情報を表現 • 時間パッチサイズ t = 1 衛星画像は動画のような 連続フレームではなく、 不規則かつ比較的低頻度に 取得されるため、 各観測時点を独立した 時間単位として処理
18. 時刻・位置メタデータの導入 • 入力するメタデータ 時間情報：年、Day of Year 位置情報：緯度、経度 • 埋め込み方法 各メタデータをsin/cos埋め込みに変換 学習可能な重みで画像トークンへ加算 • 欠損への対応 学習中に時刻・位置情報をランダムにdrop → メタデータがない場合でも利用可能 3D位置埋め込みは「画像内の場所」、時刻・緯度経度は 「地球上の場所と季節」を表す 単なる画像位置ではなく、同じ緑でも北海道の春と九州の夏では 意味が違うように、地理・季節情報をモデルに伝えている 出典：Szwarcman et al.（2026）Prithvi-EO-2.0, arXiv:2412.02732v3, Fig. 3
19. モデル規模と事前学習条件 • 入力： 4時点 × 256 × 256 • 学習時： 4時点 × 224 × 224へ ランダムクロップ • データ拡張： 水平反転 • メタデータdrop率： 0.1 • TLあり／なしのモデルを作成 Prithvi-EO-2.0は、420万時系列サンプルを用いた大規模な事前学習モデル 出典：Szwarcman et al.（2026）Prithvi-EO-2.0, arXiv:2412.02732v3
20. 評価 20 This image was generated by ChatGPT
21. 評価設計の全体像 評価は2系統で実施 ① 標準ベンチマーク：GEO-Bench 既存の地球観測基盤モデルと、同一条件で性能比較 分類・セグメンテーションの複数タスクで評価 ② 実利用タスク 実際の地球観測応用に近いタスクで汎用性を検証 - 災害対応：洪水・山火事・地滑り - 土地被覆・作物：作物分類・作物セグメンテーション - 生態系動態：GPP・地上部バイオマス mIoU：予測領域と正解領域の 重なりを評価する指標 標準ベンチマークと実利用タスクの両面から、Prithvi-EO-2.0の汎用性を検証
22. GEO-Benchの評価プロトコル 評価手順 1. 各データセットで10回の ハイパーパラメータ探索 2. 最良設定を選択 3. ランダムシードを変えて10回学習 4. 全モデルで同じ探索範囲, データ拡張を使用 5. 入力画像は224×224へ統一 12種類の標準タスクで、モデル性能を 公平かつ再現可能な手順で比較 出典：Szwarcman et al.（2026）Prithvi-EO-2.0, arXiv:2412.02732v3, Table I.
23. 比較する地球観測基盤モデル Prithvi-EO-2.0は、420万サンプル・4時点・最大600Mへ拡張 既存GFMと比べ、データ規模・モデル規模・時系列性を同時に拡張 出典：Szwarcman et al.（2026）Prithvi-EO-2.0, arXiv:2412.02732v3, Table II..
24. 下流タスクの全体像 代表例でのモデル構造 1. Prithvi-EO-2.0基盤モデル - 300M - 600M 2. MultiTemporalCrop - 300M-TL + UperNet - 600M-TL + UperNet 3. Landslide4Sense - 300M + UperNet - 600M + UperNet 4. Carbon Flux / GPP 分類・セグメンテーション・回帰まで幅広く評価 地域・解像度・時点数の異なるデータで汎用性を検証 Prithvi-EO-2.0が、特定タスク専用ではなく多様な地球観測応用に転用できるかを評価 出典：Szwarcman et al.（2026）Prithvi-EO-2.0, arXiv:2412.02732v3, Table III.
25. 災害対応 Fig. 4: Locations of the burn intensity dataset used in training and testing. 洪水・火災・地滑りという異なる災害に対して、セグメンテーション性能を評価 出典：Szwarcman et al.（2026）, Prithvi-EO-2.0, Fig. 4, Table III, Sec. III-C.2 Landslide画像：NASA IMPACT, https://github.com/NASA-IMPACT/Prithvi-EO-2.0/blob/main/examples/example_landslide4sense.ipynb
26. 作物・土地被覆タスク 3時点の衛星画像から、 作物・土地被覆をピクセル単位で推定 T0・T1・T2：同じ場所を異なる日時に観測したHLS画像 Ground Truth Mask：正解の作物・土地被覆ラベル Predicted Mask：Prithvi-EO-2.0による推定結果 色：トウモロコシ、大豆、綿花、水域などの13クラス 異なる季節の画像を組み合わせることで、見た目が似た作物も時系列変化から識別 出典：NASA IMPACT, Prithvi-EO-2.0, https://github.com/NASA-IMPACT/Prithvi-EO-2.0/blob/main/examples/example_multitemporalcrop.ipynb
27. 生態系動態：AGB推定 AGB（Above Ground Biomass）とは 地上部バイオマス。樹木の幹・枝・葉など、地上に存在する植物体の量を表す指標。 森林の炭素蓄積量や生態系状態の把握に重要。 森林がどれだけ炭素を蓄えているかを、衛星時系列データから推定するタスク 出典：Szwarcman et al.（2026）Prithvi-EO-2.0, Table III / Sec. III-C.4. 炭素蓄積量 ：MoGIST: 地理空間情報技術ミュージアム https://mogist.kkc.co.jp/word/b1033ed8-f0fd-4cdc-9cb1-a213883fa7f6.html
28. GPP推定：衛星画像＋環境変数から生態系生産量推定 GPP（Gross Primary Productivity）とは 植物が光合成によって固定する炭素量。 森林・草地・農地などの 生産力や生育状況を表す重要な指標。 Fig.5: フラックス観測サイトにおけるGPP予測のために、Prithvi-EO-2.0をファインチューニングするワークフロー。 モデルは2つの分岐から構成される。1つ目は、凍結したPrithvi EncoderによってHLS画像の埋め込み特徴を生成し、 その後、簡単なデコーダーで処理する分岐である。2つ目は、畳み込み層によってMERRA-2の大気および陸面変数を特徴 量へ変換する分岐である。 デコーダーの出力と、畳み込み処理されたMERRA-2の出力を結合し、最後に線形層で処理することでGPPを予測する。 衛星画像の空間特徴と気象・環境条件を統合し、植生の生産力を推定 出典：Szwarcman et al.（2026）Prithvi-EO-2.0, Fig 5. GPP定義参考： NASA https://lpvs.gsfc.nasa.gov/GPP-NPP/GPPNPP_home.html
29. 結果 29 This image was generated by ChatGPT
30. GEO-Bench総合結果 • 総合性能 Prithvi-EO-2.0-600M-TL / 600M が 全12タスクで最高水準 • 分類タスク DOFAと並び、Prithvi-EO-2.0-600M系 が上位 • セグメンテーション Prithvi-EO-2.0-600M-TL / 600M が 最上位 • 旧モデルから改善 全てのPrithvi-EO-2.0が Prithvi-EO-1.0を上回る Fig6：GEO-Benchにおける集約性能。 (a) 全GEO-Benchデータセット、(b) 全分類タスク、 (c) 全セグメンテーションタスクの 結果を示す。Prithvi-EO-2.0モデルは 青色で強調表示されている。 モデル規模の拡大と時刻・位置情報の導入により、 GEO-Bench全体で高い汎用性能を確認 出典：Szwarcman et al.（2026）Prithvi-EO-2.0, Fig. 6. 30
31. GEO-Bench結果考察 4つの考察 • 大規模データの効果 Prithvi-EO-2.0-100Mは、 同じ構造の Prithvi-EO-1.0-100M より総合スコアが 約3%向上 • モデルサイズの効果 300Mより600Mモデルが高性能 • TL埋め込みの効果 時刻・位置情報を使う TLモデルが全体的に良好 • 高解像度タスクへの転移 30mで事前学習したにもかかわらず 0.1〜15m級のタスクにも適応 Fig.7：GEO-Benchにおける全モデルの性能分布。10回の反復実験から得られた、 (a) 分類タスクのAccuracy（m-BigEarthNetのみF1スコア）と、 (b) セグメンテーションタスクのmIoUの分布を示す。 データ規模・モデル規模・時刻位置情報が、汎用的なEO性能向上に寄与 出典：Szwarcman et al.（2026）Prithvi-EO-2.0, Fig. 7. 31
32. 災害対応結果 • 洪水・火災・地滑りで、 Prithvi-EO-2.0は既存モデルを 上回る傾向 • 地滑りでは、50画像のみの 少量学習でもU-Netより安定 • 焼失強度は難しいが、 U-Netより高いmIoU 災害対応タスクでも、 大規模事前学習による 汎用的な特徴表現が有効 Fig. 8：Landslide4Senseのセグメンテーション比較 出典：Szwarcman et al.（2026）Prithvi-EO-2.0, Tables IV–VIII / Fig. 8. 32
33. 作物・土地被覆結果 • 米国・欧州・フランスの作物系タスクでPrithvi-EO-2.0が高性能 • 特に600Mモデルが最も安定して強い • 4時点で事前学習したモデルでも、12時点や20時点の入力に対応 • 少量データ条件でも既存モデルより性能低下が小さい 作物・土地被覆タスクでは、マルチテンポラル事前学習が季節変化の識別に有効 出典：Szwarcman et al.（2026）Prithvi-EO-2.0, Tables IX–XII 33
34. AGB結果：光学時系列のみで健闘、SAR融合には課題 ** Prithviでは、4時点より12時点の Sentinel-2入力が高性能 ** Prithviの最高性能は、 Sentinel-2・12時点＋LoRAのRMSE 33.40 ** Sentinel-1 SARを追加しても、 今回の方法では性能が改善しなかった ** SARと光学を用いる専用Baselineの RMSE 27.49には届かなかった BASELINEは、BioMasstersデータチャレンジの優勝モデル ** 学習データを20%まで減らしても RMSEは34.89 ** 5%・348画像でもRMSE 38.06を維持 ** 大規模事前学習により、 少量のAGB正解データでも一定の転移性能を示した Fig. 10：AGB予測マップの定性的比較 Prithviは光学時系列でAGB推定に 適応できるが、森林構造を捉える SARとの本格的な融合は今後の課題 出典：Szwarcman et al.（2026）Prithvi-EO-2.0, Tables XIII–XIV / Figs. 9–10 Fig. 9：予測値と観測値の散布図 34
35. GPP結果：Prithvi-EO-2.0-600M-TLが最高性能 • 600M-TLが全体で最も高いR² • RF / XGBoostより最大約20%改善 • 植生指数を明示的に入れなくても高性能 • 空間特徴＋時刻・位置情報がGPP推定に有効 Prithvi-EO-2.0は、衛星画像の空間特徴と環境変数を統合し、 生態系の生産力を高精度に推定 出典：Szwarcman et al.（2026）Prithvi-EO-2.0, Table XV / Fig. 11. Fig.11 Leave-one-year-outで、 2018〜2021年を順にテスト年として評価。 35
36. まとめ 36 This image was generated by ChatGPT
37. まとめ • マルチテンポラル性が有効 季節変化・長期変化を扱うタスクで強み • TL埋め込みが性能向上に寄与 時刻・位置情報を使うモデルが全体的に高性能 • 大規模事前学習の効果 420万時系列サンプルにより、幅広いタスクへ転移 • 少量データにも比較的強い 地滑り・AGBなどで、少ない教師データでも性能を維持 • 実用化しやすい公開モデル Hugging Face・TerraTorchで利用可能 • 課題 AGBではSARを単純に追加しても改善せず、光学＋SARの融合方法に課題 Prithvi-EO-2.0は、時空間情報を活用する汎用的なEO基盤モデルとして有効。 ただし、異種センサー融合は今後の重要課題。 37
38. 参考文献 38 This image was generated by ChatGPT
39. 参考文献 • • • Szwarcman, D., Roy, S., Fraccaro, P., Gíslason, Þ. E., Blumenstiel, B., Ghosal, R., de Oliveira, P. H., de Sousa Almeida, J. L., Sedona, R., Kang, Y., Chakraborty, S., Wang, S., Gomes, C., Kumar, A., Gaur, V., Truong, M., Godwin, D., Khallaghi, S., Lee, H., … Moreno, J. B. (2026). Prithvi-EO-2.0: A versatile multi-temporal foundation model for Earth observation applications. arXiv. https://doi.org/10.48550/arXiv.2412.02732 • • NASA IMPACT. (n.d.). Example_landslide4sense.ipynb [Jupyter notebook]. https://github.com/NASA-IMPACT/Prithvi-EO-2.0/blob/main/examples/example_landslide4sense.ipynb • • NASA IMPACT. (n.d.). Example_multitemporalcrop.ipynb [Jupyter notebook]. https://github.com/NASA-IMPACT/Prithvi-EO-2.0/blob/main/examples/example_multitemporalcrop.ipynb • 国際航業株式会社. (2015年10月23日). 炭素蓄積量. 地理空間情報技術ミュージアム. https://mogist.kkc.co.jp/word/b1033ed8-f0fd-4cdc-9cb1-a213883fa7f6.html • • National Aeronautics and Space Administration. (2025, July 17). Focus area on gross/net primary production product validation. CEOS Land Product Validation Subgroup. https://lpvs.gsfc.nasa.gov/GPP-NPP/GPPNPP_home.html • ※MoGISTのページは、厳密にはAGBそのものの定義ではなく、森林の炭素蓄積量と地上部バイオマスの関係を説明する参考資料です。