Pretrain Where? Investigating How Pretraining Data Diversity Impacts Geospatial Foundation Model Performance

本資料はSatAI.challengeのサーベイメンバーと共に作成したものです。
SatAI.challengeは、リモートセンシング技術にAIを適用した論文の調査や、より俯瞰した技術トレンドの調査や国際学会のメタサーベイを行う研究グループです。speakerdeckではSatAI.challenge内での勉強会で使用した資料をWeb上で共有しています。
https://x.com/sataichallenge

本研究では、リモートセンシング分野向けAIエージェント「RS-Agent」を提案し、複数の専門ツールとドメイン知識を統合することで、複雑な衛星画像解析タスクを自律的に実行可能としています。Task-Aware Retrievalによりタスク推論に基づく適切なツール選択を実現し、DualRAGによってリモートセンシング特有の専門知識を高精度に検索・活用しています。実験では、9データセット・18タスクにおいて既存のMLLMベース手法を上回る性能を達成し、95%以上の高いタスク計画精度を示されました。

Transcript

1. Pretrain Where? Investigating How Pretraining Data Diversity Impacts Geospatial Foundation Model Performance [CVPR2026 Workshop EARTH VISION] 平出 尚義 1 第29回 SatAI.challenge勉強会
2. 目次 2 • 自己紹介スライド • 論文サマリ • 背景 • 目的 • 手法 • 実験 • 結論
3. 3 著者紹介 This image was generated by ChatGPT
4. 4 2年目
5. 5 論文サマリ This image was generated by ChatGPT
6. Pretrain Where? 6 事前学習データの “場所” は下流性能にどれほど効くのか？ 問い：RSFMでは，モデル構造だけでなく，どこから事前学習データを取ったかが性能差を生むのでは？  事前学習のデータ分布だけを変更し，同じモデル (SatMAE)・同じ評価で比較  事前学習データの中で，何が精度に効くのか？を調査 結果：スペクトルの多様性が最も精度に相関する (スピアマンの相関係数 0.845). 主張：事前学習データ設計を定量的に見るべき Kaur et. al. (2026) “Pretrain Where? Investigating How Pretraining Data Diversity Impacts Geospatial Foundation Model Performance” (https://arxiv.org/pdf/2604.21104), CVPR2026 Workshop EARTHVISION, より引用
7. 7 Introduction: 背景 This image was generated by ChatGPT
8. 背景：衛星基盤モデルの基本ワークフロー 5 Pretraining 大量のS2/SAR等 ラベルなしデータ Representation 汎用的な特徴表現 ViT / MAE / contrastive Downstream 少量ラベルでfine-tune classification / segmentation  近年のRSFMは，大量のラベルなし衛星画像で事前学習し，下流タスクに適応する流れが一般的  下流タスク：土地被覆，作物分類，洪水，人口推定，バイオマス推定，セグメンテーションなど… 重要： 下流性能はモデルの良さ，埋め込み表現の良さだけではなく事前学習データの良さにも大きく依存 Kaur et. al. (2026) “Pretrain Where? Investigating How Pretraining Data Diversity Impacts Geospatial Foundation Model Performance” (https://arxiv.org/pdf/2604.21104), CVPR2026 Workshop EARTHVISION, より引用
9. 背景：事前学習データが下流性能に効くことは既に議論されている 7 In-domain SSL （Self Supervised Learning） RS画像で自己教師あり事前学習すると、一般的な画像データセットよりも下流タスク性能アップ RSP / domain gap 自然画像とリモセン画像のギャップを踏まえ、RS専用事前学習が提案されてきた。 Data diversity in SSL データ多様性・データソース・下流タスクとの近さが、転移性能を左右する。 GeoFM sampling 地理・バイオーム・土地被覆など、サンプリング戦略そのものが研究対象に。 Pretrain Where? 論文の位置づけ： 「大陸別の事前学習データ」という制御実験で検証した Kaur et. al. (2026) “Pretrain Where? Investigating How Pretraining Data Diversity Impacts Geospatial Foundation Model Performance” (https://arxiv.org/pdf/2604.21104), CVPR2026 Workshop EARTHVISION, より引用
10. 背景：既存RSFMの事前学習データの取り方はバラバラ 6  現在，180以上のGeoFMが存在している。(主著者談。)  多くのRSFMは，新しいモデル構造と同時に，新しい事前学習データセットも導入している。  事前学習データセットにもそれぞれの設計思想が色濃く反映されている。 問題提起： 事前学習済みデータセットが違えば，下流タスクの性能差がモデルの差なのか，データの差なのかよくわからない。 都市中心，土地被覆のバランス バイオームのバランス，全球グリッドなど， サンプリング方針がバラバラ Kaur et. al. (2026) “Pretrain Where? Investigating How Pretraining Data Diversity Impacts Geospatial Foundation Model Performance” (https://arxiv.org/pdf/2604.21104), CVPR2026 Workshop EARTHVISION, より引用
11. 課題：モデル性能差の原因が切り分けられていない 9 よくある比較 Model A + Dataset A vs Model B + Dataset B → 性能差がモデル由来かデータ由来か分からない この論文の発想 Model と評価方法を固定 Dataset distribution だけ変える → 事前学習データの効果を直接見る 問題提起： 事前学習済みデータセットが違えば，性能さがモデルの差なのか，データの差なのかよくわからない。 課題と発想はシンプルだが，実際にやるのは結構大変。。。 Kaur et. al. (2026) “Pretrain Where? Investigating How Pretraining Data Diversity Impacts Geospatial Foundation Model Performance” (https://arxiv.org/pdf/2604.21104), CVPR2026 Workshop EARTHVISION, より引用
12. 課題：モデル性能差の原因が切り分けられていない 9 問題提起： 事前学習済みデータセットが違えば，性能さがモデルの差なのか，データの差なのかよくわからない。 論文の冒頭で紹介があったので，ここで紹介 左：事前学習データのsource continent を変更 したときの性能 右：Globalデータセットのまま， Learning Rate を変えたときの性能 事前学習データセットによって 性能は大きく変わる。 RSFM比較では必ず明示・統制すべき Kaur et. al. (2026) “Pretrain Where? Investigating How Pretraining Data Diversity Impacts Geospatial Foundation Model Performance” (https://arxiv.org/pdf/2604.21104), CVPR2026 Workshop EARTHVISION, より引用
13. 13 Objective This image was generated by ChatGPT
14. 本論文の4つの目的 9  事前学習データの空間分布が下流性能に与える影響を体系的に検証する  事前学習地域と下流タスク地域を一致させることが本当に最適かを検証する - ヨーロッパの下流タスクにはヨーロッパで事前学習したモデルが最適だろうという暗黙の了解 が本当に正しいのか？  良い事前学習データを説明する指標を調べる  再現可能なデータセット・モデル・実験フレームワークを公開する Kaur et. al. (2026) “Pretrain Where? Investigating How Pretraining Data Diversity Impacts Geospatial Foundation Model Performance” (https://arxiv.org/pdf/2604.21104), CVPR2026 Workshop EARTHVISION, より引用
15. 15 Method This image was generated by ChatGPT
16. 実験：全体パイプライン 13 Figure adapted from Kaur et al. 2026 / GitHub: kerner-lab/pretrain-where 大陸別のデータで事前学習を実施し，global/ local downstream taskで評価 図：パイプライン a : 空間分布の異なる事前学習データセットを作る b : それぞれのデータセットで同じモデル (SatMAE) を事前学習する c : 複数の下流タスクで ファインチューニングする d : 下流性能で事前学習データセットを順位付けする，その性能差を説明する。 Kaur et. al. (2026) “Pretrain Where? Investigating How Pretraining Data Diversity Impacts Geospatial Foundation Model Performance” (https://arxiv.org/pdf/2604.21104), CVPR2026 Workshop EARTHVISION, より引用
17. 実験：全体パイプライン 13 a : 空間分布の異なる事前学習データセットを作る  地球上のデータを group に分ける。南極は除外。 G = {Asia, Africa, Europe, North America, South America, Oceania} 各サンプルをxとすると，xはどこか1つの大陸に属すると考える。 データセットを作るときに， 各大陸からどの割合でサンプルを取るかをallocation vectorで制御 (Σは1になる) 例：Asiaからサンプルを取る際 One-hot-Asia: α = (1, 0, 0, 0, 0, 0) Globalでサンプルを取得する際 Global: α = (1/6, 1/6, 1/6, 1/6, 1/6, 1/6) 7つの条件を設定 One-hot Asia, Africa, Europe, North America, South America, Oceania, Global, Zero-pretraining Kaur et. al. (2026) “Pretrain Where? Investigating How Pretraining Data Diversity Impacts Geospatial Foundation Model Performance” (https://arxiv.org/pdf/2604.21104), CVPR2026 Workshop EARTHVISION, より引用
18. 実験：全体パイプライン 13 a : 空間分布の異なる事前学習データセットを作る データ取得の条件諸々 (supplementaryに記載アリ) ・ QGISで大陸ポリゴンを読み込む ・ 各大陸内で random points in polygon によるランダム点生成 ・ その緯度経度を中心にSentinel-2画像を Microsoft Planetary Computer から取得 ・ 雲量は最大 20 ％に制限 ・ 2024年の画像を使用 ・ 最終的に 700k 点セットを事前学習，20k をvalidation用に ・ mean/std を計算した上で，標準化した保存 Sentinel-2データについて ・ 画像サイズ 96×96 px ・ バンド数 10 (B2, B3, B4, B5, B6, B7, B8, B8A, B11, B12) RESTEC 衛星総覧より Kaur et. al. (2026) “Pretrain Where? Investigating How Pretraining Data Diversity Impacts Geospatial Foundation Model Performance” (https://arxiv.org/pdf/2604.21104), CVPR2026 Workshop EARTHVISION, より引用
19. 実験：全体パイプライン 13 b : それぞれのデータセットで同じモデル (SatMAE) を事前学習する Supplementary より • 事前学習は SatMAE ViT-Base SatMAE (Yezhen et.al. NeurIPS2022), https://arxiv.org/pdf/2207.08051 Kaur et. al. (2026) “Pretrain Where? Investigating How Pretraining Data Diversity Impacts Geospatial Foundation Model Performance” (https://arxiv.org/pdf/2604.21104), CVPR2026 Workshop EARTHVISION, より引用
20. 実験：全体パイプライン 13 c : 複数の下流タスクでファインチューニングする Dataset Task Description Evaluation Purpose FMoW-Sentinel Classification Sentinel-2画像から 施設・土地利用カテ ゴリを分類 事前学習表現がシ ーン分類に有効かを 評価 MOSAIKS Population Density Regression 衛星画像から人口密 度を推定 連続値推定タスクへ の転移性能を評価 ForTy Semantic Segmentation 土地被覆を8クラス に分類 ピクセル単位の土地 被覆分類性能を評 価 GEO-Bench Classification / Segmentation Sentinel-2を含む複 数の地理空間ベンチ マーク 複数タスクに対する 汎用的な転移性能を 評価 Subsetとして，Globalで評価するか，あるgroupだけで評価するのかのオプションあり ファインチューニングは Full fine-tuningではなく，linear probingが中心。 ※事前学習済み SatMAE のencoderを固定して，headだけを学習する手法。 Kaur et. al. (2026) “Pretrain Where? Investigating How Pretraining Data Diversity Impacts Geospatial Foundation Model Performance” (https://arxiv.org/pdf/2604.21104), CVPR2026 Workshop EARTHVISION, より引用
21. 21 Experiment/ Result This image was generated by ChatGPT
22. 結果：Europe-only が Global を上回る 16 • FMoW: Europe 0.33 vs Global 0.23 • MOSAIKS: 0.23 vs 0.17 • ForTy: 0.37 vs 0.35 • GEO-Bench: 0.51 vs 0.46  Source continent の違いだけで，性能が大きく変化していることが分かる。  Global より単一大陸の事前学習データの方が強い場合が多い。(あくまで今回の実験の場合。)  Europe が最も下流タスクの性能が高い。 Kaur et. al. (2026) “Pretrain Where? Investigating How Pretraining Data Diversity Impacts Geospatial Foundation Model Performance” (https://arxiv.org/pdf/2604.21104), CVPR2026 Workshop EARTHVISION, より引用
23. アブレーション 16 Head (linear probing) ではなく， kNN と Full fine-tuning での性能比較 事前学習データの分布の差が， モデル側をいじっても明確に残る。 Kaur et. al. (2026) “Pretrain Where? Investigating How Pretraining Data Diversity Impacts Geospatial Foundation Model Performance” (https://arxiv.org/pdf/2604.21104), CVPR2026 Workshop EARTHVISION, より引用
24. 結果 (FMoWデータセットを用いた性能比較行列) 16  Europe pretraining が多くの列で上位。  “同じ大陸で事前学習するのが良い” という仮説は成立しない！？？？ FMoW での評価 Kaur et. al. (2026) “Pretrain Where? Investigating How Pretraining Data Diversity Impacts Geospatial Foundation Model Performance” (https://arxiv.org/pdf/2604.21104), CVPR2026 Workshop EARTHVISION, より引用
25. 参考 (Supplementary) : ForTy, MOSAIKSの場合 16 ForTy MOSAIKS Kaur et. al. (2026) “Pretrain Where? Investigating How Pretraining Data Diversity Impacts Geospatial Foundation Model Performance” (https://arxiv.org/pdf/2604.21104), CVPR2026 Workshop EARTHVISION, より引用
26. 結果：fine-tuning dataを増やしても pretraining 差は消えない 17 Kaur et al. 2026, Fig.3–4 / Sec.4.2–4.3 / Discussion  FMoWで full finetuning 5k subset dataset と 700k dataset を比較  700k の方が分散は小さくなるが， 性能差は以前残ったままである。 (影響は少なくなる傾向)  事前学習で得た初期表現の差を 完全にはFTで吸収できていない。 Kaur et. al. (2026) “Pretrain Where? Investigating How Pretraining Data Diversity Impacts Geospatial Foundation Model Performance” (https://arxiv.org/pdf/2604.21104), CVPR2026 Workshop EARTHVISION, より引用
27. 結果：Spectral diversity が下流性能と強く相関 18  どのような性質を持つ事前学習データセットが下流性能を高めるのか？？  使用データセット - 著者作成：Asia, Africa, Europe, North America, South America, Oceania, Global - 既存データセット: FMoW, SSL4EO-S12, SSL4Eco (追加) 横軸は Shannon entropy スペクトル値の分布の複雑さが下流性能と強く関係していることが分かる。 Kaur et. al. (2026) “Pretrain Where? Investigating How Pretraining Data Diversity Impacts Geospatial Foundation Model Performance” (https://arxiv.org/pdf/2604.21104), CVPR2026 Workshop EARTHVISION, より引用
28. 28 議論/まとめ This image was generated by ChatGPT
29. 議論：Europe samplesは平均 spectral entropy が高い 18  Europe-only が強い理由は サンプル内の複雑さが高いことに起因している 可能性を示唆。 たしかにアフリカは一面砂漠，一面森林のように 均質なスペクトルをしている  あくまで相関があるだけで 現時点では因果を証明できているわけではない Kaur et. al. (2026) “Pretrain Where? Investigating How Pretraining Data Diversity Impacts Geospatial Foundation Model Performance” (https://arxiv.org/pdf/2604.21104), CVPR2026 Workshop EARTHVISION, より引用
30. 議論 (未検証) 18  アーキテクチャを変えるとどうなるかは未検証  Pretrainingの計算コストが高く，サンプリングに制限あり  Spectral diversity が良い指標であるが，より多くのdatasetでの検証が必要  Europeの性能とspectral diversityは強い相関があるが，spectral diversityを上げれば 必ず性能が上がるとまでは言えない  下流タスクごとに必要な多様性は異なる可能性。 Kaur et. al. (2026) “Pretrain Where? Investigating How Pretraining Data Diversity Impacts Geospatial Foundation Model Performance” (https://arxiv.org/pdf/2604.21104), CVPR2026 Workshop EARTHVISION, より引用
31. まとめ 18 現状：RSFMではモデル構造と新規の事前学習データセットが同時に提案をされがち データ分布・サンプリング方針は研究毎に異なる。 課題：性能向上かアーキテクチャ由来か，データセット由来かわからない。 目的：同一モデル・同一手順でデータ分布を変えて下流タスクの性能評価 実験：SatMAEを7つの条件で比較。FMoW, MOSAIKS, ForTy, GEO-Benchで評価 結果：Europe-only が多くで一位に。Finetuningのデータセットやモデル学習を変えても同様の傾向 まとめ：事前学習データのSpectral entropyが下流タスクの性能と強く相関する。 データセットの選定，大事！！という論文でした。 Kaur et. al. (2026) “Pretrain Where? Investigating How Pretraining Data Diversity Impacts Geospatial Foundation Model Performance” (https://arxiv.org/pdf/2604.21104), CVPR2026 Workshop EARTHVISION, より引用