Adaptive fusion of multi-modal remote sensing data for optimal sub-field crop yield prediction

本資料はSatAI.challengeのサーベイメンバーと共に作成したものです。
SatAI.challengeは、リモートセンシング技術にAIを適用した論文の調査や、より俯瞰した技術トレンドの調査や国際学会のメタサーベイを行う研究グループです。speakerdeckではSatAI.challenge内での勉強会で使用した資料をWeb上で共有しています。
https://x.com/sataichallenge
紹介する論文は、「Adaptive fusion of multi-modal remote sensing data for optimal sub-field crop yield prediction」です。 本研究では、作物予測タスクにおいて、複数モダリティの重み付けをデータごとに動的に切り替えることで、天候や地域特性に応じた柔軟な予測を可能にするMulti‑Modal Gated Fusion（MMGF）手法を提案。従来の単一モダリティモデルや静的融合手法では達成できなかった一貫した性能向上と高い解釈性を実証した。

Transcript

1. Adaptive fusion of multi-modal remote sensing data for optimal sub-field
 crop yield prediction
 藤野倫太郎
 1 Francisco Mena et al. (2025), “Adaptive fusion of multi-modal remote sensing data for optimal sub-field crop yield prediction”, Remote Sensing of Environment. より引用
2. 目次 
 2 • 自己紹介スライド
 • 研究の1ページサマリ紹介 
 • 研究の背景（Introduction） 
 • 手法について（Method） 
 • 実験（Experimet）
 • 結論（Conclusion）

3. 3 自己紹介 This image was generated by ChatGPT
4. 藤野 倫太郎 東京理科大学大学院　創域理工学専攻　社会基盤工学研究科　修士1年 　 - 東京理科大学　水理研究室所属 　　- AcademiX(AIを学びたい学生が集まるコミュニティ)の運営メンバー 　　- 未踏アドバンス(2023) 野球の動作解析アプリの開発 研究テーマ ：河川橋梁洗掘(実験・混相流の数値計算) 自己紹介 4 興味のある分野：数値計算 　　　　　　　　人工知能全般(距離学習、GNN、サロゲートモデル) リモートセンシング(ハイパースペクトル等)
5. Adaptive fusion of multi-modal remote sensing data for optimal sub-field crop yield prediction 
 5 異なるリモートセンシングデータをデータごとに適応的に融合するMMFGの提案 
 Francisco Mena et al. (2025), “Adaptive fusion of multi-modal remote sensing data for optimal sub-field crop yield prediction”, Remote Sensing of Environment. より引用 • 作物予測は、様々な要因に起因してお り、リモートセンシングデータの複数モ ダリティを用いた予測が注目されている 
 • 天候や地域特性に応じて、柔軟にモダ リティの寄与度をデータごとに変化させ られるMMFG(Multi-Modal Gated Fusion)手法を提案
 • 単一モダリティやstatic fusion(静的な 融合)では得られない一貫した性能と解 釈性があることを示した
 MMFGのアーキテクチャ
6. 6 背景 This image was generated by ChatGPT
7. • 作物量予測は農業において重要であるが、多様な要因(土壌、天候、等)に依存し困難 
 • 近年の技術の発達により、リモートセンシング(RS)により、様々なデータ(気象・地形・土壌など)が得ら れるが、融合が難しい
 • 従来の静的融合(static fusion)では、すべてのデータを同じ重みで扱ってしまい、予測精度が限られ る
 
 Introduction 
 7 従来のstatic fusion Input-level concatenation 
 特徴を単純に結合（concatenate）し、1つの入力ベクトルとして機械学習モデルへ入力 Feature-level fusion in neural networks 
 複数モダリティの中間特徴を結合（concatenation）や平均（average）で融合し、最終層へ渡す モダリティの有用性は 作物の種類や地域、時期によって変動 
 適応的な融合(adavtive fusion) が必要 Francisco Mena et al. (2025), “Adaptive fusion of multi-modal remote sensing data for optimal sub-field crop yield prediction”, Remote Sensing of Environment. より引用
8. 8 手法 This image was generated by ChatGPT
9. 作物収穫量を10m解像度で予測するために、データごと に特徴量の重み を調整し融合する MMFG(Multi-Modal Gated Fusion) を提案した
 
 大きく分けて以下の手順 
 • Spatial alignment 各モダリティには異なる解像度があるため、それを衛星画像データの解像度(19m/pixel)にそろえる 
 • Feature-level learning 各モダリティに対して、専用のエンコーダを用いて、特徴量を取得 
 • Gated Fusion データごとに特徴量ごとの重みを用意し、その加重和で最終表現を取得 
 
 Method 
 9 Francisco Mena et al. (2025), “Adaptive fusion of multi-modal remote sensing data for optimal sub-field crop yield prediction”, Remote Sensing of Environment. より引用
10. Spatial alignment 各モダリティには異なる解像度があるため、それを衛星画像データの解像度(10m/pixel)にそろえる 
 • DEM(土地標高)と土壌で0タは スプライン補完によって、10m補完に変換 
 • 気象データはフィールドの 代表値をすべてのpixelに適用 
 
 Method 
 10 Francisco Mena et al. (2025), “Adaptive fusion of multi-modal remote sensing data for optimal sub-field crop yield prediction”, Remote Sensing of Environment. より引用
11. 特徴量抽出 (Feature-level learning) 各モダリティに対して、専用のエンコーダを用いて、固定長の高次元表現(128次元)を取得 
 Method 
 11 • 動的データ(時系列：衛星画像・気象) LSTMやAttention poolingを用いて、時系列から1つのベクトルを 抽出
 
 • 静的データ(土壌・地形) MLP(多層パーセプトロン)で処理し、128次元の表現を取得 
 Francisco Mena et al. (2025), “Adaptive fusion of multi-modal remote sensing data for optimal sub-field crop yield prediction”, Remote Sensing of Environment. より引用
12. ゲート機構による適応的融合(Gated Fusion) データごとに特徴量レベルごとの重みを用意し、その加重和で最終表現を取得 
 
 Method 
 12 point • モデルはデータごと にどのモダリティに注目するかを自動的に 調整する
 Ex) 雲で覆われたピクセルに対しては、 
 ▪ モデルは衛星画像の重みを下げて、他のモダリティの重みを 上げる
 ▪ 雲のないピクセルでは、光学モダリティに高い重みを与え、残 りのモダリティに補完的に重みを分配する 
 Francisco Mena et al. (2025), “Adaptive fusion of multi-modal remote sensing data for optimal sub-field crop yield prediction”, Remote Sensing of Environment. より引用
13. 全体像
 Method 
 13 Francisco Mena et al. (2025), “Adaptive fusion of multi-modal remote sensing data for optimal sub-field crop yield prediction”, Remote Sensing of Environment. より引用
14. 14 実験 This image was generated by ChatGPT
15. 正解データ 
 • 予測対象作物(多様性の確保) 　アルゼンチン(大豆),ウルグアイ(大豆), 　ドイツ(菜種・小麦)の収穫量 
 • サブフィールドレベル(10m解像度)で予測 
 • 異常値は収穫量、水分量などをもとに削除 
 
 予測に用いるデータ(種植えー収穫までのデータ) 
 
 
 
 
 
 
 Experiment 
 15 Francisco Mena et al. (2025), “Adaptive fusion of multi-modal remote sensing data for optimal sub-field crop yield prediction”, Remote Sensing of Environment. より引用
16. Experiment 
 16 クロスバリデータション 
 • 10-fold Stratified Group K-fold(農場・フィールド単位で分割) 　リークの排除：1つのフィールド内のすべてのピクセルは、訓練データか検証データのいずれか一方にの　 
 　み使用される
 • 各foldでピクセルごとの予測、フィールド平均の予測を評価 
 比較モデル 
 IF Input-level　(得られた特徴量をconcat) Fusion Pathak et al.(2023)により提案 
 • LSTM • LSTM-IF • GBDT-IF(時系列データを時系列方向にフラット化してベクトルにしたものを入力) 
 
 Francisco Mena et al. (2025), “Adaptive fusion of multi-modal remote sensing data for optimal sub-field crop yield prediction”, Remote Sensing of Environment. より引用
17. • サブフィールド(10m解像度)レベルでの評価 
 
 Experiment 
 17 Pixelごとに推定 することの難しさ を示唆 Francisco Mena et al. (2025), “Adaptive fusion of multi-modal remote sensing data for optimal sub-field crop yield prediction”, Remote Sensing of Environment. より引用 ✔ 他の手法に比べて高い、同等の精度を達成 Multi Modal Learning の有効性 • フィールレベルでの評価 

18. • 本手法とLSTM-IFとの定性的な比較
 
 
 
 
 
 Experiment 
 18 ✔ MMGFの方が性能が良いことがわかる(LSTM-IFは収量を全体的に過大に予測する 傾向) ✔ フィールド内での収穫量のばらつきを学習している Francisco Mena et al. (2025), “Adaptive fusion of multi-modal remote sensing data for optimal sub-field crop yield prediction”, Remote Sensing of Environment. より引用
19. • 特徴量レベルの融合重みの分析
 *fold,データセットごとの平均を利用
 
 
 
 
 Experiment 
 19 ✔ 各foldごとで必ずしも重みが一致しない 各foldごとに含まれる地域が異なる ✔ 作物、場所によって注目している特徴量が異なる→動的に注目している箇所を変化 Francisco Mena et al. (2025), “Adaptive fusion of multi-modal remote sensing data for optimal sub-field crop yield prediction”, Remote Sensing of Environment. より引用
20. • モデルごとにのモダリティの組み合わせによる結果の変化
 
 
 
 
 
 Experiment 
 20 ✔ MMGFでは、4つのモダリティを用いた場合 が高い性能を示す ✔ 他のfusion手法では、精度が低下することがある Francisco Mena et al. (2025), “Adaptive fusion of multi-modal remote sensing data for optimal sub-field crop yield prediction”, Remote Sensing of Environment. より引用
21. • 雲の度合いと精度の関係
 
 
 
 Experiment 
 21 ✔ 多の手法では、雲が多いと精度悪化
 ✔ データごとで適応することで、性能を維持 Francisco Mena et al. (2025), “Adaptive fusion of multi-modal remote sensing data for optimal sub-field crop yield prediction”, Remote Sensing of Environment. より引用 他の手法は大きく 性能が悪化 性能を維持
22. 22 結論 This image was generated by ChatGPT
23. ✔ マルチモダリティをデータごとに特徴量の重みを調整し融合する手法(MMGF)を提案
 ✔ すべてのモダリティを使ったときにMMGFは最良の予測性能を達成
 ✔ 静的な融合では精度の低下がみられるが、MMGFでは適応的に融合するため、一貫した 性能があることや解釈性がある
 
 
 
 
 Conclusion 
 23