SSII2025 [TS2] リモートセンシング画像処理の最前線

Transcript

1. リモートセンシング画像処理の最前線 〜地球規模の課題解決に向けて〜 1 2025.5.29 横⽮ 直⼈（東京⼤学）
2. ⾃⼰紹介 • 横⽮ 直⼈ ◦ 東京⼤学 ⼤学院新領域創成科学研究科 教授 ◦ 理化学研究所 ⾰新知能統合研究センター チームディレクター • 略歴 ◦ -2013：東京⼤学 ⼤学院⼯学系研究科 航空宇宙⼯学専攻 博⼠後期課程 ◦ 2013-2017：東京⼤学 ⼤学院⼯学系研究科 助教 ◦ 2015-2017：ドイツ航空宇宙センター・TUM フンボルト研究員 ◦ 2018- ：理化学研究所 ⾰新知能統合研究センター ユニットリーダー/チームディレクター ◦ 2020-2025：東京⼤学 ⼤学院新領域創成科学研究科 講師/准教授 ◦ 2025- ：現職 • 研究分野 ◦ 画像処理 ◦ リモートセンシング • ⽬指すもの：地球規模課題の解決に貢献する視覚情報処理技術の開発 2
3. 本⽇の内容 •リモートセンシングとは •技術の進展 •今後の展望 3
4. 4 Sentinel-2 imagery © ESA 2021-9-29
5. 5 Sentinel-2 imagery © ESA (R,G,B) = (NIR,R,G) Source: https://landsat.gsfc.nasa.gov/wp-content/uploads/2015/06/Landsat.v.Sentinel-2.png
6. 6 Normalized Difference Vegetation Index (NIR-R)/(NIR+R)
7. 7 Normalized Difference Water Index (G-NIR)/(G+NIR)
8. 290 km 変化する世界を、上空から捉える 8 © ESA/ATG Medialab – Used under ESA Standard License l ⾃然災害や環境変動、社会的リスクなど 世界の変化の兆候を捉える必要性 l 地上観測の制約に対して、リモートセン シングは広域・継続的な観測が可能 l ⼈には⾒えない地球の変化を捉え ⾏動につなげるための基盤技術が重要
9. 変化する世界を 上空から捉える Landsat衛星画像の継続的観測 により、世界中の都市化を モニタリング可能 ※ 2008年のLandsat衛星画像の無償 公開によるオープンサイエンスの促進 Dubai, UAE (1988-2017)
10. 変化する世界を 上空から捉える リモートセンシング画像解析 により都市域の特定と定量化 が実現 Dubai, UAE (1988-2017) 0.01 0.015 0.02 0.025 0.03 0.035 1988 1990 1992 1994 1996 1998 2000 2002 2004 2006 2008 2010 2012 2014 2016 Ratio of urban areas Year
11. 変化する世界を 上空から捉える Landsat画像の継続的観測に より、世界中の森林伐採を モニタリング可能 Rondonia, Brazil (1988-2017)
12. 変化する世界を 上空から捉える リモートセンシング画像解析 により森林伐採域の特定と 定量化が実現 Rondonia, Brazil (1988-2017) 0 0.05 0.1 0.15 1988 1990 1992 1994 1996 1998 2000 2002 2004 2006 2008 2010 2012 2014 2016 Ratio of non-forest Year
13. 13 Sentinel-2 imagery © ESA 令和元年台⾵第19号 郡⼭市 被災前（光学衛星） 2019/10/10 2019/10/12
14. 14 Sentinel-2 imagery © ESA 令和元年台⾵第19号 郡⼭市 被災後（光学衛星） 2019/10/15 2019/10/12
15. 15 Sentinel-1 imagery © ESA 令和元年台⾵第19号 郡⼭市 被災前（SAR衛星） 2019/10/6 SAR: 合成開⼝レーダ 2019/10/12 Microwave
16. 16 Sentinel-1 imagery © ESA 令和元年台⾵第19号 郡⼭市 被災後（SAR衛星） 2019/10/13 SAR: 合成開⼝レーダ 2019/10/12 Microwave
17. 17 Sentinel-1 imagery © ESA 令和元年台⾵第19号 郡⼭市 カラー合成 RGB = (10/6,10/13,10/13) 2019/10/12
18. 18 Sentinel-1 imagery © ESA 令和元年台⾵第19号 画像処理による浸⽔域検出 2019/10/12 浸⽔域
19. 19 背景：国⼟地理院標準地図 令和元年台⾵第19号 画像処理による浸⽔域検出 2019/10/12 浸⽔域
20. 20 令和元年台⾵第19号 深層学習による浸⽔深推定 ⇨ 被災者⽀援の効率化 2019/10/12 背景：国⼟地理院標準地図
21. 21 2018/9/28 Earthquake & Tsunami ≈ ≈ 2018年スラウェシ島地震 Palu被災前（光学衛星） 2018/9/17 Sentinel-2 imagery © ESA WorldView-2 imagery © Maxar WorldView-2 imagery © Maxar
22. 22 ≈ ≈ 2018年スラウェシ島地震 Palu被災後（光学衛星） 2018/10/2 2018/9/28 Earthquake & Tsunami Sentinel-2 imagery © ESA WorldView-2 imagery © Maxar WorldView-2 imagery © Maxar
23. 23 ≈ ≈ 2018/9/28 Earthquake & Tsunami 2018年スラウェシ島地震 Palu被災前（SAR衛星） 2018/8/8 RGB = (HH, HV, HH/HV) ALOS-2 imagery © JAXA
24. 24 ≈ ≈ 2018/9/28 Earthquake & Tsunami 2018年スラウェシ島地震 Palu被災後（SAR衛星） 2018/10/3 RGB = (HH, HV, HH/HV) ALOS-2 imagery © JAXA
25. 25 ≈ ≈ ≈ ≈ Destroyed Damaged Possibly damaged 2018/9/28 Earthquake & Tsunami Tsunami Liquefaction B. Adriano, J. Xia, G. Baier, N. Yokoya, S. Koshimura, “Multi-source data fusion based on ensemble learning for rapid building damage mapping during the 2018 Sulawesi Earthquake and Tsunami in Palu, Indonesia,” Remote Sensing, 2019. 2018年スラウェシ島地震 建物被害分類 （機械学習、⾮深層学習） 2018/10/3
26. 地球規模課題へのリモートセンシングの貢献 • 気候変動モニタリング：温室効果ガス・氷床・森林の炭素量の定量化 • 環境モニタリング：森林・⽣態系・⼟地被覆の変化把握 • ⾷料と⽔資源：作物予測・灌漑・⽔循環の観測 • 災害対応：洪⽔・地震・⽕⼭・⼭⽕事の被害把握と早期対応 26 2018年のEU作物種類地図 © DʼAndrimont et al., 2021 R. D’Andrimont et al., “From parcel to continental scale – A first European crop type map based on Sentinel-1 and LUCAS Copernicus in-situ observations,” RSE, 2021. M. Santoro et al., “The global forest above-ground biomass pool for 2010 estimated from high-resolution satellite observations,” ESSD, 2021. SMAP衛星の⼟壌⽔分地図 https://smap.jpl.nasa.gov/ 地上部バイオマス分布図 © Santoro et al., 2021
27. リモートセンシングとは？ 27 ⼤気による 反射・散乱・放射 反射 放射 照射されたレーザや マイクロ波の反射 および散乱 ⼤気中の分⼦や微粒⼦ ⼤気による散乱 および放射 プラット フォーム センサが観測する電磁波 ※本チュートリアルでは、対象を陸域の地表⾯に限定し、⼤気や海洋に関するリモートセンシングは扱いません
28. リモートセンシング：⼈の視覚を超えて 28 Blue Green Red Infrared Visible Ultraviolet 0.1 μm 1 μm 10 μm 100 μm Emitted by Earth Energy Wavelength 0.4 0.5 0.6 0.7 1.1 2.5 NIR SWIR Incoming from Sun 反射 光学センサ Imagery © Maxar Panchromatic Multispectral / Hyperspectral
29. Intensity Interferometric Phase InSAR DEM ERS-1/2 © ESA ERS-1/2 © ESA ERS-1/2 © ESA リモートセンシング：⼈の視覚を超えて 29 Blue Green Red Infrared Visible Ultraviolet 0.1 μm 1 μm 10 μm 100 μm Emitted by Earth Energy Wavelength 0.4 0.5 0.6 0.7 Incoming from Sun Microwave 1 mm 1 cm 10 cm 1 m 後⽅ 散乱 合成開⼝レーダ (SAR) [能動型] Synthetic Aperture Radar (SAR) マイクロ波放射計 (Radiometer) [受動型] 放射 SMAP衛星の⼟壌⽔分地図 https://smap.jpl.nasa.gov/
30. リモートセンシング：⼈の視覚を超えて 30 Infrared Visible Ultraviolet Blue Green Red 0.1 μm 1 μm 10 μm 100 μm Incoming from Sun Emitted by Earth Energy Wavelength 0.4 0.5 0.6 0.7 レーザ計測 (LiDAR) 放射 反射 LiDAR point cloud (IEEE GRSS DFC19) 熱⾚外センサ USGS/NASA Landsat 8 Thermal Imagery
31. ⾼頻度・⾼解像度・多様化時代 31 Source: NASA Earthdata (https://www.earthdata.nasa.gov/) 撮影頻度 種類 重量 基数 GSD Sentinel-1 最⼤1回/6⽇ SAR 2300 2 10 Sentinel-2 最⼤1回/5⽇ Optical 1100 2 10 Worldview-3 最⼤1回/⽇ Optical 2800 1 0.3 Beijing 3C 約5⽇に1回 Optical 1200 1 0.3 Pléiades Neo 最⼤2回/⽇ Optical 920 4 0.3 Capella Space 最⼤4回/⽇ SAR 112 14 0.5 ICEYE 最⼤2回/⽇ SAR 110 36 1 SkySat 最⼤12回/⽇ Optical 110 15 0.5 Umbra 最⼤4回/⽇ SAR 72 6 0.25 Satellogic 最⼤8回/⽇ Optical 42 52 0.7 Planet Doves 最⼤4〜6回/⽇ Optical 5 130 3〜4 定常観測型 タスキング型 • ⾼頻度・⾼解像度・多様なデータが毎⽇ 更新される時代 • ⼩型衛星や商⽤衛星の急増 • ⾃動解析技術がなければ活⽤しきれない
32. New Space×AI×地球規模課題 32 • 社会的・地球的課題に根ざした問題意識と ⾼い社会的意義 • 商⽤⼩型衛星の台頭とオープンデータ政策の 進展により、⼤規模な衛星データが利⽤可能 • 実⽤化に向けたデータ処理・解釈・社会実装 の課題 • 現実世界に役⽴つ新たなソリューションへの 強い期待 ソフト AI 応⽤ 地球規模課題 ハード New Space
33. 通常の画像と異なるリモートセンシング画像の特徴 • 物体が⼩さく⾒えるため、1画素が重要 • センサの⼀貫性がないが、位置情報により統合解析が可能 • 連続性に制約はあるが、時系列での変化把握が可能 • ラベル付きデータの整備コストが⾼い 33
34. 物体が⼩さく⾒えるため、1画素が重要 34 地上撮影画像 国⼟地理院空中写真 https://maps.gsi.go.jp/development/ichiran.html
35. 物体が⼩さく⾒えるため、1画素が重要 35 Sentinel-2衛星画像 (10m GSD) 国⼟地理院空中写真 (0.5m GSD) https://maps.gsi.go.jp/development/ichiran.html
36. センサの⼀貫性がない 36 光学 SAR Sentinel-1 (20 m) ALOS-2 (10 m) COSMO-SkyMed (2 m) Sentinel-2 (10 m) PlanetScope (4 m) WorldView-3 (0.5 m) Sentinel-2 imagery © ESA Sentinel-1 imagery © ESA ALOS-2 imagery © JAXA PlanetScope imagery © Planet Labs Inc. WorldView-3 imagery © Maxar COSMO-SkyMed imagery © ASI
37. 位置情報により統合解析が可能 • 各画素に位置情報がついているため、 異種画像間の重ね合わせが可能 • 地図データ、地上計測、⼈流データなどの位 置情報付きデータとの統合利⽤が可能 37
38. 連続性に制約はあるが、時系列での変化把握が可能 38 https://spacenet.ai/sn7-challenge/
39. ラベル付きデータの整備コストが⾼い • リモートセンシング画像の⽬視判読には時間と専⾨知識が必要 • ⽬視判読不可能なラベルは現地調査が必要 • ⾼解像度衛星画像には再配布制限がある • 航空機による計測は精度が⾼いが⾼コストかつ国内限定 39 ⽬視判読による空撮画像のアノテーション マングローブ林の炭素蓄積量 推定のための現地調査 (photo by Dr. Pham) 🚫 再配布NG
40. 本⽇の内容 •リモートセンシングとは •技術の進展 •今後の展望 40
41. ４つのタスクにおける進展 • 超解像：⾼倍率の単眼超解像、異種画像融合 • セマンティックセグメンテーション：⾼解像度画像への対応 • ⾼さ推定：単眼画像からの⾼さ推定（正規化数値表層モデル） • 変化検出：異種画像からの変化検出 41
42. 超解像技術 • 単眼超解像：1枚の低解像度画像から⾼解 像度画像を推定（例：Sentinel-2の10m GSD を1m GSDに向上） • 複数画像超解像：複数の低解像度画像か ら⾼解像度画像を推定 （例：PROBA-V） • 画像融合に基づく超解像：⾼解像度のガ イド画像を⽤いて低解像度画像を⾼解像 度化（例：Pansharpening） 42 Single-image Super-resolution Image Fusion-based Super-resolution (Pansharpening as an example) Multi-image Super-resolution ...
43. 単眼超解像の例（Sentinel-2） • Sentinel-2の10m GSDを1m GSDに⾼解像度化（例：DigiFarm） 43 https://digifarm.io/
44. 複数画像超解像の例（PROBA-V） 44 M. Märtens, D. Izzo, A. Krzic, and D. Cox, “Super-resolution of PROBA-V images using convolutional neural networks,” Astrodynamics, 2019. F. Salvetti et al., “Multi-image super resolution of remotely sensed images using residual attention deep neural networks,” Remote Sensing, 2020. • PROBA-V：植⽣モニタリングを⽬的としたRedおよびNIRチャンネルの全球観測 • 解像度300mの画像を毎⽇取得、100m解像度の画像は平均5〜6⽇に1回取得可能 • 複数画像超解像のベンチマーク構築を通じて、教師あり⼿法の開発と評価が可能に
45. 画像融合に基づく超解像 45 RGB Low resolution DEM High resolution DEM PAN Low resolution MS High resolution MS ガイド画像 (𝐆) クロスモーダル 超解像 パンシャープン • 逆問題：𝐗と𝐆から𝐘を求める問題 • 教師あり学習は⾼性能だが、リモートセンシングでは教師データの収集が困難 ソース画像 (𝐗) 融合画像 (𝐘)
46. ⾃⼰教師ありクロスモーダル超解像 • いかに教⽰情報を作るかが鍵 46 R.d. Lutio, S. D’Aronco, J.D. Wegner, K. Schindler, “Guided super-resolution as pixel-to-pixel transformation,” ICCV, 2019. G. Shacht, D. Danon, S. Fogel, D. Cohen-Or, “Single pair cross-modality super resolution,” CVPR, 2021 X. Dong, N. Yokoya, L. Wang, and T. Uezato, “Learning mutual modulation for self-supervised cross-modal super-resolution,” ECCV, 2022. ① 解像度を落として⼊出⼒のペアを作成 [CMSR; Shacht+ CVPR21] ② 画像変換として定式化 [P2P; Lutio+ ICCV19] ③ ネットワークの帰納バイアスを活⽤ [MMSR; Dong+ ECCV22] 超解像 Down- sampling 教⽰ 画像 変換 Down- sampling 教⽰ 超解像 教⽰
47. ⾃⼰教師ありクロスモーダル超解像 • 相互変調：異種画像の特徴量間で相互に空間フィルタリングを適⽤ • ソース画像の⾼解像度化とガイド画像の不要な⾼周波成分の除去を促進 47 相互変調 (Mutual Modulation) の概要 [Dong+ ECCV22] 教師あり ：DKN, FDSR ⾃⼰教師あり：P2P, CMSR, MMSR X. Dong, N. Yokoya, L. Wang, and T. Uezato, ”Learning mutual modulation for self-supervised cross-modal super-resolution,” ECCV, 2022.
48. 全球⼟地被覆分類地図 • GlobeLand30 (NGCC, 2014) ◦ Landsat-5&7×SVM&最尤法&決定⽊ 、⼿動アノテーション ◦ 30m GSD以下の最初の全球⼟地被覆分類地図 • WorldCover (ESA, 2021) ◦ Sentinel-1 & 2×Random Forest ◦ 現地調査データ（LUCAS）や既存地図を使⽤ • Esri Land Cover Map (2021) ◦ Sentinel-2×CNN、⼿動アノテーション ◦ 年次更新型 • Dynamic World (Google x WRI, 2022) ◦ Sentinel-2×CNN、⼿動アノテーション ◦ 観測毎に地図を更新 48 J. Chen et al., “Global land cover mapping at 30 m resolution: A POK-based operational approach,” ISPRS J. Photogram. Remote Sens. 2014. C. Brown et al., “Dynamic World, Near real-time global 10m land use land cover mapping,” Scientific Data, 2022. https://esa-worldcover.org/ http://www.globallandcover.com/
49. リモートセンシングにおける画素分類 （セマンティックセグメンテーション）の進展 ⽅向性 • ⾼解像度画像への対応（※中・低解像度は従来⼿法で対応可） • 地理的な汎化性能（公平性）の向上 • データと⼿法のオープン化の推進 主な課題 • アノテーション作業の⾼コスト • ⾼解像度画像のライセンス制約による再配布の困難さ 進展のポイント • ベンチマークデータセットの整備と拡充 • 弱教師あり学習の活⽤によるラベルコストの低減 49
50. セマンティックセグメンテーション ベンチマークの進展 • ベンチマークは、地域・センサ・クラスの多様性と実問題への接続性を 強化し進化中 50 IEEE GRSS DFC 2008 ハイパースペクトル 画像分類 IEEE GRSS DFC 2013 ハイパースペクトル 画像分類 ISPRS Vaihingen Potsdam ⾼解像度光学画像・ DEMによる⼟地被覆分類 DeepGlobe 建物検出 道路検出 ⼟地被覆分類 SpaceNet 建物検出(2016) 道路検出(2018) SARによる建物検出 (2020) 洪⽔検出(2022) IEEE GRSS DFC 2020/2021 弱教師あり学習による ⼟地被覆分類・変化検出 OpenEarthMap 全球での⾼解像度 ⼟地被覆分類 xBD 災害後の 建物被害分類 2010 2015 2020 2025 IEEE GRSS DFC 2025 SARによる ⼟地被覆分類・ 建物被害分類 IEEE GRSS DFC 2017 局地気候区分の分類
51. 世界中で適⽤可能でオープンデータに基づく地図作成
52. 52 Image from Chiba, Japan, provided by GSI
53. 53 ⼟地被覆分類 Tonga Baybay Niamey Austin Melbourne Svaneti Bareland Rangeland Developed Road Tree Water Agriculture Building J. Xia, N. Yokoya, B. Adriano, and C. Broni-Bedaiko, “OpenEarthMap: A benchmark dataset for global high-resolution land cover mapping,” WACV, 2023.
54. 全球超⾼解像度⼟地被覆地図作成 • 5000枚の衛星画像・空撮画像について8クラスの⼟地被覆ラベルを⼿動でアノテーション • 0.25〜0.5mの地上サンプリング距離で220万セグメントをラベル付け 54 RGB image Reference Piura Tonga Baybay Niamey Austin Melbourne Svaneti Bareland Rangeland Developed Road Tree Water Agriculture Building アノテーションの例 J. Xia, N. Yokoya, B. Adriano, and C. Broni-Bedaiko, “OpenEarthMap: A benchmark dataset for global high-resolution land cover mapping,” WACV, 2023.
55. 全球超⾼解像度⼟地被覆地図作成 • データの地域格差を解消し世界中で適⽤可能な機械学習モデルの構築に世界で初めて成功 • データ不⾜だったアジア・アフリカ・南アメリカにおいて15〜20%の精度向上 55 地理的な多様性とアノテーションの 品質で競合を圧倒 6⼤陸、44カ国、97地域を網羅 建物検出⽤の 既存データ 独⾃に収集 既存データは 欧⽶に集中 J. Xia, N. Yokoya, B. Adriano, and C. Broni-Bedaiko, “OpenEarthMap: A benchmark dataset for global high-resolution land cover mapping,” WACV, 2023.
56. LoveDA model OpenEarthMap model NAIP image DeepGlobe model DynamicEarthNet model Chesapeake Bay land cover map Bareland Developed Rangeland Road Tree Agriculture Water Building Barren Impervious Low veg Road Tree Water Structures Barren Background Agriculture Road Forest Water Building Barren Water Rangeland Urban Forest Agriculture Soil Impervious Agriculture Water Forest & other veg 全球超⾼解像度⼟地被覆地図作成 56 既存データとOpenEarthMapデータで学習したモデルによる未知の画像に対する地図作成結果 ⼊⼒ 正解 OpenEarthMap 既存データで学習したモデルの推論 J. Xia, N. Yokoya, B. Adriano, and C. Broni-Bedaiko, “OpenEarthMap: A benchmark dataset for global high-resolution land cover mapping,” WACV, 2023.
57. 57 2023 Turkey–Syria Earthquakes 被災前 被災後 Imagery © 2023 CNES/Airbus, Maxar Technologies Reference Bareland Rangeland Developed Road Tree Water Agriculture Building
58. 58 OpenEarthMap Japan N. Yokoya, J. Xia, and C. Broni-Bediako, ”Submeter-level land cover mapping of Japan,” International Journal of Applied Earth Observation and Geoinformation, 2024. x20 higher resolution than conventional
59. Google Open Buildings Dataset • Google Research Africaは、AIと衛星画像で開発 途上国の建物を抽出し、データセットを公開 • Sentinel-2画像に教師あり超解像を適⽤し、建物 ⾼さや変化を含む2.5D時系列データを構築 • 都市成⻑や災害影響の把握、インフラ計画などに 活⽤され、政策判断を⽀える基盤に 59 https://blog.google/products/maps/google-open-buildings-dataset/ W. Sirko et al., ”High-resolution building and road detection from Sentinel-2,” arXiv:2310.11622v3
60. 弱教師あり学習による道路検出（Meta） • OpenStreetMapの道路のベクトルデータを弱教師として活⽤し全球で汎化 性能の⾼い道路検出を実現 • ⾼精度ラベルでpre-training → 弱教師でfine-tuningという戦略が効果的 60 出典：Meta AI Blog（https://ai.meta.com/blog/mapping-roads-through-deep-learning-and-weakly-supervised-training/） Maxar satellite imagery OpenStreetMap DeepGlobeモデル による推論 弱教師あり学習モデル による推論
61. 弱教師あり学習による⼟地被覆分類（DFC20） • 低解像度の⼟地被覆ラベルを活⽤し⾼解像度の⼟地被覆地図作成を実現 （IEEE GRSS DFC 2020） 61 SAR (Sentinel-1) 光学 (Sentinel-2) 低解像度ラベル (全球で⼊⼿可能) ⾼解像度マップ C. Robinson et al., “Global land cover mapping with weak supervision: Outcome of the 2020 IEEE GRSS Data Fusion Contest,” IEEE JSTARS, 2021. Z. Li et al., “The Outcome of the 2021 IEEE GRSS Data Fusion Contest - Track MSD: Multitemporal semantic change detection,” IEEE JSTARS, 2022.
62. 弱教師あり学習による変化検出（DFC21） 62 Z. Li et al., “The Outcome of the 2021 IEEE GRSS Data Fusion Contest - Track MSD: Multitemporal semantic change detection,” IEEE JSTARS, 2022. 8種類の変化を検出 • Gain ▪ /loss ▪ of water • Gain ▪ /loss ▪ of tree canopy • Gain ▪ /loss ▪ of low vegetation • Gain ▪ /loss ▪ of impervious surfaces NAIP 2013 NAIP 2017 Loss Gain ⾼解像度画像 1 m GSD 低解像度ラベル 30 m GSD
63. 弱教師あり学習によるSAR画像の⼟地被覆分類 （DFC25） • 光学画像から⽣成した⼟地被覆分類ラベルを活⽤しSAR画像から⼟地被覆分類 （IEEE GRSS DFC 2025） 63 J. Xia et al., “OpenEarthMap-SAR: A Benchmark Synthetic Aperture Radar Dataset for Global High-Resolution Land Cover Mapping,” arXiv:2501.10891, 2025. RGB SAR 正解 推論
64. ⾼さ情報の取得 64 ✅ ⻑所 ❌ 短所 ステレオ視 ⾼解像度 雲に弱い LiDAR ⾼精度 DTM/DSMの分離可 航空機LiDARは⾼コスト 衛星LiDARは低解像度 ⼲渉SAR 全天候・夜間対応 都市・植⽣に弱い 位相処理が複雑 単眼⾼さ推定 低コスト スケーラブル 精度が低い 学習データに依存 Imagery © 2024 Airbus, Maxar Technologies
65. 衛星LiDARの進展 65 ICESat-2 • 氷床や地形の⾼精度な⾼度計測を⽬的に 設計された光⼦カウント型LiDAR衛星 • 全球を⾼頻度に観測する標⾼データは、 地形解析や樹冠⾼地図の補正などに活⽤ GEDI • 森林の構造とバイオマス推定を⽬的にISS に搭載された全波形LiDARミッション • 樹冠⾼や炭素蓄積量を⽰す指標は、森林 モニタリングや気候変動研究に活⽤ GEDI衛星による森林樹冠⾼地図 https://glad.umd.edu/dataset/gedi A. Berninger, F. Siegert, “The Potential of ICESat-2 to Identify Carbon-Rich Peatlands in Indonesia,” Remote Sensing, 2020. [Berninger & Siegert, RS2020]
66. 機械学習による3D地図作成の⾼度化 66 • DFC 2019では、衛星画像と深層学習によるセマンティッ ク3D再構成の研究を促進 • 単眼⾼さ推定、ステレオ、マルチビューステレオによる セマンティック3D再構成，及び点群データ分類の４部⾨ • ステレオでは季節変化がある画像の活⽤ From left to right: Stereo correspondence with seasonal appearance differences, ground truth disparities and semantic labels. LiDAR point cloud 3D semantic labels B. Le Saux, N. Yokoya, R. Hänsch, M. Brown and G. Hager, “2019 Data Fusion Contest [Technical Committees]," IEEE Geosci. Remote Sens. Mag., 2019.
67. Meta 樹冠⾼地図 67 https://sustainability.atmeta.com/blog/2024/04/22/using-artificial-intelligence-to-map-the-earths-forests/
68. Meta 樹冠⾼地図 • RGB衛星画像に対して、⾃⼰教師ありVision Transformer（DINOv2）を⽤いて特徴抽出 • 航空LiDARを教師として1m解像度の樹冠⾼地図 を作成 • GEDI衛星の全球観測データを⽤いた回帰モデル により出⼒の空間的バイアスを補正 68 J. Tolan, H.I. Yang, B. Nosarzewski, et al., “Very high resolution canopy height maps from RGB imagery using self-supervised vision transformer and convolutional decoder trained on aerial lidar,” Remote Sensing of Environment, 2024.
69. 単眼画像×機械学習で拓くグローバル3D地図⽣成 • 学習に使⽤できるLiDARやステレオの実データは、⾼コストかつ欧⽶中⼼に偏在 • 合成データによる学習で、オープンで地理的に公平な⾼さ推定モデルを実現 • モデリングと⽣成モデルによるリモートセンシング画像合成システムを開発 69 J. Song, H. Chen, W. Xuan, J. Xia, N. Yokoya, “SynRS3D: A synthetic dataset for global 3D semantic understanding from monocular remote sensing imagery,” NeurIPS, 2024. Functional Process Scene Construction Texture Generation Stable Diffusion Stable Diffusion Rangeland Rangeland Agriculture land Agriculture land Bareland Bareland Road Road Roof Roof GPT4 GPT4 Prompts Prompts Guidance Guidance Generate_ Terrian.py Generate_ Terrian.py Place_River .py Place_River .py Place_Road. py Place_Road. py Place_ Building.py Place_ Building.py Place_Tree. py Place_Tree. py Light&Sensor .py Light&Sensor .py Texture_ Mapping.py Texture_ Mapping.py Render_RGB. py Render_RGB. py Generate_ Height_Map.py Generate_ Height_Map.py 𝛉 𝒅𝟏 𝒅𝟐 𝒉 𝒉 = 𝒅𝟐 − (𝒅𝟏 × 𝐜𝐨𝐬 𝜽) Height Calculation Outliers Filter Generate_Land _Cover.py Generate_Land _Cover.py Overview of Synthetic Data Creation for Semantic 3D Reconstruction
70. 単眼画像×機械学習で拓くグローバル3D地図⽣成 70 J. Song, H. Chen, W. Xuan, J. Xia, N. Yokoya, “SynRS3D: A synthetic dataset for global 3D semantic understanding from monocular remote sensing imagery,” NeurIPS, 2024. Suburbs Mountain Desert Urban Coastal Rural 0m 20m 78m 25m 254m 92m 17m Optical Land Cover Height Synthetic Real Ours • 合成都市を3Dで構築し、⾼さと⼟地被覆の正解付きデータを⾃動⽣成
71. マルチタスクドメイン適応による3D地図⽣成 • 実画像には未適応 → ⾼さと地物のマルチタスクで⾃⼰学習によるドメイン適応 • ⾼さと地物の整合性を活⽤して、⾼精度かつ安定した学習を実現 71 J. Song, H. Chen, W. Xuan, J. Xia, N. Yokoya, “SynRS3D: A synthetic dataset for global 3D semantic understanding from monocular remote sensing imagery,” NeurIPS, 2024. Land Cover Decoder Height Decoder T S 𝒇 𝒇′ Source Source Source Target Target Target LC GT LC GT LC Pre. LC Pre. HE Pre. HE Pre. HE Pre. HE GT HE GT HE GT LC Pre. LC Pre. LC Pre. HE Pre. HE Pre. HE Pre. LC Pseudo Label LC Pseudo Label LC Pseudo Label HE Pseudo Label HE Pseudo Label HE Pseudo Label HE Consist. HE Consist. HE Consist. LC Conf. LC Conf. LC Conf. Student Model EMA from Student S Encoder Land Cover Decoder Teacher Model Teacher Model Height Decoder Encoder Land Cover Decoder Teacher Model Height Decoder Ori. Target Ori. Target Ori. Target Aug. Target Aug. Target Aug. Target HE Consist. HE Consist. HE Consist. LC Conf. LC Conf. LC Conf. LC Pseudo Label LC Pseudo Label LC Pseudo Label Ground-Guided Pseudo Refinement Ground-Guided Pseudo Refinement Ground-Guided Pseudo Refinement Encoder Encoder Ori. HE Pre. Ori. HE Pre. Ori. HE Pre. Aug. HE Pre. Aug. HE Pre. Aug. HE Pre. HE Pseudo Label HE Pseudo Label Ground Mask Ground Mask Ground Mask Online Student Model Training Ground-Guided Pseudo Label Generation Step 2: 実ドメインに擬似ラベルを付与 Step 3: 擬似ラベルで実ドメインに⾃⼰学習で適応 Step 1: 合成ドメインで学習
72. マルチタスクドメイン適応による3D地図⽣成 72 J. Song, H. Chen, W. Xuan, J. Xia, N. Yokoya, “SynRS3D: A synthetic dataset for global 3D semantic understanding from monocular remote sensing imagery,” NeurIPS, 2024.
73. 73 Image from Chiba, Japan, provided by GSI
74. 74 単眼⾼さ推定 J. Song, H. Chen, W. Xuan, J. Xia, and N. Yokoya, ”SynRS3D: A synthetic dataset for global 3D semantic understanding from monocular remote sensing imagery,” NeurIPS 2024. 50 0 (m)
75. 時系列解析の進展 • ⾼頻度衛星データを活⽤した⼟地被覆変化検出や作物分類が普及 • 深層学習モデルにより、 2時期画像間の複雑な変化パターンの理解が進展 • 教師データの偏在・取得困難さへの対応 • 異種センサデータからの変化検出 75 A. V. Etten, D. Hogan, “The SpaceNet multi-temporal urban development challenge,” NeurIPS, 2020. SpaceNet 7 ⼊⼒ 推論 正解 建物被害推定 浸⽔深推定
76. 2時期画像からの変化検出 • 古典的アプローチ • 画像の直接⽐較（差分画像や画像間の類似度に基づく） • 分類結果の⽐較（時期ごとに分類→差分を変化とみなす） • 深層学習によるアプローチ • 教師あり学習（⼊⼒：2時期画像、出⼒：変化マスク） • Siamese Network（2時期画像の特徴を別々に抽出して⽐較） • xBD（建物被害推定のためのベンチマークデータ） • 2時期画像の収集と変化に関するラベル付は⾼コスト →1時期画像から学習できないか？ 76 Siamese Network https://github.com/DIUx-xView/xView2_second_place Pre-disaster Post-disaster Imagery © 2023 CNES/Airbus, Maxar Technologies
77. 1時期画像からの変化検出モデルの学習 • 2時期画像の収集と変化に関するラベル付は⾼コスト • データ拡張により1時期画像から変化検出モデルを学習することが可能 77 H. Chen, J. Song, C. Wu, B. Du, and N. Yokoya, “Exchange means change: an unsupervised single-temporal change detection framework based on intra-and inter-image patch exchange,” ISPRS Journal of Photogrammetry and Remote Sensing, 2023.
78. 合成データからの変化検出モデルの学習 • 機械学習による⽕⼭変動検出では、変動の例が極めて少なく、また⼤気遅延による ノイズが⽀配的であるため、学習データのクラス不均衡が深刻な問題 • 物理モデルに基づく合成⼲渉画像（地殻変動＋成層・乱流⼤気）を⽤いてCNNを 学習させ、実データへの適⽤と再学習を通じて精度を向上 78 N. Anantrasirichai et al., “A deep learning approach to detecting volcano deformation from satellite imagery using synthetic datasets,” Remote Sensing of Environment, 2019.
79. 合成データからの建物変化検出モデルの学習 Suburbs Mountain Desert Urban Coastal Rural Post-event Pre-event Change Mask 79 J. Song, H. Chen, W. Xuan, J. Xia, and N. Yokoya, “SynRS3D: A synthetic dataset for global 3D semantic understanding from monocular remote sensing imagery,” NeurIPS 2024. • 2時期画像の収集と建物の変化に関するラベル付は⾼コスト • 実データに加え、⼿続き型モデリングと⽣成モデルで作成した2時期の合成画像と 変化マスクを併⽤して学習し、建物変化検出モデルの汎化性能を向上 国⼟地理院 空撮画像
80. • 2次元画像から地表⾯の3次元変化を⾼速推定する⽅法は未確⽴ • 災害シミュレーションデータを⽤いた機械学習モデルの構築 • ⽔害・⼟砂災害時の浸⽔深や地形変化の⾼速推定に向けた技術開発の可能性 合成データからの3D変化推定モデルの学習 80 2値情報 2値情報 擬似3次元変化データ 実3次元変化推定 衛星画像 変化検出 事前 学習 ⾮常時の 即時推定 ⼟⽯流・洪⽔ シミュレーション 災害直後 災害前 3 m -3 m CNN 地形データ 変換 N. Yokoya et al., ”Breaking limits of remote sensing by deep learning from simulated data for flood and debris flow mapping,” IEEE Trans. Geosci. Remote Sens., 2022.
81. 異種画像からの教師なし変化検出 • 各種画像内の構造関係をグラフ表現学習で把握、異種画像間の類似度を解析可能 • 異種画像からの教師なし変化検出を実現、変化解析頻度の向上 81 H. Chen, N. Yokoya, C. Wu and B. Du, ”Unsupervised multimodal change detection based on structural relationship graph representation learning,” IEEE TGRS, 2022. 提案⼿法の概要 SAR画像 光学画像 Pre-change image X Post-change image Y Preprocessing Graph generation Preprocessing Graph generation Structural graph Structural graph Edge information reconstruction Vertex information reconstruction Deep edge representation Deep vertex representation Local structural similarity calculation Nonlocal structural similarity calculation Adaptive Fusion Local structural difference map Nonlocal structural difference map Fused difference map Change map Morphological filtering Refined change map SR-GCAE SR-GCAE
82. BRIGHT：全天候型建物被害推定のベンチマーク • サブメートル解像度の光学・SAR画像を⽤いた、全天候型建物被害推定のベンチ マークデータを整備（再配布可能） • 学習とテストを災害単位で分離した、現実的かつ汎化性能を評価可能な設定を採⽤ 82 正解 被災後 SAR 推論結果 被災前 RGB H. Chen et al., ” BRIGHT: A globally distributed multimodal building damage assessment dataset with very-high-resolution for all-weather disaster response,” arXiv:2501.06019.
83. 本⽇の内容 •リモートセンシングとは •技術の進展 •今後の展望 83
84. リモートセンシング×機械学習の進展 • ⾼解像度画像に対しても、機械学習による画素単位の分類・回帰が実⽤段階に • 位置情報を軸に、複数データを統合した解析や変化検出が進展 • アノテーション困難な場合、合成データや弱・⾃⼰教師あり学習が突破⼝に • データやコードのオープン化が進み、機械学習研究者の参⼊と⼿法改良が加速 • 都市計画、防災、環境、農業分野での⾃動解析の加速 84 防災 都市計画 農業 環境保全 ⼈の視覚を超えるイメージング 画素単位の分類・回帰 地球規模課題への対応
85. リモートセンシングにおける基盤モデルの現状 • 視覚基盤モデル ◦ ⼀般画像向けの⾃⼰教師あり学習の転⽤・拡張が主流 ◦ 決定的優位性は限定的（DINOv2で⼗分なケースも） • 視覚⾔語モデル ◦ データセット整備が加速 ◦ 汎⽤的な理解・推論と専⾨知の⺠主化に期待 • 現状と課題 ◦ ⼤規模データと計算資源がボトルネック ◦ 主要なモダリティ・タスクは企業主導で進展 （例：Google Geospatial Reasoning） ◦ 新たな課題設定・効率化・オープン化に多様な主体の貢献余地 85 リモートセンシング向けの視覚基盤モデル A. Xiao et al., “Foundation models for remote sensing and earth observation: A survey,” arXiv:2410.16602, 2024
86. 今後の展望 〜⾼度・汎⽤・統合解析への進化〜 • 視覚⾔語モデルによる、汎⽤的かつ専⾨知識を活かした⾼度なデータ解析・推論と 意思決定⽀援（画素レベル推論を含む） • ラスター・ベクター・点群・地上観測など、異種データの統合解析 • モダリティ間ギャップ、解釈性、信頼性への技術的ブレークスルー 86 GeoChat [Kuckreja+ CVPR24] TEOChat [Irvin+ ICLR25] EarthDial [Soni+ CVPR25] K. Kuckreja et al., “GeoChat: Grounded large vision-language model for remote sensing,” CVPR, 2024. J.A. Irvin et al., “TEOChat: A large vision-language assistant for temporal earth observation data,” ICLR, 2025. S. Soni et al., “EarthDial: Turning multi-sensory earth observations to interactive dialogues,” CVPR, 2025.
87. 今後の展望 〜データ⽣成と処理の⾰新〜 • 地球・都市規模のデジタルツインを現実世界 のシミュレーターとして活⽤ • シミュレーション×⽣成モデルによるデータ 拡張（環境変化・異種センサ対応） • 衛星上での軽量モデルによるオンボード処理 • 観測条件やタスクに応じた動的処理による効 率的で適応的なデータ取得と解析 87
88. THANKS FOR LISTENING! 5-1-5 Kashiwanoha, Kashiwa, Chiba-ken 277-8561, Japan yokoya@k.u-tokyo.ac.jp Contact us: