Dynamic World, Near real-time global 10 m land use land cover mapping

本資料はSatAI.challengeのサーベイメンバーと共に作成したものです。
SatAI.challengeは、リモートセンシング技術にAIを適用した論文の調査や、より俯瞰した技術トレンドの調査や国際学会のメタサーベイを行う研究グループです。speakerdeckではSatAI.challenge内での勉強会で使用した資料をWeb上で共有しています。
https://x.com/sataichallenge

紹介する論文「Dynamic World, Near real-time global 10 m land use land cover mapping」では、高解像度な土地被覆分類図の衛星画像撮影時点からのほぼリアルタイムでの作成を目標として、Google Earth Engineと深層学習モデルを組み合わせた手法が提案されています。従来の衛星画像を利用した土地被覆分類図では空間解像度の低さや更新頻度が1年に一度程度であり、小規模農家の拡大や森林伐採などをとらえることに課題を抱えていました。本研究ではクラウド計算環境であるGoogle Earth Engine上に蓄積された10 m空間解像度のSentinel-2画像に対して軽量な深層学習モデルを適用することで、土地被覆分類図をほぼリアルタイムで作成することに成功しました。また、Dynamic Worldは既存のグローバルレベルな土地被覆分類図よりも精度に優れ、また時系列的な情報の活用も可能であるなど、変動する地球環境を分析する上での活用が期待されます。

Transcript

1. Dynamic World, Near real-time global 10 m land use land cover mapping
 嶌田将貴
 第７回 SatAI.challenge勉強会

2. 目次 
 • 自己紹介スライド
 • 研究の1ページサマリ紹介
 • 研究の背景（Introduction）
 • 手法について（Methodology）
 • 結果と考察（Results & Discussions）
 • 結論（Conclusion）

3. 発表者紹介 This image was generated by ChatGPT
4. 嶌田将貴（シマダ　ショウキ） 所属：東京大学　社会基盤学専攻　博士課程3年 研究テーマ：衛星画像を利用した太陽光発電パネルのマッピングと社会経済 ・環境・災害リスクに関する定量分析 自己紹介 CNNモデルを使用したSentinel-2画 像中の太陽光発電パネル検出 手持ちセンサを使用したスペクト ル計測 ベトナムにおける太陽光発電パネ ル導入に伴う土地改変履歴
5. 1ページサマリ This image was generated by ChatGPT
6. Dynamic World, Near real-time global 10 m land use land cover mapping 
 • 既存の全球土地被覆分類データセットは①更新頻度（1年以上）、②空間解像度（～ 100 m）が課題 
 • 小規模農業や集落の増加は、既存の土地被覆分類図の更新頻度・空間解像度ではとらえきれない 
 • Dynamic Worldではクラウド計算環境のGoogle Earth Engineと深層学習モデルを組み合わせることで、 高頻度 （Near-Real-Time）・高解像度（10 m）な土地被覆データセットの構築に成功 
 深層学習モデルを利用したNear-Real-Timeな土地被覆分類図の作成 
 クラウド計算環境である Google Earth Engine 土地被覆分類のため の深層学習モデル Near-Real-Timeな土地被覆分類 図データセットの構築 https://github.com/google/dynamicworld/tree/master 観測後に随時 Sentinel-2画像が追加 Brown, C.F., Brumby, S.P., Guzder-Williams, B. et al., (2022), “Dynamic World, Near real-time global 10 m land use land cover mapping”, Scientific Data. より引用
7. 論文紹介 This image was generated by ChatGPT
8. Introduction 
 ◆ 土地被覆分類図（Land-cover map） 
 →地表面を様々な土地利用形態・植生タイプなどに区分したデータ 
 →人間活動・自然環境の変化の分析において重要な情報源となる 
 ◆ 既存の全球レベル土地被覆分類図の課題 
 →空間解像度が限定的（>100 m） 
 →更新頻度が低い（～1年）
 
 小規模な農地や居住地拡大、森林伐採などを追跡するためには、既存の土地被 覆分類図データセットでは空間解像度・時間解像度共に十分ではない NASA MCD12 Q1 空間解像度 500 m ESA CCI 空間解像度 300 m ESA CGLS 空間解像度 100 m https://lpdaac.usgs.gov/products/mcd12q1v061/ https://www.esa.int/ESA_Multimedia/Images/2014/10/Land_cover_2010 https://www.mdpi.com/2072-4292/12/6/1044#
9. Introduction 
 ◆ 土地被覆分類図の頻繫かつ高解像度な更新に必要な要素とは？ 
 →衛星画像の定期的な取得・処理 
 →効率的かつ高精度な土地被覆分類を行う機械学習モデル 
 
 
 Dynamic Worldでは二つの課題に対してGoogle Earth Engineと 深層学習モデルの組み合わせによって解決を目指す クラウド計算環境である Google Earth Engine 土地被覆分類のための深層学習モデル 大量の衛星画像を保持・計算可能な環境
10. Methodology 
 ◆ 教師データの構築
 → 510 × 510 ピクセル四方のタイルをSentinel-2 L2A画像から切り抜き 
 →Expertによるアノテーション（4000枚）＋Non-Expertによるアノテーション（20,000枚） 
 
 ９カテゴリへのアノテーション Water Trees Grass Flooded Vegetation Crops Shrub & Scrub Built area Bare ground Snow & Ice https://www.nature.com/articles/s41597-022-01307-4 https://www.nature.com/articles/s41597-022-01307-4
11. Methodology 
 ◆ Sentinel-2 L2Aを対象に行ったアノテーション結果を対応するSentinel-2 L1C画像と結合 
 ◆ 雲マスク・雲影マスク・画像のNormalizationを適用 
 教師データは One-Hot encodingのあと、ラベルの 不確実性を考慮するため、 ExpertとNon-Expertに 対応したラベル平滑化を実施 あるピクセルがクラス２である場合のOne-Hot encoding →[0,1,0,0,0,0,0,0,0] Expert：0.2を不確実性として、全体へ均等に配分 0.2/9 = 0.02 [0.02,0.82,0.02,0.02,0.02,0.02,0.02,0.02,0.02] Non-Expert：0.3を不確実性として、全体へ均等に配分 0.3/9 = 0.03 [0.03,0.73,0.03,0.03,0.03,0.03,0.03,0.03,0.03] クラス不均一性やアノテーション過程でのポリゴン中心部でのア ノテーションの潜在的な不確実性についても重みづけによって 対応 https://www.nature.com/articles/s41597-022-01307-4 ExpertとNon-Expertのアノテーション精度の考慮 L2A：大気補正済プ ロダクト（2017 ~） L1C：大気上端反射率 プロダクト（2015 ~）
12. Methodology 
 ◆ Fully Convolutional Neural Network (FCNN)を利用し、各ピクセルごとに９種類の土地被覆カテゴリである確率を算 出
 ◆ Labelling modelから算出された土地被覆カテゴリの確率図から入力画像を再現する“Backward model”を同時に構 築し、手作業のアノテーションの不完全さなどを補完 
 
 https://www.nature.com/articles/s41597-022-01307-4 https://github.com/google/dynamicworld/tree/master 土地被覆分類モデルの構造 DeepLab v3+やUnetと比べて 100分の１程度の軽量なモデル
13. Methodology 
 ◆ Google Earth Engine上のee.Model.predictImage機能を使用し、Sentinel-2 L1C画像から Near-Real-Timeな土地被覆分類データセットを作成 
 https://www.nature.com/articles/s41597-022-01307-4 https://www.nature.com/articles/s41597-022-01307-4
14. Methodology 
 ◆ 精度検証のためRESOLVE Ecoregions biomesの１４カテゴリへと均等に検証地を設定し、合計 409タイルを作成した。
 ◆ それぞれのタイルは3名のExpertによって個別にアノテーションされた。 
 異なるバイオーム地帯に設定された精度検証地点の分布 https://www.nature.com/articles/s41597-022-01307-4
15. Results & Discussions 
 ◆ Dynamic Worldによる土地被覆カテゴリ分類結果と3名のExpertによるアノテーション結果との比 較は、土地被覆カテゴリ毎に大きく異なる一致度を示した。 
 DWとExpertの一致度高：water, trees, built area, snow & ice 
 DWとExpertの一致度低：grass, flooded vegetation, shrub & scrub, and bare ground 
 https://www.nature.com/articles/s41597-022-01307-4 3名のExpertの間で意見が一致するカテゴリは DWでも高精度で予測可能であり、反対の傾向（ Expert 間の意見の乖離）が存在するカテゴリは DWにおいて精度が低かった。
16. Results & Discussions 
 ◆ 既存の土地被覆分類図データセットとの比較 
 →Dynamic WorldはExpertの作成したデータセットとの比較の結果、 既存の全球レベルの土地被覆 分類図データセットを上回る一致度を示した 。
 →Near-Real-Time、全球のカバー、空間解像度の３つの要素で優れる 
 https://www.nature.com/articles/s41597-022-01307-4 既存の土地被覆分類図データセットとの比較
17. Results & Discussions 
 ◆ Dynamic WorldはNear-Real-Time性を持つことから、“Dynamic”な土地被覆変化を追跡できる。 
 →土地被覆カテゴリの確率値を通じてIntra-annualな変化が明瞭に捉えられている。 
 https://www.nature.com/articles/s41597-022-01307-4
18. Results & Discussions 
 ◆ Dynamic Worldの不確実性
 →Shrub & ScrubとCroplandの間でモデルの予測に不確実性が増す（≒両者を明瞭に区別しにくくな る）
 https://www.nature.com/articles/s41597-022-01307-4 紫色（≒Shrub & Scrubと Croplandの確率値が近しい場 所の存在）
19. Results & Discussions 
 ◆ Dynamic WorldはSentinel-2の画像の更新とともに作成される 
 →時期・領域等をユーザーが任意に指定することが可能 
 https://www.nature.com/articles/s41597-022-01307-4 2021/4/1 ～ 2021/5/1までのDynamic Worldプロダクトの最頻値から作成され た全球の土地被覆分類図プロダクト（黒：雲領域）
20. Conclusions 
 まとめ
 研究の目的 
 Google Earth Engine上の衛星画像と深層学習モデルを組み合わせ、 ①Near-Real-Time、②高解像度（10 m）、③全 球カバーの３つを実現する土地被覆分類図プロダクトを作成する こと
 
 研究の結果 
 I. Sentinel-2画像と軽量な深層学習モデルを構築し、Dynamic Worldプロダクトを作成した 
 II. Dynamic Worldプロダクトはwater, trees, built area, snow & iceのカテゴリではHuman Expertのアノテーションとよく 一致する傾向を示した 
 III. 既存の土地被覆分類図データセットと比較して、Dynamic Worldプロダクトは精度・空間解像度・Near-Real-Time性 の３つの要素で優れている 
 
 今後の課題 
 I. Shrub & ScrubとCroplandなどDynamic Worldの出力において依然として十分に区別できない土地被覆カテゴリが 存在する
 II. Dynamic Worldの結果はGoogle Earth Engine上でプロダクトとして利用可能であり、そのNear-Real-Time性も活か したデータセット活用に期待