[FOSS4G 2019 Niigata] AIによる効率的危険斜面抽出システムの開発について

★ この資料は FOSS4G 2019 Niigata の登壇発表資料です ★

AI×GISデータを組み合わせて、土砂崩落箇所を検出・予測することはできるのでしょうか？MS-GAN と Mask-RCNN という2種類の深層学習ネットワークを使って、崩落箇所・崩落危険個所の解析を試みました。

発表者：和山 亮介（株式会社ノーザンシステムサービス）

※ この発表は、農林水産省委託プロジェクトPRISM「山地災害リスクを低減する技術の開発／AIによる効率的危険斜面抽出及び林地崩壊予測システムの開発」において取り組んだ研究成果の報告です

Transcript

1. AIによる効率的危険斜面抽出シ ステムの開発について 株式会社ノーザンシステムサービス 課題名 「山地災害リスクを低減する技術の開発」 小課題名 「AIによる効率的危険斜面抽出及び林地崩壊予測システムの開発」 研究成果報告 農林水産省委託プロジェクト PRISM
2. 自己紹介 2 岩手にある (株)ノーザンシステム サービス という会社で 地図やAIを使ったりした 研究開発をしています。 最近はバイクでキャンプ ツーリングしたりしてお ります。 色々面白いものを置いて あるので、興味がある方 は是非当社までお越しく ださい！ Twitter： @wayama_ryousuke
3. 頻発する大規模土砂災害 3 2014年 平成26年8月豪雨 • 前線に向かい温暖湿潤な空気が流入、各地で記録的な大雨 • 広島市では土石流・崖崩れなどにより死者76名（災害関連死を含む）、家屋被 害計4,749棟の被害 出典：地理院地図/ 国土地理院 (http://www.maps.gsi.go.jp)
4. 頻発する大規模土砂災害 4 2018年 北海道胆振東部地震 • 最大震度７の大規模な地震 • 液状化現象や北海道全域の停電などの被害 • 台風21号の影響もあり広範囲の土砂崩れが発生 出典：国土地理院ウェブサイト(http://www.gsi.go.jp/BOUSAI/H30-hokkaidoiburi-east-earthquake-index.html) い ぶり
5. 弊社のこれまでの取り組み 5 Deep Learning を用いた崩落地形予測・抽出 • 2016年 台風10号による岩手県内の崩落箇所データを用い、雨量や地形などの データから崩落箇所を予測（FOSS4G 2017 HOKKAIDO） 出典：国土地理院(http://maps.gsi.go.jp/development/ichiran.html)，標高タイルを加工して作成 国土地理院(http://www.gsi.go.jp/BOUSAI/H28.taihuu10gou.html)，土砂崩壊・堆積地等分布図を加工して作成
6. 2018年度の取り組み 6 pix2pix および Mask R-CNN を使い、地形画像から崩落箇所を判別 • pix2pix：変換前後の画像をペアで学習させ、DCGANにより画像変換を行う 入 力 出 力 正 解 標高タイル ⇒ 陰影図 航空写真 ⇒ 地図
7. 2018年度の取り組み 7 pix2pix および Mask R-CNN を使い、地形画像から崩落箇所を判別 • Mask R-CNN：画像データと物体の輪郭を示すマスクデータを与えることで、 物体検出を行う 出典： Jason Remillard, “Images to OSM”. https://github.com/jremillard/images-to-osm, 2017 動作デモ 航空写真 ⇒ 野球場 （Remillard, 2017）
8. 2018年度の取り組み 8 CS立体図 地質図 （pix2pixのみ） 正解データ 崩落箇所 データセット：地形・地質・植生 • 地形：CS立体図 • 地質：地質図 • 植生：Bing Map から取得した航空写真 • Mask R-CNNはCS立体図だけで学習 航空写真 （pix2pixのみ） 出典： Bing Map (https://www.bing.com/maps)
9. 2018年度の取り組み 9 CS立体図 地質図 （pix2pixのみ） 正解データ 崩落箇所 教師データ：崩落箇所データ • 「地形」「植生」データから熟練者が抽出 航空写真 （pix2pixのみ） 出典： Bing Map (https://www.bing.com/maps)
10. 2018年度の取り組み 10 結果 • pix2pix：抽出失敗 入力（CS立体図） 出力 正解
11. 2018年度の取り組み 11 結果 • Mask R-CNN：抽出成功 • 植生が回復した過去の崩落地も抽出できている 入力（CS立体図） 出力 正解
12. 本年度（2019年度）の課題設定 12 ① 崩落の危険性がある箇所を予測する • 教師データ：平成29年広島県土砂災害の崩落箇所 • 入力データ：崩落前の土地データ（CS立体図、Bing航空写真、土壌図、表層地質図） と雨量 • 目標：崩落危険箇所の抽出 CS立体図 正解データ 崩落箇所 航空写真 土壌図 表層地質図 雨量 出典：CS立体図（5mDEMもあり） (http://kouapp.main.jp), Bing Map (https://www.bing.com/maps)
13. 本年度（2019年度）の課題設定 13 ② 「直近の災害により崩落した箇所」を識別する • 教師データ：平成29年広島県土砂災害の崩落箇所 • 入力データ：CS立体図 • 目標：崩落が起こった箇所の抽出 正解データ 崩落箇所 CS立体図
14. 2019年度の課題設定 14 使用するDNN • MS-GAN：pix2pix を改良、モード崩壊を防止 https://github.com/HelenMao/MSGAN • Mask R-CNN
15. MS-GANによる崩落危険箇所の予測 15 航空写真、土壌図、表層地質図を読み込ませる 入力 正解 航空写真 土壌図 表層地質図 出典：Bing Map (https://www.bing.com/maps)
16. MS-GANによる崩落危険箇所の予測 16 CS立体図、航空写真、土壌図、表層地質図、雨量を読み込ませる → 抽出失敗 入力（Bing航空写真） 出力 正解 出力 出典：Bing Map (https://www.bing.com/maps)
17. MS-GANによる崩落危険箇所の予測 17 まるでファミコン版ドラクエのマップのような出力 ドラクエマップジェネレータとして応用できる？ 入力 出力 エポック 56 エポック 53 入力 出力 エポック 100 エポック 151 出典：Bing Map (https://www.bing.com/maps)
18. MS-GANによる崩落箇所の抽出 18 CS立体図のみを読み込ませる • QGIS用プラグイン”CSMapMaker “を使ってデータセット作成 （https://github.com/waigania13/CSMapMaker） 入力（CS立体図） 正解
19. MS-GANによる崩落箇所の抽出 19 CS立体図のみを読み込ませる → 抽出失敗 入力（CS立体図） 出力 正解 出力
20. MS-GANのまとめ 20 なぜ、うまくいかなかったのか？ • MS-GANの特徴（多様性を維持するため、画像にノイズを加えている） • データセットの粒度、作成手法（機械的に作成/人力で作成）が異なる
21. Mask R-CNNによる崩落危険箇所の予測 21 画像から一般物体認識に特化したDNN • RGB3チャネルの画像データを読み込む能力をもつ → 多チャネル画像の読み込みが可能なように改造 （https://github.com/matterport/Mask_RCNN/wiki） →種類の異なるタイル画像を1枚のTIFF画像にまとめ、入力画像とする 1～3バンド（航空写真） 4～6バンド（CS立体図） 7～9バンド（土壌図） 10～12バンド（表層地質図） 出典：Bing Map (https://www.bing.com/maps)
22. Mask R-CNNによる崩落危険箇所の予測 22 2種類のデータ（航空写真、CS立体図）を1枚の画像として読み込ませる → 抽出失敗、海上で崩落のおそれあり？ • 原因は座標軸の入れ替え時のミス 入力 （CS立体図、航空写真） 出力 正解 ？ 出典：CS立体図（5mDEMもあり） (http://kouapp.main.jp)
23. Mask R-CNNによる崩落危険箇所の予測 23 バグが紛れ込んだときに見つけづらい！ 入力 （CS立体図、航空写真） 出力 正解 出典：CS立体図（5mDEMもあり） (http://kouapp.main.jp) ？
24. Mask R-CNNによる崩落危険箇所の予測 24 修正し再トライ → 山岳地形を抽出しているが、実際の崩落箇所からずれている • データの種類が不足？ • 抽出対象物（崩落箇所）が小さすぎる？ 出力（赤）＋正解（青）
25. Mask R-CNNによる崩落危険箇所の予測 25 CS立体図 ＋ Bing航空写真 ＋ 土壌図 + 表層地質図 CS立体図 ＋ Bing航空写真 ＋ 土壌図 + 表層地質図 ＋ 雨量 を使って再トライ → 山岳地形を抽出しているが、実際の崩落箇所からずれている • とくに雨量を加えて訓練すると、抽出箇所が塊状になる傾向がある 入力（CS立体図） 出力（雨量なし学習） 出力（雨量あり学習） 正解 出典：CS立体図（5mDEMもあり） (http://kouapp.main.jp)
26. Mask R-CNNによる崩落危険箇所の予測 26 なぜ、うまくいかなかったのか？ • 抽出対象の物体（崩落箇所）が小さすぎる → ズームレベルを上げ、抽出対象物が大きく写る画像を使えばよい？ （手元にない…） ズームレベル14 ズームレベル18 （画像は崩落後のもの） 出典：CS立体図（5mDEMもあり） (http://kouapp.main.jp)
27. Mask R-CNNによる崩落危険箇所の予測 27 なぜ、うまくいかなかったのか？ • データセットの粒度、作成手法（機械的に作成/人力で作成）が異なる → 入力画像の種類を少なくして、高精細・ファクトデータだけを使えばよい？ 低解像度（雨量） 中解像度（土壌） 高解像度（地形） 出典：CS立体図（5mDEMもあり） (http://kouapp.main.jp)
28. Mask R-CNNによる崩落箇所の抽出 28 崩落箇所予測の教訓 • 抽出対象の物体（崩落箇所）が小さすぎる → ズームレベルを14から18に拡大 • データセットの粒度、作成方法が異なる → 高解像度・ファクトデータであるCS立体図のみ使う
29. Mask R-CNNによる崩落箇所抽出 29 CS立体図 ズームレベル18 → 崩落箇所を抽出できている例もあったが、総じて精度は低い 入力（CS立体 図） 正解 出力
30. Mask R-CNNによる崩落箇所抽出 30 CS立体図 ズームレベル18 → 崩落箇所を抽出できている例もあったが、総じて精度は低い 入力（CS立体図） 正解 出力
31. Mask R-CNNによる崩落箇所抽出 31 PNG標高タイル • 標高データをWeb上で高速転送することを主眼にした標高データフォーマット • 一定の可読性のある生データ 西岡芳晴,長津樹理『PNG 標高タイル―Web 利用に適した標高ファイルフォーマットの考案と実装―』 「情報地質」26巻4号, pp.155-163. 2015.
32. Mask R-CNNによる崩落箇所抽出 32 PNG標高タイル → 崩落箇所を検出しはじめている？ 入力（PNG標高タイル） 正解 出力
33. Mask R-CNNによる崩落箇所抽出 33 PNG標高タイル → 崩落箇所を検出しはじめている？ 入力（PNG標高タイル） 正解 出力
34. 結果 34 崩落のおそれがある箇所の予測 → もっと研究が必要 崩落地形の検出 → 入力データによるが、検出はできそう
35. 考察 35 MS-GANはラベル推定には不向き？ 出典：Qi Mao, Hsin-Ying Lee, (et al.) “Mode-seeking Generative Adversarial Networks for Diverse Image Synthesis.” In
36. 考察 36 検出対象物が十分大きく、データセットが高精細ファクトデータであ れば、Mask R-CNNを用いて崩落箇所を検出できる × 検出対象が小さすぎる データから特徴量を捉えられない × データセットの画像が粗すぎる 微細な地形の特徴を捉えられない 粗すぎるデータ （雨量） 小さすぎる検出対象 （ズームレベル14）
37. 今後の展望 37 事前予測：ズームレベルを上げれば… 崩落検出：高精細雨量データ・オルソ画像などと組み合わせれば… 精度向上が期待できる 十分な精度が得られた暁には… 土砂災害発生時に、標高データ（DEM）などのファクトデータから崩 落箇所を自動的に抽出することが可能に？ • 被災箇所をすばやく把握、災害対応に役立てる
38. 38 地形データ × ディープラーニング ↓ 防災に寄与
39. 39 ご清聴ありがとうございました