深層学習を用いた根菜類の個数カウントによる収量推定法の開発

Transcript

1. 深層学習を用いた根菜類の 個数カウントによる収量推定法の開発 〇板倉健太1) 林拓哉2) 野秋収平3) 上脇優人4) 細井文樹2) 1) 東京大学大学院農学生命科学研究科（当時） 2)東京大学大学院農学生命科学研究科 3) 株式会社CULTA 4)東京農工大学大学院 連合農学研究科
2. はじめに：本スライドの内容 • 本スライドは以下の論文の内容をまとめたものです • 論文は以下のページからダウンロードできます https://www.jstage.jst.go.jp/article/jsceiii/3/J2/3_6/_article/-char/ja/ 板倉健太, 林拓哉, 野秋収平, 上脇優人, & 細井文樹. (2022). 深層学習を用いた根菜類の個数カウンティングによる 収量推定法の開発. AI・データサイエンス論文集, 3(J2), 6-16.
3. はじめに：本研究の背景  農業における大規模圃場の収穫量把握の重要性 • 農業の担い手の減少により、農地の集約化・大規模化が進んでいる • 大規模化が顕著な北海道では効率よく管理するために大型機械の導入が進む • 機械の稼働効率を上げるため、大規模圃場を単一の収穫機で収穫し、各圃場の収量に応じて 利益を分配する仕組み（トランスボーダーファーミング）が注目されている (若林、2017） それぞれの収穫量を空間的に、精度よく把握する必要がある 北海道では麦、テンサイ、馬鈴薯、豆類の輪作が行われている 出荷額が大きい根菜類（例：テンサイ）を対象とする テンサイ （株式会社パールエースHPより） (農林水産省: 農地に関する統計. 2021) 1 /15
4. はじめに：先行研究  上空からドローンを利用して地上の農作物の量を把握 (Viljanen et al., 2018; Bauer et al., 2019) • 根菜類の大部分は地中に存在する場合が多く、上空からの収量の把握は難しい • 高いコストや、現場での運用の煩雑さが問題  画像を用いた方法：深層学習を用いた物体検出の方法が盛んに研究されている • 考えられるステップ  重量センサーが搭載された収穫機を用いる 1. 動画像から物体を検出 2. フレーム間で、物体同士を紐づけ、カウンティングする 3. 各検出された個体の重量を予測 4. 各フレームの位置情報を取得し、空間的な収穫量の分布を可視化 2 /15
5. はじめに：先行研究  上空からドローンを利用して地上の農作物の量を把握 (Viljanen et al., 2018; Bauer et al., 2019) • 根菜類の大部分は地中に存在する場合が多く、上空からの収量の把握は難しい • 高いコストや、現場での運用の煩雑さが問題  画像を用いた方法：深層学習を用いた物体検出の方法が盛んに研究されている • 考えられるステップ  重量センサーが搭載された収穫機を用いる 1. 動画像から物体を検出 2. フレーム間で、物体同士を紐づけ、カウンティングする 3. 各検出された個体の重量を予測 4. 各フレームの位置情報を取得し、空間的な収穫量の分布を可視化 同じ果実 2 /15
6. はじめに：先行研究  果樹園で撮影した動画から、対象物体を検出する例 (Itakura et al., 2021) 図：[a]梨の検出[b]梨のカウンティング[c]リンゴのカウンティングの様子(Itakura et al、2021より引用) 1. 収穫機などの、物体が動画中で大きく振動する場合や、テンサイのように、 各物体が重なっていて、境界が不鮮明である場合に精度よく検出可能か明らかでない 2. 収穫機の位置情報と紐づけ、空間的な分布の可視化を行う必要がある 3 /15
7. 本研究の目的 7 収穫機上を流れる根菜類（テンサイ）を深層学習により検出、追跡して個数をカウンティング 寸法情報から重量を回帰する式をもとに収穫重量を推定し、 それをもとに圃場における収量分布マップを作成 することを目的とする 動画撮影 物体検出 追跡、カウンティング 重量マッピング 収穫の様子を動画撮影 深層学習を用いた自動検出 カルマンフィルターの適用 画像からGNSS情報を抽出し 収獲量を可視化 ① ③ ② ③ 本研究で実施したこと 4 /15
8. 解析手順 8  データ取得地：北海道帯広市（2022年10月・11月） 動画撮影 物体検出 追跡、カウンティング 重量マッピング  収穫機：ピタROWくん(日農機製工株式会社, 日本)  撮影に用いたカメラ：GoPro Hero5 (GoPro, USA) 画像出典：GoPro HPより 解像度 撮影 モード フレーム レート 1080 LINR 120 表：動画撮影の設定 • 収穫機の上に、カメラを設置し、テンサイの収穫時の動画を撮影した GoProの設置位置 5 /15
9. 解析手順  訓練のための、データのラベリング • ラベリングしたデータを、訓練：検証：テスト = 8 : 1 : 1 に分割し、訓練を行った 動画撮影 物体検出 追跡、カウンティング 重量マッピング バウンディングボックス • 動画：各フレーム（静止画）に切り出す 手動でラベリング（バウンディングボックスを設定） 品目 品種 ラベリングを行った画像 枚数 ラベリングを行った 個体数 テンサイ パピリカ 1625 6577 • 以下のようなラベリングを行った 学習 テスト 検証 80% 10% 10% 6 /15
10. 解析手順  テンサイの検出のための深層学習を利用したネットワークについて 動画撮影 物体検出 追跡、カウンティング 重量マッピング • YOLOv2, YOLOv3, EfficientDetなどを利用し、それぞれの精度を比較した 1 3 2 1 5 0 9 3 5 3 4 8 6 5 1 2 1 3 1 5 4 3 5 9 3 1 3 2 1 5 0 9 3 5 3 4 8 6 5 1 2 1 3 1 5 4 3 5 9 3 (a) 特徴抽出 ネットワーク (b) (c) 1 3 2 1 5 0 9 3 5 3 4 8 6 5 1 2 1 3 1 5 4 3 5 9 3 最終的に得られた特徴マップ 特徴マップの数字が そのセルに１）物体があるのか、２）どの位置に物体があるのか などに対応 グリッド状に分けられたマップ 対応 図: 物体検出のための、深層学習ネットワークの例（YOLOv2の場合） 7 /15
11. 解析手順  カルマンフィルタを用いた物体追跡について 動画撮影 物体検出 追跡、カウンティング 重量マッピング カルマンフィルタにより１フレーム先を予測 検出された 物体 次のフレームでの物体の位置を予測 • 各フレームでの検出物体のxy座標値を入力 • フレーム間で検出が途切れても物体追跡が可能  個数カウントの精度検証 • 目視による個数 vs 自動カウント結果 • 訓練・テストデータとは別の新規の動画ファイルで検証 8 /15
12. 解析手順  テンサイの長軸と短軸の長さから重量を回帰する 動画撮影 検出された 物体 • 50個体の長軸、短軸の長さと重量のデータを現地で実測  カメラの位置情報とテンサイの重量の予測結果の紐づけ • 検出の結果に、その時の位置情報を付与する • 上で求めた回帰式により、テンサイの重量に変換 物体検出 追跡、カウンティング 重量マッピング 図:バウンディングボックスの 長軸、短軸の例。青が短軸 赤が長軸を示す • 重量は体積に比例するため、長軸×短軸2、および、長軸2×短軸 の値と重量の関係を求める テンサイの空間的な収穫重量を求めることができる 9 /15
13. テンサイの検出の結果 13  境界の不鮮明な物体も含め、精度よく検出を行うことができた  物体検出の評価指標 （平均適合率）も 0.95以上と高く、高精度な結果を得た 10/15
14. テンサイのカウンティングの結果 14  収獲機の移動に伴い、光環境が変化していたが、精度よくテンサイをカウンティングできた  揺れのある動画を対象とした場合も、問題なく実行可能 11/15
15. テンサイのカウンティングの精度検証  約2分間の動画に対して、カウンティングの精度検証を行った  検出漏れが存在したが、全体的に非常に精度よく（例：F値 > 0.95）カウンティングできた  特にYOLOv3を用いたときは、カウンティングの誤差も10個体以下であり、 個数やF値において、非常に高精度な結果を得ることができた 適切な手法の選択や、深層学習ネットワークの構造の最適化や、良好なパラメータにより このような結果が得られたと考えられる 検出ネットワーク 検出数 検出漏れ ダブルカウント 誤検出 適正検出 正解数 Precision Recall F値 YOLOv2 780 70 3 0 777 847 0.996 0.917 0.954 YOLOv3 842 7 2 0 840 847 0.997 0.991 0.993 EfficientDet 813 37 3 0 810 847 0.996 0.956 0.975 表：テンサイのカウンティングの結果について 12/15
16. 収穫重量推定の精度検証 16  画像から求めた、テンサイの長軸と短軸の長さから そのテンサイの重量を求める回帰式を作成できた  YOLOv3やEfficientDetを用いて、約3％の誤差で 収穫重量を予測することができた 検出ネットワーク 長軸の2乗と短軸の1乗を用いた場合 長軸の1乗と短軸の2乗を用いた場合 誤差 (kg) パーセント誤差 誤差 (kg) パーセント誤差 YOLOv2 -3632 -12.77 +227 +0.79 YOLOv3 -985 -3.45 +2939 +10.3 EfficientDet -864 -3.04 +3279 +13.10 y = 0.0002x + 0.2974 R² = 0.8859 0.0 0.5 1.0 1.5 2.0 2.5 3.0 3.5 4.0 0 3000 6000 9000 12000 15000 重量 (kg) 長軸2×短軸 (cm3) 検出した個体の寸法から重量へ変換した 収穫機上のカメラから収穫量が予測可能 13/15
17. 収穫重量のマッピング 17  カメラのGPS情報とカウンティング結果を紐づけ、地図上に収穫量の分布の可視化を行った  位置による、収穫量の分布を地図上から読み取ることができる 14/15
18. まとめ 18  本研究の結論 • 検出した収穫物を追跡し、それらの個数を精度よく (F値>0.95) カウンティングできた • バウンディングボックスの情報から重量に変換し、 それらをもとに収量の分布をマッピングすることができた  より高度なアルゴリズムによる精度向上や他の作物（例:バレイショ）への適用に取り組み中 図: YOLOv5による検出や、 DeepSortによる追跡を行い、カウ ンティングを行ったときの結果 15/15