小ねぎ調製位置検出のためのインスタンスセグメンテーション

Transcript

1. 小ねぎ調製位置検出のための インスタンスセグメンテーション 安藤 拓翔1 井上 優良2 1大分工業高等専門学校 専攻科 電気電子情報工学専攻 2大分工業高等専門学校 情報工学科 D-27 2024年度 第32回 電子情報通信会九州支部 学生会講演会 9/25
2. 1/26 発表内容
3. 2/26 発表内容
4. 3/26 農業従事者の不足 小ねぎ調製作業における省力化・軽労化のために 農業機械による自動化が要求される 小ねぎ調製作業とは 葉の皮むきを指す 出荷するためには１芯１葉に調製する 大分県の小ねぎ調製場では人手不足が課題 1芯1葉(合わせて2枚に)
5. 4/26 調製方法 上下の水圧ノズルにより不要な葉の除去 精度が低く 一度に全ての不要な葉を取り除くことができない 人手による二次処理を要する 現行の調製手順 小ねぎ調製機の図 調製後の小ねぎ 調製機 調製前の小ねぎ レーンの向き ノズル
6. 5/26 不要な葉を一度に除去するには 小ねぎの最上部の分岐部位置にノズルを合わせて投入 個体によって異なる分岐部位置を判別する必要がある 方法：水圧ノズルの位置合わせをする[1] ノズル イメージ図 小ねぎの上部 小ねぎの下部 [1]大分県（2022）大分県スマート農林水産業推進方針， 〈https://www. pref.oita.jp/soshiki/15060/sumart.html〉， 2024 年 2 月 10 日参照 目標精度：90%
7. 6/26 分岐部位置の判別方法 画像認識により判別 YOLOなどのDNNによる物体検出が挙げられる 分岐部が遮蔽された場合は検出できない 検出可能 検出不可 × ◯ 分岐部の隠れ
8. 7/26 本研究では 分岐部が遮蔽された場合でも対応 １つの葉が分岐して２枚の葉に変化した箇所 分岐部位置と推定 インスタンスセグメンテーションにより 葉の位置から分岐部を推定する手法の有効性の評価 本研究の目的 葉の形状から分岐部の位置を推定 インスタンスセグメンテーションにより 葉の枚数をカウント
9. 8/26 発表内容
10. 9/26 1. エッジ検出による分岐部検出 分岐部にある繊維斜線を検出[2] 分岐部には斜線のような繊維がある特徴を利用 [2] 安藤 拓翔, 井上 優良, エッジデバイス上におけるリアルタイム小ねぎ分岐部位置検出, 農業情報研究, 2024, 33 巻, 2 号, p. 73-80 組込み機器でも容易に動作可能 ただし 遮蔽は× エッジ検出により分岐部斜線を抽出することで 分岐部位置を検出
11. 10/26 2. YOLOXによる分岐部検出 YOLOXによる分岐部の検出 組込み機器向けの軽量なモデルを利用 精度は約96% 白ねぎを対象とした分岐部検出[3] [3] 小野竜也, 井上 優良, YOLOX を用いた白ねぎの葉の分岐部検出,2023, 2023年度（第31回）電子情報通信学会九州支部学生会講演会, D-22 ただし 遮蔽は× (小ねぎより遮蔽が少ないため問題なし)
12. 11/26 本研究の立ち位置 先行研究の共通した特徴 カメラで分岐部を撮影できる前提 分岐部が遮蔽されていれば検出はできない 本研究では 小ねぎは葉が重なり合うことが多いため 分岐部の遮蔽によらない検出手法を提案
13. 12/26 発表内容
14. 13/26 提案手法 処理の流れ 画像の取得 前処理 推論 小ねぎ画像を取得 コントラスト強調 インスタンスセグメンテーション実行 葉の位置情報から枚数の変化箇所を識別 分岐部位置の判別 y座標の出力 最上位分岐部と推定した位置のy座標を出力
15. 14/26 画像の取得と前処理 処理の流れ 画像の取得 前処理 推論 分岐部位置の判別 y座標の出力 調製前の小ねぎ１本を撮影した画像を取得 推論の精度を上げるため 前処理としてヒストグラム平坦化を適用 [4] コントラストの調整 - MATLAB & Simulink, (https://www.mathworks.com/help/images/contrast-adjustment_ja_JP.html), 2024 年 9 月 18 日参照 コントラストの補正 補正前 補正後 [4]
16. 15/26 インスタンスセグメンテーションとは 処理の流れ 領域分割して物体の種類を認識できる手法 2つのセグメンテーションの違い セマンティックと違い、同じクラスでも個別に抽出 利用したモデル：Mask-RCNN
17. 16/26 処理の流れ アノテーション：芯クラスと葉クラスで区別 芯クラス：根から小ねぎの先端まで伸びている葉 葉クラス：芯から分岐している外葉 芯 クラス 葉 クラス
18. 17/26 推論 (インスタンスセグメンテーションを実行) 処理の流れ 画像の取得 前処理 推論 分岐部位置の判別 y座標の出力 Mask-RCNNにより 葉と芯のインスタンス領域を推論 物体のバウンディングボックスを取得
19. 18/26 葉の位置と枚数から分岐部位置を推定 分岐部位置の判別と出力 画像の取得 前処理 推論 分岐部位置の判別 y座標の出力 葉の枚数が変わっている箇所が 分岐部であると推定して出力 最上位分岐部 (このy座標を出力) 第２分岐部 ３ ２ １
20. 19/26 発表内容
21. 20/26 本実験の目的 推論処理を認識精度(正解率*)の観点で性能評価 物体検出モデル(YOLOX)と比較 葉の位置から分岐部を推定する手法の 検出精度と分岐部の遮蔽に対する有効性の評価 * 正解位置との差が1cm未満を検出成功とする 出力y座標と正解y座標の差が50px未満であれば正解 上下誤差 1.0cm 正解位置
22. 21/26 評価方法 K-分割交差検証 (K = 10) 目的：テストデータセットの偏りによる精度の影響を防ぐため … テストデータ 学習データ 430枚のデータを10分割 １つ(43枚)をテストデータ 残り(387枚)を学習データ 10回実験を実施して 全ての画像について評価 430 枚 1 2 10 43枚
23. 22/26 実験 (２つの実験により本手法の有効性を評価) 02 分岐部が遮蔽された画像で評価 01 すべての小ねぎ画像で評価 小ねぎデータセット430枚すべての画像に対して 正解率を評価(分岐部が遮蔽された画像も含む) 430枚のなかで、分岐部が遮蔽されていると判断した 39枚のうち正解率を評価
24. 23/26 実験結果 すべての小ねぎ画像(遮蔽を含む)と遮蔽画像の評価 全ての画像を評価すると精度はYOLOXの推論が上回る 一方で、分岐部が遮蔽した場合ではMask-RCNNが大幅に上回る 89 72 0 20 40 60 80 100 YOLOX Mask-RCNN 正解率 [%] 実験１：すべての画像(430枚)の評価 38 89 0 20 40 60 80 100 YOLOX Mask-RCNN 正解率 [%] 実験２：分岐部が遮蔽した画像(39枚)の評価 2.34 倍
25. 24/26 提案手法の有効性について 葉が見えていれば推定可能 分岐部が遮蔽されていても葉を個体ごとに認識することが できれば分岐部位置を推定可能 ただし全体の精度は物体検出モデルに劣る そのため現時点では実応用は不可 成功例
26. 25/26 発表内容
27. 26/26 まとめ インスタンスセグメンテーションにより葉の位置を抽出して 葉の形状から分岐部を推定する手法を提案 分岐部が遮蔽された場合の検出率は 89% & YOLOXの約2.34倍 分岐部が遮蔽された場合の検出の有効性を確認 分岐部が遮蔽されていない場合の精度の向上 物体検出モデルと組み合わせた検出手法の検討 今後の課題
28. appendix
29. 28/26 Mask-RCNN Faster-RCNNをセグメンテーション向けに拡張したモデル 物体検出(Faster-RCNN)+セグメンテーション機能 物体検出結果として得られた領域に対してセグメンテーション ２ステップで推論を実行 Object detection task Segmentation task
30. 29/26 Detectron2 Meta Research が提供するモデル作成用ライブラリ 物体検出やセグメンテーションモデルを作成可能 Apache 2.0 ライセンスで商用利用も可 事前に学習されたResNet-50を転移学習
31. 30/26 実験環境 CPU Intel(R) Core(TM) i5-11400 GPU NVIDIA GeForce RTX-3060 OS Ubuntu 20.04 プログラミング言語 Python 3.11.4
32. 31/26 データセット 大分県宇佐市北部小ねぎ共同調製場にて 調製される小ねぎを撮影した430枚の画像 撮影位置は固定 解像度 : 1920 x 1080
33. 32/26 検出可否の基準 出力y座標と正解y座標を比較 正解位置との差が1cm未満を検出成功とする 出力y座標と正解y座標の差が50px未満であれば正解 上下誤差 1.0cm 正解位置