SSII2025 [OS3-03] 有機ミニトマト農場におけるロボット開発と基礎研究

Transcript

1. 有機ミニトマト農場における ロボット開発と基礎研究 森裕紀 株式会社トクイテン 共同創業者／取締役 早稲⽥⼤学次世代ロボット研究機構 研究院客員准教授 OS3 どの論⽂でもダメなんだけど！ 〜実応⽤とその課題〜
2. ⾃⼰紹介 • 名前 森裕紀 twitter@HirokiMori • 出⾝ 愛知県 • 早稲⽥⼤学 次世代ロボット研究機構 • 客員主任研究員/研究院客員准教授 • トクイテン株式会社 • 共同創業者・取締役 • 経歴 • 岐⾩⼯業⾼等専⾨学校（1997〜2002） • 第⼀回ロボカップ観戦（1997） • ロボコン参加（1999,2000） • サッカー部（1年⽣〜5年⽣） • 豊橋技術科学⼤学 情報⼯学課程（2002〜2004） • 豊橋技術科学⼤学⼤学院 情報⼯学専攻 修⼠課程（2004〜2006） • 計算論的神経科学（宇野洋⼆教授・福村直博助教授） • 東京⼤学⼤学院 博⼠課程（2006〜2009） • 発達ロボティクス（⼤津・國吉・原⽥研究室） • 単位取得退学→2011年3⽉博⼠取得（指導教員：國吉康夫） • 浅⽥共創知能システムプロジェクト 研究員（2009〜2011） • ⼤阪⼤学 浅⽥研究室 助教（2011〜2016） • University of Cergy-Pontoise (France) (2016〜2017) • Alex Pitti （國吉研時代の同僚） • 早稲⽥⼤学 次世代ロボット研究機構 • 株式会社トクイテン （2021年8⽉6⽇設⽴） • 有機農業をロボットで全⾃動化を⽬指す • 興味 • 勝⼿に賢くなるシステム • ヒトとロボットの学習・発達 • 有機農業の完全⾃動化
4. ձࣾ֓ཁ ๛٢ོҰ࿠ τΫΠςϯ୅දऔక໾ ೥ੜ·Ε ذෞݝग़਎ ذෞ޻ۀߴ౳ઐ໳ֶߍͰϩϘίϯશࠃ४༏উɺ χϡʔϥϧωοτΛֶͼଔۀɻ೥݄ʹגࣜձ ࣾ.JTPDBΛઃཱɻΫϥ΢υ੥ٻ؅ཧαʔϏε ʮ.JTPDBʢϛιΧʣʯ͸ສࣄۀऀҎ্͕ొ࿥͢ ΔαʔϏεʹ੒௕ͤ͞೥ʹձࣾΛ໻ੜגࣜձ ࣾ΁ച٫ɺ୅දΛୀ೚ɻͦͷޙɺۮવ஌Γ߹͍ͷ೶ ۀΛख఻ͬͨ͜ͱ͔Β೶ۀʹڵຯΛ࣋ͪɺ࣍ͷىۀ Ͱ͸ਓੜΛṌ͚ͯࣾձͷͨΊʹͳΔ͜ͱ͕͍͍ͱɺ ྩ࿨೥౓ ೶ۀऀҭ੒ࢧԉݚमʹ௨͍೶ۀΛֶͿ ৿༟ل ത࢜ʢ৘ใཧ޻ֶʣ τΫΠςϯऔక໾ ذෞ޻ۀߴ౳ઐ໳ֶߍଔۀɻϦʔμʔͱͯ͠ϩϘίϯ४༏উɻߴઐ࣌୅ʹχϡʔϥ ϧωοτΛֶͼɺͦΕҎདྷɺਓؒ΍ϩϘοτͷֶशɺೝ஌ɺൃୡɺӡಈ੍ޚʹ͍ͭ ͯݚڀ͢Δɻ๛ڮٕՊେ೥࣍ฤೖޙଔۀɾम࢜मྃɻ౦େΑΓത࢜ʢ৘ใཧ޻ ֶʣɻࡕେॿڭɺϑϥϯεͰͷݚڀΛܦͯɺૣҴాେֶɾݚڀӃ।ڭतɾओ೚ݚڀ һɻݱࡏ͸τΫΠςϯʹ࣠଍ΛҠ͠ɺҾ͖ଓ͖ૣҴాେֶͰݚڀӃ٬һ।ڭतɾ٬ һओ೚ݚڀһͱֶͯ͠ज़ݚڀ΋ܧଓ͍ͯ͠Δɻ ݚڀςʔϚɿඥ݁ͼ΍Ϙλϯֻ͚ͳͲॊΒ͔͍෺ମΛऔΓѻ͏ϩϘοτɺܭࢉྔͷ গͳ͍஫ҙػߏΛ༻͍ͨಈ࡞ੜ੒Ϟσϧɺਂ૚ੜ੒ϞσϧΛ༻͍ͨܦ࿏ܭըͷݚڀɺ ෩ધΛ࢖ͬͨॊΒ͔͍ϩϘοτɺશ਎ےࠎ֨ɾ೴ਆܦܥγϛϡϨʔγϣϯɺͳͲͷ ݚڀΛߦ͍ͬͯΔɻ جຊ৘ใ ձ໊ࣾ ୅දऀ ૑ۀ೥݄೔ ॴࡏ஍ ೶৔ ैۀһ਺ ࣄۀ಺༰ גࣜձࣾτΫΠςϯ ๛٢ོҰ࿠ʢͱΑ͠ΓΎ͏͍ͪΖ͏ʣ ೥݄೔ ໊ݹ԰ࢢதଜ۠Ҫਂொ൪߸ ৽໊ݹ԰ηϯλʔϏϧ ຊਞ֗߸ࣨ ஌ଟࢢਧࠐ4-86 ໊ʢ೥݄ݱࡏɺύʔτɾۀ຿ҕୗؚΉʣ ༗ػϛχτϚτͷੜ࢈ɾൢചɺ೶ۀ༻ϩϘοτ౳ͷ։ൃ 共同創業者
5. Organic Farming × Technology ೥݄੡࡞ ࣄۀਐ௙ಈը
6. ͳͥ༗ػ೶ۀ͕ਪਐ͞Ε͍ͯΔͷ͔ Խֶංྉ ஠ૉ ϦϯࢎΞϯϞχ΢Ϝ ԘԽΧϦ΢Ϝ 肥料をめぐる情勢 農林⽔産省 令和５年５⽉ 農産局 技術普及課 https://www.maff.go.jp/j/seisan/sien/sizai/s_hiryo/attach/pdf/HiryouMegujiR5- 5.pdf 2016 2030 2050 化学肥料使⽤量の⽇本政府⽬標 20% 削減 30% 削減 Cycle usage of domestic resources Improving fertilizer efficiency • ೔ຊ͸શͯͷԽֶංྉΛ༌ೖʹཔ͍ͬͯΔ • ೶ྛਫ࢈ۀ͔ΒͰΔԹࣨޮՌΨε͸શମͷ11%ʢԽֶංྉ੡଄ʹԽੴ೩ྉ͕ඞཁʣ • ؾީมಈରࡦɾ৯ྉ҆શอোͷͨΊԽֶංྉͷ࢖༻ΛݮΒ͢ඞཁ͕͋Δ 輸⼊化学肥料の価格 2023 2022 2021 2020 2019 2018 2017 2016 2015 2014 2013 2012 2011 2010 0 100 千円 / トン 尿素 リン酸アンモニウム 塩化カリウム
7. Organic Farming × Technology ೶ۀैࣄऀ͸ݮΓଓ͚͍ͯΔ • 令和4年の平均年齢： 68.4歳 農林⽔産省 農業労働⼒に関する統計 基幹的農業従事者（個⼈経営体）
9. 基礎研究と応⽤技術 • ⼤学での基礎研究 • cGANによるロボット軌道⽣成 • 微分可能な⾮衝突姿勢⽣成モデルによる最適軌道計算 • 視覚注意モデルとRNNによるロボット動作⽣成 • 道具使⽤に伴う⾝体像の拡張 • トクイテンにおけるロボット開発 • ⾃律⾛⾏ • 収穫ロボット • トング vs 吸引 • 物体検出モデルの活⽤
10. cGANによるロボット軌道計画の研究 Ando, Mori+, Learning-based collision-free planning on arbitrary optimization criteria in the latent space through cGANs Advanced Robotics Best Paper Awards 2024, 2024年度FA財団論⽂賞 ・条件付きGANを⽤いて凸包となる潜在空間とロボット姿勢の対応関係を学習 ・障害物の環境情報を条件⼊⼒→⾃⼰衝突回避を含む必ず衝突しない姿勢を⽣成 ・微分可能なモデルの特性を活かして任意の基準による軌道最適化も可能
11. Generated Trajectory • Trajectory of the “Bottom to left” of the shelf successfully avoid collisions • In RRT-Connect, even the same start/goal posture is given, the result can be completely different paths 11 RRT-Connect (i) RRT-Connect (ii) Ours
12. Abrupt postural change 最適軌道⽣成 12 w/o Opt. Minimize ∑! 𝒗 " " ⽬的に応じた最適規範を設定することで勾配法により最適化可能 Short trajectory length Minimize ∑! 𝒋 " " Minimize ∑! 𝒂 " " Smooth movement w/o abrupt postural change Small backward motion of the arm Minimize (∑! 𝒗 " " , ∑! 𝒂 " " , ∑! 𝒋 " ") Abrupt postural change
13. 適応的注意によるEnd-to-Endロボット動作⽣成 (Hiruma, Mori+ 2022a, Hiruma, Mori+ 2022b) 13 選択︓Attention Mapの⽣成 抽出︓注意情報を選択的に抽出 注意が向いたピクセルの特徴量と座標を抽出 → Attention Mapの値を重みとして平均 Key=画像特徴量、Query=注意対象の特徴量ベクトル Attention Map=KeyとQueryのピクセル毎の内積 → 値が⾼い箇所に注意が向く Query Key 𝑘!"# 𝑞!"# (= 𝑘!"# ) Feature Value 𝑣!"# Attention Map 1 2 Coordinate Value 内積 Softmax 2D 重み付き平均 Feature Output 𝑣!"# Coordinate Output 2 𝐹𝐶𝑁$ Key カメラ画像 𝐹𝐶𝑁% Feature Value カメラ画像 (1) 選択 (2) 抽出
14. 提案モデル︓ 視覚的注意からの動作⽣成 14 カメラ画像(t) 注意特徴量(t) 関節⾓度(t) 注意座標(t) 注意特徴量(t+1) 関節⾓度(t+1) 注意座標(t+1) Query 動作実⾏ 学習の補助 学習の補助 • 外部指⽰による注意制御 → 共有LSTMを介して⼊⼒ → 内部フィードバックによる安定性・適応性の効果と共存させる 動作予測モジュール 注意機構 注意機構 注意機構 Feature LSTM XY LSTM Joint LSTM 共有 LSTM 変換 外部指⽰
15. 15 学習結果 近い・遠い未教⽰の初期位置で動作を⽣成 条件︓ 近い初期位置 条件︓ 遠い初期位置 条件︓ 遠い初期位置＋邪魔 → 物体の位置に応じた動作の切り替えが確認できた 結果︓ 直接把持動作 結果︓ 引き寄せ→把持動作 結果︓ 引き寄せ→引き寄せ 結果 1× 1× 1×
16. 16 条件︓ 遠い初期位置＋邪魔 結果 注意の内訳 #0 : 道具への注意 #2 : 物体への注意 #1, 3: 役割ベースの注意 凡例 ◦: 時刻ｔの注意点 ◦: 時刻ｔ+1の注意点（予測） →: 対応する注意点を接続 結果 • 物体が遠ざかると引き寄せ→引き寄せ動作を⽣成 • 注意の挙動 引き寄せ終了時、#1と#3は把持動作⽤に切り替わる → #2で物体の位置が遠いことを確認 → #1と#3が再度引き寄せ動作⽤に切り替わる • 環境の状況に応じた適切な注意の切り替えを実現
17. ࠿ഓશମΛ ࣗಈԽ 害虫捕殺ロボット 収穫ロボット 液体噴霧ロボット モニタリングロボット
18. Organic Farming × Technology ࣗ཯૸ߦͷΞϧΰϦζϜ • ೋͭͷΞϧΰϦζϜΛ૊Έ߹Θͤͨ ◦ "36$0ϚʔΧʔʹΑΓࣄલʹ༻ҙͨ͠ϚοϓͷதͰͷࣗݾҐஔΛܾఆ ͯ͠ɺܦ࿏Λܭըͯ͠૸ߦ ◦ ੊ʢබΛ২͑ΔͨΊͷ੝Γ্͕ͬͨ෦෼ʣͱ੊ͷؒͷ௨࿏Λ૸ߦ͢Δͨ Ί-J%"3ʹΑΓ੊Λݕग़͠ɺԾ૝ϙςϯγϟϧ๏ʹΑΓதԝΛ௨Δ
19. Organic Farming × Technology ࣗ཯૸ߦʹΑΔ๷஬ػͷ८ճ • "S6DPϚʔΧʔͱ੊ؒ௨࿏ͷಓͳΓ૸ߦΛ૊Έ߹Θͤͨࣗ཯૸ߦ • ԫ৭͍ޫͰίφδϥϛΛ͓ͼ͖دͤͯั·͑Δ๷஬ػΛ८ճ 2022年11⽉7⽇ 実験ハウス内での⾃律⾛⾏実験 （10倍速） 2023年5⽉27⽇ 20aハウス内での⾃律⾛⾏
20. Organic Farming × Technology ೥݄੡࡞ ࣄۀਐ௙ಈը
21. Organic Farming × Technology ऩ֭༻ΤϯυΤϑΣΫλ 没になったハンド（2022年1⽉27⽇） トング （2022年2⽉11⽇） • 3Dプリンタなどで⼯夫したものの100円ショップ で購⼊した200円のトングの性能が⼀番⾼かった • 実のグリップ • 適度なしなり • トングと実のズレを引き込んで包み込む曲⾯
22. Organic Farming × Technology ೥݄೔ͷࣗಈऩ֭ςετˏࡉ໺ϑΝʔϜ
23. Organic Farming × Technology τϯάʹΑΔऩ֭ํࣜɿλϒϨοτʹΑΔऩ֭ࢦࣔ • 異業種交流会メッセナゴヤでのデモがNHKのニュースで紹介 • （2022年11⽉16⽇放送） ◦ 本⽇のトクイテンブースでご覧になれます Yolov5によるトマト認識 トマト認識に基づいて収穫動作 実はYOLOの結果は使ってない
24. Organic Farming × Technology ϛχτϚτऩ֭ػߏ ϋϯυܕɾٵҾܕ 完熟するとヘタと実が適度に剥 がれやすい品種を栽培 Realsenseによりトマトの実の 三次元位置を検出 トングを⽤いたハンドによって 捻って収穫 ⼀つ⼀つの実を捻って採る収穫 ⽅法では収穫速度に課題 動画4倍速（2022年7⽉） 吸引⽅式により収穫速度の向上に挑戦中（特許出願予定） ・動画は等倍速 （2023年7⽉） ・⾃動収穫アルゴリズムやメカニズムを改善して収穫率 ・速度を向上予定
25. Organic Farming × Technology :0-0WʹΑΔτϚτͷೝࣝ • 吸引⽅式：バウンディングボックスの中央にアプローチすれば2cm程度の 誤差なら吸引可能
26. Organic Farming × Technology ࣗಈऩ֭ͷํ๏ͱը૾ೝࣝ ・全ての個別技術はシステム全体の部品 ・システムの⽬的のため部品は必要⼗分な機能であるべき ・トクイテンの収穫ロボット ・トングで捻って取る⽅式vs吸引⽅式 ・トング：アプローチ位置と⽅向を適切に設定する必要 Realsenseからの画像をクリックして決定 （誤差：mm単位） ・吸引：YOLOの検出領域の中央を雑に⽬標とすれば良い （誤差：cm単位） ・深層学習を使ってトングのアプローチを決定するモデルは作成可能 だが、吸引⽅針により必要なくなった
27. Organic Farming × Technology ৽ܕτϚτऩ֭ϩϘοτ ・吸引型 ・直交ロボットアーム ・レール移動式 ・YOLOv8によるトマト検出 ・3Dカメラによるトマト3次元位置推定
28. Organic Farming × Technology ࠷৽ͷࣗಈऩ֭ͷ༷ࢠʢिճӡ༻தʣ
29. Organic Farming × Technology ೥݄೔ͷऩ֭ಈ࡞ςετ
30. Organic Farming × Technology ϝοηʔδ ・基礎研究は⾃由にやりましょう ・再現性は不可⽋ ・オープンソース（YOLOがオープンソースで助かった） ・チュートリアル ・たまたま実応⽤のパズルのピースとして合う「場合がある」程度に考える ・適切な問題の分割とモデル開発 ・End-to-Endは基礎研究としてどんどんやる ・究極の知能を求めるならEnd-to-Endを⽬指すべき ・可能な限り⼀つのモデルで全体システムを作る ・実応⽤としてのハードルを基礎研究で乗り越えたい