Upgrade to Pro — share decks privately, control downloads, hide ads and more …

SSII2024 [OS1] 現場の課題を解決する ロボットラーニング

SSII2024 [OS1] 現場の課題を解決する ロボットラーニング

More Decks by 画像センシングシンポジウム

Other Decks in Research


  1. 1. 柔軟手首機構 • ケーブル駆動の柔剛切り替え可能な手首 • 3個のバネでグリッパとアームを接続、6自由度の変位が可能 A compact, cable-driven, activatable

    soft robot wrist for assembly [Tanaka and Drigalski et al., IROS 2020] Soft Hard 柔剛切り替え 設計概要図 ペグイン課題における比較 4/32
  2. 2. 柔軟ロボ強化学習 • サブタスク区分化とモデルベース強化学習による効率化 • 各サブタスクを2-3回の試行回数で学習 Learning robotic assembly tasks

    with lower dimensional systems by leveraging physical softness and environmental constraints [Hamaya et al., ICRA 2020] サブタスク区分化による低次元空間表現 学習後の部品挿入 5/32
  3. 4. 人の物理的相互作用による柔軟ロボット強化学習 • 誘導・敵対インタラクションにより学習を効率・頑健化 Robotic learning from advisory and adversarial

    interactions using a soft wrist [Hamaya et al., RA-L 2021] 誘導・敵対インタラクション 異なる材質のペグの挿入 7/32
  4. 5. 柔軟ロボ転移強化学習 • 複数のダイナミクスモデルを集約し、未知環境に迅速に適応 TRANS-AM: Transfer learning by aggregating dynamics

    models for soft robotic assembly [Tanaka et al., ICRA 2021] ダイナミクスモデル集約 異なる角度の穴を持つ環境への転移 8/32
  5. 6. 触覚を利用した学習 • 触覚を活用し、部品の把持姿勢と穴の位置の不確実性に対処 Learning robotic assembly by leveraging physical

    softness and tactile sensing [Miquel et al., IROS 2023] 様々な把持姿勢と異なる直径のペグ挿入 触覚による穴検知 9/32
  6. 7. 力覚と幾何的対称性を活用した強化学習 • 力覚によるモーションキャプチャを使用しない強化学習 • 部品の幾何的な対称性を利用した効率的な学習 Symmetry-aware reinforcement learning for

    robotic assembly under partial observability with a soft wrist [Nguyen et al., ICRA 2024] 従来研究(モーキャプ利用) 対象性を利用し、3時間で部品挿入を学習 10/32
  7. 8. 柔軟ロボのSim-to-real転移強化学習 • Sim-to-realによるゼロショット転移強化学習 • 柔軟ロボの制御方策と状態推定をteacher-studentで学習 Robotic object insertion with

    a soft wrist through sim-to-real Privileged Training [Fuchioka et al., under review] teacher-student 様々な把持位置での挿入 11/32
  8. 9. 接触や画像を使用した把持姿勢推定 • サブmmの姿勢推定誤差を実現 Precise multi-modal in-hand pose estimation using

    low-precision sensors for robotic assembly [Drigalski et al., ICRA 2021] Uncertain pose after grasping High confidence Touch tip Touch side Actions to reduce uncertainty Look 地面や角に触れる動作、部品を見る動作 12/32
  9. 11. 触覚による把持トルク推定 • 電磁気学に着想を得た画像型触覚センサのトルク推定方法 An electromagnetism-inspired method for estimating in-grasp

    torque from visuotactile sensors [Fuchioka and Hamaya, ICRA 2024] 画像型触覚センサのトルク推定 FTセンサによるトルクの真値 真値との高い相関 USB挿入への応用 電磁気学の双極子モーメント と触覚の分布 14/32
  10. 12. 腱駆動ロボット • 駆動部を根元に集約し、軽量なアームを設計 Twist Snake: Plastic table-top cable-driven robotic

    arm with all motors located at the base link [Tanaka and Hamaya, ICRA 2023] 7個のモーターを根元に集約 柔らかさと俊敏さを同時に持つ 15/32
  11. 15. Sim-to-real 粉砕秤量学習 • シミュレータで秤量を強化学習し、ゼロショットで転移 • 4種類の粉体を5mgの目標質量で誤差0.2mgを実現 Learning robotic powder

    weighing from simulation for laboratory automation [Kadokawa et al., IROS 2023] Isaac Gymによるシミュレータ 小麦粉・米粉・塩・活性炭の秤量 19/32
  12. 17. 触覚を使用した脆弱物体把持学習 • 食材の破壊経験から破壊のタイミングを予測するモデルを学習 • 破壊する寸前で食材を把持 Learning by breaking: food

    fracture anticipation for robotic food manipulation [Ishikawa et al., ACCESS 2022] 豆腐・バナナ・ポテトチップスの把持 食材を破壊しながら学習 22/32
  13. 21. 長期的なロボット調理作業計画 • プランニング言語(PDDL)から一連の調理動作を実行 Integrated task and motion planning for

    real-world cooking tasks [Siburian and Beltran-Hernandez et al., ICRA2024 Workshop on Cooking Robotics] 26/32
  14. 24. 未知環境に適応する転移強化学習 • 学習済み方策を重み付け和で集約し、迅速に未知環境に適応 MULTIPOLAR: Multi-source policy aggregation for transfer

    reinforcement learning between diverse environmental dynamics [Barekatain et al., IJCAI 2020] State 𝑠𝑠𝑡𝑡 Auxiliary network for predicting residuals: 𝐹𝐹aux 𝑠𝑠𝑡𝑡 ; 𝜃𝜃aux 𝜃𝜃aux Continuous action space: 𝜋𝜋target ≡ 𝒩𝒩 𝐹𝐹 𝑠𝑠𝑡𝑡 ; 𝐿𝐿, 𝜃𝜃agg , 𝜃𝜃aux , Σ 𝜇𝜇1 𝜇𝜇2 𝜇𝜇𝐾𝐾 … Source policies 𝐿𝐿 = 𝜇𝜇1 , … , 𝜇𝜇𝐾𝐾 … ⊙ 𝐴𝐴𝑡𝑡 … 𝜃𝜃agg Adaptive aggregation of source policies: 𝐹𝐹agg 𝑠𝑠𝑡𝑡 ; 𝐿𝐿, 𝜃𝜃agg 𝐹𝐹 𝑠𝑠𝑡𝑡 ; 𝐿𝐿, 𝜃𝜃agg , 𝜃𝜃aux + 30/32