Share
Embed
Transcript
18 slides
-
・2019年: KickstarterでxArm 5という低価格のアームロボが欲しくなりバックして無事届く。 ・2020年: 卓球の自動返球ロボを MakerFaire Tokyo 2020に出展。第5回ロボゼミで発表 ・2021年: ROS
2の入門としてxArm 5を使ったカルタ取りロボシステム制作。第 19回ロボゼミで発表 ・2022年: Lite 6用の軽量電動並行グリッパーを自作・ GitHubで公開(OpenParallelGripper) ・2023年: ML-Agentsで強化学習に入門。今回の前身となる御玉でボール拾いの学習に挑戦 ・2023年: T265とD415とLite 6を使った模倣学習実験を始める ・2023年: UFACTORY Lite 6をテレオペレーション操作するリーダーフォロワーシステムを作成 ・2024年: 上記システムをOSSのgelloにマージ @EL2031watson higrado 過去には四速歩行ロボ にも少し手を出した 卓球ロボ(MakerFaire2020) 自己紹介 カルタ取りロボシステム 冬眠前のAmber B1 OpenParallelGripper with UFACTORY Lite 6 ML-Agentsの実験 -
補足:参考にした手法 https://arxiv.org/abs/2304.13705 ViperX 300(Follower)をWidowX 250(Leader)で操作する ALOHAというOSSプロジェクトの論文。 ALOHA: 低価格ロボットデータ収集ツール RGB画像とアームロボットのジョイント角を入力として、nステッ プ先までのジョイント角を予測するTransformerモデル。
https://www.trossenrobotics.com/viperx-300-robot-arm-6dof.aspx ViperX 300 Robot Arm 6DOF 発表資料: https://speakerdeck.com/hygradme/realsense-t265tod415toufactor y-lite-6demo-fang-xue-xi-noshi-yan -
データの取得:T265を使ってLite 6を操作 { "date": "2023-09-27_14-52-07", "info": [ { "count": 0,
"time": 0.0, "position": [ 0.189421967, -0.084732452, 0.298651855, -2.578459, -0.878688, -0.549324 ], "angle": [ -0.572315, -0.092542, 0.730648, 0.659826, 0.98231, -1.648518, 0.0 ] }, { …. UFACTORY Lite 6のTCPにスプーンを取り付け、 TCPと連動するRealSense T265を使ってスプーンで豆を掬う。 T265 Lite 6 D415 画像とジョイント(TCP位置) https://x.com/EL2031watson/status/1728007549860077869 -
Pose or Jointのどちらでデータを学習するか Pose: ロボットの手先座標(位置3DoF+姿勢3DoF) ・直感的にわかりやすい ・他のロボットにも転用できる可能性 ・推論時に逆運動学を解く必要あり ・特異姿勢の問題が発生する可能性 →RT-1,RT-2はPoseで学習させている
https://umi-gripper.github.io/ GoProを取り付けたグリッパを手 動で動かし、SLAMで自己位置・ マーカーで開閉度を取得し TCP データセットを作成 Joint: ロボットの関節角(ロボットの関節分のDoF) ・特異姿勢の考慮の必要性がない ・推論時も推論結果をそのまま角度指令値として使える ・他の形状のロボットには転用できない →ALOHA論文のACTはJointで学習させている RT-2 https://robotics-transformer2.github.io/ -
Pose or Joint (豆拾いのケース) T265 Lite 6 →T265でアームを操作するが、学習は取得したジョイント角を使用 学習法として使用したALOHA論 文でもJointを使用している
{ "date": "2023-09-27_14-52-07", "info": [ { "count": 0, "time": 0.0, "position": [ 0.189421967, -0.084732452, 0.298651855, -2.578459, -0.878688, -0.549324 ], "angle": [ -0.572315, -0.092542, 0.730648, 0.659826, 0.98231, -1.648518, 0.0 ] }, { …. -
Pose(TCPの位置・姿勢からロボットの動作を指示する場合) ・特異姿勢を気にしないといけないので常に緊張する ・たまにトラッキングがバグってロボットが怖い動きをする https://github.com/real-stanford/universal_manipulation_interface/issues/7 Universal RobotsやFranka Emika, xArmのような特異姿勢が 出ずらい作業空間を設定しやすいロボットには使い易い ViperX
300 6DOFでPoseベースで学習させて特異姿勢を含 む推論結果を大量製造したとの issue https://umi-gripper.github.io/ これも多分同じ -
制御周期の改善 ・Dynamixelのデフォルトのbaudrate(57600bps)だと周期を上げられず(50-100ms?)、ロボットが加減速を繰り返すことにより振動 が激しくなる。 ・1Mbps~ならば振動はほとんどなく、滑らかに操作できた。 ・OpenRB-150だと1Mbpsまで。 ・U2D2なら6Mbpsまで行けて余裕がある。 (https://emanual.robotis.com/docs/en/parts/controller/openrb-150/) (https://emanual.robotis.com/docs/en/parts/interface/u2d2/) ・OpenRB-150だとlatency timer(バッファーが溜まる前でもその時間経過したらデータを送信する)
を変更不可能(16ms固定?)で、1Mbps設定でもあまり制御周期を上げられない。 U2D2ではlatency timerを変更可能で1ms設定にしたら1Mbpsで制御周期3-4msあたりまで減らすことができた。 → usb シリアル受信での 16msの遅延 - 工学系チキンによる工作ブログ (hatenablog.com)