【令和最新版】ロボットシミュレータ Genesis x ROS 2で始める快適AIロボット開発

【令和最新版】ロボットシミュレータ Genesis x ROS 2で始める快適 AIロボット開発 Team re-boot Masaya Kataoka

人生是即RoboCup • 学生時代は阪大のJoitech-SPLというチームのリーダーをしていました • ラズパイ以下のCPUでヒューマノイドでサッカーをやるとかいう魔境 • フルスクラッチで自作、予選敗退したけど圧倒的満足 • いい加減ハード作らせろ...これでは2050年までに人間に勝てないぞ！！ ▶というわけで会社に世界大会優勝者がいたのでRobocupチームを立ち上げました

最近機械学習大変隆盛 • MPC x 油圧で頑張っていたBoston Dynamicsも強化学習 x 電動に • 爆速ロボットCassieは以前からlearning
base

我欲賢ROS Robot • ロボカップにおいて難しいのは行動計画 • マルチモーダルな情報処理とマルチタスクなプランニングが必要 • 複雑なモーションを手作業で作るのは無理、特に仕事してると無理 ▶ 面倒なことはAIにやらせよう
面倒なことはAIにやらせよう Motion CLIPの特徴量とかで条件付すればなんかそれっぽい方策得られるんじゃね？知らんけど右手はもうちょい下げたほうが特徴量的にそれっぽい

完全E2E本当最強？ • 実機データを収集する間に機体のパラメータが変化、学習が失敗 • 試合会場にDGX Super POD持ち込まないと学習できないようなものは駄目 • そもそも💰💰💰💰💰

我欲混合構成 • learning baseな要素とそうでなくていい要素がある • ハードウェア駆動や前処理、同期、座標変換などを学習でやる意味がない • こういった決定的な要素に対してROSはとても強い • でも、学習時にはROSは通信遅延やネットワークの設定などで邪魔
▶ 適切に役割分担を行い最適なロボットシステムを実現 VLMで画像処理するにしても、歪み補正までディープでやる意味ないよ

令和最新版仮想世界、Genesis • カーネギーメロン大学などが開発（論文よりOSSのほうが早い？！） • ソフトロボット、流体などにも対応 • 今後生成AIとのインテグも公開予定

genesis_ros • URDF変換、読み込み • リンクの位置情報を/tfトピックとしてmcapで出力 • amber連携によるpytorchへのmcapデータ入力 • セットアップはgit cloneしてpoetry
installするだけ！

mcap至高情報表現形式 • スキーマ情報と一体化しておりROSに依存せずデータを記録、再生可能 • amberと組み合わせれば、PyTorchのデータセットとして扱える • 実機で取れたrosbagをそのままデータセットとして入力可能

論よりRUN

【令和最新版】ロボットシミュレータ Genesis x ROS 2で始める快適AIロボット開発

【令和最新版】ロボットシミュレータ Genesis x ROS 2で始める快適AIロボット開発

Masaya Kataoka

More Decks by Masaya Kataoka

Other Decks in Technology

Featured

Transcript