Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
【令和最新版】ロボットシミュレータ Genesis x ROS 2で始める快適AIロボット開発
Search
Masaya Kataoka
December 27, 2024
Technology
2
1.7k
【令和最新版】ロボットシミュレータ Genesis x ROS 2で始める快適AIロボット開発
Masaya Kataoka
December 27, 2024
Tweet
Share
More Decks by Masaya Kataoka
See All by Masaya Kataoka
CLIPでrosbagの データを検索してみる話
hakuturu583
0
110
AMBER、rosbag と pytorchで はじめるお手軽マルチ モーダルロボット開発
hakuturu583
0
210
Other Decks in Technology
See All in Technology
Creative Pair
kawaguti
PRO
1
150
Amazon Aurora バージョンアップについて、改めて理解する ~バージョンアップ手法と文字コードへの影響~
smt7174
1
360
日本語プログラミングとSpring Bootアプリケーション開発 #kanjava
yusuke
2
370
Larkご案内資料
customercloud
PRO
0
100
20250208_OpenAIDeepResearchがやばいという話
doradora09
PRO
0
130
private spaceについてあれこれ調べてみた
operando
1
220
バクラクの組織とアーキテクチャ(要約)2025/01版
shkomine
13
3.3k
テストアーキテクチャ設計で実現する高品質で高スピードな開発の実践 / Test Architecture Design in Practice
ropqa
3
380
マルチデータプロダクト開発・運用に耐えるためのデータ組織・アーキテクチャの遷移
mtpooh
1
370
What's New in OpenShift 4.18
redhatlivestreaming
0
680
The 5 Obstacles to High-Performing Teams
mdalmijn
0
210
サーバーレスアーキテクチャと生成AIの融合 / Serverless Meets Generative AI
_kensh
5
750
Featured
See All Featured
Making the Leap to Tech Lead
cromwellryan
133
9.1k
The Cost Of JavaScript in 2023
addyosmani
47
7.3k
Raft: Consensus for Rubyists
vanstee
137
6.8k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
98
18k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
27
1.5k
Building Better People: How to give real-time feedback that sticks.
wjessup
366
19k
Bash Introduction
62gerente
610
210k
How STYLIGHT went responsive
nonsquared
98
5.3k
RailsConf 2023
tenderlove
29
990
Building a Scalable Design System with Sketch
lauravandoore
460
33k
Documentation Writing (for coders)
carmenintech
67
4.6k
The World Runs on Bad Software
bkeepers
PRO
67
11k
Transcript
【令和最新版】ロボットシミュレータ Genesis x ROS 2で始める快適 AIロボット開発 Team re-boot Masaya Kataoka
人生是即RoboCup • 学生時代は阪大のJoitech-SPLというチームのリーダーをしていました • ラズパイ以下のCPUでヒューマノイドでサッカーをやるとかいう魔境 • フルスクラッチで自作、予選敗退したけど圧倒的満足 • いい加減ハード作らせろ...これでは2050年までに人間に勝てないぞ!! ▶というわけで会社に世界大会優勝者がいたのでRobocupチームを立ち上げました
最近機械学習大変隆盛 • MPC x 油圧で頑張っていたBoston Dynamicsも強化学習 x 電動に • 爆速ロボットCassieは以前からlearning
base
我欲賢ROS Robot • ロボカップにおいて難しいのは行動計画 • マルチモーダルな情報処理とマルチタスクなプランニングが必要 • 複雑なモーションを手作業で作るのは無理、特に仕事してると無理 ▶ 面倒なことはAIにやらせよう
面倒なこと はAIに やらせよう Motion CLIPの特徴量とかで 条件付すればなんか それっぽい方策得られるんじゃ ね?知らんけど 右手はもうちょい下げたほうが特 徴量的にそれっぽい
完全E2E本当最強? • 実機データを収集する間に機体のパラメータが変化、学習が失敗 • 試合会場にDGX Super POD持ち込まないと学習できないようなものは駄目 • そもそも💰💰💰💰💰
我欲混合構成 • learning baseな要素とそうでなくていい要素がある • ハードウェア駆動や前処理、同期、座標変換などを学習でやる意味がない • こういった決定的な要素に対してROSはとても強い • でも、学習時にはROSは通信遅延やネットワークの設定などで邪魔
▶ 適切に役割分担を行い最適なロボットシステムを実現 VLMで画像処理するにしても、 歪み補正までディープでやる意 味ないよ
令和最新版仮想世界、Genesis • カーネギーメロン大学などが開発(論文よりOSSのほうが早い?!) • ソフトロボット、流体などにも対応 • 今後生成AIとのインテグも公開予定
genesis_ros • URDF変換、読み込み • リンクの位置情報を/tfトピックとしてmcapで出力 • amber連携によるpytorchへのmcapデータ入力 • セットアップはgit cloneしてpoetry
installするだけ!
mcap至高情報表現形式 • スキーマ情報と一体化しておりROSに依存せずデータを記録、再生可能 • amberと組み合わせれば、PyTorchのデータセットとして扱える • 実機で取れたrosbagをそのままデータセットとして入力可能
論よりRUN