Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
【令和最新版】ロボットシミュレータ Genesis x ROS 2で始める快適AIロボット開発
Search
Masaya Kataoka
December 27, 2024
Technology
2
2.3k
【令和最新版】ロボットシミュレータ Genesis x ROS 2で始める快適AIロボット開発
Masaya Kataoka
December 27, 2024
Tweet
Share
More Decks by Masaya Kataoka
See All by Masaya Kataoka
CLIPでrosbagの データを検索してみる話
hakuturu583
0
140
AMBER、rosbag と pytorchで はじめるお手軽マルチ モーダルロボット開発
hakuturu583
0
250
Other Decks in Technology
See All in Technology
Azure Developer CLI と Azure Deployment Environment / Azure Developer CLI and Azure Deployment Environment
nnstt1
1
120
Oracle Database オプティマイザ・ヒントの活用
oracle4engineer
PRO
1
140
AIオンボーディングとAIプロセスマイニング
nrryuya
5
1.3k
SmartHRの複数のチームにおけるMCPサーバーの活用事例と課題
yukisnow1823
2
1.1k
S3 Tables を図解でやさしくおさらい~基本から QuickSight 連携まで/s3-tables-illustrated-basics-quicksight
emiki
1
330
Houtou.pm #1
papix
0
660
LT:組込み屋さんのオシロが壊れた!
windy_pon
0
330
Introduction to Bill One Development Engineer
sansan33
PRO
0
240
GigaViewerにおけるMackerel APM導入の裏側
7474
0
450
新卒から4年間、20年もののWebサービスと向き合って学んだソフトウェア考古学 - PHPカンファレンス新潟2025 / new graduate 4year software archeology
oguri
2
350
大規模PaaSにおける監視基盤の構築と効率化の道のり
lycorptech_jp
PRO
0
170
iOS/Androidで無限循環Carousel表現を考えてみる
fumiyasac0921
0
130
Featured
See All Featured
The Language of Interfaces
destraynor
158
25k
Building Applications with DynamoDB
mza
95
6.4k
Building an army of robots
kneath
306
45k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
252
21k
Put a Button on it: Removing Barriers to Going Fast.
kastner
60
3.9k
StorybookのUI Testing Handbookを読んだ
zakiyama
30
5.8k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
25
2.8k
Music & Morning Musume
bryan
47
6.5k
Why You Should Never Use an ORM
jnunemaker
PRO
56
9.4k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
PRO
180
53k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
137
34k
Rebuilding a faster, lazier Slack
samanthasiow
81
9k
Transcript
【令和最新版】ロボットシミュレータ Genesis x ROS 2で始める快適 AIロボット開発 Team re-boot Masaya Kataoka
人生是即RoboCup • 学生時代は阪大のJoitech-SPLというチームのリーダーをしていました • ラズパイ以下のCPUでヒューマノイドでサッカーをやるとかいう魔境 • フルスクラッチで自作、予選敗退したけど圧倒的満足 • いい加減ハード作らせろ...これでは2050年までに人間に勝てないぞ!! ▶というわけで会社に世界大会優勝者がいたのでRobocupチームを立ち上げました
最近機械学習大変隆盛 • MPC x 油圧で頑張っていたBoston Dynamicsも強化学習 x 電動に • 爆速ロボットCassieは以前からlearning
base
我欲賢ROS Robot • ロボカップにおいて難しいのは行動計画 • マルチモーダルな情報処理とマルチタスクなプランニングが必要 • 複雑なモーションを手作業で作るのは無理、特に仕事してると無理 ▶ 面倒なことはAIにやらせよう
面倒なこと はAIに やらせよう Motion CLIPの特徴量とかで 条件付すればなんか それっぽい方策得られるんじゃ ね?知らんけど 右手はもうちょい下げたほうが特 徴量的にそれっぽい
完全E2E本当最強? • 実機データを収集する間に機体のパラメータが変化、学習が失敗 • 試合会場にDGX Super POD持ち込まないと学習できないようなものは駄目 • そもそも💰💰💰💰💰
我欲混合構成 • learning baseな要素とそうでなくていい要素がある • ハードウェア駆動や前処理、同期、座標変換などを学習でやる意味がない • こういった決定的な要素に対してROSはとても強い • でも、学習時にはROSは通信遅延やネットワークの設定などで邪魔
▶ 適切に役割分担を行い最適なロボットシステムを実現 VLMで画像処理するにしても、 歪み補正までディープでやる意 味ないよ
令和最新版仮想世界、Genesis • カーネギーメロン大学などが開発(論文よりOSSのほうが早い?!) • ソフトロボット、流体などにも対応 • 今後生成AIとのインテグも公開予定
genesis_ros • URDF変換、読み込み • リンクの位置情報を/tfトピックとしてmcapで出力 • amber連携によるpytorchへのmcapデータ入力 • セットアップはgit cloneしてpoetry
installするだけ!
mcap至高情報表現形式 • スキーマ情報と一体化しておりROSに依存せずデータを記録、再生可能 • amberと組み合わせれば、PyTorchのデータセットとして扱える • 実機で取れたrosbagをそのままデータセットとして入力可能
論よりRUN