Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
【令和最新版】ロボットシミュレータ Genesis x ROS 2で始める快適AIロボット開発
Search
Masaya Kataoka
December 27, 2024
Technology
2
2.6k
【令和最新版】ロボットシミュレータ Genesis x ROS 2で始める快適AIロボット開発
Masaya Kataoka
December 27, 2024
Tweet
Share
More Decks by Masaya Kataoka
See All by Masaya Kataoka
CLIPでrosbagの データを検索してみる話
hakuturu583
0
180
AMBER、rosbag と pytorchで はじめるお手軽マルチ モーダルロボット開発
hakuturu583
0
280
Other Decks in Technology
See All in Technology
CDK CLIで使ってたあの機能、CDK Toolkit Libraryではどうやるの?
smt7174
4
140
これでもう迷わない!Jetpack Composeの書き方実践ガイド
zozotech
PRO
0
340
職種の壁を溶かして開発サイクルを高速に回す~情報透明性と職種越境から考えるAIフレンドリーな職種間連携~
daitasu
0
150
5分でカオスエンジニアリングを分かった気になろう
pandayumi
0
240
複数サービスを支えるマルチテナント型Batch MLプラットフォーム
lycorptech_jp
PRO
0
320
Firestore → Spanner 移行 を成功させた段階的移行プロセス
athug
1
460
BPaaSにおける人と協働する前提のAIエージェント-AWS登壇資料
kentarofujii
0
130
Autonomous Database - Dedicated 技術詳細 / adb-d_technical_detail_jp
oracle4engineer
PRO
4
10k
La gouvernance territoriale des données grâce à la plateforme Terreze
bluehats
0
160
Snowflakeの生成AI機能を活用したデータ分析アプリの作成 〜Cortex AnalystとCortex Searchの活用とStreamlitアプリでの利用〜
nayuts
1
480
[ JAWS-UG 東京 CommunityBuilders Night #2 ]SlackとAmazon Q Developerで 運用効率化を模索する
sh_fk2
3
400
Evolución del razonamiento matemático de GPT-4.1 a GPT-5 - Data Aventura Summit 2025 & VSCode DevDays
lauchacarro
0
170
Featured
See All Featured
Intergalactic Javascript Robots from Outer Space
tanoku
272
27k
Designing for Performance
lara
610
69k
Agile that works and the tools we love
rasmusluckow
330
21k
What's in a price? How to price your products and services
michaelherold
246
12k
Product Roadmaps are Hard
iamctodd
PRO
54
11k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
234
17k
VelocityConf: Rendering Performance Case Studies
addyosmani
332
24k
Visualization
eitanlees
148
16k
Into the Great Unknown - MozCon
thekraken
40
2k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
32
1.5k
Rebuilding a faster, lazier Slack
samanthasiow
83
9.2k
Facilitating Awesome Meetings
lara
55
6.5k
Transcript
【令和最新版】ロボットシミュレータ Genesis x ROS 2で始める快適 AIロボット開発 Team re-boot Masaya Kataoka
人生是即RoboCup • 学生時代は阪大のJoitech-SPLというチームのリーダーをしていました • ラズパイ以下のCPUでヒューマノイドでサッカーをやるとかいう魔境 • フルスクラッチで自作、予選敗退したけど圧倒的満足 • いい加減ハード作らせろ...これでは2050年までに人間に勝てないぞ!! ▶というわけで会社に世界大会優勝者がいたのでRobocupチームを立ち上げました
最近機械学習大変隆盛 • MPC x 油圧で頑張っていたBoston Dynamicsも強化学習 x 電動に • 爆速ロボットCassieは以前からlearning
base
我欲賢ROS Robot • ロボカップにおいて難しいのは行動計画 • マルチモーダルな情報処理とマルチタスクなプランニングが必要 • 複雑なモーションを手作業で作るのは無理、特に仕事してると無理 ▶ 面倒なことはAIにやらせよう
面倒なこと はAIに やらせよう Motion CLIPの特徴量とかで 条件付すればなんか それっぽい方策得られるんじゃ ね?知らんけど 右手はもうちょい下げたほうが特 徴量的にそれっぽい
完全E2E本当最強? • 実機データを収集する間に機体のパラメータが変化、学習が失敗 • 試合会場にDGX Super POD持ち込まないと学習できないようなものは駄目 • そもそも💰💰💰💰💰
我欲混合構成 • learning baseな要素とそうでなくていい要素がある • ハードウェア駆動や前処理、同期、座標変換などを学習でやる意味がない • こういった決定的な要素に対してROSはとても強い • でも、学習時にはROSは通信遅延やネットワークの設定などで邪魔
▶ 適切に役割分担を行い最適なロボットシステムを実現 VLMで画像処理するにしても、 歪み補正までディープでやる意 味ないよ
令和最新版仮想世界、Genesis • カーネギーメロン大学などが開発(論文よりOSSのほうが早い?!) • ソフトロボット、流体などにも対応 • 今後生成AIとのインテグも公開予定
genesis_ros • URDF変換、読み込み • リンクの位置情報を/tfトピックとしてmcapで出力 • amber連携によるpytorchへのmcapデータ入力 • セットアップはgit cloneしてpoetry
installするだけ!
mcap至高情報表現形式 • スキーマ情報と一体化しておりROSに依存せずデータを記録、再生可能 • amberと組み合わせれば、PyTorchのデータセットとして扱える • 実機で取れたrosbagをそのままデータセットとして入力可能
論よりRUN