Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
【令和最新版】ロボットシミュレータ Genesis x ROS 2で始める快適AIロボット開発
Search
Masaya Kataoka
December 27, 2024
Technology
2
1.9k
【令和最新版】ロボットシミュレータ Genesis x ROS 2で始める快適AIロボット開発
Masaya Kataoka
December 27, 2024
Tweet
Share
More Decks by Masaya Kataoka
See All by Masaya Kataoka
CLIPでrosbagの データを検索してみる話
hakuturu583
0
120
AMBER、rosbag と pytorchで はじめるお手軽マルチ モーダルロボット開発
hakuturu583
0
220
Other Decks in Technology
See All in Technology
役員・マネージャー・著者・エンジニアそれぞれの立場から見たAWS認定資格
nrinetcom
PRO
5
6.9k
職位にかかわらず全員がリーダーシップを発揮するチーム作り / Building a team where everyone can demonstrate leadership regardless of position
madoxten
35
24k
生成AIがローコードツールになる時代の エンジニアの役割を考える
khwada
0
350
ライフステージの変化を乗り越える 探索型のキャリア選択
tenshoku_draft
2
360
Cracking the Coding Interview 6th Edition
gdplabs
14
28k
一歩ずつ成長しながら進める ZOZOの基幹システムリプレイス/Growing Stap by Stap ZOZO BackOffice System Replacement
cocet33000
2
160
AWSアカウントのセキュリティ自動化、どこまで進める? 最適な設計と実践ポイント
yuobayashi
7
2k
LangGraph × Bedrock による複数の Agentic Workflow を利用した Supervisor 型のマルチエージェントの実現/langgraph-bedrock-supervisor-agent
ren8k
3
390
マルチアカウント環境における組織ポリシーについて まとめてみる
nrinetcom
PRO
2
110
AIエージェント開発のノウハウと課題
pharma_x_tech
9
5.7k
20250307_エンジニアじゃないけどAzureはじめてみた
ponponmikankan
2
270
AIエージェント時代のエンジニアになろう #jawsug #jawsdays2025 / 20250301 Agentic AI Engineering
yoshidashingo
9
4.4k
Featured
See All Featured
Done Done
chrislema
182
16k
YesSQL, Process and Tooling at Scale
rocio
172
14k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
30
4.6k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
666
120k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
356
29k
How to train your dragon (web standard)
notwaldorf
91
5.9k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
21
2.5k
Navigating Team Friction
lara
183
15k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
4
450
Facilitating Awesome Meetings
lara
53
6.3k
A Tale of Four Properties
chriscoyier
158
23k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
45
9.4k
Transcript
【令和最新版】ロボットシミュレータ Genesis x ROS 2で始める快適 AIロボット開発 Team re-boot Masaya Kataoka
人生是即RoboCup • 学生時代は阪大のJoitech-SPLというチームのリーダーをしていました • ラズパイ以下のCPUでヒューマノイドでサッカーをやるとかいう魔境 • フルスクラッチで自作、予選敗退したけど圧倒的満足 • いい加減ハード作らせろ...これでは2050年までに人間に勝てないぞ!! ▶というわけで会社に世界大会優勝者がいたのでRobocupチームを立ち上げました
最近機械学習大変隆盛 • MPC x 油圧で頑張っていたBoston Dynamicsも強化学習 x 電動に • 爆速ロボットCassieは以前からlearning
base
我欲賢ROS Robot • ロボカップにおいて難しいのは行動計画 • マルチモーダルな情報処理とマルチタスクなプランニングが必要 • 複雑なモーションを手作業で作るのは無理、特に仕事してると無理 ▶ 面倒なことはAIにやらせよう
面倒なこと はAIに やらせよう Motion CLIPの特徴量とかで 条件付すればなんか それっぽい方策得られるんじゃ ね?知らんけど 右手はもうちょい下げたほうが特 徴量的にそれっぽい
完全E2E本当最強? • 実機データを収集する間に機体のパラメータが変化、学習が失敗 • 試合会場にDGX Super POD持ち込まないと学習できないようなものは駄目 • そもそも💰💰💰💰💰
我欲混合構成 • learning baseな要素とそうでなくていい要素がある • ハードウェア駆動や前処理、同期、座標変換などを学習でやる意味がない • こういった決定的な要素に対してROSはとても強い • でも、学習時にはROSは通信遅延やネットワークの設定などで邪魔
▶ 適切に役割分担を行い最適なロボットシステムを実現 VLMで画像処理するにしても、 歪み補正までディープでやる意 味ないよ
令和最新版仮想世界、Genesis • カーネギーメロン大学などが開発(論文よりOSSのほうが早い?!) • ソフトロボット、流体などにも対応 • 今後生成AIとのインテグも公開予定
genesis_ros • URDF変換、読み込み • リンクの位置情報を/tfトピックとしてmcapで出力 • amber連携によるpytorchへのmcapデータ入力 • セットアップはgit cloneしてpoetry
installするだけ!
mcap至高情報表現形式 • スキーマ情報と一体化しておりROSに依存せずデータを記録、再生可能 • amberと組み合わせれば、PyTorchのデータセットとして扱える • 実機で取れたrosbagをそのままデータセットとして入力可能
論よりRUN