Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
RSJ2024「基盤モデルの実ロボット応用」チュートリアルA(河原塚)
Search
Kento Kawaharazuka
September 06, 2024
Research
3
1.1k
RSJ2024「基盤モデルの実ロボット応用」チュートリアルA(河原塚)
既存の基盤モデルを実ロボットに応用する方法について
Kento Kawaharazuka
September 06, 2024
Tweet
Share
More Decks by Kento Kawaharazuka
See All by Kento Kawaharazuka
MIRU2025 チュートリアル講演「ロボット基盤モデルの最前線」
haraduka
9
2.5k
Data-centric AI勉強会 「ロボットにおけるData-centric AI」
haraduka
0
710
RSJ2024学術ランチョンセミナー「若手・中堅による国際化リーダーシップに向けて」資料 (河原塚)
haraduka
0
390
RSJ2023「基盤モデルの実ロボット応用」チュートリアル1(既存の基盤モデルを実ロボットに応用する方法)
haraduka
4
2.1k
Other Decks in Research
See All in Research
Adaptive Experimental Design for Efficient Average Treatment Effect Estimation and Treatment Choice
masakat0
0
150
「どう育てるか」より「どう働きたいか」〜スクラムマスターの最初の一歩〜
hirakawa51
0
410
EarthSynth: Generating Informative Earth Observation with Diffusion Models
satai
3
140
SSII2025 [TS3] 医工連携における画像情報学研究
ssii
PRO
2
1.2k
RHO-1: Not All Tokens Are What You Need
sansan_randd
1
150
AI エージェントを活用した研究再現性の自動定量評価 / scisci2025
upura
1
130
When Submarine Cables Go Dark: Examining the Web Services Resilience Amid Global Internet Disruptions
irvin
0
250
Adaptive fusion of multi-modal remote sensing data for optimal sub-field crop yield prediction
satai
3
230
経済学と機械学習:因果推論と密度比推定を中心に
masakat0
0
110
A scalable, annual aboveground biomass product for monitoring carbon impacts of ecosystem restoration projects
satai
3
120
Cross-Media Information Spaces and Architectures
signer
PRO
0
230
データxデジタルマップで拓く ミラノ発・地域共創最前線
mapconcierge4agu
0
190
Featured
See All Featured
Writing Fast Ruby
sferik
628
62k
The World Runs on Bad Software
bkeepers
PRO
70
11k
Statistics for Hackers
jakevdp
799
220k
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
8
380
A Modern Web Designer's Workflow
chriscoyier
695
190k
RailsConf 2023
tenderlove
30
1.2k
What’s in a name? Adding method to the madness
productmarketing
PRO
23
3.6k
The Cult of Friendly URLs
andyhume
79
6.5k
How to Think Like a Performance Engineer
csswizardry
25
1.8k
Designing Experiences People Love
moore
142
24k
[RailsConf 2023] Rails as a piece of cake
palkan
55
5.7k
Optimizing for Happiness
mojombo
379
70k
Transcript
1 2022.09.06 RSJ2024 基盤モデルの実ロボット応用 チュートリアルA 河原塚健人1, 松嶋達也1, 宮澤和貴2 (1東京大学, 2大阪大学)
本オーガナイズドセッションの目的 • ロボットのシステム構築が圧倒的に簡単に. 波に乗るしかない. • 海外の研究に置いて行かれないように最新情報をキャッチアップ • 国内で最新情報を共有して立ち向かう・追い越す 2
オーガナイザー 3 河原塚 健人 東京大学 松嶋 達也 東京大学 宮澤 和貴
大阪大学
これまでの活動(1) • 特集号「Real-World Robot Applications of Foundation Models」 @Advanced Robotics
4 • Survey Paper • NLP2024併設ワークショップ: 大規模言語モデルの実世界応用
これまでの活動(2) 5 • Cooking Robotics Workshop @ICRA2024
基盤モデルの実ロボット応用OS 6 RSJ2023 • 3セッション / 21件の発表 • 7機関: 東大,
慶應, 早稲田, 名工大, 立命館, 金沢大, 中部大 RSJ2024 • 4セッション / 27件の発表 • 20機関: 東大, 慶應, 早稲田, 阪大, 京大, Sony, RIKEN AIP, ATR, NII, TCRDL, 産総研, 名工大, 立命館, 創価大, トヨタ自動車, 富士通, 都 立大, 金沢工業, 中部大, ドワンゴ 様々な機関が基盤モデルを使うようになってきた
本チュートリアルの構成 チュートリアルA (河原塚) • 既存の基盤モデルの実ロボット活用例 チュートリアルB (松嶋) • ロボット基盤モデルを作る取り組み チュートリアルC
(宮澤) • 基盤モデルの対話活用について 7 大きな進展はない かなり進展がある 去年の資料 「基盤モデルの実ロボット応用」チュートリアル 去年の資料 「基盤モデルの実ロボット応用」チュートリアル 新規
活用可能な基盤モデルの種類@RSJ2023 8 Visual Prompting 全体的な性能アップ
活用可能な基盤モデルの種類(1) 9 GPT-4o Imagen3 全体的な性能アップ SAM 2
活用可能な基盤モデルの種類(2) 10 PIVOT [S. Nasiriany+, 2024] MOKA [F. Liu+, 2024]
Visual Prompting
活用可能な基盤モデルの種類(3) 11 Depth Anything [L. Yang+, 2024] FoundationPose [B. Wen+,
2024] MeshAnything [Y. Chen+, 2024] 4M [D. Mizrahi+, 2024] URDFormer [Z. Chen+, 2024] 多様なモダリティ
基盤モデルのロボット活用方法@RSJ2023 12
基盤モデルのロボット活用方法@RSJ2023 13 1. CLIPやDeticで認識/LLMで動作計画 2. Affordance/Rewardを構築して強化学習/MPC 3. マップやシーングラフを構築して動作計画 4. センサと制御入力の関係をデータ拡張/学習
チュートリアルBに譲る
基盤モデルのロボット活用方法(1) 14 Eureka [J. Ma+, 2023]
基盤モデルのロボット活用方法(1) 15 Eureka [J. Ma+, 2023]
基盤モデルのロボット活用方法(2) 16 DrEureka [J. Ma+, 2024]
我々の事例@2024 18
我々の事例 – VLMによる食材状態認識 19 [K. Kawaharazuka+, RA-L2024]
我々の事例 – LLM/VLMによる料理ロボット 20 [N. Kanazawa+, Advanced Robotics]
我々の事例 – LLMとPDDLの融合 • LLMとVLMでPDDL(Planning Domain Definition Language)を記述 21 [K.
Shirai+, ICRA2024]
我々の事例 – VLMと動作指令の統合 22 [K. Kawaharazuka+, Humanoids2023]
我々の事例 – 事前知識無しのナビゲーション 23 [K. Kawaharazuka+, Advanced Robotics]
まとめ • チュートリアルA • 既存の基盤モデルの実ロボット活用例 • 一方でRSJ2023からそこまで大きな進展はない • 活用可能な基盤モデルの種類 •
各基盤モデルの性能向上 / よりマルチモーダルへ • 基盤モデルの活用方法 • 基盤モデル×強化学習 / ロボット基盤モデル • 我々の研究事例 • 連続状態認識 / レシピ解釈 / PDDL / 運動指令との融合/ ナビゲーション 25