Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Data-centric AI勉強会 「ロボットにおけるData-centric AI」
Search
Kento Kawaharazuka
February 11, 2025
Research
0
880
Data-centric AI勉強会 「ロボットにおけるData-centric AI」
Kento Kawaharazuka
February 11, 2025
Tweet
Share
More Decks by Kento Kawaharazuka
See All by Kento Kawaharazuka
RSJ2025「オープンハードウェアと学習制御」チュートリアル2025(河原塚)
haraduka
1
340
RSJ2025「基盤モデルの実ロボット応用」チュートリアル2025-1(河原塚)
haraduka
2
460
MIRU2025 チュートリアル講演「ロボット基盤モデルの最前線」
haraduka
15
7.7k
RSJ2024学術ランチョンセミナー「若手・中堅による国際化リーダーシップに向けて」資料 (河原塚)
haraduka
0
480
RSJ2024「基盤モデルの実ロボット応用」チュートリアルA(河原塚)
haraduka
3
1.2k
RSJ2023「基盤モデルの実ロボット応用」チュートリアル1(既存の基盤モデルを実ロボットに応用する方法)
haraduka
5
2.2k
Other Decks in Research
See All in Research
ストレス計測方法の確立に向けたマルチモーダルデータの活用
yurikomium
0
1.4k
言語モデルの地図:確率分布と情報幾何による類似性の可視化
shimosan
5
1.3k
20250725-bet-ai-day
cipepser
2
410
「どう育てるか」より「どう働きたいか」〜スクラムマスターの最初の一歩〜
hirakawa51
0
850
SSII2025 [SS2] 横浜DeNAベイスターズの躍進を支えたAIプロダクト
ssii
PRO
7
3.9k
最適決定木を用いた処方的価格最適化
mickey_kubo
4
1.8k
Hiding What from Whom? A Critical Review of the History of Programming languages for Music
tomoyanonymous
0
150
Streamlit 総合解説 ~ PythonistaのためのWebアプリ開発 ~
mickey_kubo
2
1.4k
問いを起点に、社会と共鳴する知を育む場へ
matsumoto_r
PRO
0
600
国際論文を出そう!ICRA / IROS / RA-L への論文投稿の心構えとノウハウ / RSJ2025 Luncheon Seminar
koide3
4
4.1k
AI エージェントを活用した研究再現性の自動定量評価 / scisci2025
upura
1
150
IMC の細かすぎる話 2025
smly
2
600
Featured
See All Featured
Art, The Web, and Tiny UX
lynnandtonic
302
21k
Fireside Chat
paigeccino
39
3.6k
Product Roadmaps are Hard
iamctodd
PRO
54
11k
Measuring & Analyzing Core Web Vitals
bluesmoon
9
580
Making the Leap to Tech Lead
cromwellryan
134
9.5k
Documentation Writing (for coders)
carmenintech
73
5k
Facilitating Awesome Meetings
lara
55
6.5k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
111
20k
The Power of CSS Pseudo Elements
geoffreycrofte
77
5.9k
Navigating Team Friction
lara
189
15k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
284
13k
KATA
mclloyd
32
14k
Transcript
1 ロボットにおける Data-centric AI 河原塚 健人 東京大学 1 2025.2.12 Data-centric
AI勉強会
自己紹介 • 名前 – 河原塚 健人 (かわはらづか けんと) • 所属
– 東京大学AIセンター/情報システム工学研究室(JSK) • 経歴 – 2022.03 博士取得 / 2025.02 講師になりました! • Twitter – @KKawaharazuka • Website – https://haraduka.github.io/ 2 Humanoid Design Biomimetic Control Foundation Models Predictive Model Learning
ロボットにけるData-centric AI • ロボットにおけるData-centric AIは二種類の方向性が存在 3 LLMやVLMの活用 ロボット基盤モデル SayCan [M.
Ahn+, CoRL2022] RT-X [Open X-Embodiment, ICRA2024]
ロボット基盤モデルは何ができているのか 4 RT-1 [Google Research, 2022] https://www.youtube.com/watch?v=UuKAp9a6wMs
ロボット基盤モデルは何ができているのか 5 [Physical Intelligence (π), 2024] https://www.physicalintelligence.company/blog/pi0
ロボット基盤モデルの中身 • RTシリーズ • RT-1 (Transformer) • RT-2 (Vision-Language-Action Model)
• RT-X (RT-1やRT-2を単一のロボットだけでなく複数のロボットに汎化) • RT-Trajectory (手先の軌道を線で与えてあげる) • RT-Sketch (最終状態をスケッチとして与えてあげる) 6 RT-X [Open X-Embodiment, ICRA2024]
RT-X [Open X-Embodiment, ICRA2024] どんなロボットが使われているのか 7
なぜロボット×Data-centric AIは難しいのか • 多様な身体性の存在 • 単腕ロボットだけを考えても, 様々な色や形, 関節構造が存在 • 単腕だけでなく,
双腕, 台車型, 脚型など様々なロボットが存在 • 多様なセンサ・制御入力の存在 • RGBD画像・関節角度・音声など, ロボットごとに取得可能なセンサが違う • トルク制御・速度制御・手先位置制御など, 制御方式も異なる 8 ある一つのロボットでデータを収集してもそれが他のロボットに使えない 環境に働きかけるエージェント. 言語/画像のような大規模データ収集が困難
データ収集方法 • 効率的なデータ収集に向け様々なデバイスが開発されている 9 ALOHA GELLO Dobb・E UMI
現在のデータセット 10 QT-Opt [D. Kalashnikov+, 2018] Bridge Data V2 [H.
Walke+, 2023] DROID [A. Khazatsky+, 2024] Language Table [C. Lynch+, 2022]
データ拡張方法 11 DIAL [T. Xiao+, 2022] ROSIE [T. Yu+, 2023]
言語データ拡張 画像データ拡張
詳しくは… •Data-centric AI本で! • 第5章 ロボットデータ • はじめに • RTシリーズの概要
• 多様なロボット • ロボットにおけるデータ収集 • データセット • データ拡張 • おわりに 12
13 Thank You!