Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Data-centric AI勉強会 「ロボットにおけるData-centric AI」
Search
Kento Kawaharazuka
February 11, 2025
Research
0
560
Data-centric AI勉強会 「ロボットにおけるData-centric AI」
Kento Kawaharazuka
February 11, 2025
Tweet
Share
More Decks by Kento Kawaharazuka
See All by Kento Kawaharazuka
RSJ2024学術ランチョンセミナー「若手・中堅による国際化リーダーシップに向けて」資料 (河原塚)
haraduka
0
310
RSJ2024「基盤モデルの実ロボット応用」チュートリアルA(河原塚)
haraduka
3
920
RSJ2023「基盤モデルの実ロボット応用」チュートリアル1(既存の基盤モデルを実ロボットに応用する方法)
haraduka
4
1.9k
Other Decks in Research
See All in Research
JSAI NeurIPS 2024 参加報告会(AI アライメント)
akifumi_wachi
5
940
Self-supervised audiovisual representation learning for remote sensing data
satai
3
100
ドローンやICTを活用した持続可能なまちづくりに関する研究
nro2daisuke
0
200
3D Gaussian Splattingによる高効率な新規視点合成技術とその応用
muskie82
0
410
言語モデルの内部機序:解析と解釈
eumesy
PRO
35
15k
한국어 오픈소스 거대 언어 모델의 가능성: 새로운 시대의 언어 이해와 생성
inureyes
PRO
0
300
2025年度 生成AIの使い方/接し方
hkefka385
0
440
DeepSeek-R1の論文から読み解く背景技術
personabb
3
540
The Economics of Platforms 輪読会 第1章
tomonatu8
0
170
TRIPOD+AI Expandedチェックリスト 有志翻訳による日本語版 version.1.1
shuntaros
0
120
(NULLCON Goa 2025)Windows Keylogger Detection: Targeting Past and Present Keylogging Techniques
asuna_jp
1
350
Optimal and Diffusion Transports in Machine Learning
gpeyre
0
1.5k
Featured
See All Featured
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
60k
Building a Modern Day E-commerce SEO Strategy
aleyda
40
7.2k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
45
9.5k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.2k
For a Future-Friendly Web
brad_frost
176
9.7k
Automating Front-end Workflow
addyosmani
1369
200k
Producing Creativity
orderedlist
PRO
344
40k
A better future with KSS
kneath
239
17k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
29
1.6k
Save Time (by Creating Custom Rails Generators)
garrettdimon
PRO
31
1.1k
Fontdeck: Realign not Redesign
paulrobertlloyd
83
5.5k
Build The Right Thing And Hit Your Dates
maggiecrowley
35
2.6k
Transcript
1 ロボットにおける Data-centric AI 河原塚 健人 東京大学 1 2025.2.12 Data-centric
AI勉強会
自己紹介 • 名前 – 河原塚 健人 (かわはらづか けんと) • 所属
– 東京大学AIセンター/情報システム工学研究室(JSK) • 経歴 – 2022.03 博士取得 / 2025.02 講師になりました! • Twitter – @KKawaharazuka • Website – https://haraduka.github.io/ 2 Humanoid Design Biomimetic Control Foundation Models Predictive Model Learning
ロボットにけるData-centric AI • ロボットにおけるData-centric AIは二種類の方向性が存在 3 LLMやVLMの活用 ロボット基盤モデル SayCan [M.
Ahn+, CoRL2022] RT-X [Open X-Embodiment, ICRA2024]
ロボット基盤モデルは何ができているのか 4 RT-1 [Google Research, 2022] https://www.youtube.com/watch?v=UuKAp9a6wMs
ロボット基盤モデルは何ができているのか 5 [Physical Intelligence (π), 2024] https://www.physicalintelligence.company/blog/pi0
ロボット基盤モデルの中身 • RTシリーズ • RT-1 (Transformer) • RT-2 (Vision-Language-Action Model)
• RT-X (RT-1やRT-2を単一のロボットだけでなく複数のロボットに汎化) • RT-Trajectory (手先の軌道を線で与えてあげる) • RT-Sketch (最終状態をスケッチとして与えてあげる) 6 RT-X [Open X-Embodiment, ICRA2024]
RT-X [Open X-Embodiment, ICRA2024] どんなロボットが使われているのか 7
なぜロボット×Data-centric AIは難しいのか • 多様な身体性の存在 • 単腕ロボットだけを考えても, 様々な色や形, 関節構造が存在 • 単腕だけでなく,
双腕, 台車型, 脚型など様々なロボットが存在 • 多様なセンサ・制御入力の存在 • RGBD画像・関節角度・音声など, ロボットごとに取得可能なセンサが違う • トルク制御・速度制御・手先位置制御など, 制御方式も異なる 8 ある一つのロボットでデータを収集してもそれが他のロボットに使えない 環境に働きかけるエージェント. 言語/画像のような大規模データ収集が困難
データ収集方法 • 効率的なデータ収集に向け様々なデバイスが開発されている 9 ALOHA GELLO Dobb・E UMI
現在のデータセット 10 QT-Opt [D. Kalashnikov+, 2018] Bridge Data V2 [H.
Walke+, 2023] DROID [A. Khazatsky+, 2024] Language Table [C. Lynch+, 2022]
データ拡張方法 11 DIAL [T. Xiao+, 2022] ROSIE [T. Yu+, 2023]
言語データ拡張 画像データ拡張
詳しくは… •Data-centric AI本で! • 第5章 ロボットデータ • はじめに • RTシリーズの概要
• 多様なロボット • ロボットにおけるデータ収集 • データセット • データ拡張 • おわりに 12
13 Thank You!