Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Data-centric AI勉強会 「ロボットにおけるData-centric AI」
Search
Kento Kawaharazuka
February 11, 2025
Research
0
660
Data-centric AI勉強会 「ロボットにおけるData-centric AI」
Kento Kawaharazuka
February 11, 2025
Tweet
Share
More Decks by Kento Kawaharazuka
See All by Kento Kawaharazuka
RSJ2024学術ランチョンセミナー「若手・中堅による国際化リーダーシップに向けて」資料 (河原塚)
haraduka
0
370
RSJ2024「基盤モデルの実ロボット応用」チュートリアルA(河原塚)
haraduka
3
1k
RSJ2023「基盤モデルの実ロボット応用」チュートリアル1(既存の基盤モデルを実ロボットに応用する方法)
haraduka
4
2k
Other Decks in Research
See All in Research
ASSADS:ASMR動画に合わせて撫でられる感覚を提示するシステムの開発と評価 / ec75-shimizu
yumulab
1
380
ノンパラメトリック分布表現を用いた位置尤度場周辺化によるRTK-GNSSの整数アンビギュイティ推定
aoki_nosse
0
320
Agentic AIとMCPを利用したサービス作成入門
mickey_kubo
0
270
定性データ、どう活かす? 〜定性データのための分析基盤、はじめました〜 / How to utilize qualitative data? ~We have launched an analysis platform for qualitative data~
kaminashi
6
1k
時系列データに対する解釈可能な 決定木クラスタリング
mickey_kubo
2
720
クラウドのテレメトリーシステム研究動向2025年
yuukit
3
960
LLM-as-a-Judge: 文章をLLMで評価する@教育機関DXシンポ
k141303
3
820
rtrec@dbem6
myui
6
870
大規模な2値整数計画問題に対する 効率的な重み付き局所探索法
mickey_kubo
1
260
業界横断 副業・兼業者の実態調査
fkske
0
160
SSII2025 [TS3] 医工連携における画像情報学研究
ssii
PRO
2
1.2k
最適決定木を用いた処方的価格最適化
mickey_kubo
4
1.7k
Featured
See All Featured
Building Adaptive Systems
keathley
43
2.6k
Gamification - CAS2011
davidbonilla
81
5.3k
GraphQLとの向き合い方2022年版
quramy
49
14k
Navigating Team Friction
lara
187
15k
Code Reviewing Like a Champion
maltzj
524
40k
BBQ
matthewcrist
89
9.7k
Adopting Sorbet at Scale
ufuk
77
9.4k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
How STYLIGHT went responsive
nonsquared
100
5.6k
Being A Developer After 40
akosma
90
590k
Why You Should Never Use an ORM
jnunemaker
PRO
58
9.4k
GitHub's CSS Performance
jonrohan
1031
460k
Transcript
1 ロボットにおける Data-centric AI 河原塚 健人 東京大学 1 2025.2.12 Data-centric
AI勉強会
自己紹介 • 名前 – 河原塚 健人 (かわはらづか けんと) • 所属
– 東京大学AIセンター/情報システム工学研究室(JSK) • 経歴 – 2022.03 博士取得 / 2025.02 講師になりました! • Twitter – @KKawaharazuka • Website – https://haraduka.github.io/ 2 Humanoid Design Biomimetic Control Foundation Models Predictive Model Learning
ロボットにけるData-centric AI • ロボットにおけるData-centric AIは二種類の方向性が存在 3 LLMやVLMの活用 ロボット基盤モデル SayCan [M.
Ahn+, CoRL2022] RT-X [Open X-Embodiment, ICRA2024]
ロボット基盤モデルは何ができているのか 4 RT-1 [Google Research, 2022] https://www.youtube.com/watch?v=UuKAp9a6wMs
ロボット基盤モデルは何ができているのか 5 [Physical Intelligence (π), 2024] https://www.physicalintelligence.company/blog/pi0
ロボット基盤モデルの中身 • RTシリーズ • RT-1 (Transformer) • RT-2 (Vision-Language-Action Model)
• RT-X (RT-1やRT-2を単一のロボットだけでなく複数のロボットに汎化) • RT-Trajectory (手先の軌道を線で与えてあげる) • RT-Sketch (最終状態をスケッチとして与えてあげる) 6 RT-X [Open X-Embodiment, ICRA2024]
RT-X [Open X-Embodiment, ICRA2024] どんなロボットが使われているのか 7
なぜロボット×Data-centric AIは難しいのか • 多様な身体性の存在 • 単腕ロボットだけを考えても, 様々な色や形, 関節構造が存在 • 単腕だけでなく,
双腕, 台車型, 脚型など様々なロボットが存在 • 多様なセンサ・制御入力の存在 • RGBD画像・関節角度・音声など, ロボットごとに取得可能なセンサが違う • トルク制御・速度制御・手先位置制御など, 制御方式も異なる 8 ある一つのロボットでデータを収集してもそれが他のロボットに使えない 環境に働きかけるエージェント. 言語/画像のような大規模データ収集が困難
データ収集方法 • 効率的なデータ収集に向け様々なデバイスが開発されている 9 ALOHA GELLO Dobb・E UMI
現在のデータセット 10 QT-Opt [D. Kalashnikov+, 2018] Bridge Data V2 [H.
Walke+, 2023] DROID [A. Khazatsky+, 2024] Language Table [C. Lynch+, 2022]
データ拡張方法 11 DIAL [T. Xiao+, 2022] ROSIE [T. Yu+, 2023]
言語データ拡張 画像データ拡張
詳しくは… •Data-centric AI本で! • 第5章 ロボットデータ • はじめに • RTシリーズの概要
• 多様なロボット • ロボットにおけるデータ収集 • データセット • データ拡張 • おわりに 12
13 Thank You!