Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
[Journal club] MOKA: Open-Vocabulary Robotic Ma...
Search
Semantic Machine Intelligence Lab., Keio Univ.
PRO
November 15, 2024
Technology
0
210
[Journal club] MOKA: Open-Vocabulary Robotic Manipulation through Mark-Based Visual Prompting
Semantic Machine Intelligence Lab., Keio Univ.
PRO
November 15, 2024
Tweet
Share
More Decks by Semantic Machine Intelligence Lab., Keio Univ.
See All by Semantic Machine Intelligence Lab., Keio Univ.
Machine Intelligence for Vision, Language, and Actions
keio_smilab
PRO
0
640
[Journal club] V-DPO: Mitigating Hallucination in Large Vision Language Models via Vision-Guided Direct Preference Optimization
keio_smilab
PRO
0
140
[Journal club] Model Alignment as Prospect Theoretic Optimization
keio_smilab
PRO
0
170
[Journal club] DoLa: Decoding by Contrasting Layers Improves Factuality in Large Language Models
keio_smilab
PRO
0
84
[Journal club] LLM2Vec: Large Language Models Are Secretly Powerful Text Encoders
keio_smilab
PRO
2
110
Will multimodal language processing change the world?
keio_smilab
PRO
4
640
[Journal club] Seeing the Unseen: Visual Common Sense for Semantic Placement
keio_smilab
PRO
0
190
[Journal club] Language-Embedded Gaussian Splats (LEGS): Incrementally Building Room-Scale Representations with a Mobile Robot
keio_smilab
PRO
0
200
[Journal club] RAM: Retrieval-Based Affordance Transfer for Generalizable Zero-Shot Robotic Manipulation
keio_smilab
PRO
1
240
Other Decks in Technology
See All in Technology
Amplify Gen2から知るAWS CDK Toolkit Libraryの使い方/How to use the AWS CDK Toolkit Library as known from Amplify Gen2
fossamagna
1
350
Amazon SNSサブスクリプションの誤解除を防ぐ
y_sakata
3
190
ポストコロナ時代の SaaS におけるコスト削減の意義
izzii
1
470
TLSから見るSREの未来
atpons
2
310
Delegating the chores of authenticating users to Keycloak
ahus1
0
190
QuickSight SPICE の効果的な運用戦略~S3 + Athena 構成での実践ノウハウ~/quicksight-spice-s3-athena-best-practices
emiki
0
290
Figma Dev Mode MCP Serverを用いたUI開発
zoothezoo
0
230
OpenTelemetryセマンティック規約の恩恵とMackerel APMにおける活用例 / SRE NEXT 2025
mackerelio
3
2k
ビジネス職が分析も担う事業部制組織でのデータ活用の仕組みづくり / Enabling Data Analytics in Business-Led Divisional Organizations
zaimy
1
390
三視点LLMによる複数観点レビュー
mhlyc
0
230
アクセスピークを制するオートスケール再設計: 障害を乗り越えKEDAで実現したリソース管理の最適化
myamashii
1
660
SRE不在の開発チームが障害対応と 向き合った100日間 / 100 days dealing with issues without SREs
shin1988
2
2k
Featured
See All Featured
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
34
3.1k
Writing Fast Ruby
sferik
628
62k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
2.9k
Music & Morning Musume
bryan
46
6.7k
Site-Speed That Sticks
csswizardry
10
700
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.4k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
34
5.9k
Building a Scalable Design System with Sketch
lauravandoore
462
33k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
138
34k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
50
5.5k
GitHub's CSS Performance
jonrohan
1031
460k
Practical Orchestrator
shlominoach
189
11k
Transcript
慶應義塾大学 杉浦孔明研究室 名字氏名 MOKA: Open-Vocabulary Robotic Manipulation through Mark-Based Visual
Prompting Kuan Fang, Fangchen Liu, Pieter Abbeel, Sergey Levine (UC Berkeley) RSS 2024 慶應義塾大学 杉浦孔明研究室 是方諒介 Fang, K., Liu, F., Abbeel, P., Levine, S. "MOKA: Open-Vocabulary Robotic Manipulation through Mark-Based Visual Prompting.“ RSS 2024.
概要 背景 ✓ open-vocabularyな指示文に基づく物体操作タスク ✓ 基盤モデルの常識的な知識への期待 提案 ✓ VLMによるhigh/low-levelな2段階のreasoning ✓
VQAに帰着したkeypoint予測に基づくaffordance検出 結果 ✓ 実機において階層的な物体操作タスクを実施し,既存手法を上回る成功率 ✓ ロボティクス基盤モデルによる拡張性を示唆 2
背景:open-vocabularyな指示文に基づく物体操作 ◼ 課題 ◼ 指示文の曖昧さ,複雑性,階層性 ◼ 多様かつ未知の物体/環境への汎化 → 常識的な知識を持つ基盤モデルに期待
LLMは視覚情報が欠落し,3D空間の認知に弱い ☺ VLMにより,視覚と軌道生成との中間的な affordance表現をkeypointとして獲得 3 "Insert the pink roses into the vase." "Put the scissors in the hand."
関連研究:VLMによるkeypoint予測を扱う手法は少ない 4 手法 概要 Code as Policies [Liang+, ICRA23] LLMにより,指示文を実行可能なコードに変換
VLMを用いておらず,視覚的な接地が不十分 VoxPoser [Huang+, CoRL23] voxel value mapを構築し,LLM / VLMを用いてプランニング 性能がvoxel mapの解像度に依存 ViLa [Hu+, 23] GPT-4Vを用いたプランニング low-levelなスキルを事前に定義する必要がある Code as Policies VoxPoser ViLa
提案手法:Marking Open-vocabulary Keypoint Affordances (MOKA) ◼ VLM (GPT-4V) によるhigh /
low-levelな2段階のreasoning ◼ affordance検出を,keypoint / waypoint選択に関するVQAに帰着 ◼ 対象物体の候補点/全体をgrid状に分割した候補領域を観測画像に重畳 5
high-level reasoning:階層的な指示文をサブタスクに分解 ◼ サブタスクごとに把持物体,干渉物体,操作方向を特定 ◼ GroundedSAM [Ren+, 24] により対象物体のセグメンテーションマスクを取得 6
Grounding DINO [Liu+, 23] + SAM [Kirillov+, ICCV23] :プロンプト :指示文 :初期の観測画像
low-level reasoning (1/2):マーキングによる視覚的なプロンプト ◼ VLMは座標を直接予測するより候補から選択する方が正確 (cf. SoM [Yang+, 23]) ◼
keypoint候補:PointNet [Qi+, CVPR17] による輪郭上の 点 + 物体の中心1点 ◼ waypoint候補:観測画像全体をgrid状に分割 → そこから一様に1点をサンプリング 7 SoM
low-level reasoning (2/2):VLMの「選択」によるkeypoint / waypoint予測 ◼ サブタスクごとに把持,作用,干渉keypoint,および動作waypointを選択 8 :プロンプト, :サブタスク,
:現在の観測画像, :マーキング処理
成功例に基づく改良:in-context learning, policy distillation ◼ in-context learning ◼ 3つの成功例(画像,出力)をVLMのプロンプトに追加 ◼
policy distillation ◼ ロボティクス基盤モデル Octo [Ghosh+, 23] ◼ RT-X [Vuong+, CoRL23] データセットの800Kの軌道でpre-trained ◼ 本タスクにおいて,50の軌道でfine-tuning 9 Octo RT-X
定量的結果:既存手法を上回るタスク成功率 [%] ◼ それぞれ2つのサブタスクから成る,合計4タスクを各々10回試行 ◼ 考察 ✓ すべてのサブタスクにおいて,既存手法と同等または上回った ✓ 蒸留の寄与より,data
generatorとしての応用可能性を示唆 10
定性的結果 (1/2):階層的なタスクを正確に実施 ◼ Table Wiping ◼ Laptop Packing 11 "Unplug
the charge cable and close the lid of the laptop." "Move the eyeglasses onto the yellow cloth and use the brush to sweep the snack package to the right side of the table."
定性的結果 (2/2):異なる指示文,配置,形容に対して頑健 ◼ 同じタスクに関して,多様な条件で評価 12
まとめ 背景 ✓ open-vocabularyな指示文に基づく物体操作タスク ✓ 基盤モデルの常識的な知識への期待 提案 ✓ VLMによるhigh/low-levelな2段階のreasoning ✓
VQAに帰着したkeypoint予測に基づくaffordance検出 結果 ✓ 実機において階層的な物体操作タスクを実施し,既存手法を上回る成功率 ✓ ロボティクス基盤モデルによる拡張性を示唆 13
Appendix:疑似コード 14
Appendix:high-level reasoningに用いるプロンプト 15
Appendix:low-level reasoningに用いるプロンプト (1/2) 16 入力に関する説明 keypoint / waypointの定義
Appendix:low-level reasoningに用いるプロンプト (2/2) 17 出力に関する説明
Appendix:その他のタスク 18 ◼ Watch Cleaning ◼ Gift Preparation
Appendix:Ablation Study 19
Appendix:エラー分析 20