Share
Embed
[JSAI24] DM2RM: Dual-Mode Multimodal Ranking for Target Objects and Receptacles Based on Open-Vocabulary Instructions
Semantic Machine Intelligence Lab., Keio Univ. PRO
May 25, 2024
Transcript
26 slides
-
概要 - 2 - ▪ 背景 ✓ マルチモーダル検索に基づく, 生活支援ロボットによる物体操作 ▪
提案 ✓ 大規模言語モデルによるSwitching機構 に基づき,対象物体および配置目標を 単一モデルで検索可能 ▪ 結果 ✓ 実機実験において,ゼロショット転移でタスク成功率82%を達成 発表資料 -
背景:生活支援ロボットにおけるマルチモーダル言語理解 ▪ 生活支援ロボット ▪ 高齢化社会における在宅介助者不足解消に期待 ▪ 自然言語による移動マニピュレーション指示 → 利便性が向上 白い長机の上にある
ペンを持ってきてく れますか? - 3 - open-vocabulary / 参照表現 -
関連研究:fetch-and-carryタスクにおいて, マルチモーダル検索設定を扱う研究は少ない - 4 - OVMM 手法 概要 MultiRankIt [Kaneda+,
RA-L24] human-in-the-loop設定において,指示文の対象物体を検索 配置目標の特定に非対応 RREx-BoT [Sigurdsson+, IROS23] 事前探索に基づく視覚言語ナビゲーション 候補の中からtop-1の物体のみに着目 OVMM [Yenamandra+, CoRL23] open-vocabularyな指示文に基づくfetch-and-carryタスク SOTA手法でもタスク成功率:10%程度 MultiRankIt -
問題設定:open-vocabularyな指示文による マルチモーダル検索に基づくfetch-and-carryタスク - 5 - ▪ 前提:環境中の画像群は事前の探索で収集済み ▪ 入力:対象物体を配置目標まで運搬するための指示文 ▪
出力:候補画像を対象物体および配置目標のそれぞれに関して ランク付けた画像群 → ユーザが上位top-Nから選択可能 -
提案手法: Dual-Mode Multimodal Ranking Model (DM2RM) - 6 - ▪
新規性:大規模言語モデル・マルチモーダル基盤モデルを用いて, 対象物体および配置目標の両方を単一モデルで検索可能 -
提案手法: Dual-Mode Multimodal Ranking Model (DM2RM) - 7 - ▪
新規性:大規模言語モデル・マルチモーダル基盤モデルを用いて, 対象物体および配置目標の両方を単一モデルで検索可能 言語/画像特徴量のコサイン類似度でランク付け 損失関数:InfoNCE [Oord+, 18] -
提案手法: Dual-Mode Multimodal Ranking Model (DM2RM) - 8 - ▪
新規性:大規模言語モデル・マルチモーダル基盤モデルを用いて, 対象物体および配置目標の両方を単一モデルで検索可能 ② ① ③ -
1/3. Switching Phrase Encoder (SPE): 予測対象に応じた,言語特徴量の埋め込み空間切替 - 9 - ▪
Switching機構:大規模言語モデルにより指示文から関連度の高い参照表現 を特定し,予測対象(=Target/Receptacleモード)に応じて切替 ▪ 指示文例:”Aという物体をBという場所へ運んで” t-SNEによる 言語特徴量の可視化 -
2/3. Task Paraphraser (TP): 大規模言語モデルにより指示文を標準形に変換 - 10 - ▪ 文の冗長性や文法的な誤りを吸収
▪ 例:”Carry A to B.” Could you, if you does not mind, to pick up the cardboard box in the room and move it over towards the couch next to the fireplace in the room? ☺ Carry the cardboard box to the couch next to the fireplace. 変換 -
3/3. Segment Anything Region Encoder (SARE): 物体の形状や輪郭の視覚特徴量を獲得 - 11 -
▪ ゼロショット汎化性能の高いSAM [Kirillov+, ICCV23] による セグメンテーションマスク重畳画像を並列に入力 元画像 重畳画像 -
実験設定:大規模な屋内環境で実画像を収集し, クラウドソーシングにより指示文をアノテーション - 12 - ▪ 画像:HM3D [Ramakrishnan+, NeurIPS21] およびMP3D
[Chang+, 3DV17] から収集 ▪ 言語:対象物体を配置目標へ運搬するための参照表現を含む指示文 環境数 774 画像数 7,148 アノテータ数 226 指示文数 6,581 -
定量的結果:標準的な評価指標で既存手法を上回った - 13 - ▪ 評価指標:mean reciprocal rank (MRR)↑,recall@K (R@K)↑
☺ すべてのtest集合・評価指標において既存手法を上回った [%] 予測対象 HM3D-FCデータセット MP3D-FCデータセット 手法 Targ. Rec. MRR R@10 R@20 MRR R@10 R@20 CLIP [Radford+, ICML21] ✓ ✓ 10.8 24.9 49.5 15.0 28.5 59.9 MultiRankIt [Kaneda+, RA-L24] ✓ 20.5±2.3 48.2±1.4 73.2±2.8 26.7±2.4 52.8±5.3 71.1±2.7 ✓ 19.8±1.1 49.1±5.9 74.6±3.1 16.4±1.6 39.7±5.3 60.1±3.7 提案手法 ✓ ✓ 32.0±0.5 67.9±0.8 87.3±1.1 36.8±1.5 63.5±2.8 76.3±1.5 -
Ablation Study: すべての新規モジュールが性能向上に寄与 - 14 - ☺ Switching Phrase Encoder
(SPE) が最も有効 → モードに応じた埋め込み空間の切り替えが適切に作用 [%] HM3D-FCデータセット MP3D-FCデータセット 条件 MRR R@10 R@20 MRR R@10 R@20 提案手法 (full) 32.0±0.5 67.9±0.8 87.3±1.1 36.8±1.5 63.5±2.8 76.3±1.5 w/o SPE 22.5±1.4 53.0±2.5 78.9±2.7 21.3±0.9 42.0±1.7 63.2±1.0 w/o TP 28.4±1.4 66.3±0.7 85.2±1.1 31.4±2.2 56.8±3.8 75.0±0.7 w/o SARE 29.7±0.6 64.9±1.4 86.6±1.4 33.2±1.2 60.0±2.5 75.0±2.0 -
定性的結果(成功例):対象物体/配置目標ともに 望ましい画像を上位にランク付け - 15 - Take the white lamp on
the desk near the bed, then move it to the white desk near the black chair. ▪ Targetモード ▪ Receptacleモード 提案手法 Ground-Truth Ground-Truth 提案手法 既存手法 既存手法 Rank: 1 Rank: 1 Rank: 2 Rank: 2 Rank: 1 Rank: 2 Rank: 1 Rank: 2 -
実機実験 (1/3):事前の探索により環境の画像を収集 - 16 - 観測画像 … … … …
… … 16x ▪ 標準的な環境/日常物体/ロボットを使用 -
実機実験 (2/3):open-vocabularyな指示文に基づき, 対象物体を検索 & 把持(Targetモード) - 17 - Would you
please take the bleach cleanser next to the scissors and put it in the black box? 4x ① ② ③ ④ ⑤ ⑥ -
実機実験 (3/3):同様に,配置目標を検索 & 配置 (Receptacleモード) - 18 - Would you
please take the bleach cleanser next to the scissors and put it in the black box? 4x ① ② ③ ④ ⑤ ⑥ -
定量的結果(実機): ゼロショット転移条件において,タスク成功率82%を達成 - 19 - ▪ マルチモーダル検索:☺ 未知環境への頑健性を示唆 ▪ ユーザの認知負荷を考慮し,top-10のみを提示
▪ タスク成功率:☺ 検索,把持,および配置の一連動作を実施 ▪ 検索に成功した場合のみ動作を実行 MRR [%] Recall@10 [%] 39 96 把持 [%] 配置 [%] 全体 [%] 92 (89 / 97) 95 (82 / 86) 82 (82 / 100) 4x -
まとめ - 20 - ▪ 背景 ✓ マルチモーダル検索に基づく, 生活支援ロボットによる物体操作 ▪
提案 ✓ 大規模言語モデルによるSwitching機構 に基づき,対象物体および配置目標を 単一モデルで検索可能 ▪ 結果 ✓ 実機実験において,ゼロショット転移でタスク成功率82%を達成 発表資料 -
評価指標:画像検索設定において標準的 - 22 - ▪ Mean Reciprocal Rank (MRR) ▪
Recall@K :top-Kのサンプル集合 :指示文数 :正解サンプル集合 :GT画像の最高順位 -
定性的結果(失敗例): 曖昧な指示文に対し,類似画像を上位にランク付け - 23 - Could you please move the
ceiling white light into the white shelf? ▪ Targetモード ▪ Receptacleモード Ground-Truth Ground-Truth 提案手法 提案手法 Rank: 1 Rank: 2 Rank: 1 Rank: 2 -
エラー分析:曖昧な指示文による場合が最多 - 24 - 失敗要因 Targetモード Receptacleモード Ambiguous Instruction 8
8 Referring Expression Comprehension error 7 2 Phrase Selection error 1 7 Object Grounding error 4 3 合計 20 20 -
実験設定(実機): マルチモーダル検索 + 移動マニピュレーション - 25 - ▪ 環境:WRS 2020
Partner Robot Challenge/Real Spaceの標準環境に準拠 ▪ 実機:Human Support Robot [Yamamoto+, ROBOMECH J.19] ▪ 物体:YCBオブジェクト [Calli+, RAM15] + 一般的な日常物体(計50種類) -
実機:Human Support Robot [Yamamoto+, ROBOMECH J.19] - 26 - https://global.toyota/jp/download/8725215
▪ HSR:トヨタ自動車製の生活支援ロボット ▪ 頭部搭載のAsus Xtion Proカメラを使用