Upgrade to Pro — share decks privately, control downloads, hide ads and more …

[JSAI24] Submodular Observation Pose Optimizati...

[JSAI24] Submodular Observation Pose Optimization for Mobile Robots

More Decks by Semantic Machine Intelligence Lab., Keio Univ.

Other Decks in Technology

Transcript

  1. 概要 - 2 - ▪ 背景 ▪ ロボットの効率的なタスク実行のために物体位置の事前把握が重要 ▪ 一方,無限箇所の情報収集は非合理的

    ▪ 提案手法:Submodular Observation Pose Optimization ▪ ロボットの2D姿勢集合を最適化 ▪ 劣モジュラ最適化の使用 ▪ 3Dマルチモーダル基盤モデルの使用 ▪ 結果 ▪ 実環境においても提案手法は有益な 観測姿勢を選択
  2. COPO:組み合わせ爆発の問題を回避する必要がある - 5 - 観測姿勢の数が増加 → 可能な組み合わせの数が指数関数的に増加 ⇒  組み合わせ爆発

    ※ 観測姿勢の数により最適な観測姿勢集合の要素が決まる <観測姿勢の数が1の場合> <観測姿勢の数が3の場合> 観測姿勢を 新たに増やすわけではない
  3. 関連研究:既存手法はCOPOタスクに対応できない - 6 - タスク 代表的研究 特徴 単一の物体探索 (Object search)

    [Hernandez+, IROS20], ZAVIS [Park+, ICRA23] ☺ 物体の存在確率を使用して物体を効率的に探索  COPOタスクへの適用 → 組み合わせ爆発の回避× 行動系列生成 Matcha [Zhao+, IROS23], NavCon [Biggie+, CoRL23] ☺ 大規模言語モデル (LLM) を使用し良好な結果  COPOタスクにおいて最適解が得られる保証× [Hernandez+, IROS20] ZAVIS [Park+, ICRA23] NavCon [Biggie+, CoRL23]
  4. 提案手法: 劣モジュラ最適化手法による観測姿勢集合の選択 - 7 - Submodular Observation Pose Optimization (SOPO)

    新規性 ▪ 劣モジュラ最適化の使用 ☺ 最適スコアの(1−1/𝑒)近似が保証される ☺ 組み合わせ爆発の回避 ▪ 2種類の物体存在マップの生成&使用 ☺ 物体が存在しそうな領域に注目 ☺ 遮蔽物が存在しそうな領域を考慮
  5. 劣モジュラ最適化を用いてカバレッジを最大化する観測姿勢集合を生成 劣モジュラ性を満たす場合 → 貪欲法でも最適スコアの(1−1/𝑒)近似が保証される [Nemhauser+, 78] ⇒ ☺ 組み合わせ爆発の回避 SPOpt

    (1/2): 劣モジュラ最適化による組み合わせ爆発の回避 - 10 - 既に観測した姿勢に新たな姿勢を追加する方法でも◎ 集合の要素の増加につれて 新たに得られる情報量が少なくなっていく性質
  6. 定量的結果(1/2): 効率的な情報収集が可能な観測姿勢を選択 - 13 - Random baseline:ランダムな姿勢 における画像の収集 GPT-3.5 method:GPT-3.5が観測箇所の

    集合を生成 : 観測姿勢集合のサイズ 𝑅𝐾 = 𝐾の集合において観測した日常物体数 環境内における日常物体の総数 𝐾 手法 𝑹𝟓 Random baseline 0.26 GPT-3.5 method 0.21 SOPO 0.50 +0.24 𝐾 = 5
  7. 定量的結果(2/2) : 観測姿勢数が増加した場合も効果的な観測姿勢を選択 - 14 - Random baseline:ランダムな姿勢 における画像の収集 GPT-3.5

    method:GPT-3.5が観測箇所の 集合を生成 : 観測姿勢集合のサイズ 𝑅𝐾 = 𝐾の集合において観測した日常物体数 環境内における日常物体の総数 𝐾 手法 𝑹𝟐𝟓 Random baseline 0.59 GPT-3.5 method 0.48 SOPO 1.0 +0.41 𝐾 = 25
  8. Sensitivity analysis:各パラメータの感度の調査 - 17 - ◼ 𝛼 = 100のモデルが一番貢献 ◼

    様々なカメラモデルでSOPOが有効 𝛼 :Negative物体存在マップの考慮 (大きいほど影響大) 𝑑max :観測範囲の扇形の半径 : 観測姿勢集合のサイズ 𝑅𝐾 = 𝐾の集合において観測した日常物体数 環境内における日常物体の総数 𝐾
  9. 実験設定(実機実験):観測姿勢集合の巡回 - 18 - ▪ 環境:WRS 2020 Partner Robot Challenge/Real

    Spaceの標準環境に準拠 ▪ 実機:Human Support Robot (HSR) [Yamamoto+, ROBOMECH J.19] ▪ 物体:YCB Object [Calli+, RAM15], 一般的な物体
  10. まとめ:SOPOの提案 - 21 - Submodular Observation Pose Optimizationの提案 ▪ 劣モジュラ最適化手法

    ▪ マルチモーダル基盤モデルによる2種類の物体存在マップの使用 ▪ 実環境においても提案手法は有益な観測姿勢を選択
  11. エラー分析:物体存在マップとの乖離 - 24 - 失敗名 Ratio [%] 物体存在マップとの乖離 33 オクルージョンあり

    30 物体検出器による検出失敗 21 観測された物体の重複 16 Total 100 新たな観測姿勢の追加により新たな物体を観測できなかった場合を失敗とした
  12. 実験設定(シミュレーション環境) - 25 - 環境 日常物体数 Room1 86 Room2 20

    Room3 22 Room4 37 Room5 34 ▪ 5種類のタスク環境 ▪ 平均して6種類の部屋,35.2種類の家具,39.8種類の日常物体が存在 ▪ 1環境に1つの階のみ