第67回コンピュータビジョン勉強会CVPR2026読会前編

Transcript

1. 第67回コンピュータビジョン勉強会@関東 CVPR2026読み会前編 2026/07/18
2. 本日の論文 既存のVLAモデル（視覚・言語・行動モデル）が持つ事前学習済みの知識と、新しく追加 された触覚表現を学習する手法 選定理由：AIに触覚情報を統合する意味はあるのか？
3. Robot manipulation Teaching：ロボットに特定の作業や動きを教えるプロセスが必要 • タスクに併せて動作・作業を行わせるように人が設定しなければならい ◦ 人にロボットを扱う知識・作業負荷がある • 環境が変わらない状態で動作させる必要なため、対応力がない 　　→　 VLAで学習して実行するという流れ
4. VLA (Vision Language Action model) ロボット制御で使われる： π0, GR00T • Vision Encoder 環境の視覚情報を処理して特徴量を抽出 • Language Encoder ユーザーの指示やタスクの説明といった言語情 報を処理し、意味的な埋め込みを生成 • 視覚と言語の埋め込みの整列 Vision EncoderとLanguage Encoderによって得 られた視覚情報と言語情報の埋め込みを効果 的に関連付け • Action Decoder 整列された視覚と言語の情報を基に、言語条件 付きロボットタスクを実行するための適切な行動 を予測 Y. Ma, “A Survey on Vision-Language-Action Models for Embodied AI”
5. なぜ、触覚？ ロボットmanipulationでの高度なタスクには触覚フィードバックが重要
6. VLA+Tactile=VTLA(Vision Tactile Language Action model) メリット • 力の制御（加減、柔らかさ、滑り） • 視覚情報が劣化しても制御可能
7. VTLAの課題 1. 事前学習モデルとTactileデータを追加して学習は出来るのか a. 新しい異種モダリティを入力として使う場合、元の視覚・言語モデルに歪みが生じる？ 2. 推論処理と応答制御速度の不一致 a. VLAはパラメータ数が膨大のため、推論速度が 5 - 10Hz程度と遅い。それに対し触覚の応答速度は 25-100Hzの高頻度ループでないといけない i. 物を落とす ii. 物・ロボットハンドの破損 これらの課題に対応できるフレームワークが必要
8. AT-VLAフレームワーク 既存VLAをベースに、触覚を状況に応じて使い分ける方式を提案 π：ポリシー、I：カメラ3台、L：言語、T：触覚、S：ロボット状態、A：動作 ② ① ④ ③
9. Adaptive Tactile Injection 課題：触覚データを導入してVLAをfine-tuning、触覚フィードバックを直接組み込む方法 を試したが、把持位置がずれてしまう • Tactile gating ◦ ロボットが物体と接触しているタイミングを自動的に判断し、触覚フィードバックを組み込むタイミング を制御する • Adaptive Cross Attention：トークンの切り替え ◦ 接触無：通常のVanilla VLAと同じ動作 ◦ 接触有：状態Sトークンを触覚Tトークンに置き換え
10. Tactile Reaction Dual Stream manipulationタスクにおいて重要な点は2つ • Rapid Action：触覚フィードバックから動作をすぐに調整 ◦ Slow Stream：通常VLAで視覚・言語理解による動作生成 ◦ Fast Stream：触覚フィードバックの解釈から推論を高速に行う ▪ Action Expertへの入力は非同期で行う • Tactile understanding：触覚情報を理解し、それに応じて動作を修正するよう学習 ◦ 触覚生成（Tactile Generation） を提案 ▪ Action Expertsにより3次元的な力覚を生成 ▪ 触覚生成は教師有で学習
11. 学習と推論のパイプライン • 学習：目的関数 • 推論 ◦ 触覚情報無 ▪ GO-1と同じVLAモデルで学習・推論、 Slow Stream(VLA)とFast Stream(AT-VLA)の入力周波 数は同じ ◦ 触覚情報有 ▪ Slow Stream(VLA)とFast Stream(AT-VLA)を非同期（1:3）で実施、触覚トークンに切り替えて 実行する : Action Loss : Gate Loss (binary cross-entropy) : 0.01 : Tactile Generation Loss (MSE)
12. 実験 • Robot ◦ AgiBot:Genie 1 dual 7-DoF arms ◦ Camera:正面カメラ、手首カメラ2台 ◦ Tactile:Xense Roboticsの力覚センサ ▪ force 6D sensor ◦ 学習時はVRで遠隔操作しデータ収集 • VLAの比較 ◦ GO-1: VLA + MoE ◦ π0.5: π0 + FAST + Co-training ◦ VTLA: VLA + Tactile ◦ RDP: VTLA + Reaction Diffusion Policy • データセット ◦ 学習用：30から50回の学習データ ◦ 15回のテスト試行 Xense force 6D sensor AgiBot G1 robot
13. Contact-rich Task バッグを開ける 花瓶を吹く スタンプを押す フタを開ける
14. Contact-rich Task:Result • GO-1、π0.5との比較（触覚なし） ◦ 物体把持に必要な視覚情報・推論の知識を保持 ◦ 触覚を要するタスクにおいて AT-VLAは成功率が改善 • VTLA、RDPとの比較（触覚有） ◦ AT-VLAでは各段階で動作停止していたのが改善（スムーズな動作） • Uncrew Lidでは滑りが発生し、失敗が多く成功率が低下
15. 触覚有無での評価 • 学習時は触覚フィードバック有、推論時は触覚有無によるロバスト性の比較 ◦ GO-1、π0.5は触覚無し • Pick&Place, Open Drawerタスク：触覚無AT-VLAとπ0.5は同じ成功率 ◦ Adaptive Tactile Injectionにより接触が少ないタスクでもモデル性能維持が出来ている • 接触を伴うStampタスクにおいては触覚有VLAが性能向上 ◦ 接触を伴う動作ダイナミクス、クロスモーダルの知見を学習している
16. Ablation Study：各コンポーネントの貢献 • Ex0：Vanilla VLAのみで成功率22% • Ex1：Adaptive Cross Attentionのみでは成功率、モデル性能が低下 • Ex2：Tactile Gate追加で17%の成功率改善 • Ex3：Tactile Generationで物理ダイナミクスを深く理解 • Ex4：Reaction Dual-Stream有で7%改善、触覚フィードバックは重要
17. Ablation Study：触覚センサの違い • 触覚センサを変えて実験 ◦ Force 6D：XYZの3軸方向にかかる並進力と回転力を検出するセンサ ◦ Ex5,Ex6：N × 2個の2Dマーカー変位から力覚を算出 ◦ Ex7, Ex8：V-T image(視触覚画像)はSprashで特徴抽出 • VLA（Ex5, Ex7）では触覚センサを変えてもタスク成功率は変わらず • AT-VLA（Ex6, Ex8）では性能向上、Force 6Dセンサがもっとも良い 触覚モダリティを追加する際、どんな触覚情報が使えるかが重要 2Dマーカー V-T image
18. まとめ AT-VLAの提案 • Adaptive Tactile Injection:学習済みモデルとタクタイルのバランスを動的に調整 • Tactile Reaction Dual Stream:遅いVLAと速いtactileを分離して処理、高頻度化な触覚 応答を可能にした • Contact-rich Taskに対して既存手法より成功率改善 感想 • モダリティの違いが大きく、独立させた方が良い印象 ◦ VLAとTAの並列スイッチング • 触覚センサの違いは重要 ◦ センサ情報とタクタイルの理解に違いがある印象 • Gripper：2指・2自由度ではシンプルな動きのため限界？ ◦ 5指ハンド（15〜21自由度）は細かく制御出来るが、 VTLAで学習できるか 2指2自由度のGripper