SO-101×VLAによる3色キューブのピック＆プレース

π0.5モデルを活用し音声指示でキューブを操作するデモ

Transcript

1. ロボット実機デモ講習会 〜VLA‧強化学習技術の最前線〜 SO-101×VLAによる3⾊キューブのピック＆プレース 2026/06/29
2. アジェンダ 導⼊ シス テム デモ 実装 データ 学習 • 導⼊ • システム構成 • 実機デモ • ⾮同期推論パイプラインの実装 • データ収集 • モデルの学習 Confidential 2
3. 会社紹介 導⼊ シス テム デモ 実装 データ 学習 会社名 株式会社ABEJA 企業理念 ゆたかな世界を、実装する 本社所在地 〒108-0073 東京都港区三⽥⼀丁⽬1番14号 Bizflex⿇布⼗番2階 設⽴ 2012年9⽉10⽇ 我々が⽬指す世界を表現しています。ABEJAの最先端のテクノロジーをベー スに、イノベーションの創出を促進し、社会全体にその恩恵を⾏き渡らせる ことにより、よりゆたかで住みやすい⾼度な社会作りに主体的に貢献してい きたいという思いが込められています 代表者 代表取締役CEO 岡⽥ 陽介 代表取締役COO ⼩間 基裕 取締役CFO 英 ⼀樹 取締役CSO 外⽊ 直樹 社外取締役 ⽥中 邦裕（さくらインターネット株式会社 代表取締役社⻑） 社外取締役 ⿇野 耕司（株式会社ナレッジワーク 代表取締役社⻑） 社外取締役 宮 淳（SOMPO Light Vortex株式会社 代表取締役社⻑CEO/CBDO執⾏役員） 常勤監査役 桃原 隼⼀（公認会計⼠） 社外監査役 清⽔ 琢麿（弁護⼠、法律事務所イオタパートナー） 社外監査役 ⻘⼭ 正明（株式会社ビザスク社外取締役） 取締役 監査役 ビジョン これまでもイノベーションによって⼤きく世界が変化してきました。蒸気機 関の発明による第1次産業⾰命、電⼒‧エネルギーによる第2次産業⾰命、コ ンピュータ‧情報技術による第3次産業⾰命です。そして、AIをはじめとした 新たな⾰新的技術により、第4次産業⾰命が起きつつあります。ABEJAはこ れまでの社会の仕組みを⼤きく変⾰するようなイノベーションを先導し、グ ローバルな視野のもと、⽇本にとどまらず世界のありようを変⾰していきま す。 ミッション 松原 仁（京都橘⼤学⼯学部情報⼯学科および⼤学院情報学研究科教授、情報学教育研究センター⻑） 松尾 豊（東京⼤学⼤学院⼯学系研究科教授、⼀般社団法⼈⽇本ディープラーニング協会理事⻑） 顧問 ⾕⼝ 忠⼤（京都⼤学⼤学院情報学研究科教授､⽴命館⼤学総合科学技術研究機構客員研究教員（教授）、 パナソニック ホールディングス株式会社シニアテクニカルアドバイザー） イノベーションで世界を変える テクノロジーの⼒で産業構造を変⾰する 社会の構造を⼤きく変えるほどのイノベーションは、新たなテクノロジーの 発明や技術的なブレークスルーが原動⼒になっています。そしてテクノロ ジーは常に進化し、これまでの常識を覆すような、⾰新的なものが⽣まれ続 けています。 Confidential 3
4. デモ内容 導⼊ シス テム デモ 実装 データ 学習 ⾳声指⽰を元にロボットが⾃律的な物体操作を実現 VLAモデルを搭載したSO-101で3⾊キューブのピック＆プレース 1 ルールベースではなく、⾳声指⽰を元にロボット基盤モデルが動作を⽣成 • VLAモデル π0.5 が、カメラ映像と⾃然⾔語の指⽰からロボットの⾏動をリアルタイムで⽣成 2 ⾳声で⾃然にタスクを指⽰ • 「⾚」「⻘」「オレンジ」と話すだけで⾳声認識とテキスト変換でVLAが解釈可能な指⽰を⽣成 3 ⾮同期推論でリアルタイム制御を両⽴ • gRPCストリーミングによる⾮同期推論パイプラインで、GPU推論の計算時間とロボット制御を 分離し、リアルタイム制御を両⽴ Confidential 4
5. VLAとは 導⼊ シス テム デモ 実装 データ 学習 VLAとは、Vision-Language-Action Modelの略で、視覚 (Vision)、⾔語 (Language)、⾏動 (Action)の 3つのモダリティを統合した基盤モデル • VLAモデルはカメラ映像と⾃然⾔語の指⽰を⼊⼒として受け取り、ロボットの関節⾓度の時系列を出⼒ • 従来の⼤規模⾔語モデル（LLM）がテキストを出⼒するのに対し、VLAモデルはロボットの⾏動を出⼒ Vision（視覚） カメラ映像 VLA Model Action（⾏動） π0.5 関節⾓度の時系列 Language（⾔語） タスク指⽰⽂ Confidential 5
6. 使⽤するVLAモデル：π0.5 導⼊ シス テム デモ 実装 データ 学習 Physical Intelligence社が開発した汎⽤VLAモデルであり、今回のデモでは独⾃に収集したデータで ファインチューニングしたものを使⽤ ベースモデルの特徴 • π0の後継モデルで、より多くのロボット‧ 本デモでの使い⽅ • タスクに対応 • カメラ画像と⾃然⾔語から関節⾓度を 時系列予測 • ベースモデルに対してSO-101でのキューブ 操作の学習データでファインチューニング • フレームワークには HuggingFace LeRobot を使⽤ HuggingFace上で事前学習済みモデル lerobot/pi05_base を公開中 Confidential 6
7. ハードウェア‧ソフトウェア構成 導⼊ シス テム デモ 実装 データ 学習 表に⽰したハードウェア‧ソフトウェアを使⽤ ハードウェア 要素 ロボットアーム カメラ ソフトウェア 仕様 要素 技術 SO-101（6DoF, USB接続） VLAモデル π0.5（ファインチューニング済み） USB Webカメラ × 3台（上⽅‧ 学習FW LeRobot（HuggingFace） ⾳声認識 Qwen3-ASR-1.7B + vLLM 通信 gRPC + Protocol Buffers コンテナ Docker Compose 計算環境 CUDA 13.0 / PyTorch ⼿⾸‧側⽅, 640×480, 30fps） マイク USBマイク × 1台 GPU（推論⽤） NVIDIA GPU（CUDA 13.0） Confidential 7
8. システム構成 導⼊ シス テム デモ 実装 データ 学習 ハードウェアはSO-101、3台のカメラ、マイクで構成され、ソフトウェアは⾳声認識、VLAの ポリシーサーバー、ロボット制御の3サービスをgRPCで連携する構成 Confidential 8
9. アーキテクチャ 導⼊ シス テム デモ 実装 データ 学習 ⾳声認識、VLAのポリシーサーバー、ロボット制御、それぞれのDockerコンテナがgRPCで 連携して動作 Container Voice Recognition Server Container 認識⾳声 Robot Client 現在情報 (カメラ映像, 関節⾓) Container Policy Server Qwen3-ASR-1.7B SO-101制御 π0.5モデル (GPU常駐) vLLM配信 カメラ3台 観測収集 ⾮同期推論 OpenAI互換API テキスト ⾳声⼊⼒インターフェース 制御信号 アクション タスク時間管理 ⾳声、動画、関節⾓ SO-101 ＋ カメラ3台 ＋ マイク Confidential 9
10. Voice Recognition Server 導⼊ シス テム デモ 実装 データ 学習 マイクで収集した⾳声データをQwen3-ASR-1.7Bでテキストに変換し、キーワードを元にVLAの タスクプロンプトに対応付けを⾏って動作指⽰を⽣成 • Qwen3-ASR-1.7BはAlibaba Cloudが開発した1.7Bパラメータの⾳声認識モデルで⽇本語の発話に対応 • ⾳声認識サーバーを独⽴コンテナとして分離することで、モデルの差し替え（Whisper等）が容易な構成 ⼊⼒ ⾳声→テキスト変換 出⼒ 選択 マイク⾳声 Qwen3-ASR 認識テキスト タスクプロンプト 「⾚」「⻘」等の 対応するVLA⽤の キーワードを抽出 英語プロンプトに変換 録⾳した⾳声を WAV形式に変換 vLLMで配信 Confidential 10
11. Robot Client 導⼊ シス テム デモ 実装 データ 学習 カメラ3台と関節エンコーダから観測値を収集し、アクションをロボットに適⽤ 1 ⾳声⼊⼒によるタスク選択 • 推論開始前に Voice Recognition Server へ発話データを送信 • テキストで返された認識結果のキーワードからタスクプロンプトを選択 2 観測値の収集と送信 • 上⽅‧⼿⾸‧側⽅の3台のカメラ（640×480, 30fps）と関節エンコーダからデータを収集 • 収集した情報をPolicy Serverへ送信する • 3 アクションの受信と集約 • Policy Serverから受信したアクションチャンクを重み付き平均（新:0.7 / 旧:0.3）で集約し、動作の滑 らかさと応答性を両⽴ 応答性を両⽴ 4 関節オフセット補正 • ロボットの機械的な誤差を関節ごとにキャリブレーションするための補正機能 Confidential 11
12. ポリシーサーバー 導⼊ シス テム デモ 実装 データ 学習 GPU上にVLAモデルを常駐させ、観測値からアクションを推論 1 起動時にモデルをロード • π0.5のファインチューニング済みモデルをGPU上にロード • 複数のタスクにまたがってモデルを保持し続ける 2 観測値を受け取り推論を実⾏ • カメラ映像と関節⾓度をgRPCストリーミングで受信 • 推論によって50フレーム分のアクションチャンクを⽣成 3 タスク時間の管理 • 最初の観測値受信時にタイマーを開始 • 指定時間経過後に TaskComplete シグナルをクライアントへ送信する 4 初期化のための原点移動 • ルールベースで初期関節⾓度へ移動する機能 • ease-in-out 補間で⽣成した滑らかな軌道でホーム位置復帰に使⽤ Confidential 12
13. 実機デモ 導⼊ シス テム デモ 実装 データ 学習 VLAモデルを搭載したSO-101実機による 3⾊キューブのピック＆プレースを実演します Confidential 13
14. 推論とロボット制御の分離 導⼊ シス テム デモ 実装 データ 学習 gRPCストリーミングで推論と制御を⾮同期に分離し、リアルタイム性を確保 • Policy ServerがGPU上で推論実⾏中も、Robot Clientはキューに残ったアクションをロボットに適⽤し 続ける Policy Server Robot Client モデルロード（起動時1回） ⾳声⼊⼒ → タスク選択 クライアント待機 ← 接続‧ハンドシェイク セットアップ ← 観測値ストリーミング送信 推論実⾏（GPU） ← キュー消費 → ロボット制御 アクションチャンク送信 → アクション集約‧適⽤ タスク完了 → 状態リセット → TaskComplete → 終了 通信プロトコル：gRPC + Protocol Buffers。観測値‧アクションともにストリーミングで送受信する。 Confidential 14
15. アクションチャンクの集約 導⼊ シス テム デモ 実装 データ 学習 1回の推論で50フレーム分を⼀括⽣成し、重複チャンクを重み付き平均で集約し、安定性と滑らかな 動作を実現 • 推論完了までの間、クライアントはキューに残った前回のアクションチャンクを消費し続ける • 新しいチャンクが届くと、新旧のアクションチャンクを集約して新しいチャンクを⽣成 • 重み付き平均により、推論の遅延が発⽣しても動作が途切れず、かつ新しい推論結果を速やかに反映 関数名 式 特徴 weighted_average 0.3 × old + 0.7 × new 新しいアクションを優先（本デモで採⽤） latest_only new 最新アクションのみ使⽤ average 0.5 × old + 0.5 × new 単純平均 conservative 0.7 × old + 0.3 × new 古いアクション優先（安定動作向け） Confidential 15
16. アクションチャンク集約の図解 導⼊ シス テム デモ 実装 データ 学習 1回の推論で50フレーム分を⼀括⽣成し、重複チャンクを重み付き平均で集約し、安定性と滑らかな 動作を実現 旧チャンクA latest_action=#2 新チャンクB 4 集約済み ※ 1フレーム = 1/30秒、1チャンク = 50フレーム ≈ 1.67秒 #24まで実⾏済み 旧キュー残 チャンクA 新チャンク チャンクB 集約結果 新キュー timestep → #15 実⾏済みの 10フレームを 破棄 old[#25] … old[#49] #15 ~ #24 new[#25] … new[#49] 10フレーム 0.3 重複する 25フレーム すべてに重み づけを適⽤ #24 #25 25フレーム new[#50] … new[#64] 0.7 1.0 0.3 × old + 0.7 × new new のみ 15フレーム #49 #50 #64 Confidential 16
17. タスク時間管理とライフサイクル 導⼊ シス テム デモ 実装 データ 学習 サーバーがタスク時間を管理し、完了シグナルでクライアントを安全に終了させる 開始 実⾏中 完了 リセット タイマー起動 推論ループ TaskComplete 次のタスク待機 最初の観測値 指定時間分だけ 完了シグナルを モデル保持 受信時に開始 （例: 5秒）推論 クライアントへ送信 状態のみリセット 1 lerobotオリジナルとの違い • lerobotではタスクごとにサーバーが終了するが、本実装ではサーバーが常駐し続ける • モデルロードの待ち時間を排除し、デモの連続実⾏を可能に 2 安全な終了の保証 • TaskCompleteシグナルによりクライアントの shutdown_event がセットされ、観測値送信スレッド と制御ループが同時に停⽌ Confidential 17
18. テレオペレーションによる学習データ収集 導⼊ シス テム デモ 実装 データ 学習 ⼈間がLeaderアームを操作し、Followerアームが再現した動作とその様⼦を記録したカメラ映像を学 習データとして収集 • SO-101はLeader-Follower構成 • ⼈間がLeaderアームを操作してFollowerアームを動かし、キューブのピック＆プレース動作を実現 • この動作をカメラ映像と関節⾓度のペアとして記録し、学習データに使⽤ 操作者 ロボット 記録 Leaderアームによる操作 Followerアームで実動作 教師データ保存 Leaderを介してFollowerで Leaderの動きを カメラ映像と ピック＆プレース操作 リアルタイムに再現 関節⾓度の情報を保存 Confidential 18
19. 収集データの内訳 導⼊ シス テム デモ 実装 データ 学習 3⾊のキューブ（⾚、⻘、オレンジ）× 8配置パターンで計168エピソードのピック＆プレース動作を 収集 操作対象 タスクプロンプト 配置パターン エピソード数 ⾚いキューブ Pick up the red cube and put it in the black square. 8 80 ⻘いキューブ Pick up the blue cube and put it in the black square. 8 80 オレンジのキューブ Pick up the orange cube and put it in the black square. 8 8 ! データ拡張 • 収集データに対して輝度変化によるデータ拡張を実施 ◦ • 明るい環境‧暗い環境の映像を⽣成し、照明条件の変動に対するロバスト性を確保 背景変更によるデータ拡張も試みたが、学習⽤途に⼗分な品質が得られなかったため不採⽤ Confidential 19
20. 2段階のファインチューニング シス テム 導⼊ デモ 実装 データ 学習 ベースモデル学習 → 輝度拡張データで追加学習の2段階で実施 • 第2段階は照明条件の変動に対するロバスト性向上が⽬的 • 学習率を第1段階の1/200に下げ、既存の学習成果を壊さないように⼯夫 第1段階 第2段階（追加学習） ベースモデル lerobot/pi05_base ベースモデル 第1段階の出⼒モデル データセット 3⾊キューブ操作データ データセット 輝度拡張データ ステップ数 12,000 ステップ数 6,000 バッチサイズ 8 バッチサイズ 8 学習率 1e-04 → 1e-06 学習率 5e-07 → 1e-09 Confidential 20
21. Join ABEJA!! ABEJA採⽤サイト （ご不明な点など、現地のメンバーにお問い合わせください） 21