Physical AI on AWS: 小規模実験からマルチノード学習・推論へのスケーリングパス / Robot FM Training & Inference

Transcript

1. © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Physical AI on AWS: ⼩規模実験からマルチノード 学習・推論へのスケーリングパス GENIAC 基盤モデル開発者向け Deep Dive セッション 針原 佳貴 2 0 2 6 / 4 / 9 プリンシパル フロンティア AI スタートアップ SA アマゾン ウェブ サービス ジャパン合同会社
2. © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. • Physical AI におけるロボット基盤モデルと VLA • オープンな VLA • Physical AI 学習・推論 AWS リファレンスアーキテクチャ Agenda 2
3. © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. ロボット基盤モデルと VLA 3
4. © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. ロボットの種類 Unitree H2 人型・ヒューマノイド (2足歩行ロボット) セミヒューマノイド (双腕・車輪移動ロボット) GALBOT G1 ugo Pro Unitree G1 FANUC CRX-10iA FANUC Robot M-410 Unitree Go2 犬型ロボット (4足歩行ロボット) サービスロボット (狭義の汎用ロボット) 協働ロボット 産業用ロボット 双腕ロボット Enactic OpenArm
5. © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. LLM から VLA へ • SayCan: LLM による高レベルタスク分解と、RL 学習済みアフォーダンス関数 を組み合わせ、現実のロボットに即したアクション列を生成 • Robotics Transformers (RT-1): 大規模実ロボットデータで学習した Transformer ベースのモデルで、言語指示により汎用的なロボット操作を実現 • PaLM-E: LLM (PaLM) に画像・ロボット状態などのマルチモーダル入力を統合 した embodied multimodal language model で、ロボット計画と汎用 VL タス クを単一モデルで処理 • Robotic Transformer 2 (RT-2): VLM をロボットアクションデータで co-fine- tune することで、ウェブ知識をロボット制御に直接転移する Vision- Language-Action (VLA) モデル 7
6. © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. LLM から VLA へ Action Expert LLM LLM Large Language Model (LLM) Text Text Action 🦾 Vision Encoder LLM Text Image/Video Text Vision-Language Model (VLM) Vision-Language-Action Model (VLA) Vision Encoder Text Image/Video π0 [arXiv:2410.24164] Note: バックボーンに VLM ではなく、 動画基盤モデルや世界モデルを使う流れもある。 Backbone
7. © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. ロボット基盤モデルの学習ワークフロー LLM の学習と似ている 1. Pre-training: 大規模・多様データで汎用能力を獲得 (基本的に模倣学習。オフライン強化学習 (RL) を含む場合あり) 2. Supervised fine-tuning: タスク・ロボット特化のデモデータで適応 (模倣学習) 3. RL fine-tuning: 実環境・シミュレータでの試行錯誤・報酬による改善 (π*0.6 などで RL を導入) 10 Pre-training SFT RLHF/RLVR Immitation Learning (模倣学習) Reinforcement Learning (強化学習) LLM の場合の解釈 強化学習の利用 • Chat (RLHF): 人間の嗜好へのアラインメント • Reasoning (RLVR): 論理へのアラインメント • Robot FM: 物理世界へのアラインメント と捉えることができる
8. © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. オープンな VLA 11
9. © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. π0 : VLA Flow Model 3B-param VLM (PaliGemma = SigLIP + Gemma) の後段に追加した Action expert (300M-param transformer 層) が Flow matching (diffusion) により滑らかな動作を生成するよう VLA を構成。 12 [arXiv:2410.24164]
10. © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. π0.5 : VLA with Open-world Generalization 事前学習において様々なデータソース (複数ロボットのデモデータ、 意味的サブタスクなど) で co-training することで、スキルの遂行だ けでなく意味的文脈を理解し長時間 (10-15分) タスクに対応。 13 [arXiv:2504.16054]
11. © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. π* 0.6 : VLA that Learns from Experience オフライン強化学習 (RL) を事前学習・事後学習に適用。ロボット自 体の動作から経験的に学習し、タスクのロバスト性を高めた。 14 Value function: ある状態・動作が 最終的なタスク成功に どれだけ貢献するかを評価 [arXiv:2511.14759] RL with Experience and Corrections via Advantage- conditioned Policies (Recap):
12. © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. π0 で VLA の fine-tuning https://github.com/Physical- Intelligence/openpi/blob/main/scripts/train_pytorch.py model = Pi0Config( paligemma_variant="gemma_2b_lora", # VLM バックボーン側 action_expert_variant="gemma_300m_lora" # Action Expert 側 ) freeze_filter = Pi0Config(...).get_freeze_filter() # 更新される重みの範囲 π0 のアーキテクチャに対応させると: +----------------------------------------------+ | SigLIP (Vision Encoder) | frozen +----------------------------------------------+ | PaliGemma (VLM backbone, 2B params) | | "gemma_2b_lora": | LoRA adapters only | low-rank matrices injected into | (Attention + MLP) | Attention + MLP layers | +----------------------------------------------+ | Action Expert (300M params) | | "gemma_300m_lora": | LoRA adapters only | same approach as above | (Attention + MLP) +----------------------------------------------+ 15
13. © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. NVIDIA Isaac GR00T N GR00T N1.6 repo (fine-tuning): https://github.com/NVIDIA/Isaac-GR00T 16 [arxiv:2503.14734]
14. © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. シミュレータと学習環境の関係 1. Pre-training: 大規模・多様データで汎用能力を獲得 2. Supervised fine-tuning: タスク・ロボット特化のデモデータで適応 3. RL fine-tuning: 実環境・シミュレータでの試行錯誤・報酬による改善 17 Simulator (NVIDIA Isaac Sim, Newton) on RTX w/ rendering engine Training Simulator (NVIDIA Isaac Sim, Newton) on RTX w/ rendering engine Training Offline Offline Online ( )
15. © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. リファレンスアーキテクチャ 19
16. © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. クラウド 実世界 22 モデル配信 Physical AI の開発 ステップ と サイクル データの ⽣成や収集 モデルの学習 モデルの 配信や推論 開発ステップ
17. © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. クラウド 実世界 物理ロボット データの⽣成や収集 モデルの学習 モデルの配信や推論 ファイルシステム クラスタ環境 23 データ ストア リモートデスクトップ環境 データ⽣成 / シミュレーター環境 クラウド推論環境 モデル配信 Physical AI の 構成要素 モデル配信 推論 構成要素 開発ステップ オフライン学習 オンライン学習 推論
18. © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 実世界 物理ロボット データの⽣成や収集 モデルの学習 モデルの配信や推論 Amazon EC2 G7e インスタンス ファイルシステム クラスタ環境 AWS ParallelCluster 24 データ ストア Amazon S3 Amazon FSx for Lustre Amazon SageMaker HyperPod or AWS IoT Greengrass リモートデスクトップ環境 データ⽣成 / シミュレーター環境 クラウド推論環境 Amazon SageMaker Inference モデル配信 Physical AI on AWS の リファレンスアーキテクチャ Amazon DCV NVIDIA Isaac Sim / Lab モデル配信 推論 構成要素 開発ステップ オフライン学習 オンライン学習 推論
19. © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 25 Physical AI の開発 ステップ と サイクル データの ⽣成や収集 モデルの学習 モデルの 配信や推論
20. © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. クラウド 実世界 物理ロボット データの⽣成や収集 26 データ ストア リモートデスクトップ環境 データ⽣成 / シミュレーター環境 データの ⽣成 や 収集 構成要素 開発ステップ
21. © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 実世界 物理ロボット データの⽣成や収集 Amazon EC2 G7e インスタンス 27 データ ストア Amazon S3 リモートデスクトップ環境 データ⽣成 / シミュレーター環境 データの ⽣成 や 収集 Amazon DCV NVIDIA Isaac Sim / Lab 構成要素 開発ステップ
22. © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 28 Physical AI の開発 ステップ と サイクル データの ⽣成や収集 モデルの学習 モデルの 配信や推論
23. © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. クラウド 実世界 物理ロボット データの⽣成や収集 モデルの学習 ファイルシステム クラスタ環境 29 データ ストア リモートデスクトップ環境 データ⽣成 / シミュレーター環境 オフライン 学習 オフライン学習 SSH 構成要素 開発ステップ
24. © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. クラウド 実世界 物理ロボット データの⽣成や収集 モデルの学習 ファイルシステム クラスタ環境 30 データ ストア リモートデスクトップ環境 データ⽣成 / シミュレーター環境 オンライン 学習 オンライン学習 SSH 構成要素 開発ステップ
25. © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 実世界 物理ロボット データの⽣成や収集 モデルの学習 Amazon EC2 G7e インスタンス ファイルシステム クラスタ環境 AWS ParallelCluster 31 データ ストア Amazon S3 Amazon FSx for Lustre Amazon SageMaker HyperPod or リモートデスクトップ環境 データ⽣成 / シミュレーター環境 モデルの 学習 Amazon DCV NVIDIA Isaac Sim / Lab オフライン学習 オンライン学習 SSH 構成要素 開発ステップ
26. © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 35 Physical AI の開発 ステップ と サイクル データの ⽣成や収集 モデルの学習 モデルの 配信や推論
27. © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. クラウド 実世界 物理ロボット モデルの配信や推論 36 データ ストア データ⽣成 / シミュレーター環境 クラウド推論環境 モデル配信 モデルの 配信 や 推論 モデル配信 推論 構成要素 開発ステップ 推論 アクション⽣成⽤ VLA のクラウド推論は基本無い ⻑期実⾏計画⽤ LLM のクラウド推論はあり得る
28. © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. 実世界 物理ロボット モデルの配信や推論 37 データ ストア Amazon S3 AWS IoT Greengrass データ⽣成 / シミュレーター環境 クラウド推論環境 Amazon SageMaker Inference モデル配信 モデルの 配信 や 推論 NVIDIA Isaac Sim / Lab モデル配信 推論 構成要素 開発ステップ 推論
29. © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. ソリューション・サンプルコード紹介 48
30. © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Remote AWS Development Station (RADS) AWS 上で NVIDIA Issac SIM や ROS が プリインストールされた デスクトップ環境を簡単に立ち上げ、 Amazon DCV (リモートデスクトップ), Code-Server (ブラウザIDE), SSH via AWS SSM で ワンクリック アクセス (近日公開予定) 49
31. © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Physical AI Scaffolding Kit (PASK) by PACE team SageMaker HyperPod (slrum) + Enroot を 利用して Docker コンテナで VLA (NVIDIA GR00T, Physical Intelligence openpi π0 ) のファインチューニングを行うサンプル GitHub: https://github.com/aws- samples/sample-physical-ai-scaffolding- kit 50 AWS Cloud SMHP (Slurm) Amazon FSx for Lustre Amazon S3 Developer
32. © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. OSMO on AWS by Frameworks team NVIDIA OSMO という k8s ベースの オープンソース Physical AI 開発エ ージェントワークフロー Pull Request on AWSome Distbiruted Training repo: https://github.com/awslabs/awso me-distributed-training/pull/1018 51
33. © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Thank you! © 2026, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark. Yoshitaka Haribara Principal Startup SA, AWS