Physical AIを支えるWeights & Biases

Transcript

1. Physical AIを支える Weights & Biases 2026.2
2. 2 Keisuke Kamata @olachinkei keisuke.kamata@wandb.com W&Bに関して ご不明点ありましたら ご連絡ください！
3. 3 ウェイツ アンド バイスィズ シリコンバレー発 市場からの評価 OpenAIがロボティクスを進めていた時から、Deep Learningの活用を始めとする最先端のAI開発を支 援 私たちは全てのモデルの開 発にWeights & Biasesを利用 しています。私たちの理想 とする結果を得るには 最高 水準のツール が必要なの です。 Peter Welinder Vice President of Product OpenAI “ 2023年より日本進出 ~70 を超えるエンタープライズ企業が利用 Robotics関連企業の利用 ~100 を超えるRobotics関連企業がW&Bを利用 自動車業界 • Toyota • Woven by Toyota • Turing • General Motors • Mercedes-Benz Group • Ford Motor Company • Waymo • … ヒューマノイド汎用ロボティクス • Boston Dynamics • Figure • Agility Robotics • Apptronik • Sanctuary AI • Engineered Arts • Neura Robotics • …
4. 4 100を超えるRobotics関連企業が W&Bを利用 自動車業界 • Toyota • Woven by Toyota • Turing • General Motors • Mercedes-Benz Group • Ford Motor Company • Waymo • Cruise • Waabi • Torc Robotics • Luminar Technologies • Arbe Robotics • LeddarTech • Nuro • … ヒューマノイド 汎用ロボティクス • Boston Dynamics • Figure • Agility Robotics • Apptronik • Sanctuary AI • Engineered Arts • Neura Robotics • … 産業用ロボット／ 倉庫・物流ロボティクス • Neuro • Berkshire Grey • Dexterity • Ambi Robotics • Pickle Robot • … 農業・建機・海洋 • Blue River Technology • Carbon Robotics • Bear Flag Robotics • Carbon Robotics • Ocean Infinity • Saronic • Onestruction (GENIAC) • …
5. 5 Weights & Biasesが提供するツール モデル学習が求められる Physical AIの領域では、 W&B Modelsがメインで利用するツールとなります Weights & Biasesは、MLOpsからLLMOpsまで、 あらゆる開発フェーズを支える 統合プラットフォームです。 • MLOps領域では、W&B Modelsを通じて実験管理・ハイ パーパラメータ最適化・モデル登録など、モデル開発のライ フサイクル全体を効率化 • LLOps領域では、W&B Weaveを通じてLLMアプリケー ションの挙動を可視化・評価 • Inference / Trainingでは、オープンソース基盤モデルへ のアクセスや、サーバーレス強化学習によるポストトレーニ ング（RLHFなど）を実現
6. Physical AI開発のPain Pointと Weights & Biasesの解決手段
7. Training VLA, World Model, RL Simulation / Eval Physics Engines, Digital Twins, Application of World Model Data Collection Real World, Teloop, Synthetic Sim2Real Deveployment, Validation in Real World 整理: Physical AI開発フロー（自動運転の例） World Model（⾃動運転などの分野では シミュレーションとして使われることが多い） その動作をすると、次に世界がどう⾒えるかを予測する VLAの学習（⾏動決定のモデル） ⾒たもの（観測）から、次の動作（⾏動）を決める Sensor Vision 言語指示 language VLA 行動 a 車体状態 etc... World Model 状態t+1 Sensor Vision 言語指示 language 行動 Action 車体状態 etc... 状態t World Model や3DGS(3D Gaussian Splatting)を用いてシ ミュレーション 現実世界で検証 現実世界での検証は時間とコストが かかるので、 シミュレーションでの 評価が鍵となる
8. 8 課題が多岐にわたり、複雑なエコシステムも形成 Data Collection Training Simulation / Eval Sim2Real Open Data • Open X-Embodiment • DROID • RH20T • Action100M • Berkeley Humanoid Lite • MOMIJI • STRIDE-QA Model • π0 / π0.5(Physical Intelligence) • Gemini Robotics(Google DeepMind) • OpenVLA(Stanford 他) • GR00T N1.6(NVIDIA) • Cosmos(NVIDIA) • FoundationPose(NVIDIA) • DoorMan(NVIDIA GEAR Lab) • Heron-NVILA(Turing) Library / Tool シミュレーション • Isaac Lab(NVIDIA) • Isaac Sim(NVIDIA) ロボット学習フレームワーク • LeRobot(Hugging Face) モーションプランニング • cuMotion(NVIDIA) 3D再構築・マッピング • nvblox(NVIDIA) SLAM • cuVSLAM(NVIDIA) 実験管理・トラッキング・可視化 ・解析 • Weights & Biases • Rerun(可視化) … • ロボティクス向けデータが必要 • 高度で性能が良い基盤モデルが必要（誰でも最初からモデル が学習できるわけではない） • マルチモーダルデータを伴う大規模学習を行う必要がある • 大量のデータやモデルの管理が求められる • 実機検証に時間・コストがかかる • シミュレーションの精度向上・可視化を伴う体系構築が求め られる • シミュレーションからリアルへの転移に精度とコスト面で大 きな断絶がある (Sim2Real) 開発フロー Pain Point エコシステム
9. 改善の流れ 改善を実現 するW&B 解決⼿段 組織全体アセット管理 （昇格フロー定型化） 再現性担保 （実験管理） + 共同開発推進 （エコシステム全体に多様なインテグレーション） ⾼速に知⾒取得と連携 （評価体系構築） ⾏動が下⼿： →Policy改善のための模倣学習‧強化学習 シミュレーションの精度が悪い： →World Modelの適応（学習） Physical AI開発における W&B解決手段 Data Collection Training Simulation / Eval Sim2Real 組織内のどこにある、どんな データ・モデルを利用したか？ 何に注力して 改善すべきか？ シミュレーション結果に基づいた 課題は何か？
10. W&B Models機能紹介 • 失敗解析の早期実現 / 実験サイクルタイム短縮 ⾼度な可視化で検証の時間短縮 • Central Place of Record ◦ 再現性の担保：学習の設定や結果の実験管理 ◦ 組織全体でのアセット管理：資産の紐付け‧昇 格フローの定型化 • 多様なインテグレーションで共同開発を推進 Physical AIエコシステムの主要ツールとの統合
11. W&B Models機能紹介 • 失敗解析の早期実現 / 実験サイクルタイム短縮 ⾼度な可視化で検証の時間短縮 • 多様なインテグレーションで共同開発を推進 Physical AIエコシステムの主要ツールとの統合 • Central Place of Record ◦ 再現性の担保：学習の設定や結果の実験管理 ◦ 組織全体でのアセット管理：資産の紐付け‧昇 格フローの定型化
12. 12 エコシステム横断の Central Place of Record Physical AI開発では、データ‧実験‧モデル‧評価が同 時並⾏で増殖する W&B Modelsは、 実験（Runs）× 資産（Artifacts）× 昇格（Registry）× 共有（Reports） を⼀箇所に集約し、意思決定の根拠を揃える 重要なのは「誰が/いつ/何で学習し、どの結果で採 ⽤したか」を後から説明できること Runs | Artifacts | Registry | Reports Data Training Eval Candidate Productio n 実機/合成 RL/IL シミュ/回帰 候補 本番
13. 13 Central Place of Record : 再現性担保 実際のユーザーの声 • ”私はいくつかの実験追跡ツールを使ったことがあり ます。MLFlowは（すでに少し前の話ですが）実行回 数が増えるにつれてスケーラビリティがかなり悪 かったです。W&Bはかなり良いです。全体的に、使 いやすさ、機能、そして異なるノードで複数の実行を 並列に簡単に追跡できる能力はW&Bの方が優れて います” • “複数のGPU/ノードおよびクラスター間で複数の実 験を並列に追跡できる（既存のツールでは実現不 可能で、多くの実装作業が必要になる）” Experiment (実験管理) • 並列学習を一つの実験として可視化・管理可能 • 自動で実行した設定やコードを記録 W&BはOpenAIなどの大規模なモデル開発を進める企業を支えるため に、日々フィードバックに答えながら大規模な実験管理を実現するプ ラットフォームの開発を進めてまいりました
14. 14 Central Place of Record : アセット管理 実際のユーザーの声 • ”W&Bは、各再現と理解のために最後のコミット、差 分パッチ、正確なコマンド、すべてのハイパーパラ メータを記録します” • “セットアップ、接続、統合は非常に簡単でした。 W&BはPyTorch Lightning用のロガーを提供し、さま ざまなタイプ（メトリクス、画像、動画、テーブルなど） のログを可能にします” • “設定パラメータ：実験のすべてのハイパーパラメー タをキャプチャします。私はこれをhydraと組み合わ せて使いましたが、とても良く機能します” • “パラメータやアーティファクトを実験ごとに保存でき るため、再現性が向上しました” Artifacts 入力データ、前処理後データ、モデル出力などを “バー ジョンつき資産” として扱える
15. 15 Central Place of Record : 昇格プロセス Registry • Artifactsと連動し、重要な資産（データ・モデ ルなど）だけを組織で共有 • タグ付けなどをトリガーにCI/CDを起動させ、 検証や本番環境へのデプロイも可能 • 組織内での細かい権限管理により、共同開 発におけるガバナンスも担保 (成果物) Run ID (評価へ) Model ver (合格) Eval report Registry ver (候補) (回帰/安全) (本番)
16. W&B Models機能紹介 • 失敗解析の早期実現 / 実験サイクルタイム短縮 ⾼度な可視化で検証の時間短縮 • 多様なインテグレーションで共同開発を推進 Physical AIエコシステムの主要ツールとの統合 • Central Place of Record ◦ 再現性の担保：学習の設定や結果の実験管理 ◦ 組織全体でのアセット管理：資産の紐付け‧昇 格フローの定型化
17. ご参考: Rollout＝Policyが生んだ“動作ログ”（評価の単位） Policy（VLM、VLA）を⼀回決めて終わり、ではなく毎ステップ繰り返す この連続結果が Rollout（= 動作ログ） ロールアウトで⾒るべきもの（例） 【これがRollout（動画＋ロ グ）】 • 成功/失敗、衝突、把持失敗、時間超過 • 動画、アクション系列、イベントタイムライン 観測 o ⾏動 a (現実/シミュ/WM)
18. 18 Physical AIを開発する中で必要とされる可視化 Physical AIを開発する中で必要とされる可視化 Pain Point • 動画間での手動アラインメントはミスが起きやすい・手間がか かる • 長さの異なるクリップを横並びで比較するのが難しい • シミュレーションの結果確認に時間がかかると、重要なインサ イトを見つけることができず、開発が遅れる Multimodal models • 1つのプロンプトに対する複数の動 画生成結果をまとめて確認し、全 体の雰囲気を素早くチェック • クリップのグリッドをスクラブしなが ら再生し、重要な瞬間を揃えて比 較 Robotics • フロント・リア・サイドの各カメラ映 像を同期して確認 • ポリシーのロールアウト を比較 • アクションとイベントのタイミングを 検証
19. 19 W&Bのリッチな可視化で開発を加速 複数の動画を同期して、再生・一時停止・スクラブ・再 生速度の調整 複数のパネルにまたがるメディアスライ ダーを同期してステップ操作 すべてのメディアパネル設定を一括管理 W&Bは、創業当初からテーブル・グラフ・画像・音声・動画などのマルチモーダルデータ可視化機能への評価が高く、Physical AI領 域に必要とされる可視化機能も継続開発している ユーザーの声 • ”様々なロギングおよび可視化ツールの実装時間を短縮。 W&Bなしの場合、手動でのロギングや可視化の作成に多くの時間を費やしていた ” • “リアルタイムの実験追跡と実験比較によって実験のスループットを加速します ” • “手動ロギングおよび可視化ツールの開発時間を大幅に削減し、実験の反復サイクルを加速し、実験結果の追跡、理解、比較を容易にします ”
20. W&B Models機能紹介 • 失敗解析の早期実現 / 実験サイクルタイム短縮 ⾼度な可視化で検証の時間短縮 • 多様なインテグレーションで共同開発を推進 Physical AIエコシステムの主要ツールとの統合 • Central Place of Record ◦ 再現性の担保：学習の設定や結果の実験管理 ◦ 組織全体でのアセット管理：資産の紐付け‧昇 格フローの定型化
21. 21 Weights & Biasesと主要エコシステムとの連携 Cosmos isaac LeRobot • NVIDIA Isaac / Cosmos / LeRobot など多数のエコシステムが存在し、日本では安川電機がIsaac Sim対応・ファナック のROS 2 OSS化など、エコシステムへの統合の流れがある • 日本でも経産省主導で複数企業による共創基盤・基盤モデル開発が加速している • Physical AIは単一企業では完結しない。複数組織が協業するほど、実験結果・モデルの共有・再現を組織横断で行 える仕組みが不可欠である • W&Bはこれらのエコシステムとインテグレーションし、少ない労力で実験管理・可視化でフロー全体をつなぎ、開発の 速度を上げることができる Isacを利用した学習の W&Bでの可視化デモ動画 https://www.youtube.com/watch?v=FkTwcxnSPes インテグレーションの例