フィジカルAIの実践 - ワールドモデルとマルチエージェントで実現する人間行動シミュレーション

Canva Version(資料の埋め込み動画はこちらをご参照ください)
https://www.canva.com/design/DAG6bKZjCtM/hw6dRlhfjukenMjR5LHRHw/edit?utm_content=DAG6bKZjCtM&utm_campaign=designshare&utm_medium=link2&utm_source=sharebutton

フィジカルAIの実践 - ワールドモデルとマルチエージェントで実現する人間行動シミュレーション
https://zenn.dev/oggata/books/69bd97b5d0ede1

MESA（動画）
https://www.youtube.com/watch?v=9_888bqgnx0

MESA　MultiEntitySimulationArchitecture
https://github.com/oggata/MultiEntitySimulationArchitecture https://oggata.github.io/MultiEntitySimulationArchitecture/

Transcript

1. フィジカルAIの実践 - ワールドモデルとマルチエージェントで実現する人間行動シミュレーション Fumitoshi Ogata
2. 1 章 : 仮 想 世 界 か ら 現 実 世 界 へ 、 シ ミ ュ レ ー タ ー の 現 在 地
3. ゲームにおけるAIのNPCへの活用ユースケースとして、NPCがフィールドを自由に駆け回り、自由に話をするという世界観は古 くからあったが、GPTの登場によって、その動きは広がっている。 Radiant AIは、ゲーム内のNPC（ノンプレイヤーキャラクター）の行動をより自然で動的なものにする ために開発された人工知能システム。主にThe Elder Scrollsシリーズで使用されており、NPCに独自の 目標や行動パターンを与えることで、よりリアルな世界観を作り出すことを目的としています。 The Elder Scrolls IV: Oblivion Xbox 2007年7月26日 Teammatesは、2024年のNeo NPCプロジェクトの進化版として開発された、生成AI駆動の実験的な ゲーム体験です。一人称シューティングゲーム形式で、リアルタイム音声コマンドに反応する高度な AI機能を持つNPCが特徴です。 1-1. AIは古くからゲームのNPCとして活躍してきた 1-1. AIは古くからゲームのNPCとして活躍してきた Packman x モンテカルロ木探索
4. MLASを用いたSmallville型シミュレーション 1. Smallvilleとは何か：AI社会シミュレーションの革命 2023年、スタンフォード大学とGoogleの研究チームが発表した「Generative Agents: Interactive Simulacra of Human Behavior」は、AI分野における社会シミュレーションの概念を根本的に変革しました。このプロジェ クトでは、The Simsにインスパイアされた仮想世界「Smallville」に25のAIエージェントを配置し、人間らし い行動をシミュレートする画期的な実験が行われました。 従来のコンピュータシミュレーションと決定的に異なるのは、エージェントの行動が事前にプログラムされた ルールに従うのではなく、大規模言語モデル（LLM）による自然言語処理によって動的に生成されることで す。これにより、研究者が予想もしなかった複雑で自然な社会的相互作用が創発的に現れるようになりまし た。 開発企業: Google DeepMind 概要: テキストプロンプトから多様なインタラクティブ環境を生成できる汎用世界モデル リアルタイムで24FPS、720p解像度で数分間の一貫性を保ちながら動作 リアルタイムインタラクティブ機能を持つ初の汎用世界モデル フォトリアリスティックから想像上の世界まで幅広く生成可能 プロンプト可能なワールドイベント機能により、生成中の世界をテキストで変更可能 AGI(汎用人工知能)への重要なステップとして位置づけられている リリース時期: 2025年8月5日発表(限定研究プレビュー) こうしたNPCの仕組みの利活用は、MLASを用いたSmallville型シミュレーションのように、実際には、エンターテインメントを 超えて、社会行動のシミュレーションとしての用途に広げられている。 1-2. ゲームAIは社会のシミュレーションとしても役立っている 1-2. ゲームAIは社会のシミュレーションとしても役立っている
5. 開発企業: Tencent (Hunyuan Team) 概要: 単一画像とユーザー定義のカメラパスから、世界一貫性のある3D点群シーケンスを生成 RGB-D(カラー+深度)ビデオ生成フレームワーク 3D一貫性のあるシーン動画を生成し、カスタムカメラ軌道に従って世界探索が可能 ネイティブ3D再構成機能を持ち、COLMAPなどの追加ツール不要で3D出力が可能 超長距離世界探索をサポート(任意の長さのカメラ軌跡に対応) Stanford WorldScoreベンチマークで1位を獲得(スコア77.62) 10万本以上のビデオクリップ(実写+Unreal Engineの合成データ)で訓練 リリース時期: 2025年9月2日 開発企業: NVIDIA 概要: 物理AIのためのプラットフォームで、最先端の生成的世界基盤モデル(WFM)を特徴とする 自律走行車(AV)とロボット向けに設計 テキスト、画像、ビデオ、ロボットセンサーデータから物理ベースのビデオを生成 モデルファミリー: Nano: リアルタイム、低遅延推論とエッジデプロイメント用に最適化 Super: 高性能ベースラインモデル Ultra: 最高品質と忠実度、カスタムモデルの蒸留に最適 拡散モデルと自己回帰モデルの両方を含む 200億時間の実世界の人間の相互作用、環境、産業、ロボティクス、運転データから9000兆トークンで訓練 NVIDIA Omniverseの3D出力と組み合わせることで、制御可能で高品質な合成ビデオデータを生成 最新リリース: Cosmos Predict-2、Cosmos Transfer-2、Cosmos Reason(70億パラメータの視覚言語モデル) リリース時期: 2025年1月(CES 2025で発表) 仮想から現実へ シミュレーションは仮想空間だけにとどまらず、現実世界におけるロボットの制御などにも役立つユースケース が登場している。フィジカルAIと呼ばれるこの分野では、仮想空間で学習したモデルを現実世界のロボットに展開する取り組み が進んでいる。 1-3. シミュレーションからフィジカルAIへ - 仮想から現実へ 1-3. シミュレーションからフィジカルAIへ - 仮想から現実へ
6. 言語だけでは不十分 ロボット戦車が言語モデルで動作する事例があるが、複雑な物理的環境での動作や細かい制御には対応でき ない。言語モデルは高レベルの意思決定には優れているが、センサーデータの処理やリアルタイム制御には限界がある。 1-4. 現実世界の人間行動をモデル化するMESA 1-4. 現実世界の人間行動をモデル化するMESA
7. 言語だけでは不十分 ロボット戦車が言語モデルで動作する事例があるが、複雑な物理的環境での動作や細かい制御には対応でき ない。言語モデルは高レベルの意思決定には優れているが、センサーデータの処理やリアルタイム制御には限界がある。 1-5. LLMの限界 - 言語だけでは不十分 1-5. LLMの限界 - 言語だけでは不十分
8. インターネット上の情報を全て 読むには40万年から50万年かかる膨大な量 30兆トークン 10 14乗バイト 1.1×10の15乗バイト 満4歳になるまでに起きている時間（1.6万時間）と、視覚から得る データ量を基にしています。視神経の数（200万本、1本＝1バイ ト）と、その伝送頻度（毎秒10回）から算出された数字 ５０倍 4歳児 インターネット上のすべてのデータは、4歳児の経験に満たない インターネット上のテキストデータは膨大だが、実世界の物理 的経験としては限定的である。人間が4歳までに獲得する身体的・空間的理解は、現在のAIが持つデータでは到底カバーできな い。これが、現実世界で動作するAIの大きな課題となっている。 1-6. データの質と量の課題 1-6. データの質と量の課題
9. 一つの巨大なモデルですべてを解決するのではなく、複数の専門化されたモデルを接続し、それぞれの強みを活かすアーキテク チャが重要になっている。視覚、言語、物理理解、制御など、各タスクに最適化されたモデルを組み合わせることで、より堅牢 なシステムが構築できる。 1-7. 単一モデルから複数の専門モデルへ - モジュラーアーキテクチャの必要性 1-7. 単一モデルから複数の専門モデルへ - モジュラーアーキテクチャの必要性
10. MESAというプロジェクトの中では現実世界の人間のコピーを作るための基盤を作成している。これは単なるチャットボットで はなく、人間の意思決定プロセスや行動パターンを再現する試みである。 1-8 現実世界の人間行動をモデル化するMESA 1-8 現実世界の人間行動をモデル化するMESA
11. 2 章 : M E S A を 活 用 し て 、 シ ミ ュ レ ー シ ョ ン を 実 践 し て み る
12. 人間の行動をデジタル空間で再現することで、様々なシナリオのシミュレーションが可能になる。都市計画、施設設計、サービ ス設計など、実際に試すにはコストや時間がかかるケースでの事前検証に活用できる。また、ロボットが人間と協調して働く環 境を設計する際の基礎データとしても重要である。 2-1. 人間のコピーを作る目的と意義 2-1. 人間のコピーを作る目的と意義
13. 1 . 名 前 （ 日 本 語 の 一 般 的 な 苗 字 と 名 前 の 組 み 合 わ せ 、 例 ： 田 中 太 郎 、 佐 藤 花 子 な ど ） 2 . 年 齢 （ 2 0 - 7 0 歳 の 範 囲 の 整 数 ） 3 . 出 身 地 （ 日 本 の 都 道 府 県 、 ま た は 海 外 の 国 名 ） 4 . 学 歴 （ 最 終 学 歴 、 大 学 名 や 専 門 学 校 名 な ど 具 体 的 に ） 5 . 職 業 経 歴 （ 過 去 の 仕 事 や 現 在 の 職 業 、 職 種 を 具 体 的 に ） 6 . 趣 味 ・ 嗜 好 （ 3 - 5 個 の 具 体 的 な 趣 味 ） 7 . 宗 教 ・ 信 仰 （ 無 宗 教 、 仏 教 、 キ リ ス ト 教 、 神 道 な ど、 ま た は 具 体 的 な 宗 派 ） 8 . 家 族 構 成 （ 配 偶 者 の 有 無 、 子 供 の 有 無 、 同 居 家 族 な ど ） 9 . 性 格 の 詳 細 説 明 （ 3 - 4 文 程 度 で 詳 し く ） 1 0 . 性 格 特 性 （ 0 - 1 の 範 囲 の 数 値 、 小 数 点 以 下 2 桁 ま で ） ： - 社 交 性 （ s o c i a b i l i t y ） - 活 動 的 さ （ e n e r g y ） - ル ー チ ン 重 視 度 （ r o u t i n e ） - 好 奇 心 （ c u r i o s i t y ） - 共 感 性 （ e m p a t h y ） - 責 任 感 （ r e s p o n s i b i l i t y ） - 創 造 性 （ c r e a t i v i t y ） - 論 理 的 思 考 （ l o g i c ） 1 1 . 価 値 観 ・ 信 念 （ 人 生 観 や 大 切 に し て い る 価 値 観 ） 1 2 . 目 標 ・ 夢 （ 将 来 の 目 標 や 夢 ） 1 3 . 日 課 （ 各 時 間 帯 で 2 つ ま で の 場 所 ） 各エージェントに固有の性格、価値観、知識、経験を設定する。例えば「45歳の物流施設マネージャー、効率重視、20年の現場 経験」といった具体的なペルソナを定義することで、そのエージェントの意思決定や行動パターンに一貫性を持たせる。 2-2. ペルソナの作成 - 個性と背景の定義 2-2. ペルソナの作成 - 個性と背景の定義
14. 大目標 中目標 小目標 施設全体の効率的な運営 「次の荷物を取りに行く」 「障害物を避ける」 午前中に50個の荷物を指定エリアに配置 1 . 名 前 （ 日 本 語 の 一 般 的 な 苗 字 と 名 前 の 組 み 合 わ せ 、 例 ： 田 中 太 郎 、 佐 藤 花 子 な ど ） 2 . 年 齢 （ 2 0 - 7 0 歳 の 範 囲 の 整 数 ） 3 . 出 身 地 （ 日 本 の 都 道 府 県 、 ま た は 海 外 の 国 名 ） 4 . 学 歴 （ 最 終 学 歴 、 大 学 名 や 専 門 学 校 名 な ど 具 体 的 に ） 5 . 職 業 経 歴 （ 過 去 の 仕 事 や 現 在 の 職 業 、 職 種 を 具 体 的 に ） 6 . 趣 味 ・ 嗜 好 （ 3 - 5 個 の 具 体 的 な 趣 味 ） 7 . 宗 教 ・ 信 仰 （ 無 宗 教 、 仏 教 、 キ リ ス ト 教 、 神 道 な ど、 ま た は 具 体 的 な 宗 派 ） 8 . 家 族 構 成 （ 配 偶 者 の 有 無 、 子 供 の 有 無 、 同 居 家 族 な ど ） 9 . 性 格 の 詳 細 説 明 （ 3 - 4 文 程 度 で 詳 し く ） 1 0 . 性 格 特 性 （ 0 - 1 の 範 囲 の 数 値 、 小 数 点 以 下 2 桁 ま で ） ： - 社 交 性 （ s o c i a b i l i t y ） - 活 動 的 さ （ e n e r g y ） - ル ー チ ン 重 視 度 （ r o u t i n e ） - 好 奇 心 （ c u r i o s i t y ） - 共 感 性 （ e m p a t h y ） - 責 任 感 （ r e s p o n s i b i l i t y ） - 創 造 性 （ c r e a t i v i t y ） - 論 理 的 思 考 （ l o g i c ） 1 1 . 価 値 観 ・ 信 念 （ 人 生 観 や 大 切 に し て い る 価 値 観 ） 1 2 . 目 標 ・ 夢 （ 将 来 の 目 標 や 夢 ） 1 3 . 日 課 （ 各 時 間 帯 で 2 つ ま で の 場 所 ） LLMは大目標から中目標への分解、状況に応じた優先順位付けを担当し、小目標の実行は専門的なモジュールが担う。 2-3. 目標から行動を作成する - 階層的タスク分解 2-3. 目標から行動を作成する - 階層的タスク分解
15. LLMは言語に特化したモデル (資料) LLM (資料) LLM 【 Large Language Models (LLM) 】 │ ├── プ ロ プ ラ イ エ タ リ ( 企 業 提 供 ) │ ├── GPT-4 / GPT-4 Turbo (OpenAI, 2023) │ ├── GPT-4o / GPT-4o mini (OpenAI, 2024) │ ├── o1 / o1-mini / o1-pro (OpenAI, 2024/2025) ← 推 論 特 化 │ ├── Claude 3 Opus / Sonnet / Haiku (Anthropic, 2024) │ ├── Claude 3.5 Sonnet / Haiku (Anthropic, 2024) │ ├── Claude 4 Opus / Sonnet 4.5 (Anthropic, 2025) │ ├── Gemini 1.5 Pro / Flash (Google, 2024) │ ├── Gemini 2.0 Flash (Google, 2024) │ ├── Gemini 2.5 Pro (Google, 2025) │ └── Grok 2 / Grok 3 (xAI) │ ├── オ ー プ ン ソ ー ス - 大 規 模 (70B 以 上 ) │ ├── LLaMA 3 (8B, 70B, 405B) (Meta, 2024) │ ├── LLaMA 3.1 (8B, 70B, 405B) (Meta, 2024) │ ├── LLaMA 3.3 (70B) (Meta, 2024) │ ├── Qwen2.5 (0.5B 〜 72B) (Alibaba, 2024) │ ├── Qwen3 (Alibaba, 2025) │ ├── DeepSeek-V2 / V3 (DeepSeek, 2024/2025) │ ├── Mistral Large (Mistral AI) │ └── Yi-Large (01.AI) │ ├── オ ー プ ン ソ ー ス - 中 規 模 (7B 〜 70B) │ ├── Mistral 7B / 8x7B / 8x22B (Mistral AI) │ ├── Mixtral 8x7B / 8x22B (Mistral AI) ←MoE │ ├── Command R / R+ (Cohere) │ ├── Gemma 2 (9B, 27B) (Google) │ ├── Gemma 3 (4B, 27B) (Google, 2025) │ └── Nemotron (NVIDIA) │ ├── オ ー プ ン ソ ー ス - 小 規 模 (7B 以 下 ) │ ├── Phi-3 / Phi-3.5 / Phi-4 (Microsoft) │ ├── Gemma (2B, 7B) (Google) │ ├── SmolLM (135M, 360M, 1.7B) (Hugging Face) │ ├── Qwen2.5 (0.5B, 1.5B, 3B, 7B) (Alibaba) │ └── OpenELM (Apple) │ ├── 推 論 特 化 LLM │ ├── o1 / o1-mini / o1-pro (OpenAI) │ ├── QwQ-32B-Preview (Qwen) │ ├── DeepSeek-R1 (DeepSeek, 2025) │ └── Gemini 2.0 Flash Thinking (Google, 2025) │ ├── 日 本 語 特 化 LLM │ ├── Sarashina (Stability AI Japan) │ ├── PLaMo (Preferred Networks) │ ├── Japanese StableLM (Stability AI) │ ├── Swallow ( 東 京 工 業 大 学 ) │ ├── KARAKURI LM ( カ ラ ク リ ) │ └── Llama 3 Swallow ( 東 京 工 業 大 学 ) │ └── 長 文 脈 特 化 ├── Claude 3/3.5/4 (200K tokens) (Anthropic) ├── Gemini 1.5 Pro ( 最 大 2M tokens) (Google) ├── GPT-4 Turbo (128K tokens) (OpenAI) └── Command R+ (128K tokens) (Cohere)
16. センサーからの情報を統合し、現在の状況を理解する。視覚情報（カメラ） 、位置情報（GPS/SLAM） 、物体検出結果などを組み 合わせて環境モデルを構築し、次の行動を決定する。この際、静的な環境情報だけでなく、他のエージェント（人間やロボッ ト）の動きも考慮する。 2-4. 周辺環境の把握と行動決定 2-4. 周辺環境の把握と行動決定
17. L L M は 「 意 図 」 と 「 サ ブ ゴ ー ル 」 の み 生 成 " キ ッ チ ン に 行 って 食 材 を 取 って く る " → [ " キ ッ チ ン に 移 動 ", " 冷 蔵 庫 に 近 づ く " , " 食 材 を 取 る " ] R o u t e k n o w l e d g e ( 手 続 き 的 知 識 ) M i d - L e v e l で 幾 何 学 的 計 画 従 来 の 経 路 プ ラ ン ニ ン グ ア ル ゴ リ ズ ム （ A* , D i j k s t r a , R R T ） 地 図 デ ー タ を 使 っ た 最 適 経 路 計 算 S u r v e y k n o w l e d g e ( 地 図 的 知 識 ) L o w - L e v e l で 視 覚 ベ ース 制 御 D I N O v 2 や C L I P な ど の 視 覚 特 徴 抽 出 リ ア ル タ イ ム な 障 害 物 認 識 局 所 的 な 軌 道 修 正 L a n d m a r k k n o w l e d g e ( 視 覚 ラ ン ド マ ー ク ) この階層構造により、柔軟な判断と確実な実行を両立させる。 2-5. 階層的ナビゲーション（Hierarchical Navigation）- 戦略と戦術の分離 2-5. 階層的ナビゲーション（Hierarchical Navigation）- 戦略と戦術の分離
18. H i g h - L e v e l P l a n n e r ← L l a m a ( 軽 量 ) ( L l a m a - 3 . 2 - 1 B ) M i d - L e v e l N a v i g a t o r ← A* ア ル ゴ リ ズ ム ( A* P a t h f i n d i n g ) V i s i o n S y s t e m ← D I N O v 2 ( D I N O v 2 F e a t u r e E x t r a c t o r ) L o w - L e v e l C o n t r o l l e r ← L l a m a + V i s i o n ( L l a m a - 3 . 2 - 1 B + D I N O v 2 ) この階層構造により、柔軟な判断と確実な実行を両立させる。 2-5. 階層的ナビゲーション（Hierarchical Navigation）- 戦略と戦術の分離 2-5. 階層的ナビゲーション（Hierarchical Navigation）- 戦略と戦術の分離
19. 「俯瞰視点での経路決定」 一人称視点での行動 この階層構造により、柔軟な判断と確実な実行を両立させる。 2-5. 階層的ナビゲーション（Hierarchical Navigation）- 戦略と戦術の分離 2-5. 階層的ナビゲーション（Hierarchical Navigation）- 戦略と戦術の分離
20. ├── 【 ビ ジ ョ ン モ デ ル 】 │ │ │ ├── Vision Transformer (ViT) 系 │ │ ├── オ リ ジ ナ ル ViT (Google, 2021) │ │ ├── DeiT (Data-efficient ViT) │ │ ├── BEiT (BERT Pre-training of Image Transformers) │ │ ├── DINOv2 / DINOv3 (Meta) │ │ ├── MAE (Masked Autoencoder, Meta) │ │ ├── SimMIM (Microsoft) │ │ ├── Swin Transformer ( 階 層 的 ViT) │ │ ├── CSWin Transformer │ │ ├── CrossViT │ │ ├── PVT (Pyramid Vision Transformer) │ │ ├── CvT (Convolutional vision Transformer) │ │ └── MobileViT ( エ ッ ジ デ バ イ ス 用 ) │ │ │ ├── CNN ベ ー ス モ デ ル （ 参 考 ： ViT 以 前 の 主 流 ） │ │ ├── ResNet │ │ ├── EfficientNet │ │ ├── VGG │ │ ├── Inception │ │ └── DenseNet │ │ │ ├── ハ イ ブ リ ッ ド モ デ ル （ CNN + Transformer ） │ │ ├── RT-DETR │ │ ├── CoAtNet │ │ └── LeViT │ │ │ ├── 画 像 エ ン コ ー ダ ー （ VLM の 構 成 要 素 ） │ │ ├── CLIP ViT (OpenAI) │ │ ├── SigLIP (Google) │ │ ├── EVA-CLIP │ │ └── OpenCLIP Vit （資料）ViT （資料）ViT
21. 2-6. Vision Modelの説明 - セグメンテーションによる環境理解 2-6. Vision Modelの説明 - セグメンテーションによる環境理解 自己教師あり学習でトレーニングされたモデルであるDINOv2を使って、セマンティック画像セグメンテーション（画像から物体をきりわける）を行った例。 画像から「床」 「壁」 「荷物」 「人」などの領域を識別するセグメンテーションモデルを使用。DINOv2やSAM（Segment Anything Model）などの自己教師あり学習ベースのモデルは、少ないラベル付きデータでも高精度な領域分割が可能。これによ り、ロボットは「通行可能な領域」 「注意すべき物体」を識別できる。
22. Link: [2103.00020] Learning Transferable Visual Models From Natural Language Supervision 2-7. VLM（Vision-Language Model）の活用 - 視覚と言語の統合理解 2-7. VLM（Vision-Language Model）の活用 - 視覚と言語の統合理解 GPT-4VやLLaVAなどのVLMは、画像を見て「これは何か」 「どうすべきか」を言語で説明できる。例えば、カメラ画像を見て 「通路に荷物が落ちているので、拾って脇に寄せるべき」といった状況判断と行動提案を行う。人間との自然な対話インターフ ェースとしても機能する。
23. │ ├── 動 画 理 解 モ デ ル │ │ ├── VideoMAE ( 動 画 版 MAE) │ │ ├── TimeSformer │ │ ├── ViViT (Video Vision Transformer) │ │ ├── MViT (Multiscale Vision Transformer) │ │ └── Uniformer │ ├── ワ ー ル ド モ デ ル （ 理 解 + 予 測 + プ ラ ン ニ ン グ ） │ │ ├── V-JEPA 2 (Meta, 2025) │ │ ├── V-JEPA (Meta, 2024) │ │ └── JEPA (Joint Embedding Predictive Architecture) │ （資料) WorldModel （資料) WorldModel WorldModels
24. 2-8. V-JEPA2のような物理予測モデル - 未来の状態を予測する 2-8. V-JEPA2のような物理予測モデル - 未来の状態を予測する V-JEPA（Video Joint-Embedding Predictive Architecture）は、現在の状態から数秒後の世界の状態を予測する。例えば「この まま進むと荷物にぶつかる」 「人が横切りそう」といった予測を行い、事前に回避行動を取ることができる。物理シミュレーシ ョンを内包したワールドモデルとして機能する。
25. 一度学習したら終わりではなく、実際の稼働中に得られるデータを使って継続的に改善する。成功した行動パターンは強化さ れ、失敗したケースは修正される。オンライン学習とオフライン学習を組み合わせ、安全性を保ちながら性能を向上させる。 2-9. 継続的学習 - 経験から学び続ける仕組み 2-9. 継続的学習 - 経験から学び続ける仕組み
26. Sim-to-Real転移 仮想空間だけではなく現実空間の行動データを取り込むためのエンコーダーが必要。実世界のセンサーデータ （カメラ画像、LiDAR点群、IMUデータなど）を、シミュレーションで学習したモデルが理解できる形式に変換する。ドメイン 適応技術により、仮想と現実のギャップを埋める。 2-11. 現実世界の行動データを取り込むエンコーダー - Sim-to-Real転移 2-11. 現実世界の行動データを取り込むエンコーダー - Sim-to-Real転移 ポーズエンコーダ(Pose Encoders)** - OpenPose、MediaPipe、AlphaPose - 人体の関節位置を検出し、スケルトン表現に変換 - 2D/3D座標系列として時系列データを生成 - 職人の手の動き、身体の姿勢を数値化 時空間エンコーダ(Spatiotemporal Encoders)** - 3D CNN(C3D、I3D) - Video Transformer(TimeSformer、VideoMAE) - 動画フレーム全体から動作パターンを抽出 - 時間的な変化と空間的な特徴を同時に捉える 軌跡エンコーダ(Trajectory Encoders)** - RNN/LSTM/GRU系 - Temporal Convolutional Networks(TCN) - 工具の移動経路、手の軌跡などの連続的な動きを エンコード - 職人技の「リズム」や「タイミング」を学習 視覚: カメラ映像からのポーズ推定 触覚: 力覚センサーからの圧力データ 音: 作業音(例:木材を削る音) IMU: 加速度・角速度センサー
27. 2-12. エンコーダーの種類 - 多様なモダリティの統合 2-12. エンコーダーの種類 - 多様なモダリティの統合 視覚エンコーダー 言語エンコーダー 行動エンコーダー 物理状態エンコーダー マルチモーダルエンコーダー 音声エンコーダー
28. Sim-to-Real転移 仮想空間だけではなく現実空間の行動データを取り込むためのエンコーダーが必要。実世界のセンサーデータ （カメラ画像、LiDAR点群、IMUデータなど）を、シミュレーションで学習したモデルが理解できる形式に変換する。ドメイン 適応技術により、仮想と現実のギャップを埋める。 模倣学習 模倣学習
29. 報酬設計の課題解決 強化学習では「どの行動が良かったか」を示す報酬が必要だが、実世界では明確な報酬が得られる機会は少 ない（Sparse Reward問題） 。自己教師あり学習では、データ自体から学習信号を生成することで、明示的な報酬なしに有用な 表現を獲得できる。例えば、同じ物体を異なる角度から見た画像の特徴量を近づけるといった手法。 2-10. Sparse Reward問題と自己教師あり学習 - 報酬設計の課題解決 2-10. Sparse Reward問題と自己教師あり学習 - 報酬設計の課題解決 There is no line of code that says there is a roundabout, which is what we have in the explicit control stack in version 11. There are over 300,000 lines of C++ in version 11, and there’s basically none of that in version 12. バージョン11の明示的な制御スタックにあるような、ラウンドアバウトが存在することを示すコード行は存在しません。 バージョン11には30万行以上のC++コードがありますが、バージョン12には基本的にそのようなものは一切ありません。
30. if new_cell_explored: reward += 0.1 # 新しい場所に行っ たら褒める if moved_efficiently: reward += 0.05 # 効率的に動いたら 褒める if hit_wall: reward -= 0.1 # 壁にぶつかったら怒 る if 全部探索した: reward = 10 else: reward = 0 Sparse Reward スパースな報酬（疎な 報酬関数） Shaped Reward シェイプトな報酬 （成形された報酬関数） 報酬設計の課題解決 強化学習では「どの行動が良かったか」を示す報酬が必要だが、実世界では明確な報酬が得られる機会は少 ない（Sparse Reward問題） 。自己教師あり学習では、データ自体から学習信号を生成することで、明示的な報酬なしに有用な 表現を獲得できる。例えば、同じ物体を異なる角度から見た画像の特徴量を近づけるといった手法。 2-10. Sparse Reward問題と自己教師あり学習 - 報酬設計の課題解決 2-10. Sparse Reward問題と自己教師あり学習 - 報酬設計の課題解決
31. ロボット: 「何すればいいの？」 環境: 「100%探索して」 ロボット: 「どうやって？」 環境: 「...」 （報酬0） ロボットの行動: Forward → Turn Left → Forward → Turn Right → ... (完全にランダム) 結果: Coverage: 10-40%くらいで時間切れ Reward: 0 学習: なし（まだ成功したことがない） Episode 538: ロボット: いつも通りランダムに動く ... Step 450: たまたま100%探索達成！ → Reward: +10 !!! ロボット: 「！！！この行動パターンが正解か！」 Neural Network: この450ステップの行動を記憶 Episode 539: ロボット: 「前回の成功パターンを真似しよう」 → でも完全には再現できない → Reward: 0 Episode 545: ロボット: 「また試す」 → 偶然また成功！ → Reward: +10 Neural Network: 「あ、完全に同じじゃなくても成功できるんだ」 「共通パターンを見つけよう」 徐々に成功率が上がる: 0% → 5% → 15% → 30% ロボット: 「わかった！系統的に動けばいいんだ」 発見した戦略（例）: 1. 部屋を左から右にスキャン 2. 端に着いたら下に移動 3. 右から左にスキャン 4. これを繰り返す ┌─────────┐ │→→→→↓ │ │←←←←↓ │ │→→→→↓ │ │←←←←◦ │ └─────────┘ 成功率: 50-70% 報酬設計の課題解決 強化学習では「どの行動が良かったか」を示す報酬が必要だが、実世界では明確な報酬が得られる機会は少 ない（Sparse Reward問題） 。自己教師あり学習では、データ自体から学習信号を生成することで、明示的な報酬なしに有用な 表現を獲得できる。例えば、同じ物体を異なる角度から見た画像の特徴量を近づけるといった手法。 2-10. Sparse Reward問題と自己教師あり学習 - 報酬設計の課題解決 2-10. Sparse Reward問題と自己教師あり学習 - 報酬設計の課題解決
32. 報酬設計の課題解決 強化学習では「どの行動が良かったか」を示す報酬が必要だが、実世界では明確な報酬が得られる機会は少 ない（Sparse Reward問題） 。自己教師あり学習では、データ自体から学習信号を生成することで、明示的な報酬なしに有用な 表現を獲得できる。例えば、同じ物体を異なる角度から見た画像の特徴量を近づけるといった手法。 2-10. Sparse Reward問題と自己教師あり学習 - 報酬設計の課題解決 2-10. Sparse Reward問題と自己教師あり学習 - 報酬設計の課題解決
33. 3 章 : ワ ー ル ド モ デ ル - A I が 世 界 を 理 解 し 予 測 す る 仕 組 み
34. ワールドモデルとは、AIが持つ「世界がどのように動くか」についての内部表現である。人間が頭の中で「ボールを投げたらど こに落ちるか」を予測できるように、AIも物理法則や因果関係を学習し、未来の状態を予測する能力を持つ。これにより、実際 に行動する前に「もしこうしたらどうなるか」をシミュレーションできる。 3-1. ワールドモデルの定義 - AIの内なる世界シミュレーター 3-1. ワールドモデルの定義 - AIの内なる世界シミュレーター
35. 現実世界での試行錯誤は時間もコストもかかり、失敗すれば危険を伴う。ワールドモデルがあれば、頭の中（モデルの中）で何 千回も試行を繰り返し、最適な行動を見つけてから実行できる。赤ちゃんが物を落として物理法則を学ぶように、AIも経験から 世界のモデルを構築する。 3-2. なぜワールドモデルが必要なのか - 試行錯誤のコスト削減 3-2. なぜワールドモデルが必要なのか - 試行錯誤のコスト削減
36. - **古典的アプローチ**: 物理エンジン（Unity、Unreal Engine）による明示的なシミュレーション - **モデルベース強化学習**: Dyna、PILCO などの初期的なワールドモデル - **深層学習時代**: World Models（2018） 、Dreamer シリーズ - **基盤モデル時代**: Genie、Sora、NVIDIA Cosmos など大規模ワールドモデル 3-3. ワールドモデルの歴史 - 古典的アプローチからニューラルネットワークへ 3-3. ワールドモデルの歴史 - 古典的アプローチからニューラルネットワークへ
37. 1. **予測（Prediction）**: 現在の状態から未来を予測する 2. **生成（Generation）**: 可能性のある未来のシナリオを複数生成する 3. **計画（Planning）**: 予測を使って最適な行動系列を立案する これらが統合されることで、AIは「考えてから動く」ことができるようになる。 3-4. ワールドモデルの3つの重要な機能 3-4. ワールドモデルの3つの重要な機能
38. Sora、Runway、Google Lumiere などのビデオ生成モデルは、単なるエンターテインメントツールではなく、世界の物理法則 や因果関係を学習したワールドモデルとしての側面を持つ。 「風が吹けば木が揺れる」 「水が流れれば物が動く」といった暗黙の 知識を、大量の動画データから獲得している。 ビデオ予測モデル - 映像から学ぶ世界の法則 ビデオ予測モデル - 映像から学ぶ世界の法則
39. NVIDIA Cosmosは、ロボティクスと自動運転に特化した世界基盤モデル。実世界の物理現象を高精度でシミュレーションし、セ ンサーデータから未来の状態を予測する。Isaac SimやOmniverseとの統合により、仮想空間での学習を現実世界に転移でき る。複数の物理モダリティ（視覚、力覚、音など）を統合した予測が可能。 3-6. NVIDIA Cosmos - フィジカルAIのためのワールドモデル基盤 3-6. NVIDIA Cosmos - フィジカルAIのためのワールドモデル基盤
40. Meta AI の V-JEPA（Video Joint-Embedding Predictive Architecture）は、動画の一部を隠して「隠れた部分はどうなっている か」を予測することで学習する。人間の教師なしに、動画データだけから物体の動き、遮蔽関係、物理的制約を理解する。これ により、膨大なラベル付けコストを削減しながら、高品質な表現を獲得できる。 3-7. V-JEPA と自己教師あり学習 - ラベルなしで世界を学ぶ 3-7. V-JEPA と自己教師あり学習 - ラベルなしで世界を学ぶ
41. Google DeepMindのGenieは、一枚の画像やテキスト説明から、プレイ可能な2Dゲーム環境を生成する。ユーザーの操作に応じ て次のフレームを予測し続けることで、インタラクティブな体験を実現。教師なし学習で「操作可能性」の概念を獲得してお り、ロボット制御への応用も期待される。 3-8. Genie - 一枚の画像からインタラクティブな世界を生成 3-8. Genie - 一枚の画像からインタラクティブな世界を生成
42. Dreamer（v1, v2, v3）は、ワールドモデル内で完全に学習を行う強化学習アルゴリズム。実環境での経験を最小限に抑え、モデ ル内での想像上の経験（imagined experience）で学習を進める。これにより、サンプル効率が劇的に向上し、危険な試行錯誤 を避けられる。Minecraft、Atari、ロボット制御など幅広いタスクで成功。 3-9. ワールドモデルと強化学習の統合 - Dreamerシリーズ 3-9. ワールドモデルと強化学習の統合 - Dreamerシリーズ
43. ニューラルワールドモデルと従来の物理エンジンを組み合わせるハイブリッドアプローチが注目されている。 - **物理エンジンの強み**: 正確、高速、解釈可能、物理法則の保証 - **ニューラルモデルの強み**: 柔軟、学習可能、複雑な現象のモデル化 3-10. 物理シミュレーションとの融合 - ハイブリッドアプローチ 3-10. 物理シミュレーションとの融合 - ハイブリッドアプローチ
44. 現実世界は視覚だけでなく、音、触覚、温度、匂いなど多様な感覚情報から成り立つ。次世代のワールドモデルは、これらを統 合的に理解し予測する必要がある。 - **例1**: 「ガラスが割れる音」から「破片が散らばる様子」を視覚的に予測 - **例2**: 「物体を掴む力」から「物体の硬さや重さ」を推定 ImageBind、OneFM などのマルチモーダル基盤モデルがこの方向性を示している。 3-11. マルチモーダルワールドモデル - 視覚を超えた統合理解 3-11. マルチモーダルワールドモデル - 視覚を超えた統合理解
45. - **予測精度**: 未来のフレームをどれだけ正確に予測できるか - **長期予測の安定性**: 何ステップ先まで破綻せずに予測できるか - **因果関係の理解**: 介入（行動）に対する反応を正しく予測できるか - **サンプル効率**: どれだけ少ないデータで学習できるか - **計算効率**: リアルタイム性、推論速度 - **汎化性能**: 学習時に見ていない状況にも対応できるか 3-12. ワールドモデルの評価指標 - 何をもって良いモデルとするか 3-12. ワールドモデルの評価指標 - 何をもって良いモデルとするか
46. - **長期予測の難しさ**: 時間が経つほど誤差が累積し、予測が不安定になる - **高次元空間の呪い**: ピクセル空間での予測は計算コストが膨大 - **確率的事象の扱い**: 不確実性をどう表現するか（確定的 vs 確率的モデル） - **Out-of-Distribution問題**: 学習データにない状況での予測精度低下 - **因果関係の抽出**: 相関関係ではなく、真の因果を学習する難しさ 3-13. ワールドモデルの課題 - 複雑な現実世界への適応 3-13. ワールドモデルの課題 - 複雑な現実世界への適応
47. - **統一ワールドモデル**: あらゆる物理現象を一つのモデルで扱う（水、火、布、固体など） - **階層的ワールドモデル**: 抽象度の異なる複数のモデルの統合（分子レベル〜都市レベル） - **対話的学習**: 人間との対話を通じて世界知識を獲得・修正 - **生涯学習**: 継続的に新しい概念や法則を学び続けるシステム - **説明可能性**: なぜそう予測したのかを人間に説明できるモデル MESAのような人間行動シミュレーションも、究極的には高度なワールドモデルの上に構築される。物理世界と社会世界を統合 的に理解するAIの実現が目標。 3-14. ワールドモデルの未来 - 次の10年で目指すもの 3-14. ワールドモデルの未来 - 次の10年で目指すもの