toio・myCobotでフィジカルAIっぽいことを行うための検討（とりあえず調査） / フィジカルAI LT（IoTLTによる開催）

Transcript

1. toio・myCobotでフィジカルAIっぽいことを 行うための検討（とりあえず調査） 豊田陽介（@youtoy ） 2026年7月31日 (金) フィジカルAIをゆるく学ぶLT会 - フィジカルAI LT（IoTLTによる開催）
2. 自己紹介 豊田陽介（ @youtoy ） プライベートでの活動 ▶ IT系コミュニティ主催、 イベント登壇や運営なども ▶ M5StackでIoT、AI・機械 学習の書籍を共著・単著で ▶ メーカーフェアやNT◦◦ （各地）等への出展も頻繁に 好きな技術など ▶ ガジェット ▶ 描画系／IoT／AI・機械学習系 ▶ ビジュアルプログラミング ▶ JavaScript
3. 最近はわりとバーチャル寄りな方向の試作にハマってるかも 最近作ったもの HTML上（WebGL）の描画を 部屋の壁や床などの平面に 貼り付けられる iOSアプリ ホログラム投影的な見た目 になる Webアプリ（出現や 消失のエフェクトも）
4. フィジカルAIの話へ （自分自身の頭の整理も兼ねたような スライドが続く感じです）
5. フィジカルAI関連は自分がなじみがなかったものがたくさん 例えば NVIDIA関連で、自分がわりとよく聞くもの（のごく一部） NVIDIA Omniverse： NVIDIA Cosmos： フィジカルAIのシミュレーションなどに使われる ライブラリやマイクロサービス群 フィジカルAI向け World Foundation Model プラットフォーム
6. フィジカルAI関連は自分がなじみがなかったものがたくさん NVIDIA Omniverse： フィジカルAIのシミュレーションなどに使われる ライブラリやマイクロサービス群 ⇒ ロボットのシミュレーションアプリ＋合成データ生成ツール 「NVIDIA Isaac Sim」 ロボットシミュレーションで見かける有名どころでは 例えば Google DeepMind の物理エンジン「MuJoCo」 もあったり等 ⇒ Isaac Sim上に構築されたロボット学習用のフレームワーク 「NVIDIA Isaac Lab」（強化学習や模倣学習などを扱う） ⇒ ヒューマノイド向けロボット基盤モデル／開発プラットフォーム 「NVIDIA Isaac GR00T」 ⇒ 。。。 Isaac Sim を手元で試そうとした場合...
7. フォトリアルが売りのIsaac Simのシステム要求仕様 ハードル高め 7/30時点の最新版 6.0.1 の「Requirements」より ▼ メモリとGPU・VRAM ・最小要件 メモリ： 32GB GPU・VRAM： RTX 4080 / 16GB ・Good（中間？） メモリ： 64GB GPU・VRAM： RTX 5080 / 16GB ・理想的なもの メモリ： 64GB GPU・VRAM： RTX PRO 6000 Blackwell / 48GB
8. 自宅に中間くらいのやつがあったのでIsaac Simに関する記事を書いてたり 先月はじめに受領できた強いPC（RTX 5090 Laptop搭載）を使って •NVIDIA Isaac Sim（NVIDIA のロボティクス シミュレーション アプリやデータ生成 ツール）を GeForce RTX 5090 Laptop搭載PC（OS：Windows 11）で動かす - Qiita https://qiita.com/youtoy/items/a82ab03dd29609f98b50
9. 先ほどの話は物理的な内容を 扱えていない... ↓ Isaac Sim ＋ デバイス という方向もあるけれど
10. 手持ちのガジェットを起点に 手軽にフィジカルAIっぽいことを 試せないか調査
11. 利用する候補の身近なガジェット：toio 専用マットと組み合わせで Sim-to-Real、Real-to-Sim が扱い やすいかも？
12. フィジカルAI＋toioで 既存の内容を調べてみる
13. toioでフィジカルAIという内容の記事が出てきた フィジカルAI定番の「VLA（※）」関連 ※ Vision-Language-Action VLM（Vision-Language Model）と VLA ⇒ VLM は、例えば「画像＋プロンプト」を入力として、 テキストを返す ⇒ VLA は、例えばそのような入力に対して、 ロボットアームを動かすといったようなことを行う
14. toioでフィジカルAIという方向の内容が出てきた 記事の内容について 【概要】 ・人が操作した際のデータをモデルの学習用に用いる ※ データは、カメラ画像と操作ログ ・上記モデルを用いた推論で toio を動作させる 【補足】 ・HuggingFace が開発した OSS のロボット学習 フレームワーク「LeRobot（ルロボット）」を利用 ・人による操作（テレオペレーション）で 50回分 （50エピソード）のデータを収集 ・やってみたものの、推論がうまくいかなかったらしい
15. toioでフィジカルAIで別実装の事例も出てきた
16. こちらのほうは時間が十分にとれず調査不十分 myCobot 280（500） M5 小型6軸ロボット アームで自分の ものは M5版 ガジェットフリマ＠竹芝で購入 ⇒ 元の所有者は「田中IoTLT」 に登壇していた方（Lチカに 田中が最適と話されてた方）
17. 余談：フィジカルAIを試しやすいものとしてよく出てくるセット 「SO-101」と「LeRobot（ルロボット）」の組み合わせ SO-101： Hugging Face の LeRobotで代表的に利用される オープンな ロボットアームで、Leader Arm（人が操作）と Follower Arm （操作される側）のセット。6自由度のアーム。 LeRobot： HuggingFace が開発した OSS のロボット学習フレームワーク。
18. フィジカルAI関連も 手を動かしてやっていきたい！
19. 終わり！