Upgrade to Pro — share decks privately, control downloads, hide ads and more …

MCPを活用してVRChatと現実の境界を滑らかにする

Avatar for sawa-zen sawa-zen
July 22, 2025
26

 MCPを活用してVRChatと現実の境界を滑らかにする

VRChat APIは便利だが手軽に使いづらいという課題に対し、Model Context Protocol(MCP)を活用してAIから直接操作できるようにしました。さらに、テキスト入力の手間を解消するため、ロックマンエグゼのネットナビをモチーフにした音声対話型AIエージェントを開発。Three.js + VRM + Web Speech APIを使い、VRChatの世界観を再現したデスクトップアプリケーションとして実装しました。

技術要素:
- VRChat MCP サーバーの実装
- 音声認識・合成による自然な対話
- VRMアバターとMToonシェーダーを活用したVRChat風UI
- 無言勢文化を活かした待ち時間の自然な演出

VRChatと現実世界の境界を滑らかにする新しい体験を実現したプロトタイプの紹介です。

関連リンク
- vrchat-mcp の GitHub リポジトリ: https://github.com/sawa-zen/vrchat-mcp
- 作成したP.E.Tの GitHub リポジトリ: https://github.com/sawa-zen/PET
- デモ動画1つ目: https://youtu.be/0MRxhzlFCkw
- デモ動画2つ目: https://youtu.be/aLGTGD6uqgw
- kuretan さんのAI アシスタント: https://kuretan.booth.pm/items/6787912
- WebXR JP Discord: https://discord.gg/2d5fmwBEpb
- Waroom: https://waroom.com/

Avatar for sawa-zen

sawa-zen

July 22, 2025
Tweet

Transcript

  1. ࣗݾ঺հ • sawa-zenʢ͞ΘͥΜʣ • גࣜձࣾ Topotal CDO • WebXR JP

    ίϛϡχςΟӡӦ • AIɾϝλόʔεٕज़ʹڵຯΛ࣋ͭ։ൃ ऀ Vket LT (2025/07/21) sawa-zen 2
  2. VRChat API Λ࢖͑͹৭ʑͰ͖Δʂ • ϑϨϯυϦετͷ؅ཧɾݕࡧ • ϫʔϧυ৘ใͷऔಘɾ͓ؾʹೖΓ؅ཧ • Ξόλʔ৘ใͷऔಘɾઃఆ •

    Πϯελϯεͷ࡞੒ɾট଴ ⚠ ͨͩ͠ඇެࣜ - VRChat ͸ API ͷଘࡏΛެʹ͸͍ͯ͠·ͤΜ Vket LT (2025/07/21) sawa-zen 4
  3. Model Context Protocol (MCP) ͱ͸ʁ • AI ʹ֎෦ͷσʔλ΍πʔϧΛͭͳ͙࢓૊Έ • ΞϓϦΛ࡞Βͳͯ͘΋

    AI ͔Β௚઀ૢ࡞Մೳʹ • AI ͱͷձ࿩͚ͩͰ༷ʑͳπʔϧ͕࢖͑Δ Vket LT (2025/07/21) sawa-zen 7
  4. ٕज़ελοΫ • ϑϩϯτΤϯυ: Three.js + VRM + Web Speech API

    • όοΫΤϯυ: Node.js + Anthoropic API + VRChat MCP • Ի੠߹੒: VOICEBOX ಘҙ෼໺ͷWebٕज़Λ׆༻ͯ͠ϓϩτλΠϓΛਝ଎ʹ։ൃ Vket LT (2025/07/21) sawa-zen 22
  5. ޻෉ϙΠϯτ② MToonγΣʔμʔΛ׆༻ • three.js Ͱ MToon Λ࠶ݱͯ͘͠ΕΔύ οέʔδ͕͋Δ • @pixiv/three-vrm

    ͷ MToonMaterial VRChatͷΞόλʔʹ͍࣭ۙײΛ࠶ݱ Vket LT (2025/07/21) sawa-zen 25
  6. ޻෉ϙΠϯτ③ VRChatͷUIΛ࠶ݱ • VRChatͷUIσβΠϯΛ౿ऻ • Icon ͸ kito ͞ΜͷReactίϯϙʔωϯ τΛ࢖༻

    • @kurone-kito/launchpad-icons-react • എܠ͸ VRChat ͷσϑΥϧτϗʔϜ ݟ׳ΕͨUIͰ਌͠Έ΍͢͞Λԋग़ Vket LT (2025/07/21) sawa-zen 26
  7. ࠓޙͷల๬ • Ի੠ʹ൓Ԡ͗͢͠Δ໰୊ͷղܾ • ूதϞʔυɾඇूதϞʔυͷ࣮૷ • Ϟʔγϣϯͷࣗવ͞ͷ޲্ • Ξχϝʔγϣϯͷ௥Ճ΍ௐ੔ •

    ࣗ෼޷ΈʹϞσϧ΍Ի੠ͷΧελϚΠζػೳ • Ұൠ޲͚ʹαʔϏεԽΛ༧ఆ Vket LT (2025/07/21) sawa-zen 31