MCPを活用してVRChatと現実の境界を滑らかにする

VRChat APIは便利だが手軽に使いづらいという課題に対し、Model Context Protocol（MCP）を活用してAIから直接操作できるようにしました。さらに、テキスト入力の手間を解消するため、ロックマンエグゼのネットナビをモチーフにした音声対話型AIエージェントを開発。Three.js + VRM + Web Speech APIを使い、VRChatの世界観を再現したデスクトップアプリケーションとして実装しました。

技術要素：
- VRChat MCP サーバーの実装
- 音声認識・合成による自然な対話
- VRMアバターとMToonシェーダーを活用したVRChat風UI
- 無言勢文化を活かした待ち時間の自然な演出

VRChatと現実世界の境界を滑らかにする新しい体験を実現したプロトタイプの紹介です。

関連リンク
- vrchat-mcp の GitHub リポジトリ: https://github.com/sawa-zen/vrchat-mcp
- 作成したP.E.Tの GitHub リポジトリ: https://github.com/sawa-zen/PET
- デモ動画１つ目: https://youtu.be/0MRxhzlFCkw
- デモ動画２つ目: https://youtu.be/aLGTGD6uqgw
- kuretan さんのAI アシスタント: https://kuretan.booth.pm/items/6787912
- WebXR JP Discord: https://discord.gg/2d5fmwBEpb
- Waroom: https://waroom.com/

Transcript

1. MCP Λ׆༻ͯ͠ VRChatͱݱ࣮ͷڥքΛ ׈Β͔ʹ͢Δ @sawa-zen Vket LT (2025/07/21) sawa-zen 1
2. ࣗݾ঺հ • sawa-zenʢ͞ΘͥΜʣ • גࣜձࣾ Topotal CDO • WebXR JP ίϛϡχςΟӡӦ • AIɾϝλόʔεٕज़ʹڵຯΛ࣋ͭ։ൃ ऀ Vket LT (2025/07/21) sawa-zen 2
3. VRChat API Λ͝ଘ஌Ͱ͔͢ʁ Vket LT (2025/07/21) sawa-zen 3
4. VRChat API Λ࢖͑͹৭ʑͰ͖Δʂ • ϑϨϯυϦετͷ؅ཧɾݕࡧ • ϫʔϧυ৘ใͷऔಘɾ͓ؾʹೖΓ؅ཧ • Ξόλʔ৘ใͷऔಘɾઃఆ • Πϯελϯεͷ࡞੒ɾট଴ ⚠ ͨͩ͠ඇެࣜ - VRChat ͸ API ͷଘࡏΛެʹ͸͍ͯ͠·ͤΜ Vket LT (2025/07/21) sawa-zen 4
5. API ͷଘࡏ͸஌ͬͯ͸͍͚ͨͲ... • ׆༻͢ΔΞΠσΞ͕͋·Γࢥ͍ු͔͹ͳ͍ • طଘͷΞϓϦ͸ͦͷ࣌ͷχʔζʹ߹Θͳ͍ • খ͞ͳ༻్Ͱ΋ΞϓϦ։ൃ͕ඞཁʹͳΔ ΋ͬͱखܰʹ࢖͑ͨΒ͍͍ͷʹ... Vket LT (2025/07/21) sawa-zen 5
6. ͦ͜Ͱ MCP ͕׆༂͠·͢ Vket LT (2025/07/21) sawa-zen 6
7. Model Context Protocol (MCP) ͱ͸ʁ • AI ʹ֎෦ͷσʔλ΍πʔϧΛͭͳ͙࢓૊Έ • ΞϓϦΛ࡞Βͳͯ͘΋ AI ͔Β௚઀ૢ࡞Մೳʹ • AI ͱͷձ࿩͚ͩͰ༷ʑͳπʔϧ͕࢖͑Δ Vket LT (2025/07/21) sawa-zen 7
8. VRChat API Λ͜Μͳײ͡Ͱ࢖͍͍ͨ • ʮࠓΦϯϥΠϯͷϑϨϯυΛڭ͑ͯʯ • ʮΞόλʔΛΧδϡΞϧܥʹணସ͑ͯʯ • ʮ৽͍͠ϫʔϧυΛ୳ͯ͠Ҡಈͯ͠ʯ • ʮʓʓ͞ΜʹϑϨϯυਃ੥ͯ͠ʯ Vket LT (2025/07/21) sawa-zen 8
9. ͱ͍͏Θ͚Ͱ... Vket LT (2025/07/21) sawa-zen 9
10. MCP αʔόʔΛ ࣮૷͠·ͨ͠ Vket LT (2025/07/21) sawa-zen 10
11. Vket LT (2025/07/21) sawa-zen 11
12. खܰʹ͔ͭ͑ΔΑ͏ʹͳͬͨ Vket LT (2025/07/21) sawa-zen 12
13. ମݧ͸ඇৗʹྑ͔͕ͬͨ... • ࣗવݴޠΛςΩετͰνϟοτʹೖྗ͢Δͷ͕खؒ • VRC͸Ի੠ίϛϡχέʔγϣϯͳͷʹςΩετೖྗ͸ҧ࿨ײ • UIΛૢ࡞͢Δඞཁ͕͋Γ࢖Θ͞Ε͍ͯΔײ͕ڧ͍ ׈Β͔Ͱ͸ͳ͍!! Vket LT (2025/07/21) sawa-zen 13
14. ωοτφϏͷΑ͏ͳ ૬๮͕΄͍͠ ! Vket LT (2025/07/21) sawa-zen 14
15. ωοτφϏͱ͸ • ϩοΫϚϯΤάθʹొ৔͢Δ • ωοτੈքʢి೴ੈքʣʹଘࡏ͢ΔAI • PETͱ͍͏ܞଳ୺຤Λ௨ͯ͡ਓؒͱձ ࿩ • ୯७ͳAIͰ͸ͳ͘༑ਓతͳଘࡏ =>ωοτͱݱ࣮Λ׈Β͔ʹͭͳ͛Δଘࡏ Vket LT (2025/07/21) sawa-zen 15
16. VRChat൛ωοτφϏΛ࡞Ζ͏ Vket LT (2025/07/21) sawa-zen 16
17. ̎ͭͷੈքΛߦ͖དྷ͢Δ૬๮ 1. VRChatੈքͷ૬๮ • VRChat಺ʹAI͕͘Έ͜·ΕͨΞόλʔ͕ଘࡏ 2. ݱ࣮ੈքͷ૬๮ • εϚʔτϑΥϯ΍PCͷը໘಺ʹΞόλʔ͕ଘࡏ Vket LT (2025/07/21) sawa-zen 17
18. ̎ͭͷੈքΛߦ͖དྷ͢Δ૬๮ 1. VRChatੈքͷ૬๮ • VRChat಺ʹAI͕͘Έ͜·ΕͨΞόλʔ͕ଘࡏ 2. ݱ࣮ੈքͷ૬๮ • εϚʔτϑΥϯ΍PCͷը໘಺ʹΞόλʔ͕ଘࡏ • =>ࠓճ͸ͬͪ͜Λ࣮૷ Vket LT (2025/07/21) sawa-zen 18
19. ͪͳΈʹVRChat಺Λࢼ ͞Ε͍ͯΔέʔε Vket LT (2025/07/21) sawa-zen 19
20. ͪͳΈʹVRChat಺Λࢼ ͞Ε͍ͯΔέʔε Vket LT (2025/07/21) sawa-zen 20
21. ૬๮ͷσβΠϯίϯηϓτ VRChatͷੈք͔ΒޠΓ͔͚͍ͯΔΑ͏ʹݟͤΔ • ͳΔ΂͘VRChatʹ͍ۙงғؾʹ • ΞόλʔΒ͍͠ϏδϡΞϧͰ਌͠Έ΍͢͞Λԋग़ • ࣗવͳΞχϝʔγϣϯͱձ࿩ Ի੠த৺ͷΠϯλʔϑΣʔε • ϋϯζϑϦʔͰAIͱͷձ࿩Λ࣮ݱ Vket LT (2025/07/21) sawa-zen 21
22. ٕज़ελοΫ • ϑϩϯτΤϯυ: Three.js + VRM + Web Speech API • όοΫΤϯυ: Node.js + Anthoropic API + VRChat MCP • Ի੠߹੒: VOICEBOX ಘҙ෼໺ͷWebٕज़Λ׆༻ͯ͠ϓϩτλΠϓΛਝ଎ʹ։ൃ Vket LT (2025/07/21) sawa-zen 22
23. ࣮ࡍʹͰ͖͕͋ͬͨ΋ͷ Vket LT (2025/07/21) sawa-zen 23
24. ޻෉ϙΠϯτ① ϦοϓγϯΫΛ؆୯࣮૷ • ʮaʯͷΈΛ࢖ͬͯޱύΫ • Իྔʹ͋ΘͤͯωʔϜϓϨʔτΛൃޫ ݫີͳϦοϓγϯΫΛͤͣͱ΋ࣗવͳձ ࿩ײΛԋग़ Vket LT (2025/07/21) sawa-zen 24
25. ޻෉ϙΠϯτ② MToonγΣʔμʔΛ׆༻ • three.js Ͱ MToon Λ࠶ݱͯ͘͠ΕΔύ οέʔδ͕͋Δ • @pixiv/three-vrm ͷ MToonMaterial VRChatͷΞόλʔʹ͍࣭ۙײΛ࠶ݱ Vket LT (2025/07/21) sawa-zen 25
26. ޻෉ϙΠϯτ③ VRChatͷUIΛ࠶ݱ • VRChatͷUIσβΠϯΛ౿ऻ • Icon ͸ kito ͞ΜͷReactίϯϙʔωϯ τΛ࢖༻ • @kurone-kito/launchpad-icons-react • എܠ͸ VRChat ͷσϑΥϧτϗʔϜ ݟ׳ΕͨUIͰ਌͠Έ΍͢͞Λԋग़ Vket LT (2025/07/21) sawa-zen 26
27. ޻෉ϙΠϯτ④ Ի੠߹੒ͷ଴ͪ࣌ؒΛࣗવʹ • VOICEBOX ͷԻ੠߹੒͸͕͔͔࣌ؒΔ • ϩʔυதʮ...ʯΛදࣔ • ແݴ੎ͷจԽΛ׆༻ͯࣗ͠વͳମݧʹ ม׵ ͕ؒൃੜͯ͠΋଴ͯΔࣗવͳମݧʹ Vket LT (2025/07/21) sawa-zen 27
28. ޻෉ϙΠϯτ⑤ AIʹUIΛදࣔͤ͞ΔToolΛఏڙ • ඞཁʹԠͯ͡UIΛ࢖͑ΔΑ͏ʹͨ͠ • Ұཡදࣔ༻UI • ৄࡉදࣔ༻UI Ի੠͚ͩͰ͸෼͔ΓͮΒ͍৘ใΛิ׬ Vket LT (2025/07/21) sawa-zen 28
29. ࣮ࡍͷମݧ݁Ռ͸ྑ޷ • ͔͋ͨ΋VRChat্ͷAIͱձ࿩͍ͯ͠Δײ֮ • ࣮ࡍʹLODGE XR TalkͰ΋ମݧͯ͠΋Β͍ະདྷΛײͯ͡΋Β͑ ͨ • AIΞόλʔ͸ݟͤํ͕͔ͳΓॏཁͩͱ࣮ײ ϓϩτλΠϓͱͯ͠͸େ੒ޭʂ Vket LT (2025/07/21) sawa-zen 29
30. ׈Β͔ʹͳΔະདྷ͕ݟ͑ͨ Vket LT (2025/07/21) sawa-zen 30
31. ࠓޙͷల๬ • Ի੠ʹ൓Ԡ͗͢͠Δ໰୊ͷղܾ • ूதϞʔυɾඇूதϞʔυͷ࣮૷ • Ϟʔγϣϯͷࣗવ͞ͷ޲্ • Ξχϝʔγϣϯͷ௥Ճ΍ௐ੔ • ࣗ෼޷ΈʹϞσϧ΍Ի੠ͷΧελϚΠζػೳ • Ұൠ޲͚ʹαʔϏεԽΛ༧ఆ Vket LT (2025/07/21) sawa-zen 31
32. ࠷ޙʹએ఻ Vket LT (2025/07/21) sawa-zen 32
33. VketReal (7/26 ౔) ʹϒʔεग़ల͠·͢ʂͥͻདྷͯͶʂ Vket LT (2025/07/21) sawa-zen 33