現実 VS バーチャルのマルチプレイゲームを作ろう

Transcript

1. 現実 VS バーチャルの マルチプレイゲームを作ろう 土鍋 2024/5/11 UNTIL. LT #0x04
2. 自己紹介 名前: 土鍋 学年: 理工情報生命学術院 システム情報工学研究群 知能機能システム学位P M1 研究室: 画像情報研究室 北原格 教授 大学: 会津大学 コンピュータ理工学部 (A-PxL, Zli) その他所属: Iwaken Lab, UT-Virtual 興味: XR(VR,AR,MR), Unity, デジタルツイン, コンピュータビジョン X: @donadonadonabe
3. 過去作品 卒論 「ハンドトラッキングと音声認識と生成AIを用い た直感的な空間テクスチャの生成」 IVRC2022 審査委員会特別賞 「自宅でも遭難がしたい！」 https://youtu.be/O2wQF7NvoAk?si=L8AkYxTLaJ OxNgM3
4. 過去作品 第14回withARハッカソン 最優秀賞 「Journey Mapping」 https://www.youtube.com/watch?v=z9J7b2srL2Y 技育CAMPハッカソン2024vol.4 最優秀賞 「Xpolis」 https://youtu.be/xOAqv1B8KbU
5. その他の作品
6. 今回話す話題 「Scramble Battle」 https://youtu.be/F_ozFm0uVDM AR vs VRで戦うマルチプレイゲーム 現実の部屋の天井がバーチャル世界に繋がり 攻めてくる巨人と戦う 制作期間は実質二週間くらい
8. 技術構成 AR VR 部屋のメッシュ 位置・モーション・HP Meta XR All-in-One SDK Meta XR All-in-One SDK Mesh API ワールドは共有 ネットワーク
9. 天井をバーチャルにする
10. 部屋のメッシュデータを取る MetaのSDKに含まれるMesh APIを利用する 部屋を歩き回ってスキャンすると、 右の図のように部屋の壁や天井を自動で 認識してくれる。
11. 壁のマテリアルを変更する 壁のマテリアルを「InvisibleOccluder」に変更する 実際の部屋のパススルーのみを映し、バーチャル 側のものは遮蔽されて見えなくなる。 厳密に言うと、 このマテリアルはRenderQueueが1998なので、 デフォルト2000の多くのオブジェクトより 先に描画されるようになる
12. 天井をバーチャルにする InvisiblePlane PrefabというMeshが無くSceneAnchorのみがある板を 天井に設定してあげる(つまり見た目がないけど位置情報を保持する) → バーチャル側を見ることができるように InvisiblePlane PrefabをOVR Scene ManagerのPrefab Overrides にセットします。 今回は天井をバーチャル空間にしたいので"CEILING"を指定します。
13. 天井をバーチャルにする ここまでで、このようにバーチャル側の物体が天井に描画されるように なります。が、バーチャル側の空が見えません。
14. 疑似Skyboxを作る 巨大なSkyBoxを用意して その中に空のTextureを描画する お借りしたアセット Skybox Kit Rev.01 - 我楽多屋 Wizdom - BOOTH
15. 天井がバーチャル世界に繋がった！
16. マルチプレイにする
17. マルチプレイにする マルチプレイはPhoton Fusionというサービスを利用する。 今回マルチプレイするにあたって同期が必要な情報 • 位置情報 • 手と頭のトラッキングデータ • HP Fusion公式のマルチプレイVRのサンプルを改造していった https://doc.photonengine.com/ja-jp/fusion/v1/technical-samples/fusion- vr-shared
18. VRとARでプレイヤー設定を切り替える 巨人側か人間側か OVR Passthrough Layer(現実世界を見るか) OVR Scene Manager(部屋の認識をするか) ここらへんを切り替えることで、 大部分をVR同士のマルチプレイと共通化 あとは接続処理とかをこねこねすれば・・・
19. AR vs VR マルチプレイバトルゲームの完成！ ARとVRでほぼ違うモノが見えてるけど、実際の処理的には差がない HPの同期処理とかは普通のFPSと変わらないので割愛 現実世界 バーチャルな銃 バーチャル世界
20. まとめ 今回はUnity知ってる人少ないと思うので細かいことは省いて喋った。 これでみんなも部屋がバーチャルに繋がっちゃうね☆ 今回話した内容の一部はブログに書いた 【Meta Quest3】パススルーの部屋の天井の先にバーチャル空間を表示する 【URP対応】 - 土鍋で雑多煮
21. 雑談 筑波大の開発系コミュニティってあります？ 会津大のときはあったけど、筑波で見かけないので… (UNTILのDiscord参加したいです) 院から筑波で、知り合い少ないので 仲良くしてくれると嬉しいです Twitter(X)→
22. ご清聴ありがとうございました。