現実 VS バーチャルのマルチプレイゲームを作ろう

現実 VS バーチャルのマルチプレイゲームを作ろう土鍋 2024/5/11 UNTIL. LT #0x04

自己紹介名前: 土鍋学年: 理工情報生命学術院システム情報工学研究群知能機能システム学位P M1 研究室: 画像情報研究室
北原格教授大学: 会津大学コンピュータ理工学部 (A-PxL, Zli) その他所属: Iwaken Lab, UT-Virtual 興味: XR(VR,AR,MR), Unity, デジタルツイン, コンピュータビジョン X: @donadonadonabe

過去作品卒論「ハンドトラッキングと音声認識と生成AIを用いた直感的な空間テクスチャの生成」 IVRC2022 審査委員会特別賞「自宅でも遭難がしたい！」 https://youtu.be/O2wQF7NvoAk?si=L8AkYxTLaJ OxNgM3

過去作品第14回withARハッカソン最優秀賞「Journey Mapping」 https://www.youtube.com/watch?v=z9J7b2srL2Y 技育CAMPハッカソン2024vol.4 最優秀賞「Xpolis」 https://youtu.be/xOAqv1B8KbU

その他の作品

今回話す話題「Scramble Battle」 https://youtu.be/F_ozFm0uVDM AR vs VRで戦うマルチプレイゲーム現実の部屋の天井がバーチャル世界に繋がり攻めてくる巨人と戦う制作期間は実質二週間くらい

技術構成 AR VR 部屋のメッシュ位置・モーション・HP Meta XR All-in-One SDK Meta
XR All-in-One SDK Mesh API ワールドは共有ネットワーク

天井をバーチャルにする

部屋のメッシュデータを取る MetaのSDKに含まれるMesh APIを利用する部屋を歩き回ってスキャンすると、右の図のように部屋の壁や天井を自動で認識してくれる。

壁のマテリアルを変更する壁のマテリアルを「InvisibleOccluder」に変更する実際の部屋のパススルーのみを映し、バーチャル側のものは遮蔽されて見えなくなる。厳密に言うと、このマテリアルはRenderQueueが1998なので、デフォルト2000の多くのオブジェクトより先に描画されるようになる

天井をバーチャルにする InvisiblePlane PrefabというMeshが無くSceneAnchorのみがある板を天井に設定してあげる(つまり見た目がないけど位置情報を保持する) → バーチャル側を見ることができるように InvisiblePlane PrefabをOVR Scene ManagerのPrefab
Overrides にセットします。今回は天井をバーチャル空間にしたいので"CEILING"を指定します。

天井をバーチャルにするここまでで、このようにバーチャル側の物体が天井に描画されるようになります。が、バーチャル側の空が見えません。

疑似Skyboxを作る巨大なSkyBoxを用意してその中に空のTextureを描画するお借りしたアセット Skybox Kit Rev.01 - 我楽多屋 Wizdom
- BOOTH

天井がバーチャル世界に繋がった！

マルチプレイにする

マルチプレイにするマルチプレイはPhoton Fusionというサービスを利用する。今回マルチプレイするにあたって同期が必要な情報 • 位置情報 • 手と頭のトラッキングデータ • HP
Fusion公式のマルチプレイVRのサンプルを改造していった https://doc.photonengine.com/ja-jp/fusion/v1/technical-samples/fusion- vr-shared

VRとARでプレイヤー設定を切り替える巨人側か人間側か OVR Passthrough Layer(現実世界を見るか) OVR Scene Manager(部屋の認識をするか) ここらへんを切り替えることで、大部分をVR同士のマルチプレイと共通化
あとは接続処理とかをこねこねすれば・・・

AR vs VR マルチプレイバトルゲームの完成！ ARとVRでほぼ違うモノが見えてるけど、実際の処理的には差がない HPの同期処理とかは普通のFPSと変わらないので割愛現実世界バーチャルな銃バーチャル世界

まとめ今回はUnity知ってる人少ないと思うので細かいことは省いて喋った。これでみんなも部屋がバーチャルに繋がっちゃうね☆ 今回話した内容の一部はブログに書いた【Meta Quest3】パススルーの部屋の天井の先にバーチャル空間を表示する【URP対応】 - 土鍋で雑多煮

雑談筑波大の開発系コミュニティってあります？会津大のときはあったけど、筑波で見かけないので… (UNTILのDiscord参加したいです) 院から筑波で、知り合い少ないので仲良くしてくれると嬉しいです Twitter(X)→

ご清聴ありがとうございました。

現実 VS バーチャルのマルチプレイゲームを作ろう

現実 VS バーチャルのマルチプレイゲームを作ろう

donabe

More Decks by donabe

Other Decks in Technology

Featured

Transcript