QuestProで遊ぼう！~カラーパススルー & アイトラッキング~

Transcript

1. QuestProで遊ぼう！
 ~カラーパススルー & アイトラッキング~ 

2. 自己紹介
 41h0(シホ)
 
 VtuberとXRとゲームとお酒を愛する
 XRエンジニア
 
 UnityやUnrealEngineを使って
 VR/ARアプリ開発、ゲーム開発、
 VRSNSワールド制作などをしています
 
 前回のぷちコンでhakuさんと一緒に VRロッククライミングゲーム　　　　 → 「RYUNOS」を作りました
3. 目次
 1. Meta Quest Proについて
 
 2. UE5によるMetaQuestProをつかったカラーパススルー実装方法
 
 3. UE5によるMetaQuestProをつかったアイトラッキング実装方法
 
 4. ちょっとした宣伝

4. Meta Quest Proについて(1/2)
 Meta社が開発したハイエンドなオールインワンMR/VRヘッドセット
 
 パンケーキレンズを活用した薄型フォーム、
 MR用の高解像度カメラ、フェイストラッキングとアイトラッキングの機能が実装され、モー ショントラッキングを内蔵した新型コントローラーが付属している。
 
 価格 226,800円　→　159,500円
 
 

5. Meta Quest Proについて(2/2)
 
 パススルー
 アイ
 トラッキング
 フェイス
 トラッキング
 Quest Pro
 〇
 〇
 〇
 Quest 2
 △※2
 ×
 ×
 Quest 3※1
 〇
 ×
 ×
 ※1 発売前のMeta Quest 3については現状公表されている情報を参考 
 
 ※2 Meta Quest2は白黒パススルーは可能だがカラーパススルーは不可 

6. UnrealEngine5と
 QuestProを使って
 パススルーを実装してみよう！
 
 大きく機能改修がなければQuest3でも同じ方法でいけ るはず...

7. パススルー実装(1/10)
 Oculus GitHubリポジトリ からエンジンソースをダウンロードし、 
 UE5.slnをVisualStudioで開いてビルドする 
 
 
 
 
 詳細はこちら https://developer.oculus.com/docu mentation/unreal/unreal-building-u e4-from-source/?locale=ja_JP 
 
 
 2023/7/23時点 最新は5.1ver
8. パススルー実装(2/10)
 ビルドしたUEでVRTemplateプロジェクトを新規作成 

9. パススルー実装(3/10)
 最初から有効になっているはずだが念のためMeta XR Pluginが有効になっていることを確認 

10. パススルー実装(4/10)
 プロジェクト設定>レンダリングの設定を変更
 ポストプロセスでのアルファチャン ネルのサポートを有効化します(実 験的機能)。 
 → Allow Through tonemapper

11. パススルー実装(5/10)
 プロジェクト設定>プラグイン>MetaXRの設定を変更 
 Color Space 
 → Quest1
 Passthrough Enabled
 → True 
 Support Experimental Features → True 

12. パススルー実装(6/10)
 VRPawnにOculusXRPassthroughLayerを追加する 

13. パススルー実装(7/10)
 OculusXRPassthroughLayerComponentの設定を変更 
 Stereo Layer Shape
 → Reconstructed Passthrouch Layer
 Layer Placement
 → Underlay
 Enable Color Map
 → True 
 ※Color Map TypeはNoneのままでよい

14. パススルー実装(8/10)
 マップからパススルー確認に邪魔なアクタを削除 (Skysphereや壁や天井になっているCubeなど) 

15. パススルー実装(9/10)
 Oculus Linkで動作確認 する場合はOculus Link経由でのパススルーを有効にしておく 

16. パススルー実装(10/10)
 実際に
 動作させると
 こんな感じ

17. UnrealEngine5と
 QuestProを使って
 アイトラッキングを実装してみよう！
 

18. アイトラッキング実装(1/7)
 エンジンビルド~VRTemplateプロジェクト作成~プラグイン確認までは一緒 
 パススルー実装で作ったプロジェクトをそのまま作ってもよい 

19. アイトラッキング実装(2/7)
 プロジェクト設定>プラグイン>MetaXRの設定を変更 
 Eye Tracking Enabled
 → True 

20. アイトラッキング実装(3/7)
 VRPawnにOculusXREyeTrackingを追加する 

21. アイトラッキング実装(4/7)
 BPでアイトラッキング権限確認、権限付与を行う 
 EYE TRACKER

22. アイトラッキング実装(5/7)
 BPで視線情報取得し、GazeOrizinとGazeDirectionを元にLine Traceを行い衝突判定をする 

23. アイトラッキング実装(6/7)
 Oculus Linkで動作確認 する場合はOculus Link経由での アイトラッキングを有効にしておく

24. アイトラッキング実装(7/7)
 実際に
 動作させると
 こんな感じ
 

25. まとめ
 QuestProを使うと現実空間で目からビームが撃 てるゲームが作れそう

26. 宣伝
 明日ベルサール秋葉原で開催されるバーチャルマーケット2023リアルinアキバに 
 Gorilla Gridのメンバーとして参加します！ 
 パラリアルクリエイター 
 エリアA8にいます