Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
QuestProで遊ぼう!~カラーパススルー & アイトラッキング~
Search
41 h0 -シホ- (41h0)
July 28, 2023
Programming
0
1.4k
QuestProで遊ぼう!~カラーパススルー & アイトラッキング~
41 h0 -シホ- (41h0)
July 28, 2023
Tweet
Share
More Decks by 41 h0 -シホ- (41h0)
See All by 41 h0 -シホ- (41h0)
Unityでレベルデザイン用AIモデリングツールを作ってみたかった
41h0_shiho
0
67
MetaQuest3と MetaXRAll-in-One SDKで MRアプリを作ってみた
41h0_shiho
0
790
RYUNOS解説
41h0_shiho
0
1.2k
はじめてのちゃっとじーぴーてぃーげーむせいさく
41h0_shiho
0
1.5k
UEでPLATEAU触ってみた
41h0_shiho
1
1.3k
都市ARの作り方 PLATEAU ✖︎ Geospatial API
41h0_shiho
2
3.1k
Other Decks in Programming
See All in Programming
ソフトウェア設計とAI技術の活用
masuda220
PRO
25
7k
抽象化という思考のツール - 理解と活用 - / Abstraction-as-a-Tool-for-Thinking
shin1x1
1
900
Understanding Kotlin Multiplatform
l2hyunwoo
0
250
新世界の理解
koriym
0
100
Reactの歴史を振り返る
tutinoko
1
150
Git Sync を超える!OSS で実現する CDK Pull 型デプロイ / Deploying CDK with PipeCD in Pull-style
tkikuc
4
490
AWS Summit Japan 2024と2025の比較/はじめてのKiro、今あなたは岐路に立つ
satoshi256kbyte
1
260
JetBrainsのAI機能の紹介 #jjug
yusuke
0
160
構造化・自動化・ガードレール - Vibe Coding実践記 -
tonegawa07
0
160
階層化自動テストで開発に機動力を
ickx
1
450
No Install CMS戦略 〜 5年先を見据えたフロントエンド開発を考える / no_install_cms
rdlabo
0
410
構文解析器入門
ydah
7
2k
Featured
See All Featured
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.4k
The Success of Rails: Ensuring Growth for the Next 100 Years
eileencodes
45
7.5k
Intergalactic Javascript Robots from Outer Space
tanoku
272
27k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
283
13k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
It's Worth the Effort
3n
185
28k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
332
22k
Connecting the Dots Between Site Speed, User Experience & Your Business [WebExpo 2025]
tammyeverts
8
400
A Modern Web Designer's Workflow
chriscoyier
695
190k
Faster Mobile Websites
deanohume
308
31k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
Java REST API Framework Comparison - PWX 2021
mraible
31
8.7k
Transcript
QuestProで遊ぼう! ~カラーパススルー & アイトラッキング~
自己紹介 41h0(シホ) VtuberとXRとゲームとお酒を愛する XRエンジニア UnityやUnrealEngineを使って VR/ARアプリ開発、ゲーム開発、 VRSNSワールド制作などをしています
前回のぷちコンでhakuさんと一緒に VRロッククライミングゲーム → 「RYUNOS」を作りました
目次 1. Meta Quest Proについて 2. UE5によるMetaQuestProをつかったカラーパススルー実装方法 3.
UE5によるMetaQuestProをつかったアイトラッキング実装方法 4. ちょっとした宣伝
Meta Quest Proについて(1/2) Meta社が開発したハイエンドなオールインワンMR/VRヘッドセット パンケーキレンズを活用した薄型フォーム、 MR用の高解像度カメラ、フェイストラッキングとアイトラッキングの機能が実装され、モー ショントラッキングを内蔵した新型コントローラーが付属している。 価格
226,800円 → 159,500円
Meta Quest Proについて(2/2) パススルー アイ トラッキング フェイス トラッキング Quest
Pro 〇 〇 〇 Quest 2 △※2 × × Quest 3※1 〇 × × ※1 発売前のMeta Quest 3については現状公表されている情報を参考 ※2 Meta Quest2は白黒パススルーは可能だがカラーパススルーは不可
UnrealEngine5と QuestProを使って パススルーを実装してみよう! 大きく機能改修がなければQuest3でも同じ方法でいけ るはず...
パススルー実装(1/10) Oculus GitHubリポジトリ からエンジンソースをダウンロードし、 UE5.slnをVisualStudioで開いてビルドする
詳細はこちら https://developer.oculus.com/docu mentation/unreal/unreal-building-u e4-from-source/?locale=ja_JP 2023/7/23時点 最新は5.1ver
パススルー実装(2/10) ビルドしたUEでVRTemplateプロジェクトを新規作成
パススルー実装(3/10) 最初から有効になっているはずだが念のためMeta XR Pluginが有効になっていることを確認
パススルー実装(4/10) プロジェクト設定>レンダリングの設定を変更 ポストプロセスでのアルファチャン ネルのサポートを有効化します(実 験的機能)。 → Allow Through tonemapper
パススルー実装(5/10) プロジェクト設定>プラグイン>MetaXRの設定を変更 Color Space → Quest1 Passthrough Enabled
→ True Support Experimental Features → True
パススルー実装(6/10) VRPawnにOculusXRPassthroughLayerを追加する
パススルー実装(7/10) OculusXRPassthroughLayerComponentの設定を変更 Stereo Layer Shape → Reconstructed Passthrouch Layer
Layer Placement → Underlay Enable Color Map → True ※Color Map TypeはNoneのままでよい
パススルー実装(8/10) マップからパススルー確認に邪魔なアクタを削除 (Skysphereや壁や天井になっているCubeなど)
パススルー実装(9/10) Oculus Linkで動作確認 する場合はOculus Link経由でのパススルーを有効にしておく
パススルー実装(10/10) 実際に 動作させると こんな感じ
UnrealEngine5と QuestProを使って アイトラッキングを実装してみよう!
アイトラッキング実装(1/7) エンジンビルド~VRTemplateプロジェクト作成~プラグイン確認までは一緒 パススルー実装で作ったプロジェクトをそのまま作ってもよい
アイトラッキング実装(2/7) プロジェクト設定>プラグイン>MetaXRの設定を変更 Eye Tracking Enabled → True
アイトラッキング実装(3/7) VRPawnにOculusXREyeTrackingを追加する
アイトラッキング実装(4/7) BPでアイトラッキング権限確認、権限付与を行う EYE TRACKER
アイトラッキング実装(5/7) BPで視線情報取得し、GazeOrizinとGazeDirectionを元にLine Traceを行い衝突判定をする
アイトラッキング実装(6/7) Oculus Linkで動作確認 する場合はOculus Link経由での アイトラッキングを有効にしておく
アイトラッキング実装(7/7) 実際に 動作させると こんな感じ
まとめ QuestProを使うと現実空間で目からビームが撃 てるゲームが作れそう
宣伝 明日ベルサール秋葉原で開催されるバーチャルマーケット2023リアルinアキバに Gorilla Gridのメンバーとして参加します! パラリアルクリエイター エリアA8にいます