Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
QuestProで遊ぼう!~カラーパススルー & アイトラッキング~
Search
41 h0 -シホ- (41h0)
July 28, 2023
Programming
0
1.4k
QuestProで遊ぼう!~カラーパススルー & アイトラッキング~
41 h0 -シホ- (41h0)
July 28, 2023
Tweet
Share
More Decks by 41 h0 -シホ- (41h0)
See All by 41 h0 -シホ- (41h0)
Unityでレベルデザイン用AIモデリングツールを作ってみたかった
41h0_shiho
0
55
MetaQuest3と MetaXRAll-in-One SDKで MRアプリを作ってみた
41h0_shiho
0
780
RYUNOS解説
41h0_shiho
0
1.2k
はじめてのちゃっとじーぴーてぃーげーむせいさく
41h0_shiho
0
1.5k
UEでPLATEAU触ってみた
41h0_shiho
1
1.3k
都市ARの作り方 PLATEAU ✖︎ Geospatial API
41h0_shiho
2
3.1k
Other Decks in Programming
See All in Programming
AI駆動のマルチエージェントによる業務フロー自動化の設計と実践
h_okkah
0
160
Flutterで備える!Accessibility Nutrition Labels完全ガイド
yuukiw00w
0
160
#kanrk08 / 公開版 PicoRubyとマイコンでの自作トレーニング計測装置を用いたワークアウトの理想と現実
bash0c7
1
770
MDN Web Docs に日本語翻訳でコントリビュートしたくなる
ohmori_yusuke
1
120
Python型ヒント完全ガイド 初心者でも分かる、現代的で実践的な使い方
mickey_kubo
1
130
5つのアンチパターンから学ぶLT設計
narihara
1
170
Node-RED を(HTTP で)つなげる MCP サーバーを作ってみた
highu
0
120
High-Level Programming Languages in AI Era -Human Thought and Mind-
hayat01sh1da
PRO
0
780
Google Agent Development Kit でLINE Botを作ってみた
ymd65536
2
250
Hypervel - A Coroutine Framework for Laravel Artisans
albertcht
1
130
Is Xcode slowly dying out in 2025?
uetyo
1
280
AIプログラマーDevinは PHPerの夢を見るか?
shinyasaita
1
230
Featured
See All Featured
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
34
3.1k
Thoughts on Productivity
jonyablonski
69
4.7k
Designing Experiences People Love
moore
142
24k
Embracing the Ebb and Flow
colly
86
4.7k
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
161
15k
Rails Girls Zürich Keynote
gr2m
95
14k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Building Applications with DynamoDB
mza
95
6.5k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
The Power of CSS Pseudo Elements
geoffreycrofte
77
5.9k
The Cost Of JavaScript in 2023
addyosmani
51
8.5k
Transcript
QuestProで遊ぼう! ~カラーパススルー & アイトラッキング~
自己紹介 41h0(シホ) VtuberとXRとゲームとお酒を愛する XRエンジニア UnityやUnrealEngineを使って VR/ARアプリ開発、ゲーム開発、 VRSNSワールド制作などをしています
前回のぷちコンでhakuさんと一緒に VRロッククライミングゲーム → 「RYUNOS」を作りました
目次 1. Meta Quest Proについて 2. UE5によるMetaQuestProをつかったカラーパススルー実装方法 3.
UE5によるMetaQuestProをつかったアイトラッキング実装方法 4. ちょっとした宣伝
Meta Quest Proについて(1/2) Meta社が開発したハイエンドなオールインワンMR/VRヘッドセット パンケーキレンズを活用した薄型フォーム、 MR用の高解像度カメラ、フェイストラッキングとアイトラッキングの機能が実装され、モー ショントラッキングを内蔵した新型コントローラーが付属している。 価格
226,800円 → 159,500円
Meta Quest Proについて(2/2) パススルー アイ トラッキング フェイス トラッキング Quest
Pro 〇 〇 〇 Quest 2 △※2 × × Quest 3※1 〇 × × ※1 発売前のMeta Quest 3については現状公表されている情報を参考 ※2 Meta Quest2は白黒パススルーは可能だがカラーパススルーは不可
UnrealEngine5と QuestProを使って パススルーを実装してみよう! 大きく機能改修がなければQuest3でも同じ方法でいけ るはず...
パススルー実装(1/10) Oculus GitHubリポジトリ からエンジンソースをダウンロードし、 UE5.slnをVisualStudioで開いてビルドする
詳細はこちら https://developer.oculus.com/docu mentation/unreal/unreal-building-u e4-from-source/?locale=ja_JP 2023/7/23時点 最新は5.1ver
パススルー実装(2/10) ビルドしたUEでVRTemplateプロジェクトを新規作成
パススルー実装(3/10) 最初から有効になっているはずだが念のためMeta XR Pluginが有効になっていることを確認
パススルー実装(4/10) プロジェクト設定>レンダリングの設定を変更 ポストプロセスでのアルファチャン ネルのサポートを有効化します(実 験的機能)。 → Allow Through tonemapper
パススルー実装(5/10) プロジェクト設定>プラグイン>MetaXRの設定を変更 Color Space → Quest1 Passthrough Enabled
→ True Support Experimental Features → True
パススルー実装(6/10) VRPawnにOculusXRPassthroughLayerを追加する
パススルー実装(7/10) OculusXRPassthroughLayerComponentの設定を変更 Stereo Layer Shape → Reconstructed Passthrouch Layer
Layer Placement → Underlay Enable Color Map → True ※Color Map TypeはNoneのままでよい
パススルー実装(8/10) マップからパススルー確認に邪魔なアクタを削除 (Skysphereや壁や天井になっているCubeなど)
パススルー実装(9/10) Oculus Linkで動作確認 する場合はOculus Link経由でのパススルーを有効にしておく
パススルー実装(10/10) 実際に 動作させると こんな感じ
UnrealEngine5と QuestProを使って アイトラッキングを実装してみよう!
アイトラッキング実装(1/7) エンジンビルド~VRTemplateプロジェクト作成~プラグイン確認までは一緒 パススルー実装で作ったプロジェクトをそのまま作ってもよい
アイトラッキング実装(2/7) プロジェクト設定>プラグイン>MetaXRの設定を変更 Eye Tracking Enabled → True
アイトラッキング実装(3/7) VRPawnにOculusXREyeTrackingを追加する
アイトラッキング実装(4/7) BPでアイトラッキング権限確認、権限付与を行う EYE TRACKER
アイトラッキング実装(5/7) BPで視線情報取得し、GazeOrizinとGazeDirectionを元にLine Traceを行い衝突判定をする
アイトラッキング実装(6/7) Oculus Linkで動作確認 する場合はOculus Link経由での アイトラッキングを有効にしておく
アイトラッキング実装(7/7) 実際に 動作させると こんな感じ
まとめ QuestProを使うと現実空間で目からビームが撃 てるゲームが作れそう
宣伝 明日ベルサール秋葉原で開催されるバーチャルマーケット2023リアルinアキバに Gorilla Gridのメンバーとして参加します! パラリアルクリエイター エリアA8にいます