Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
HandGestureTool for AppleVisionPro
Search
Cova8bitdots
June 26, 2024
Programming
0
55
HandGestureTool for AppleVisionPro
- Describe HandGestureTool for AppleVisionPro
- Released on UnityAssetStore
Cova8bitdots
June 26, 2024
Tweet
Share
More Decks by Cova8bitdots
See All by Cova8bitdots
Latest_Information_of_CICD_for_UnityAppWithAppleVisionPro
cova8bitdots
0
21
NinjaGazeTyping 制作秘話
cova8bitdots
0
260
UnityとGoogleCloudFunction を連携して社内サービスを作った話
cova8bitdots
0
120
Unity-chan.Terrastal!!
cova8bitdots
0
290
ExampleOfTilemap2D
cova8bitdots
0
83
unity_lt_2021_Dec.pdf
cova8bitdots
0
710
HowToUseAudioMixer
cova8bitdots
0
100
TrapOfSpriteAtlas
cova8bitdots
0
4.8k
StudyUnityFromAnti-pattern
cova8bitdots
0
2.3k
Other Decks in Programming
See All in Programming
VR HMDとしてのVision Pro+ゲーム開発について
yasei_no_otoko
0
100
飲食業界向けマルチプロダクトを実現させる開発体制とリアルな現状
hiroya0601
1
390
開発効率向上のためのリファクタリングの一歩目の選択肢 ~コード分割~ / JJUG CCC 2024 Fall
ryounasso
0
360
Identifying User Idenity
moro
6
7.9k
[PyCon Korea 2024 Keynote] 커뮤니티와 파이썬, 그리고 우리
beomi
0
110
推し活の ハイトラフィックに立ち向かう Railsとアーキテクチャ - Kaigi on Rails 2024
falcon8823
6
2.2k
アジャイルを支えるテストアーキテクチャ設計/Test Architecting for Agile
goyoki
7
2.8k
2万ページのSSG運用における工夫と注意点 / Vue Fes Japan 2024
chinen
3
1.3k
Vaporモードを大規模サービスに最速導入して学びを共有する
kazukishimamoto
4
4.3k
レガシーな Android アプリのリアーキテクチャ戦略
oidy
1
170
役立つログに取り組もう
irof
26
8.7k
Boost Performance and Developer Productivity with Jakarta EE 11
ivargrimstad
0
850
Featured
See All Featured
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
7
150
Fantastic passwords and where to find them - at NoRuKo
philnash
50
2.8k
What’s in a name? Adding method to the madness
productmarketing
PRO
22
3.1k
A designer walks into a library…
pauljervisheath
202
24k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
9
680
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
14
1.9k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
48k
The Cult of Friendly URLs
andyhume
78
6k
Mobile First: as difficult as doing things right
swwweet
222
8.9k
Intergalactic Javascript Robots from Outer Space
tanoku
268
27k
Automating Front-end Workflow
addyosmani
1365
200k
How GitHub (no longer) Works
holman
311
140k
Transcript
visionOS engineer オンラインLT会 vol.6 PolySpatial 向け HandGesture ライブラリを製作した話 2024/06/26
登壇者情報 Graf fi ty(ג) ॴଐUnityΤϯδχΞ ઐྖҬɿαϯυϓϩάϥϛϯά UnityΛத৺ͱͨ͠ใൃ৴ͳͲΛߦ͍ͬͯ·͢ɻ 2 visionOS engineer
オンラインLT会 vol.5 著書&査読協 力 @8bitdots https://qiita.com/Cova8bitdot @cova8bit.bsky.social
None
Apple Vision Pro 専 用 タイピングゲーム『Ninja Gaze Typing 』 4
プロダクト紹介 - Ninja Gaze Typing
Apple Vision Pro 専 用 タイピングゲーム 『Ninja Gaze Typing 』
5 プロダクト紹介 - Ninja Gaze Typing WWDCの基調講演 visionOS説明部分にて アイコンが掲載されました
目 次 1. Hand Gesture Tool for Apple Vision Pro
の紹介 2. 製作にあたって遭遇した技術的課題
目 次 1. Hand Gesture Tool for Apple Vision Pro
の紹介 2. 製作にあたって遭遇した技術的課題
Unity のAssetStore でPolySpatial向けのハンドジェスチャーライブラリをリリースしました Hand Gesture Tool for Apple Vision Pro
の紹介 https://assetstore.unity.com/packages/tools/input-management/hand-gesture-tool-for-apple-vision-pro-287273
Unity のAssetStore でPolySpatial向けのハンドジェスチャーライブラリをリリースしました Hand Gesture Tool for Apple Vision Pro
の紹介 https://assetstore.unity.com/packages/tools/input-management/hand-gesture-tool-for-apple-vision-pro-287273
ライブラリの特徴 Hand Gesture Tool for Apple Vision Pro の紹介
ライブラリの特徴 Hand Gesture Tool for Apple Vision Pro の紹介 Q.
あれ?Unity公式がハンドジェスチャー ライブラリ出してませんでしたっけ?
GWあたりに公開されたXRHand1.4.x から HandGesture アセット作成機能が追加されました。が、実装済みの機能は少ないです Hand Gesture Tool for Apple Vision
Pro の紹介 指の条件設定 HandShape Asset 指の形以外の条件設定 HandPoseAsset
今回作ったライブラリはUnity公式のライブラリに 比 べて以下の改善点があります Hand Gesture Tool for Apple Vision Pro
の紹介 1. カスタム条件を作成可能 • Unity公式は現状指の曲げ具合のみ 2. ポーズを複数組み合わせてモーションの検知が可能 • Unity公式は現状シンプルなポーズ検知のみ • 製作したライブラリ • ビームの構え→発射のようなシーケンシャルな ジェスチャーを設定可能 3. UnityEditor上で設定した 手 のポーズを確認可能 • Inspector 上で設定条件を反映した 手 のモデルを表 示 します
目 次 1. Hand Gesture Tool for Apple Vision Pro
の紹介 2. 製作にあたって遭遇した技術的課題
製作中に遭遇した思わぬ落とし 穴 15 製作にあたって遭遇した技術的課題 1. 定義にあるはずのボーン(関節)が無い! 2. 定義にないはずのボーン(関節)がある!
製作中に遭遇した思わぬ落とし 穴 16 製作にあたって遭遇した技術的課題 1. 定義にあるはずのボーン(関節)が無い! 2. 定義にないはずのボーン(関節)がある!
定義にあるはずのボーン(関節)が無い! 17 製作にあたって遭遇した技術的課題 XRHand では各種指の関節以外に以下の関節情報が取得できます • Palm( 手 のひら) •
Metacarpal( 手 の甲の根本の関節) • Wrist( 手 首 )
定義にあるはずのボーン(関節)が無い! 18 製作にあたって遭遇した技術的課題 XRHand では各種指の関節以外に以下の関節情報が取得できます • Palm( 手 のひら) •
なんとVisionOS側からは取れない! • https://varrall.substack.com/p/hand-tracking-in-visionos • 下記画像の通りそもそも定義がVisionOSにはない • Unity.XRHand は様々なXR系デバイスを横断的に利 用 可能にするため このような事象が起きる
定義にあるはずのボーン(関節)が無い! 19 製作にあたって遭遇した技術的課題 XRHand では各種指の関節以外に以下の関節情報が取得できます • Palm( 手 のひら) •
なんとVisionOS側からは取れない! • https://varrall.substack.com/p/hand-tracking-in-visionos • 下記画像の通りそもそも定義がVisionOSにはない • Unity.XRHand は様々なXR系デバイスを横断的に利 用 可能にするため このような事象が起きる • Palmの位置や 方 向はジェスチャーにはかなり重要な情報 • 対策 • 他の関節から推測する • 手首 →親指の付け根 方 向ベクトルと 手首 →中指の付け根 方 向ベクトルの外積から求める • 手 のひら周辺の関節の平均(重 心 )で代 用
製作中に遭遇した思わぬ落とし 穴 20 製作にあたって遭遇した技術的課題 1. 定義にあるはずのボーン(関節)が無い! 2. 定義にないはずのボーン(関節)がある!
定義にないはずのボーン(関節)がある! 21 製作にあたって遭遇した技術的課題 VisionOS 側は • 25: 手首 →肘 方
向を 示 す .handForearmWrist • 26: 肘関節を 示 す .handForearmArm があります。 一方 XRHandにはこの定義がありません! が、PolySpatial SDKを調べると独 自 のEnumが 定義されており、これを無理やり XRHandJointID 型としてキャストして使うことでBone情報を 取得可能です。 https://docs.unity3d.com/Packages/
[email protected]
/api/ UnityEngine.XR.VisionOS.VisionOSHandJointID.html
まとめ • HandGesture を使ったコンテンツ開発のための専 用 ツールを開発・リリースしました • https://assetstore.unity.com/packages/tools/input-management/hand-gesture-tool-for-apple-vision-pro-287273 • HandGestureをそのまま実現しようとすると関節情報をがっつり
色 々計算しないと難しいです • 本ツールは 面 倒な計算部分を肩代わりし、 非 エンジニアでもポーズを簡単に作れるように 設計しています • 実機で動作確認しないとわからないという開発フロー改善のため Editor上でのポーズ確認が出来るのが 非 常に 大 きいです 22 最後に
Hand Gesture Tool for Apple Vision Pro ぜひご活 用 ください
最後に https://assetstore.unity.com/packages/tools/input-management/hand-gesture-tool-for-apple-vision-pro-287273