Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Oculus Questハンドトラッキングでキーボードを作ってみた
Search
sentomo
March 06, 2020
Business
1
2k
Oculus Questハンドトラッキングでキーボードを作ってみた
2020.3.6 xRLT vol.3で登壇した時の資料です。
sentomo
March 06, 2020
Tweet
Share
More Decks by sentomo
See All by sentomo
Cesium for Unreal + VRで世界中を飛び回る時のTips
sentomo
0
660
WebXR Tech Tokyo#1 コロナ時代にできる、WebARリモートハンズオン
sentomo
0
1k
Other Decks in Business
See All in Business
頻出AI関連用語集 TOP30
_____ai
0
200
RAKSUL Introduction / English Ver.
raksulrecruiting
0
450
リンクアンドモチベーション 営業コンサルタント向け紹介資料 / Introduction to Link and Motivation for Sales and Consultants
lmi
0
120k
2022~2025年の成長戦略(アップデート)
junkiogawa
0
4.1k
【DearOne】Dear Newest Member
hrm
2
7.5k
【簡易版】パーソルクロステクノロジー_グループソリューション統括本部_システムソリューション統括本部のご紹介 / Introduction_of_persol-xtech_gs_ssol_short
pxt_gs_ssol
0
100
27.02.2025 El mercado cuartohorario de electricidad
neuroenergia
PRO
0
140
TORIHADA 採用候補者向け会社説明資料
torihada_inc
0
2.8k
人事評価制度の設計/導入/運用 にEMとしてどう関わってきたか / How I have been involved as an EM in the design, introduction and operation of evaluation systems
hiro_torii
0
230
n=1の経験が紡ぐエンジニアリングマネジメントの可能性 / The Possibilities of Engineering Management from n=1 Experiences
iwashi86
22
8.1k
How should you respond to feedback from reviews and tests
kitanosirokuma
3
230
わわわ理念制作所 紹介資料
yuadachi
1
450
Featured
See All Featured
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
115
51k
StorybookのUI Testing Handbookを読んだ
zakiyama
28
5.5k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
46
2.4k
4 Signs Your Business is Dying
shpigford
183
22k
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
28
1.9k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
227
22k
Reflections from 52 weeks, 52 projects
jeffersonlam
348
20k
Build The Right Thing And Hit Your Dates
maggiecrowley
34
2.6k
GraphQLとの向き合い方2022年版
quramy
44
14k
The Invisible Side of Design
smashingmag
299
50k
Transcript
1 Oculus Quest ハンドトラッキングで キーボードを作ってみた sentomo 2020.3.6 xRLT vol.3 Photo
by Luis Quintero on Unsplash
自己紹介 ➤ 名前 sentomo @sentomo594 ➤ 所属 リコーITソリューションズ株式会社 ➤ 年次
4年目 ➤ VR開発 2年半くらい Unity:2017.10〜2019.6 UE4 :2019.7〜 ➤ 現在、リコーのアクセラレータプログラムで バーチャルワークスペースを開発中 ➤ 社内のVRコミュニティ「アトリエリアリテ」運営 2
None
自己紹介 ➤ 名前 sentomo @sentomo594 ➤ 所属 リコーITソリューションズ株式会社 ➤ 年次
4年目 ➤ VR開発 2年半くらい Unity:2017.10〜2019.6 UE4 :2019.7〜 ➤ 現在、リコーのアクセラレータプログラムで バーチャルワークスペースを開発中 ➤ 社内のVRコミュニティ「アトリエリアリテ」運営 4
None
昨年12月 ハンドトラッキングのSDKが公開!
None
この頃から約1ヶ月…
ハンドトラッキングで キーボード入力してみたい!
やったこと ➤ VR内のキーボードを現実の机の上に置けるように ➤ 空中でタイピングするのは難しいと考えたため ➤ 全ての指先に衝突判定をつける ➤ 1本指打法ではなく、全ての指でタイピングしたい ➤
キーを押した感じを出す ➤ 文字入力 10
やったこと ➤ VR内のキーボードを現実の机の上に置けるように ➤ 空中でタイピングするのは難しいと考えたため ➤ 全ての指先に衝突判定をつける ➤ 1本指打法ではなく、全ての指でタイピングしたい ➤
キーを押した感じを出す ➤ 文字入力 11
机の上におけるように ➤ Questのカメラを使って、机の平面を認識させたい! ➤ 現時点ではQuestのカメラは開発者側からいじれない… ➤ 自分でキーボードを動かして、任意の位置に配置する ➤ 指でキーボードをつまんで動かす 12
机の上におけるように ➤ Questハンドトラッキング対応MRTK(HoloLens用のsdk)を試す ➤ https://github.com/HoloLabInc/MRTKExtensionForOculusQuest ➤ たるこすさん、ありがとうございます!! 13
None
机の上におけるように ➤ Questハンドトラッキング対応MRTK(HoloLens用のsdk)を試す ➤ https://github.com/HoloLabInc/MRTKExtensionForOculusQuest ➤ たるこすさん、ありがとうございます!! ➤ 物をつかむ仕組みが使えそう! 15
やったこと ➤ VR内のキーボードを現実の机の上に置けるように ➤ 空中でタイピングするのは難しいと考えたため ➤ 全ての指先に衝突判定をつける ➤ 1本指打法ではなく、全ての指でタイピングしたい ➤
キーを押した感じを出す ➤ 文字入力 16
全ての指先に衝突判定をつける ➤ MRTKのタッチ操作は、HoloLens 2のジェスチャーに対応している ➤ HoloLensでは、5本指全てに衝突判定をつけることを推奨していない ため、通常は人差し指しかタッチ操作が効かない https://docs.microsoft.com/ja-jp/windows/mixed-reality/direct-manipulation 17
全ての指先に衝突判定をつける ➤ 今回は、OculusQuest側の設定を使う ➤ OVRHandPrefab > OVR Skeleton (Script)の Enable
Physics Capsuleにチェックを入れるだけ 18
全ての指先に衝突判定をつける ➤ 衝突判定は、衝突したオブジェクトの名前が “Hand_xxx_CapsuleCollider” かどうか ➤ 参考: https://qiita.com/qvtec/items/a5b668bac926c598afd7#%E8%A1%9D%E7%AA%81%E3%8 2%A4%E3%83%99%E3%83%B3%E3%83%88 19
None
やったこと ➤ VR内のキーボードを現実の机の上に置けるように ➤ 空中でタイピングするのは難しいと考えたため ➤ 全ての指先に衝突判定をつける ➤ 1本指打法ではなく、全ての指でタイピングしたい ➤
キーを押した感じを出す ➤ 文字入力 21
キーを押した感じを出す ➤ 音と視覚的フィードバック ➤ 音:MRTKに入っていたサウンド ➤ 視覚:押した時にキーの色を変える →MRTKのButtonサンプルを参考に 22
None
やったこと ➤ VR内のキーボードを現実の机の上に置けるように ➤ 空中でタイピングするのは難しいと考えたため ➤ 全ての指先に衝突判定をつける ➤ 1本指打法ではなく、全ての指でタイピングしたい ➤
キーを押した感じを出す ➤ 文字入力 24
None
文字入力 ➤ おっと…? 26
文字入力 ➤ おっと…? ➤ 一斉にキーが押されすぎ・・・ ➤ 実際にキー入力をするときは、基本的に1つずつしか打たない (shiftキーを押しながら他のキーを押すことはあるが) 27
文字入力 ➤ おっと…? ➤ 一斉にキーが押されすぎ・・・ ➤ 実際にキー入力をするときは、基本的に1つずつしか打たない (shiftキーを押しながら他のキーを押すことはあるが) →改善として、 キーが押されているときは、衝突判定が効かない処理を入れる
キーの大きさを変える 全く別の入力方法を考える 28
ハンドトラッキングについて 感じたこと
ハンドトラッキングについて感じたこと ➤ 指の衝突判定は、意図せず反応することがしばしば… 現状は、指の細かい動きを使って操作するのは難しい ➤ つまむ、手を使ったポーズの判定は割とやりやすそう ただし、現状のQuestだと、手の角度によって認識精度が落ちるので、 認識精度が影響しないポーズや仕草にした方が良い ➤ 自然で直観的な動作は何か、を考え続ける
自然な動作に近づけるのか、それとも新しいUXを考えるか 感覚フィードバック、人間工学も気になる 30
ハンドトラッキングについて感じたこと ➤ 指の衝突判定は、意図せず反応することがしばしば… 現状は、指の細かい動きを使って操作するのは難しい ➤ つまむ、手を使ったポーズの判定は割とやりやすそう ただし、現状のQuestだと、手の角度によって認識精度が落ちるので、 認識精度が影響しないポーズや仕草にした方が良い ➤ 自然で直観的な動作は何か、を考え続ける
自然な動作に近づけるのか、それとも新しいUXを考えるか 感覚フィードバック、人間工学も気になる 31
ハンドトラッキングについて感じたこと ➤ 指の衝突判定は、意図せず反応することがしばしば… 現状は、指の細かい動きを使って操作するのは難しい ➤ つまむ、手を使ったポーズの判定は割とやりやすそう ただし、現状のQuestだと、手の角度によって認識精度が落ちるので、 認識精度が影響しないポーズや仕草にした方が良い ➤ 自然で直観的な動作は何か、を考え続ける
自然な動作に近づけるのか、それとも新しいUXを考えるか 感覚フィードバック、人間工学も気になる 32
と、感じていたところ…
None
None
Your first instinct might be to create a realistic representation
of a human hand, but this can be an expensive and difficult endeavor. Realistic hands often feel uncanny at best, and at worst can make users feel disembodied. Instead, think about what works best for the experience you’re building.
最初は、人間の手の現実的な表現を実装しようとすると思 いますが、 これは高コストでとても難しい可能性があります。 代わりに、体験に最適な方法を考えてください。 (参考:Google先生翻訳)
私のことじゃん…!
(まあやってみないとわからないよね)
It’s still early days, and there’s still so much to
figure out. We hope the solutions you find guide all of us toward incredible new possibilities.
ハンドトラッキングはまだ初期の段階であり、 まだ理解しなければならないことがまだたくさんあります。 あなたが見つけた解決策が私たち全員を信じられないほど の新しい可能性に導くことを願っています。 (参考:Google先生翻訳)
ワクワクしませんか?
一緒に快適なハンドインタラクションを 探求していきましょう!!
Thank you!