Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
S.C.L HandTrackHackチーム 成果発表
Search
BlackCat
September 25, 2021
Technology
0
140
S.C.L HandTrackHackチーム 成果発表
BlackCat
September 25, 2021
Tweet
Share
More Decks by BlackCat
See All by BlackCat
スキャンソンをふり返ってみる話
myaon
0
88
みゃおんがXRを仕事にするまでの軌跡
myaon
0
110
Geospacial APIを使った聖地巡礼AR
myaon
0
200
AR釣りゲーム 活用してみませんか?
myaon
0
110
Azure Static Web Apps を用いたWebAR実装
myaon
0
220
楽器の音階をPCのキーボード入力に置き換えるシステム
myaon
0
120
第二回VR講習
myaon
0
110
ARロボコン展示から見るバーチャル活用
myaon
0
100
支援学校でVR体験会を開いた話
myaon
0
110
Other Decks in Technology
See All in Technology
【CEDEC2025】LLMを活用したゲーム開発支援と、生成AIの利活用を進める組織的な取り組み
cygames
PRO
1
1.6k
マルチモーダル基盤モデルに基づく動画と音の解析技術
lycorptech_jp
PRO
2
260
AI時代の知識創造 ─GeminiとSECIモデルで読み解く “暗黙知”と創造の境界線
nyagasan
0
160
激動の時代、新卒エンジニアはAIツールにどう向き合うか。 [LayerX Bet AI Day Countdown LT Day1 ツールの選択]
tak848
0
610
Microsoft Learn MCP/Fabric データエージェント/Fabric MCP/Copilot Studio-簡単・便利なAIエージェント作ってみた -"Building Simple and Powerful AI Agents with Microsoft Learn MCP, Fabric Data Agent, Fabric MCP, and Copilot Studio"-
reireireijinjin6
1
130
PdM業務における使い分け
shinshiro
0
670
Kiro Hookを Terraformで検証
ao_inoue
0
130
KCD Lima: eBee in Peru!
lizrice
0
110
Bliki (ja), and the Cathedral, and the Bazaar
koic
8
1.5k
Ktor + Google Cloud Tasks/PubSub におけるOTel Messaging計装の実践
sansantech
PRO
1
330
複数のGemini CLIが同時開発する狂気 - Jujutsuが実現するAIエージェント協調の新世界
gunta
13
3.8k
「手を動かした者だけが世界を変える」ソフトウェア開発だけではない開発者人生
onishi
15
7.6k
Featured
See All Featured
Agile that works and the tools we love
rasmusluckow
329
21k
Into the Great Unknown - MozCon
thekraken
40
1.9k
Bootstrapping a Software Product
garrettdimon
PRO
307
110k
Navigating Team Friction
lara
187
15k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
33
2.4k
How to train your dragon (web standard)
notwaldorf
96
6.1k
Git: the NoSQL Database
bkeepers
PRO
431
65k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
126
53k
Site-Speed That Sticks
csswizardry
10
720
Chrome DevTools: State of the Union 2024 - Debugging React & Beyond
addyosmani
7
760
The Art of Delivering Value - GDevCon NA Keynote
reverentgeek
15
1.6k
Transcript
最終発表 HandTrackHack
実際に作ったもの 説明UI操作⇒IoT操作⇒マニュアルAR操作
エッセンス:便利、出来なかったことが出来る、欲しくな る • 360度どこでもディスプレイ化できる • 魔法のようにスマートホームを動かせる
コンテンツ制作の背景 • MRを活かしたユーティリティ アプリを作りたい • IoT家電を使えばMR空間から 実空間への干渉が行えるのでは? human mapping オーグマー
コンテンツイメージ ARデバイスを普段使いする際の ウィジェットとしての機能 任意のスライドやマニュアルを視界に表 示させ、作業効率の向上や必要な情報 の提示を図る 操作するIoT家電の一覧を視界下に 表示。必要に応じて動作させる。
コンテンツイメージ ARデバイスを普段使いする際の ウィジェットとしての機能 任意のスライドやマニュアルを視界に表 示させ、作業効率の向上や必要な情報 の提示を図る 操作するIoT家電の一覧を視界下に 表示。必要に応じて動作させる。
コンテンツ概要
コンテンツ概要:フロントエンド • 実空間とMR空間の同期 ◦ ArUco Tracking • ハンドトラッキング ◦ ボタン操作
• ハンドジェスチャー認識 ◦ ボタン表示切り替え \お世話になりました/
コンテンツ概要:バックエンド • Webrequest ◦ IFTTT:IoT ◦ OpenWeatherMap ▪ JSONデシリアライズ •
現在地・現在時刻取得 ◦ MLLocation API • MagicLeap Mobile Appとの連動 ◦ URL入力
感想やまとめ
工夫した点・苦労した点など • ArUcoマーカー認識について ◦ 最新バージョンから搭載された機能ということで文献が少なく、調整に苦労を要した • ハンドトラッキングについて ◦ トラッキング精度の問題によりチャタリングが起こったので フラグ管理により対策した
• MobileAppでのURL入力について ◦ 50文字以上の文字列を一気に送信するとパケットロスが起こるので URL短縮サービスを利用し対策した • ハードウェアも用いたARチーム開発 ◦ 自宅をIoT化し全国どこからでもデバッグ出来るようにした
チームでのS.C.L3期生プロジェクトの振り返り ▲原案 ”EyeTrackhack” ▲現在の”HandTrackHack”に ▲”ManualAR” ▲”WeatherUI” コア体験:「360°ディスプレイ化」「魔法のようにIoT家電を操作」
Thank you for Listening!