Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
S.C.L HandTrackHackチーム 成果発表
Search
BlackCat
September 25, 2021
Technology
0
90
S.C.L HandTrackHackチーム 成果発表
BlackCat
September 25, 2021
Tweet
Share
More Decks by BlackCat
See All by BlackCat
スキャンソンをふり返ってみる話
myaon
0
55
みゃおんがXRを仕事にするまでの軌跡
myaon
0
82
Geospacial APIを使った聖地巡礼AR
myaon
0
140
AR釣りゲーム 活用してみませんか?
myaon
0
90
Azure Static Web Apps を用いたWebAR実装
myaon
0
190
楽器の音階をPCのキーボード入力に置き換えるシステム
myaon
0
80
第二回VR講習
myaon
0
93
ARロボコン展示から見るバーチャル活用
myaon
0
76
支援学校でVR体験会を開いた話
myaon
0
94
Other Decks in Technology
See All in Technology
ITエンジニアとして知っておいてほしい、電子メールという大きな穴
logica0419
2
300
分析者起点の企画を成功させた連携面の工夫
lycorptech_jp
PRO
1
220
AWSへのNIST SP800-171管理策 導入に向けての整備/20240930 Mitsutoshi Matsuo
shift_evolve
0
150
【shownet.conf_】革新と伝統を融合したファシリティ
shownet
PRO
0
240
AWS Lambdaで実現するスケーラブルで低コストなWebサービス構築/YAPC::Hakodate2024
fujiwara3
5
890
Renovate ではじめる運用レスなライブラリ更新 / 令和最新版 他人に自慢したいヤバいCI/CD LT会 @ yabaibuki.dev #2
ponkio_o
PRO
1
130
たった一人で始めた音楽制作が気がついたら会社公認の部活動になっていた話〜組織の垣根を超えるコラボレーションを実現するには〜 / On-KAG-bu
piyonakajima
0
150
【shownet.conf_】AI技術とUX監視の応用でShowNetの基盤を支えるモニタリングシステム
shownet
PRO
0
270
Making Linux sucks less
ennael
PRO
0
490
k6を活用した再現性・拡張性の高い負荷試験基盤の構築
biwashi
11
2.9k
【shownet.conf_】ShowNet伝送改めShowNet APN 2024
shownet
PRO
0
320
エムスリー全チーム紹介資料 / Introduction of M3 All Teams
m3_engineering
1
210
Featured
See All Featured
Why Our Code Smells
bkeepers
PRO
334
57k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
355
29k
The Language of Interfaces
destraynor
154
24k
Documentation Writing (for coders)
carmenintech
65
4.3k
Mobile First: as difficult as doing things right
swwweet
222
8.8k
GraphQLの誤解/rethinking-graphql
sonatard
65
9.9k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
167
48k
Building Adaptive Systems
keathley
37
2.1k
Reflections from 52 weeks, 52 projects
jeffersonlam
346
20k
Optimising Largest Contentful Paint
csswizardry
31
2.8k
Six Lessons from altMBA
skipperchong
26
3.4k
Typedesign – Prime Four
hannesfritz
39
2.3k
Transcript
最終発表 HandTrackHack
実際に作ったもの 説明UI操作⇒IoT操作⇒マニュアルAR操作
エッセンス:便利、出来なかったことが出来る、欲しくな る • 360度どこでもディスプレイ化できる • 魔法のようにスマートホームを動かせる
コンテンツ制作の背景 • MRを活かしたユーティリティ アプリを作りたい • IoT家電を使えばMR空間から 実空間への干渉が行えるのでは? human mapping オーグマー
コンテンツイメージ ARデバイスを普段使いする際の ウィジェットとしての機能 任意のスライドやマニュアルを視界に表 示させ、作業効率の向上や必要な情報 の提示を図る 操作するIoT家電の一覧を視界下に 表示。必要に応じて動作させる。
コンテンツイメージ ARデバイスを普段使いする際の ウィジェットとしての機能 任意のスライドやマニュアルを視界に表 示させ、作業効率の向上や必要な情報 の提示を図る 操作するIoT家電の一覧を視界下に 表示。必要に応じて動作させる。
コンテンツ概要
コンテンツ概要:フロントエンド • 実空間とMR空間の同期 ◦ ArUco Tracking • ハンドトラッキング ◦ ボタン操作
• ハンドジェスチャー認識 ◦ ボタン表示切り替え \お世話になりました/
コンテンツ概要:バックエンド • Webrequest ◦ IFTTT:IoT ◦ OpenWeatherMap ▪ JSONデシリアライズ •
現在地・現在時刻取得 ◦ MLLocation API • MagicLeap Mobile Appとの連動 ◦ URL入力
感想やまとめ
工夫した点・苦労した点など • ArUcoマーカー認識について ◦ 最新バージョンから搭載された機能ということで文献が少なく、調整に苦労を要した • ハンドトラッキングについて ◦ トラッキング精度の問題によりチャタリングが起こったので フラグ管理により対策した
• MobileAppでのURL入力について ◦ 50文字以上の文字列を一気に送信するとパケットロスが起こるので URL短縮サービスを利用し対策した • ハードウェアも用いたARチーム開発 ◦ 自宅をIoT化し全国どこからでもデバッグ出来るようにした
チームでのS.C.L3期生プロジェクトの振り返り ▲原案 ”EyeTrackhack” ▲現在の”HandTrackHack”に ▲”ManualAR” ▲”WeatherUI” コア体験:「360°ディスプレイ化」「魔法のようにIoT家電を操作」
Thank you for Listening!