AR KOBE のご紹介 / Scene Understanding について

HoloLens Meetup @cluster vol.1 LT登壇資料
AR KOBE のご紹介 / Scene Understanding について
2020/04/22(水) 19:00～ 開催！

Transcript

1. A R K O B E の ご 紹 介 / S c e n e U n d e r s t a n d i n g に つ い て 株 式 会 社 神 戸 デ ジ タ ル ・ ラ ボ / 堀 尾 風 仁 H o l o L e n s ミ ー ト ア ッ プ @ c l u s t e r v o l . 1
2. ・ 堀 尾 風 仁 ( F u t o H o r i o ) ・ 株 式 会 社 神 戸 デ ジ タ ル ・ ラ ボ 新 事 業 創 造 係 M R 班 班 長 ・ コ ミ ュ ニ テ ィ 運 営 A R K O B E A z u r e T e c h L a b . 自 己 紹 介 @Futo_ Horio 仲良くしていただけると嬉しいです♪
3. What’s AR KOBE !? Kobe HoloLens ミートアップ を開催するために立ち上げたコミュニティ 神 戸 6 ヶ 月 に 1 回 程 度 延 べ 7 5 人 程 度 + Space How often Member
4. コミュニティの 雰囲気 K o b e H o l o L e n s M e e t u p ! V a l . 2 集 合 写 真
5. Kobe HoloLens Meetup! これまでの登壇者のみなさん (一部抜粋) 上田欣典さん 山地直彰さん 千代田まどかさん イベントハッシュタグ #AR_KOBE #HoloLensMeetup Microsoft MVP (for Windows Development) / 大阪駆動開発 宮浦恭弘さん 桑野 範久さん 村中 徹さん ご 協 力 い た だ い た み な さ ま 、 あ り が と う ご ざ い ま す ！ 関西の HoloLensの人 日本マイクロソフト Mixed Reality Marketing プロダクトマネージャー 日本マイクロソフト コンシューマー＆デバイスセールス HoloLens グローバルセールス パートナーセールスエグゼクティブ Microsoft 社 Cloud Developer Advocate モノビット・モリカトロン ホールディングス
6. オフライン会場 の 様子 @ 神 戸 デ ジ タ ル ・ ラ ボ
7. 登壇内容 登壇内容 H o l o L e n s 2 / M R 市 場 動 向 A z u r e S p a t i a l A n c h o r s M R T K 開 発 T i p s M R T K × U E 4
8. 参加者属性 67% 20% 10% 3% 技術職 学生 企画職 その他 エンジニアに次いで 若い学生の参加者が多い ⇒ 伸びしろが大きい!?
9. AR KOBE からのお願い https://arkobe.connpass.com/event/160284/ 全 国 各 地 か ら 登 壇 者 / 参 加 者 募 集 中 神 戸 ( 関 西 ) も み な さ ん と 一 緒 に 盛 り 上 げ て い け れ ば 嬉 し い で す ！
10. 残り時間で、、 Scene Understanding をご紹介 (サクッと)
11. Scene Understanding とは HL2で取得した環境センサーデータ ( Spatial mapping ) を抽象化・分類し、 AI推論を使って防水メッシュを作成してくれる新機能 ( ※ Spatial Understanding 除く ) ② 環境メッシュより配置できるエリアを計算 ( AI推論なし ) ③ 環境メッシュより配置できるエリアを計算 ( AI推論あり ) ① Spatial Mapping で取得した環境メッシュ Spatial Mapping Scene Understanding 処理の流れ
12. Scene Understanding とは MRTK内部での処理ではなく、Scene Understanding Runtime を使って処理が行われます https://docs.microsoft.com/en-us/windows/mixed-reality/scene-understanding-sdk
13. Scene Understanding サンプルシーンを試してみた https://github.com/sceneunderstanding-microsoft/unitysample Scene Understanding は、HoloLens 2 のみ対応 ( 2020/04/22 現在 )
14. シーンオブジェクトの分類について ( SceneObjectKind ) 認識したシーンオブジェクトを7つに分類することが可能です。 Spatial Mapping のデータから オブジェクトを切り出し、 「壁」「床」「天井」等のラベル 分類をすることが可能
15. Scene Understanding と Spatial Mapping の違い Spatial mapping データに対する Spatial Mapping API 使用時 Scene understanding SDK 使用時 1. Spatial Mapping データへのアクセス制限 : 限定的 2 . ユーザーの周りのわずかな範囲でキャッシュされた Spatial Mapping データを利用可能 1. Spatial Mapping データへのアクセス制限 : 無制限 2. Query で指定した範囲のSpatial Mapping データを使用可能 ( デフォルト 10m ) 1. アクセス構造とシンプルさ ( structure & simplicity ) 2. 精度 ( accuracy ) と 遅延 ( latency )
16. MRTK v2.4.0 Updateに含まれる!? (調査中) https://github.com/microsoft/MixedRealityToolkit-Unity/pull/7458 4日前に MRTK 2.4.0 milestone からリムーブされている!?
17. 詳細気になる方は .. https://qiita.com/Futo_Horio/items/2759f9ca2b892709ab66 詳細 Qiita にまとめてみました！
18. Thanks ご清聴ありがとうございました！ ご 質 問等お気軽にどうぞ！ https://twitter.com/Futo_Horio