Tokyo HoloLens ミートアップ vol.24 / Tokyo HoloLens Meetup vol24

Tokyo HoloLens ミートアップ vol.24での講演資料です。

Transcript

1. 実運用に向けて HoloLens 2 の限界を超えるための サービス/ソフトウェア 2021/01/18@Tokyo HoloLens ミートアップ vol.24 株式会社ホロラボ 中村 薫
2. 株式会社ホロラボ 事業内容 HoloLensやWindows MRなどxR技術やセンサー技術に関する ・システム/アプリケーションの企画開発 ・調査研究 ・普及啓発活動 設立 2017/01/18 住所 東京都品川区西五反田2-25-1 インテックス五反田ビル3F 資本金 96,940,000円 取締役 5名 従業員 30名 Web https://hololab.co.jp/ 会社概要 Copyright© HoloLab Inc. 2021 All rights reserved 5
3. 株式会社ホロラボ 代表取締役CEO 中村 薫 Copyright© HoloLab Inc. 2021 All rights reserved 6 肩書 ・XRコンソーシアム理事 (2020 - ) ・Microsoft Regional Director (2020 - 2022) ・Microsoft MVP for Windows Development(Apr 2016 - Mar 2021) ・Microsoft MVP for Kinect for Windows (Apr 2014 - Mar 2016) ・Microsoft MVP for Visual Studio ALM (Apr 2012 - Mar 2014) 著作 ・HoloLens 2 入門 (2020 日経BP) ・Kinect for Windows SDKプログラミング V2センサー対応版 (2015 秀和システム) など 来歴 ・Windowsアプリおよび組み込み系ソフトウェア開発会社勤務時に Microsoft社の開発した3Dセンサー「Kinect」の魅力に出会い独立。 センサー関連の開発から、執筆、登壇活動などを個人事業として取り組む。 ・技術コミュニティTMCNの立ち上げに参加し、その場での出会いから 2017年、ホロラボの設立に至る。
4. 2020年、ついにHoloLens 2の実運用事例 トヨタ自動車株式会社 Copyright© HoloLab Inc. 2021 All rights reserved 7 https://news.microsoft.com/ja-jp/2020/10/06/201006-toyota-motor-started-introducing-hololens-2-in-gr-garage-nationwide/ ※ホロラボの開発事例ではありません
5. 実運用に向けてのHoloLens 2の課題 • 位置合わせ、位置ずれ • 空間 • 物体 • レンダリング性能 値段、大きさ、ヘルメットとの相性、温度、バッテリーなど ハードウェア的なところは今日はなかったことに Copyright© HoloLab Inc. 2021 All rights reserved 8
6. いろいろなツールで補強 • 空間位置合わせ • Azure Spatial Anchors • Vuforia Area Target • 空間位置ずれ補正 • World Locking Tool • 物体位置合わせ • Azure Object Anchors • Vuforia Model Target • VisionLib • リモートレンダリング • Azure Remote Rendering • HoloLight ISAR SDK Copyright© HoloLab Inc. 2021 All rights reserved 9
7. 空間認識 Copyright© HoloLab Inc. 2021 All rights reserved 10
8. Azure Spatial Anchors Copyright© HoloLab Inc. 2021 All rights reserved 11
9. 概要 • マルチプラットフォームでの空間共有のための空間認識を行う • 空間の認識はサービスで可能だが、空間候補の絞り込み(粗い再局在化)は GPSやWiFiなどを補助に使用することも検討する • 空間の位置ずれ補正は行わない • 別途World Locking Tools for Unityなどの利用を検討する • https://github.com/microsoft/MixedReality-WorldLockingTools-Unity • データ共有は行わない • 別途Photonなどネットワークでデータ共有する仕組みの利用を検討する Copyright© HoloLab Inc. 2021 All rights reserved 12 https://azure.microsoft.com/ja-jp/services/spatial-anchors/
10. ※ホロラボの開発事例ではありません 利用事例 株式会社インフォマティクス GyroEye（ジャイロアイ） Copyright© HoloLab Inc. 2021 All rights reserved 13 https://www.informatix.co.jp/pr_gyroeye-holo14/
11. 試行事例 株式会社JR東日本情報システム 転てつ機のトレーニングアプリ Copyright© HoloLab Inc. 2021 All rights reserved 14 同じ位置で同じ状況を共有する Azure Spatial Anchors iPad/Android HoloLens 2 試行中
12. 試行事例 Copyright© HoloLab Inc. 2021 All rights reserved 15 試行中
13. その他のツール検討 Copyright© HoloLab Inc. 2021 All rights reserved 16 Vuforia Area Target Immersal (HoloLens 未対応、紹介のみ)
14. 物体認識 Copyright© HoloLab Inc. 2021 All rights reserved 17
15. Azure Object Anchors Private Preview Copyright© HoloLab Inc. 2021 All rights reserved 18
16. 利用事例 • トヨタ自動車株式会社のアプリでも利用 Copyright© HoloLab Inc. 2021 All rights reserved 22 ※ホロラボの開発事例ではありません https://techcommunity.microsoft.com/t5/mixed-reality-blog/azure-object-anchors-is-now-in-private-preview/ba-p/1696157
17. その他のツール検討 Copyright© HoloLab Inc. 2021 All rights reserved 26 Vuforia Model Target VisionLib
18. リモートレンダリング Copyright© HoloLab Inc. 2021 All rights reserved 27
19. Azure Remote Rendering Preview Copyright© HoloLab Inc. 2021 All rights reserved 28
20. 概要 • AzureにCGモデルをアップロードし、Azureのレンダリングサーバーから HoloLens 2やＰＣに配信を行う • サポートされるCGモデルのファイル形式 • FBX,GLTF/GLB • 基本的にはモデルのレンダリングのみだが、パーツの分解やマテリアル、ライ ティング、反射などビジュアル面の機能が多く入っている • 費用は1台のHoloLens 2に対して1つのレンダリングセッションの時間課金 • 2000万ポリゴンを境にＳｔａｎｄａｒｄとＰｒｅｍｉｕｍに分かれる • Ｐｒｅｍｉｕｍでの最大値は規定されていない(Microsoft社のイベントでは10億ポリゴン までは紹介されている) • 1億ポリゴンあたりでPCローカルでも開けなくなってくるので、PCへのレンダリングも価値だったり Copyright© HoloLab Inc. 2021 All rights reserved 29 https://azure.microsoft.com/ja-jp/services/remote-rendering/
21. 試行事例 30 トヨタ自動車株式会社 栢野様よりご提供 試行中
22. 試行事例 約5000万ポリゴン(Premium) 日本リージョン 東南アジアリージョン トヨタ自動車株式会社 栢野様よりご提供 試行中 31
23. 試行事例 • 1億ポリゴン(3GBのFBX) • 複数人でのSharing Copyright© HoloLab Inc. 2021 All rights reserved 32 試行中
24. mixpaceとAzure Remote Rendering Copyright© HoloLab Inc. 2021 All rights reserved https://mixpace.jp/blog/20200501/ 33 GLB RVT ダウンロード (手動) Azure Remote Rendering (Preview) Azure Remote Rendering HoloLens 2アプリ アップロード (手動) アップロード (手動) mixpace 試行中
25. mixpaceとAzure Remote Rendering Copyright© HoloLab Inc. 2021 All rights reserved GLB RVT ダウンロード (手動) Azure Remote Rendering (Preview) Azure Remote Rendering HoloLens 2アプリ アップロード (手動) https://mixpace.jp/blog/20200501/ アップロード (手動) 34 mixpace RVT WebのUIから変換 Azure Remote Rendering (Preview) Azure Remote Rendering HoloLens 2アプリ アップロード (手動) mixpace 試行中
26. ローカルレンダリングとクラウドレンダリング Copyright© HoloLab Inc. 2021 All rights reserved 35 試行中
27. Azure Remote Renderingの価値 • いままでHoloLens 2では扱えなかったサイズのCGモデルを扱える • ＣＡＤモデル • いままでＨｏｌｏLens 2で扱い切れないサイズのＣＧモデルを扱える • Revitモデル • HoloLens 2ローカルでレンダリングするにはフロアごとに切っていた • これが1棟丸ごと入ると、フロアごとに分解する作業がなくなる Copyright© HoloLab Inc. 2021 All rights reserved 36
28. その他のツール検討 Copyright© HoloLab Inc. 2021 All rights reserved 37 HoloLight ISAR
29. まとめ Copyright© HoloLab Inc. 2021 All rights reserved 44
30. まとめ • HoloLens 2の導入事例、実利用事例が増えています • HoloLens ２単体では機能的に厳しいところを補強するサービスがあります • それぞれ特徴があるので、いろいろ試してみましょう Copyright© HoloLab Inc. 2021 All rights reserved 45
31. MR Dev Days Japan • 2020/12/16開催 • ビジネス、技術など多方面にわたるHoloLens 2/Azure Kinectに関する講演 Copyright© HoloLab Inc. 2021 All rights reserved 46 https://www.youtube.com/playlist?list=PLQEKit6tfVVIZaQWKTuNMONjPiIKMuJRH
32. https://hololab.co.jp/#contact