Upgrade to Pro — share decks privately, control downloads, hide ads and more …

XR Kaigi 2021 ホロラボでのHoloLens 2アプリ 開発事例紹介 / XR K...

HoloLab
November 15, 2021

XR Kaigi 2021 ホロラボでのHoloLens 2アプリ 開発事例紹介 / XR Kaigi 2021

XR Kaigi 2021 での講演スライドです。

「ホロラボでのHoloLens 2アプリ 開発事例紹介」
https://xrkaigi.com/seminars/15

Youtubeリンク
https://youtu.be/aiBR9KpMD_M

HoloLab

November 15, 2021
Tweet

More Decks by HoloLab

Other Decks in Technology

Transcript

  1. 株式会社ホロラボ 事業内容 HoloLensやWindows MRなどxR技術やセンサー技術に関する ・システム/アプリケーションの企画開発 ・調査研究 ・普及啓発活動 設立 2017/01/18 住所

    東京都品川区西五反田2-25-1 インテックス五反田ビル3F 資本金 96,940,000円 取締役 5名 従業員 45名 Web https://hololab.co.jp/ 会社概要 Copyright© HoloLab Inc. All rights reserved
  2. 自己紹介 – ホロラボ代表取締役 CEO 中村 薫 Copyright© HoloLab Inc. All

    rights reserved ・株式会社ホロラボ 代表取締役 CEO (2017 - ) ・XRコンソーシアム理事 (2020 - ) ・Microsoft Regional Director (2020 - 2022) ・Microsoft MVP for Windows Development(2016 - 2022) ・Microsoft MVP for Kinect for Windows (2014 - 2016) ・Microsoft MVP for Visual Studio ALM(2012 - 2014) 著作 ・HoloLens 2 入門 (2020 日経BP) ・Kinect for Windows SDKプログラミング V2センサー対応版 (2015 秀和システム) など 来歴 ・Windowsアプリおよび組み込み系ソフトウェア開発会社勤務時に Microsoft社の開発した3Dセンサー「Kinect」の魅力に出会い独立。 センサー関連の開発から、執筆、登壇活動などを個人事業として取り組む。 ・技術コミュニティTMCNの立ち上げに参加し、その場での出会いから 2017年、ホロラボの設立に至る。
  3. いま置かれている状況 • AR,MRのアプリをどのように使うか。から • 利用シーンの中でアプリをどのように使い続けるか。へ • そのためにどう開発するか。 Copyright© HoloLab Inc.

    All rights reserved アプリをどのように 使うか 利用シーンの中でアプリを どのように使い続けるか 使い続けるために、どう開発するか
  4. mixpaceによるデータ変換 • mixpace(ミクスペース)により、Revitなどのファイルをアップロードするだけで、 HoloLensやiPadで利用可能 Web ブラウザ Azure ADで管理された ID・パスワードで ログイン

    クラウド 3DCAD/BIMデータ変換 変換済3Dデータ管理 mixpaceアプリ HoloLens 2 iPad 3DCAD/BIMデータ アップロード 変換済3Dモデル ダウンロード Microsoft Azure GLB Copyright© HoloLab Inc. All rights reserved
  5. mixpaceによるデータ変換 Copyright© HoloLab Inc. All rights reserved Autodesk BIM 360

    mixpace Webアプリ mixpace リモートレンダリング ローカルレンダリング
  6. mixpaceによるデータ変換 Copyright© HoloLab Inc. All rights reserved Autodesk BIM 360

    mixpace Webアプリ mixpace リモートレンダリング ローカルレンダリング
  7. mixpace - BIM 360 連携 • 建設業の場合はBIM 360がデータのハブになるため、BIM 360と 連携することで日常業務の延長としてAR/MRの利用が可能になる

    • BIM 360から直接変換することで、変換ファイルの間違いをなくす • Revitファイルを編集なしに、そのままHoloLensまで持ち込む Copyright© HoloLab Inc. All rights reserved 日常業務の中での Revitデータのパブリッシュ 日常業務の延長での AR/MR活用 変換 Autodesk Revit Autodesk BIM 360
  8. データ変換工程の比較 Autodesk Revit ファイル Revitなどの ファイル(rvt)を 手動でアップロード AR/MR 活用 従来

    Autodesk BIM 360 Revitなどの ファイル(rvt)を 手動でダウンロード BIM 360より mixpace対応データを 直接取り込み BIM 360 連携 Autodesk BIM 360 AR/MR 活用 Copyright© HoloLab Inc. All rights reserved
  9. mixpace - BIM 360 連携の特長 • BIM 360で管理されているBIMデータをダウンロードすることなく、 直接mixpaceに取り込みAR/MR活用可能 •

    mixpaceからアクセスできるフォルダはBIM 360上の権限が引き継がれ、 mixpaceで再度BIM 360へのアクセス権限設定は不要 • BIM 360から直接データを取り込み変換した場合は、 mixpaceの変換回数(100回/月)にはカウントされない • Revitファイルで設定されたビューを個別に取り込み可能 • 用途ごとにビューを設定して使い分ける • 複数のファイル、ビューを一括で取り込み可能 • mixpace Remote Renderingオプションとの併用で、 ビル一棟もまるごとBIM 360から直接取り込んでHoloLensで表示可能 Copyright© HoloLab Inc. All rights reserved
  10. mixpace Remote Rendering(mRR) • HoloLens 2単体では難しかった100万~1億ポリゴンクラスの3Dモデルの表示が可能になりました • mixpaceを通すことで、3D CAD/BIMファイルからAzure Remote

    Renderingまでシームレスに連携 mixpace mRRアプリ アップロード レンダリング PC • ハイポリゴン3Dモデルの AR/MR表示 HoloLens 2 データ変換 (ボタン操作) Azure Remote Rendering クラウド Copyright© HoloLab Inc. All rights reserved Microsoft Azure GLB https://prtimes.jp/main/html/rd/p/000000047.000023638.html
  11. HoloLensで取り扱い可能な3Dモデルのポリゴン数 • Azure Remote Renderingを利用することで、より大きなモデルが表示可能 Copyright© HoloLab Inc. All rights

    reserved 2000万ポリゴン未満 2000万ポリゴン以上 HoloLens単体での レンダリング Azure Remote Rendering Standard Azure Remote Rendering Premium 30万ポリゴン前後
  12. HoloLensで取り扱い可能な3Dモデルのポリゴン数 Copyright© HoloLab Inc. All rights reserved 2000万ポリゴン未満 2000万ポリゴン以上 HoloLens単体での

    レンダリング Azure Remote Rendering Standard Azure Remote Rendering Premium 30万ポリゴン前後 建築 構造 + 設備 1000万ポリゴン 土木 橋梁 3000万ポリゴン
  13. mixpace Remote Rendering(mRR) • ローカルレンダリングとリモートレンダリングの比較 • 目的に合わせた使い分け Copyright© HoloLab Inc.

    All rights reserved ローカルレンダリング メリット ・ネットワーク不要でHoloLens単体にて利用可能 ・事前ダウンロードしたモデルのオフラインモードでの利用 デメリット ・表示可能なポリゴン数に制限 リモートレンダリング メリット ・表示可能なポリゴン数が無制限 デメリット ・現場に高速なネットワーク回線が必要 ・表示、閲覧(レンダリング)に対してコストが発生
  14. mixpaceによるBIMデータ活用 Copyright© HoloLab Inc. All rights reserved Autodesk BIM 360

    mixpace Webアプリ mixpace リモートレンダリング ローカルレンダリング
  15. 施工管理業務アプリ「holonica™」 • 仕上げ検査業務において、従来の紙図面を使った仕上げ検査と比較して 約30%の時間を短縮 Copyright© HoloLab Inc. All rights reserved

    検査箇所の 確認 紙図面に 記入 検査箇所に 付箋でしるし 是正箇所の 確認 紙図面に 記入 是正箇所の 付箋を除去 検査業務 是正確認業務 従来の 紙図面 holonica™ 検査箇所の 確認 holonica™ に記録 是正箇所の 確認 holonica™ に記録 Pilot
  16. BIMデータをそのままAR化 • BIM 360 + mixpace + Azure Remote Renderingを活用し、

    Revitデータを加工することなくHoloLens 2まで持ち込む • HoloLens 2のレンダリング性能 • ローカルレンダリング → 約30万ポリゴン • リモートレンダリング → 1億ポリゴン以上 • Revitファイルの加工が不要になるため、従来のHoloLens 2への持ち込み手 順と比較して80%の時間を短縮 • 1棟丸ごとHoloLens 2に持ち込み可能 Copyright© HoloLab Inc. All rights reserved PoC
  17. BIM 360からシームレスなAR活用 • Autodesk BIM 360からデータを取り込むことで、 日常業務の延長にAR活用を置く Copyright© HoloLab Inc.

    All rights reserved Azure Remote Rendering Autodesk Revit ファイル • 手動アップロード リモートレンダリング Azure Remote Rendering リモートレンダリング Autodesk BIM 360 Autodesk Revit Publish 現在 改善2 日常業務 自動変換 PoC Autodesk Revit ファイル • データ調整 • 手動アップロード ローカルレンダリング 従来 改善1
  18. • Revitファイルの加工が不要になるため、従来のHoloLens 2への持ち込み手 順と比較して80%の時間を短縮 BIMデータをそのままAR化 Copyright© HoloLab Inc. All rights

    reserved PoC 現場データの受領と 確認内容のヒアリング Revitデータ処理 MRデータ変換 HoloLensでの データ確認 現場での利用 良い状態まで繰り返す 現場での利用 MRデータ変換 (日常業務中) 従来 現在 改善2 日常業務 現場利用準備 現場利用
  19. mixpace を利用した試行 • 目的 • 大和ハウス工業株式会社では、デジタルコンストラクションの一環として、XR技術を活用した設 計・施工・維持管理業務の効率化、高品質化に取り組んでいます。 • 今回の試行では、設計業務への活用を前提とし、mixpaceを活用した設計情報の確認手法に ついて以下の検証を行いました。

    • 位置合わせの精度確認 • 設計変更内容の比較確認 • リモートレンダリングによる大容量モデルの確認 • mixpaceの期待値 • BIMモデルからMRモデルへの変換の容易さ(BIM360との連携により操作性が向上している) • 位置合わせの正確性、操作性の向上 • マテリアル表現の向上 • 手順 • BIM 360 → mixpace → Azure Remote Rendering Copyright© HoloLab Inc. All rights reserved PoC
  20. ワークフロー Copyright© HoloLab Inc. All rights reserved Azure Remote Rendering

    HoloLens リモートレンダリング Autodesk BIM 360 Autodesk Revit パブリッシュ 変換 変換 iPad ローカルレンダリング PoC Microsoft Teamsで遠隔コミュニケーションを取りながら
  21. 遠隔臨場およびCIMデータの活用 • 2021年4月に開所した「関東DX・i-Construction人材育成センター」に mixpaceおよびmixpace Remote Renderingを提供 • BIM/CIM活用やICT施工普及促進、 データ・デジタル技術の知識習熟等の人材育成 •

    Microsoft Dynamics 365 Remote Assistとの併用で遠隔臨場をデモ • mixpace Remote Renderingで鉄筋入りの橋梁データ表示をデモ Copyright© HoloLab Inc. All rights reserved PoC
  22. コンシューマー向けARクラウドの試行 • 株式会社NTTドコモのARクラウドサービスの開発支援 • VPS (Visual Positioning System)を使ったCPS(Cyber-Physical Space)を繋ぐ プラットフォームサービスの試作開発

    (R&D段階) • クロスプラットフォーム • VPSによる外部位置補正 • docomo Open House 2020 • 試作コンテンツ展示 • docomo Open House 2021 • オーサリングツール発表 • 大規模VPS実装 Copyright© HoloLab Inc. All rights reserved https://prtimes.jp/main/html/rd/p/000000026.000023638.html https://docomo-openhouse.jp/2021/ (要登録) PoC
  23. 公開実証実験 2021年7月 Copyright© HoloLab Inc. All rights reserved 東京MX「建物生かした仮想空間 お台場の商業施設でXR実験」

    https://youtu.be/DCCE_G1vNxs ▪7月版Update 1) VR対応 BLK360による 高精細スキャン 2) Linking ~ IoT連携 - 人感センサー「密」検知 - トイレ利用状況 (スイッチ) - みまもりタグ - 連携ナビ 延べ300名以上の方に 体験頂きました PoC
  24. ホロラボのMRパッケージシリーズ 名称 mixpace (リンク) toMap HOLO- COMMUNICATION (リンク) TechniCapture (リンク)

    手放しマニュアル (リンク) HoloRemote イメージ 概要 ・3Dデータ活用支援 ・デジタルツイン基盤 ・PLATEAU互換 ・3Dコミュニケーション ・技能継承支援 ・手指、視線、音声の記録 ・オフライン動作 ・現場作業支援 ・マニュアルのAR化 ・オフライン動作 ・リアルタイムコミュニケー ション ・映像と音声と空間指示 シナリオ ・シミュレーション ・デザイン&試作 ・販売支援 ・データ重畳 ・3D可視化 ・GIS対応 ・各種シミュレーション ・リッチなコミュニケーション ・リモート支援 (空間伝送) ・ガイド&タスクマネジメント ・トレーニング ・ガイド&タスクマネジメント ・トレーニング ・遠隔支援、遠隔臨場 価格 (税別) 1,164,000円/年間 (SB C&S様より販売) 未定 (開発中、デモ可能) ・システム利用ライセンス ・開発ライセンス 900,000円/ワンタイム ※5台まで 900,000円/ワンタイム ※10台まで 900,000円/年間 Copyright© HoloLab Inc. All rights reserved https://hololab.co.jp/service/
  25. TechniCapture ~ 技術継承 • 作業者の手、指、頭の動きと、視線、音声を空間記録して再生します Copyright© HoloLab Inc. All rights

    reserved ・HoloLens 2着用者の 手・指・頭の動き、 目線を3Dで空間記録 ・記録したモーション、 目線や音声は空間で再生 ・記録する空間の 基準点を設定可能 https://youtu.be/vy3tgmOvnVI
  26. データフローとワークフロー Copyright© HoloLab Inc. All rights reserved TechniCapture で記録 TechniCapture

    PCアプリ で比較 TechniCaptureで 記録したCSVを分析 (お客様内) 計画立案 計画 → 実施 → 比較 での業務改善サイクルを実施 ▪ データフロー ▪ ワークフロー
  27. 手放しマニュアル ~MR手順書 • マニュアルを空間に表示して、MRデバイス着用者の作業支援 Copyright© HoloLab Inc. All rights reserved

    ・HoloLens 2着用者の周辺に マニュアルをMR表示 ・テキスト・画像・動画に対応 ・目線操作により進行 完全フリーハンド ・Excelによるオーサリング ・ユーザーログの出力 https://youtu.be/4rByM20iNLM
  28. データフローとワークフロー Copyright© HoloLab Inc. All rights reserved 手放しマニュアル で業務 ユーザーログ

    で作業分析 計画立案 計画 → 実施 → 分析 での業務改善サイクルを実施 手放しエディターで マニュアル整備 ▪ データフロー ▪ ワークフロー
  29. • HoloLens 2カメラ映像を遠隔地のPCから参照+音声通話 HoloRemote - 遠隔支援システム Copyright© HoloLab Inc. All

    rights reserved ・HoloLens 2とPCの間で 遠隔通信(映像・音声) ・PC側はブラウザ動作 インストール不要 ※要インターネット接続 ・1契約あたり最大5接続まで ・遠隔地映像に PCから書き込み可能
  30. toMap - PLATEAU互換デジタルツインサービス • 株式会社アナザーブレインにより開発され、2021年3月に発表 • 国土交通省が推進する PLATEAU プロジェクトと可能な限り互換性を保つ 3D都市モデルプラットフォームサービス

    • PLATEAUで提供される様々なオープンデータに対応しつつ、 セキュアにGIS/2D/3Dのプライベートデータを一緒に扱うことが出来る Copyright© HoloLab Inc. All rights reserved https://prtimes.jp/main/html/rd/p/000000001.000077007.html
  31. toMapで出来ること Copyright© HoloLab Inc. All rights reserved CG表示 点群CG表示 リアルタイム座標

    https://www.youtube.com/watch?v=QqxU98GHb98 ハザードマップ表示 PLATEAUデータ互換 iPhone LiDARデータ対応
  32. 配信PC 点群 システム構成 Copyright© HoloLab Inc. All rights reserved PoC

    リアルタイム3次元転送側 受信側 Azure Remote Rendering Azure Kinect • Azure Kinect、音声データの同期 • Azure Remote Renderingの同期 アバター転送側 配信PC 関節情報 Azure Kinect
  33. Varjo XR-1の車載環境の構築 • 車内でのXR-1(当時)の利用 Copyright© HoloLab Inc. All rights reserved

    動画提供: トヨタ自動車株式会社 栢野 浩一 様 開発協力: ビジュアライズビジョン株式会社 PoC
  34. ワークフローからのシナリオ作成支援 • データ活用のために、 • どんなデータが必要か • どんな業務に適用するのか • から整理を行う Copyright©

    HoloLab Inc. All rights reserved データの活用 どんなデータが必要か (データ整理) どんな業務に必要か (業務整理)
  35. 3Dデータの作成支援・内製支援 • レーザースキャン撮影(点群) • VPSに転用、CAD/BIM化 • フォトグラメトリ撮影(CGモデル) • CAD/BIM作成 Copyright©

    HoloLab Inc. All rights reserved レーザースキャン撮影(点群) フォトグラメトリ(点群、CGモデル) フォトグラメトリ(点群、CGモデル) BIM
  36. いま置かれている状況 • AR、VR、MRのアプリをどのように使うか。から • 利用シーンの中でアプリをどのように使い続けるか。へ • そのためにどう開発するか。 Copyright© HoloLab Inc.

    All rights reserved アプリをどのように 使うか 利用シーンの中でアプリを どのように使い続けるか 使い続けるために、どう開発するか