XR Kaigi 2021 ホロラボでのHoloLens 2アプリ開発事例紹介 / XR Kaigi 2021

ホロラボでのHoloLens 2アプリ開発事例紹介 2021年11月@XR Kaigi 2021 株式会社ホロラボ中村薫

株式会社ホロラボ事業内容 HoloLensやWindows MRなどxR技術やセンサー技術に関する・システム/アプリケーションの企画開発・調査研究・普及啓発活動設立 2017/01/18 住所
東京都品川区西五反田2-25-1 インテックス五反田ビル3F 資本金 96,940,000円取締役 5名従業員 45名 Web https://hololab.co.jp/ 会社概要 Copyright© HoloLab Inc. All rights reserved

自己紹介 – ホロラボ代表取締役 CEO 中村薫 Copyright© HoloLab Inc. All
rights reserved ・株式会社ホロラボ代表取締役 CEO (2017 - ) ・XRコンソーシアム理事 (2020 - ) ・Microsoft Regional Director (2020 - 2022) ・Microsoft MVP for Windows Development(2016 - 2022) ・Microsoft MVP for Kinect for Windows (2014 - 2016) ・Microsoft MVP for Visual Studio ALM(2012 - 2014) 著作・HoloLens 2 入門 (2020 日経BP) ・Kinect for Windows SDKプログラミング V2センサー対応版 (2015 秀和システム) など来歴・Windowsアプリおよび組み込み系ソフトウェア開発会社勤務時に Microsoft社の開発した3Dセンサー「Kinect」の魅力に出会い独立。センサー関連の開発から、執筆、登壇活動などを個人事業として取り組む。・技術コミュニティTMCNの立ち上げに参加し、その場での出会いから 2017年、ホロラボの設立に至る。

Facebook改めMetaと、Microsoftのメタバース • ２つのメタバース Copyright© HoloLab Inc. All rights reserved https://www.facebook.com/watch/live/?ref=watch_permalink&v=561535698440683
https://myignite.microsoft.com/sessions/0b9fdcde-480b-4b5a-a189-81ebdfa11f75?source=sessions

mixpaceによるデータ変換 • mixpace(ミクスペース)により、Revitなどのファイルをアップロードするだけで、 HoloLensやiPadで利用可能 Web ブラウザ Azure ADで管理された ID・パスワードでログイン
クラウド 3DCAD/BIMデータ変換変換済3Dデータ管理 mixpaceアプリ HoloLens 2 iPad 3DCAD/BIMデータアップロード変換済3Dモデルダウンロード Microsoft Azure GLB Copyright© HoloLab Inc. All rights reserved

mixpaceによるデータ変換 Copyright© HoloLab Inc. All rights reserved Autodesk BIM ３６０
mixpace Webアプリ mixpace リモートレンダリングローカルレンダリング

Autodesk BIM 360連携 • BIM 360のデータを直接mixpaceに取り込むことが可能になりました Copyright© HoloLab Inc. All
rights reserved https://prtimes.jp/main/html/rd/p/000000057.000023638.html

mixpace - BIM 360 連携 • 建設業の場合はBIM 360がデータのハブになるため、BIM 360と連携することで日常業務の延長としてAR/MRの利用が可能になる
• BIM 360から直接変換することで、変換ファイルの間違いをなくす • Revitファイルを編集なしに、そのままHoloLensまで持ち込む Copyright© HoloLab Inc. All rights reserved 日常業務の中での Revitデータのパブリッシュ日常業務の延長での AR/MR活用変換 Autodesk Revit Autodesk BIM 360

データ変換工程の比較 Autodesk Revit ファイル Revitなどのファイル(rvt)を手動でアップロード AR/MR 活用従来
Autodesk BIM 360 Revitなどのファイル(rvt)を手動でダウンロード BIM 360より mixpace対応データを直接取り込み BIM 360 連携 Autodesk BIM 360 AR/MR 活用 Copyright© HoloLab Inc. All rights reserved

mixpace - BIM 360 連携の特長 • BIM 360で管理されているBIMデータをダウンロードすることなく、直接mixpaceに取り込みAR/MR活用可能 •
mixpaceからアクセスできるフォルダはBIM 360上の権限が引き継がれ、 mixpaceで再度BIM 360へのアクセス権限設定は不要 • BIM 360から直接データを取り込み変換した場合は、 mixpaceの変換回数(100回/月)にはカウントされない • Revitファイルで設定されたビューを個別に取り込み可能 • 用途ごとにビューを設定して使い分ける • 複数のファイル、ビューを一括で取り込み可能 • mixpace Remote Renderingオプションとの併用で、ビル一棟もまるごとBIM 360から直接取り込んでHoloLensで表示可能 Copyright© HoloLab Inc. All rights reserved

mixpace Remote Rendering(mRR) • HoloLens 2単体では難しかった100万～1億ポリゴンクラスの3Dモデルの表示が可能になりました • mixpaceを通すことで、3D CAD/BIMファイルからAzure Remote
Renderingまでシームレスに連携 mixpace mRRアプリアップロードレンダリング PC • ハイポリゴン3Dモデルの AR/MR表示 HoloLens 2 データ変換 (ボタン操作) Azure Remote Rendering クラウド Copyright© HoloLab Inc. All rights reserved Microsoft Azure GLB https://prtimes.jp/main/html/rd/p/000000047.000023638.html

HoloLensで取り扱い可能な3Dモデルのポリゴン数 • HoloLens単体では30万ポリゴンほどが快適に利用できるポリゴン数 Copyright© HoloLab Inc. All rights reserved 30万ポリゴン前後
HoloLens単体でのレンダリング建築構造 + 設備 1000万ポリゴン土木橋梁 3000万ポリゴン

HoloLensで取り扱い可能な3Dモデルのポリゴン数 • Azure Remote Renderingを利用することで、より大きなモデルが表示可能 Copyright© HoloLab Inc. All rights
reserved 2000万ポリゴン未満 2000万ポリゴン以上 HoloLens単体でのレンダリング Azure Remote Rendering Standard Azure Remote Rendering Premium 30万ポリゴン前後

HoloLensで取り扱い可能な3Dモデルのポリゴン数 Copyright© HoloLab Inc. All rights reserved 2000万ポリゴン未満 2000万ポリゴン以上 HoloLens単体での
レンダリング Azure Remote Rendering Standard Azure Remote Rendering Premium 30万ポリゴン前後建築構造 + 設備 1000万ポリゴン土木橋梁 3000万ポリゴン

mixpace Remote Rendering(mRR) • ローカルレンダリングとリモートレンダリングの比較 • 目的に合わせた使い分け Copyright© HoloLab Inc.
All rights reserved ローカルレンダリングメリット・ネットワーク不要でHoloLens単体にて利用可能・事前ダウンロードしたモデルのオフラインモードでの利用デメリット・表示可能なポリゴン数に制限リモートレンダリングメリット・表示可能なポリゴン数が無制限デメリット・現場に高速なネットワーク回線が必要・表示、閲覧(レンダリング)に対してコストが発生

mixpaceによるBIMデータ活用 Copyright© HoloLab Inc. All rights reserved Autodesk BIM ３６０
mixpace Webアプリ mixpace リモートレンダリングローカルレンダリング

• 設計情報確認、検査記録作成といった施工管理業務を効率化 • 仕上げ検査業務における効果を確認 • 従来の紙図面を使った仕上げ検査と比較して約30％の時間を短縮施工管理業務アプリ「holonica™」 Copyright© HoloLab Inc.
All rights reserved https://www.obayashi.co.jp/news/detail/news20210419_2.html Pilot

施工管理業務アプリ「holonica™」 • 仕上げ検査業務において、従来の紙図面を使った仕上げ検査と比較して約30％の時間を短縮 Copyright© HoloLab Inc. All rights reserved
検査箇所の確認紙図面に記入検査箇所に付箋でしるし是正箇所の確認紙図面に記入是正箇所の付箋を除去検査業務是正確認業務従来の紙図面 holonica™ 検査箇所の確認 holonica™ に記録是正箇所の確認 holonica™ に記録 Pilot

BIMデータをそのままAR化 • BIM 360 + mixpace + Azure Remote Renderingを活用し、
Revitデータを加工することなくHoloLens 2まで持ち込む • HoloLens 2のレンダリング性能 • ローカルレンダリング → 約30万ポリゴン • リモートレンダリング → 1億ポリゴン以上 • Revitファイルの加工が不要になるため、従来のHoloLens 2への持ち込み手順と比較して80%の時間を短縮 • 1棟丸ごとHoloLens 2に持ち込み可能 Copyright© HoloLab Inc. All rights reserved PoC

BIM 360からシームレスなAR活用 • Autodesk BIM 360からデータを取り込むことで、日常業務の延長にAR活用を置く Copyright© HoloLab Inc.
All rights reserved Azure Remote Rendering Autodesk Revit ファイル • 手動アップロードリモートレンダリング Azure Remote Rendering リモートレンダリング Autodesk BIM 360 Autodesk Revit Publish 現在改善2 日常業務自動変換 PoC Autodesk Revit ファイル • データ調整 • 手動アップロードローカルレンダリング従来改善1

• Revitファイルの加工が不要になるため、従来のHoloLens 2への持ち込み手順と比較して80%の時間を短縮 BIMデータをそのままAR化 Copyright© HoloLab Inc. All rights
reserved PoC 現場データの受領と確認内容のヒアリング Revitデータ処理 MRデータ変換 HoloLensでのデータ確認現場での利用良い状態まで繰り返す現場での利用 MRデータ変換 (日常業務中) 従来現在改善2 日常業務現場利用準備現場利用

mixpace を利用した試行 • 目的 • 大和ハウス工業株式会社では、デジタルコンストラクションの一環として、XR技術を活用した設計・施工・維持管理業務の効率化、高品質化に取り組んでいます。 • 今回の試行では、設計業務への活用を前提とし、mixpaceを活用した設計情報の確認手法について以下の検証を行いました。
• 位置合わせの精度確認 • 設計変更内容の比較確認 • リモートレンダリングによる大容量モデルの確認 • mixpaceの期待値 • BIMモデルからMRモデルへの変換の容易さ（BIM360との連携により操作性が向上している） • 位置合わせの正確性、操作性の向上 • マテリアル表現の向上 • 手順 • BIM 360 → mixpace → Azure Remote Rendering Copyright© HoloLab Inc. All rights reserved PoC

ワークフロー Copyright© HoloLab Inc. All rights reserved Azure Remote Rendering
HoloLens リモートレンダリング Autodesk BIM 360 Autodesk Revit パブリッシュ変換変換 iPad ローカルレンダリング PoC Microsoft Teamsで遠隔コミュニケーションを取りながら

mxipaceの利用試行 • 株式会社竹中工務店全店のHoloLens有識者を中心に、mixpaceの利用シナリオについて試行、情報共有、展開の検討を行っていただいています Copyright© HoloLab Inc. All rights reserved
PoC

遠隔臨場およびCIMデータの活用 • 2021年4月に開所した「関東DX・i-Construction人材育成センター」に mixpaceおよびmixpace Remote Renderingを提供 • BIM/CIM活用やICT施工普及促進、データ・デジタル技術の知識習熟等の人材育成 •
Microsoft Dynamics 365 Remote Assistとの併用で遠隔臨場をデモ • mixpace Remote Renderingで鉄筋入りの橋梁データ表示をデモ Copyright© HoloLab Inc. All rights reserved PoC

遠隔臨場 • mixpaceで表示した埋設物をMicrosoft Dynamics 365 Remote Assist と併用して遠隔臨場をデモ • 移動が難しい状況での遠隔業務に活用
Copyright© HoloLab Inc. All rights reserved PoC

CIMデータの活用 • Navisworksファイルをmixpace経由でAzure Remote Renderingするデモ • 鉄筋入りの橋梁データをHoloLens 2にて表示 • 約3200万ポリゴン、HoloLens
2の表示性能は約30万ポリゴン Copyright© HoloLab Inc. All rights reserved PoC

協力会社と配筋作業の打ち合わせ「CIMモデルをmixpaceでMR用に変換し、タブレット端末の画面を通して現場の鉄筋を見ます。すると実物の鉄筋と、鉄筋のCIMモデルが重なって見えるので、配筋が設計通りでないところは一目でわかります」 Copyright© HoloLab Inc. All rights reserved
https://ken-it.world/success/2021/09/construction-dx-in-jdc-corp.html 「建設ITワールド」の記事より引用

コンシューマー向けARクラウドの試行 • 株式会社NTTドコモのARクラウドサービスの開発支援 • VPS (Visual Positioning System)を使ったCPS(Cyber-Physical Space)を繋ぐプラットフォームサービスの試作開発
(R&D段階) • クロスプラットフォーム • VPSによる外部位置補正 • docomo Open House 2020 • 試作コンテンツ展示 • docomo Open House 2021 • オーサリングツール発表 • 大規模VPS実装 Copyright© HoloLab Inc. All rights reserved https://prtimes.jp/main/html/rd/p/000000026.000023638.html https://docomo-openhouse.jp/2021/ (要登録) PoC

コンシューマー向けARクラウドの試行 • 森ビル株式会社のヴィーナスフォートでARクラウドの実証実験 • 広大なエリアにおいて数cm単位での位置合わせ精度のマーカレスAR体験 • コンテンツは独自開発のオーサリングツールを利用し、多層的なAR空間レイヤーを設定可能で、ヴィーナスフォートを訪れるユーザー属性に応じてパーソナライズされた情報・広告・コンテンツの提供が可能 •
ARにより拡張されたショッピング体験を共有、共体験の実現を目指す Copyright© HoloLab Inc. All rights reserved PoC

公開実証実験 2021年7月 Copyright© HoloLab Inc. All rights reserved 東京MX「建物生かした仮想空間お台場の商業施設でXR実験」
https://youtu.be/DCCE_G1vNxs ▪7月版Update 1) VR対応 BLK360による高精細スキャン 2) Linking ～ IoT連携 - 人感センサー「密」検知 - トイレ利用状況 (スイッチ) - みまもりタグ - 連携ナビ延べ300名以上の方に体験頂きました PoC

ホロラボのMRパッケージシリーズ名称 mixpace (リンク) toMap HOLO- COMMUNICATION (リンク) TechniCapture (リンク)
手放しマニュアル (リンク) HoloRemote イメージ概要・3Dデータ活用支援・デジタルツイン基盤・PLATEAU互換・3Dコミュニケーション・技能継承支援・手指、視線、音声の記録・オフライン動作・現場作業支援・マニュアルのAR化・オフライン動作・リアルタイムコミュニケーション・映像と音声と空間指示シナリオ・シミュレーション・デザイン&試作・販売支援・データ重畳・3D可視化・GIS対応・各種シミュレーション・リッチなコミュニケーション・リモート支援 (空間伝送) ・ガイド&タスクマネジメント・トレーニング・ガイド&タスクマネジメント・トレーニング・遠隔支援、遠隔臨場価格 (税別) 1,164,000円／年間 (SB C&S様より販売) 未定 (開発中、デモ可能) ・システム利用ライセンス・開発ライセンス９００，０００円／ワンタイム ※5台まで 900，000円／ワンタイム ※10台まで 900，000円／年間 Copyright© HoloLab Inc. All rights reserved https://hololab.co.jp/service/

手放しマニュアル～MR手順書 • マニュアルを空間に表示して、MRデバイス着用者の作業支援 Copyright© HoloLab Inc. All rights reserved
・HoloLens 2着用者の周辺にマニュアルをMR表示・テキスト・画像・動画に対応・目線操作により進行完全フリーハンド・Excelによるオーサリング・ユーザーログの出力 https://youtu.be/4rByM20iNLM

toMap - PLATEAU互換デジタルツインサービス • 株式会社アナザーブレインにより開発され、2021年3月に発表 • 国土交通省が推進する PLATEAU プロジェクトと可能な限り互換性を保つ 3D都市モデルプラットフォームサービス
• PLATEAUで提供される様々なオープンデータに対応しつつ、セキュアにGIS/2D/3Dのプライベートデータを一緒に扱うことが出来る Copyright© HoloLab Inc. All rights reserved https://prtimes.jp/main/html/rd/p/000000001.000077007.html

https://hololab.co.jp/#contact

XR Kaigi 2021 ホロラボでのHoloLens 2アプリ 開発事例紹介 / XR K...

XR Kaigi 2021 ホロラボでのHoloLens 2アプリ 開発事例紹介 / XR Kaigi 2021

More Decks by HoloLab

Other Decks in Technology

Featured

Transcript

XR Kaigi 2021 ホロラボでのHoloLens 2アプリ開発事例紹介 / XR K...

XR Kaigi 2021 ホロラボでのHoloLens 2アプリ開発事例紹介 / XR Kaigi 2021