HoloLensでImage-Based Lightingを試してみた話 / Image-Based Lighting demo for HoloLens application

xRLT vol.1 のLT資料

Transcript

1. HoloLens で Image-Based Lighting を 試してみた話 2017/10/13 Soichiro Sugimoto sotan(@sotanmochi)
2. 自己紹介 ニックネーム： sotan 平日の仕事 ： 業務系のWebアプリケーション開発など 興味あること： Mixed Realityコンテンツに関する研究開発 2017/10/13 2
3. HoloLensでImage-Based Lightingを試してみた（デモ動画） 2017/10/13 3 https://www.youtube.com/watch?v=aGi9VFo1JIU
4. デモ動画について要点解説 アプリ実行時の環境に合わせたライティングを実現できた • 周りの景色が映り込んでいる （鏡面反射成分） • 照明によって物体の色が異なって見える （拡散反射成分） 2017/10/13 4
5. 一体何のために？なぜ？ 物語世界のキャラクターと一緒に遊びたい！ ディスプレイの向こう側から現実空間（物理的空間）に来てほしい！ 2017/10/13 5 「現実空間との親和性」や「実在感」が足りない…
6. Mixed Realityコンテンツで実在感を表現するために 高い実在感を持たせるために何が必要か？ 2017/10/13 6 • 現実空間（物理的空間）との相互作用 • 衝突判定 • 移動・ナビゲーション • ライティング • キャラクターを生き生きとさせるアニメーション • 空間音響（立体音響） • 音声による対話 • 触覚フィードバック などが考えられる
7. Mixed Realityコンテンツで実在感を表現するために 高い実在感を持たせるために何が必要か？ 2017/10/13 7 • 現実空間（物理的空間）との相互作用 • 衝突判定 • 移動・ナビゲーション • ライティング • キャラクターを生き生きとさせるアニメーション • 空間音響（立体音響） • 音声による対話 • 触覚フィードバック などが考えられる
8. 物理的空間の光をどうやって作用させるか？ 2017/10/13 8 天球モデルに 全天周画像を投影する IBL用の環境マップを更新 360度カメラを使って 背景画像を取得 User Object https://docs.unity3d.com/jp/560/Manual/ReflectionProbes.html
9. システム構成 2017/10/13 9 RICOH THETA S 無線LAN親機 Raspberry Pi 3 + モバイルバッテリー Microsoft HoloLens HoloLens + THETA S + Raspberry Pi 3 USB接続 Wi-Fi接続 Wi-Fi接続 無線LAN親機 Buffalo WMR-433W-BK
10. アプリケーション側の実装 2017/10/13 10 https://www.assetstore.unity3d.com/jp/#!/content/8880 • 詳しい内容は本資料のAppendixを参考にしてください • サンプルプロジェクト（https://github.com/sotanmochi/IBLHoloDemo） Skyshop + 環境マップをリアルタイムに更新するスクリプト
11. 今後の課題 • ケーブルレス化 • RICOH THETA V と連携して実現したい （Wi-Fiクライアントモード、プラグイン開発） • パフォーマンス向上 • HoloLensでは限界があるかもしれない・・・ • HoloLens + Backpack PC ？ • HDR画像への変換による写実性の向上 • 画像処理系の最新研究を調査中 2017/10/13 11
12. ありがとうございました
13. Appendix
14. Image-Based Lightingするためのツール 2017/10/13 14 Reflection Probe • LDR/HDR画像を利用可能 • 鏡面反射(Specular)のみ • Standard Shader https://www.assetstore.unity3d.com/jp/#!/content/8880 Marmoset Skyshop • LDR/HDR画像を利用可能 • 鏡面反射(Specular)と拡散反射(Diffuse) • SkyshopのIBLシェーダー
15. アプリケーション側の実装詳細 2017/10/13 15 レスポンスからMJPG画像取得 天球モデルの回転を更新 天球モデルに 全天周画像を投影する RenderToCubemap Resources.UnloadUnusedAssets(); （メモリリーク対策） Reflection Probe 更新 (realtime via script) Raspberry Piへリクエスト送信 THETA S Liveストリーミングモードで起動 Raspberry Pi 3 MJPG-Streamerを実行 IPアドレス固定 HoloLens側のメイン処理 天球モデルに全天周画像を投影する Sphere100.fbx 全天周画像用の天球モデル（法線内側向き） https://www.dropbox.com/s/u5b2uejauh38lvq/Sphere100.fbx Theta Shader Pack http://stereoarts.jp/ThetaShaderPack_20150926.zip ※ SkyshopでなくReflection Probeの場合 MJPG画像の取得 UnityでTHETA SのWifiストリーミングをする手法メモ http://noshipu.hateblo.jp/entry/2016/04/21/183439 球面調和関数展開（SH展開）の 係数を更新 参考情報・利用したアセットなど MJPG-Streamerで スナップショット画像を返す
16. Reflection Probeを使う場合のQuality設定 2017/10/13 16 デフォルトのFastest設定だとRealtime Reflection ProbesがOFFになっているのでONに変更