Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Diminished Reality 入門 / Introduction to Diminis...

sotanmochi
August 18, 2019

Diminished Reality 入門 / Introduction to Diminished Reality

xR Tech Tokyo #17 の登壇資料

sotanmochi

August 18, 2019
Tweet

More Decks by sotanmochi

Other Decks in Technology

Transcript

  1. 目次 1. Diminished Realityとは 2. DRの先行研究の紹介 3. DRの実用化に向けて(研究開発中の技術デモなど) 4. Traditional

    method vs Learning based method(※時間があれば) 5. まとめ 6 2019/08/18 Diminished Reality 入門
  2. Diminished Realityとは Diminished Reality:隠消現実感(いんしょうげんじつかん) 「視覚的に不要な物体を隠蔽・消去、もしくは障害となる物体を透過させる技術」 8 (b) AR(拡張現実) (a) 現実

    (c) DR(隠消現実感) 説明文引用元: 隠消現実感の技術的枠組と諸問題(2011年) 図引用元: A survey of diminished reality: Techniques for visually concealing, eliminating, and seeing through real objects (2017) 2019/08/18 Diminished Reality 入門
  3. Diminished Realityとは Diminished Reality:隠消現実感(いんしょうげんじつかん) 「視覚的に不要な物体を隠蔽・消去、もしくは障害となる物体を透過させる技術」 16 (b) AR(拡張現実) (a) 現実

    (c) DR(隠消現実感) 説明文引用元: 隠消現実感の技術的枠組と諸問題(2011年) 図引用元: A survey of diminished reality: Techniques for visually concealing, eliminating, and seeing through real objects (2017) 2019/08/18 Diminished Reality 入門
  4. Diminished Realityを実現する手法の分類 事前観測型DR:Pre-Observation Based DR (POB-DR) • あらかじめ背景を撮影する 実時間観測型DR:Real-time Observation

    Based DR (ROB-DR) • 複数カメラを使って背景を撮影する 画像修復型DR:Image Inpainting Based DR (IB-DR) • 画像修復(インペインティング)によってもっともらしい背景を生成する 17 2019/08/18 Diminished Reality 入門
  5. Diminished Realityを実現する手法の分類 事前観測型DR:Pre-Observation Based DR (POB-DR) • 本物の背景を見せられる • 観測できない背景は不可・撮影に手間

    • 場所が決まっている 実時間観測型DR:Real-time Observation Based DR (ROB-DR) • 本物の背景を見せられる(移動物体も可) • 観測できない背景は不可・カメラ間のセッティングが必要 • 場所がある程度限定される 画像修復型DR:Image Inpainting Based DR (IB-DR) • 本物の背景ではない • 前準備などいらない(ただし、画像修復の限界がある) • どこでも使える 18 2019/08/18 Diminished Reality 入門
  6. 事前観測型DR(POB-DR)の先行研究 Towards Mobile Diminished Reality (ISMAR 2018) 20 2019/08/18 Diminished

    Reality 入門 図引用元: Towards Mobile Diminished Reality (ISMAR 2018)
  7. 実時間観測型DR(ROB-DR)の先行研究 Real-Time Diminished Reality for Dynamic Scenes (IWDR 2015) 21

    https://www.youtube.com/watch?v=uPm6AxVNSJQ https://www.youtube.com/watch?v=6_wSJ6UWlww 2019/08/18 Diminished Reality 入門
  8. 実時間観測型DR(ROB-DR)の先行研究 Real-Time Diminished Reality for Dynamic Scenes (IWDR 2015) 22

    https://www.youtube.com/watch?v=uPm6AxVNSJQ 2019/08/18 Diminished Reality 入門 図引用元: Real-Time Diminished Reality for Dynamic Scenes (IWDR 2015)
  9. 画像修復型DR(IB-DR)の先行研究 PixMix: A real-time approach to high-quality Diminished Reality (ISMAR

    2012) 24 2019/08/18 Diminished Reality 入門 https://www.youtube.com/watch?v=D1hbrx6R9pA
  10. 参考文献 Towards Mobile Diminished Reality https://www.researchgate.net/publication/327069800_Towards_Mobile_Diminished_Reality Real-Time Diminished Reality for

    Dynamic Scenes http://www.rm.is.ritsumei.ac.jp/IWDR2015/pdf/IWDR2015_Siim.pdf Diminished Reality Considering Background Structures http://norihi-k.com/research.html http://yokoya.naist.jp/paper/datas/1316/ismar2013_dr_kawai.pdf PixMix: A real-time approach to high-quality Diminished Reality https://ieeexplore.ieee.org/document/6402551 https://www.qualcomm.com/media/documents/files/presentation-by-jan-herling.pdf 26 2019/08/18 Diminished Reality 入門
  11. Diminished Realityを実現する手法の分類 事前観測型DR:Pre-Observation Based DR (POB-DR) • 本物の背景を見せられる • 観測できない背景は不可・撮影に手間

    • 場所が決まっている 実時間観測型DR:Real-time Observation Based DR (ROB-DR) • 本物の背景を見せられる(移動物体も可) • 観測できない背景は不可・カメラ間のセッティングが必要 • 場所がある程度限定される 画像修復型DR:Image Inpainting Based DR (IB-DR) • 本物の背景ではない • 前準備などいらない(ただし、画像修復の限界がある) • どこでも使える 31 2019/08/18 Diminished Reality 入門
  12. 研究開発中の技術デモ ハードウェア構成  ・RGB-Depthカメラ(Realsense D435/D435i)  ・PC(GPU:GTX970/1070Ti) ミドルウェア  ・Nuitrack - 3D Body

    (Skeletal) Tracking Middleware 開発・動作環境  ・Unity 2018.4.6f1(2019/08/18時点)  ・Windows 10 35 2019/08/18 Diminished Reality 入門
  13. 実装したアルゴリズムの概要 1. Image Inpainting (Traditional method) 2. Lanczos法によるアップサンプリング 36 カラー画像(640x360)

    Inpainting出力(320x180) マスク画像(640x360) アップサンプリング出力(640x360) 1 2 ※ 背景部分は入力画像(640x360)を使用、   Inpainting領域のみアップサンプリング ※ マスク領域を拡大する処理あり 2019/08/18 Diminished Reality 入門
  14. Diminished Realityを実現する手法の分類 事前観測型DR:Pre-Observation Based DR (POB-DR) • 本物の背景を見せられる • 観測できない背景は不可・撮影に手間

    • 場所が決まっている 実時間観測型DR:Real-time Observation Based DR (ROB-DR) • 本物の背景を見せられる(移動物体も可) • 観測できない背景は不可・カメラ間のセッティングが必要 • 場所がある程度限定される 画像修復型DR:Image Inpainting Based DR (IB-DR) • 本物の背景ではない • 前準備などいらない(ただし、画像修復の限界がある) • どこでも使える 40 2019/08/18 Diminished Reality 入門
  15. 深層学習に基づく画像修復・画像補完 Globally and Locally Consistent Image Completion (SIGGRAPH 2017) 42

    2019/08/18 Diminished Reality 入門 Globally and Locally Consistent Image Completion http://iizuka.cs.tsukuba.ac.jp/projects/completion/ja/ http://iizuka.cs.tsukuba.ac.jp/projects/completion/data/completion_sig2017.pdf https://www.youtube.com/watch?v=5Ua4NUKowPU https://www.youtube.com/watch?v=L1pSuqudzO4
  16. 深層学習に基づく画像修復・画像補完 Globally and Locally Consistent Image Completion (SIGGRAPH 2017) TITAN

    Xを使っても100ms以上の処理時間 43 Globally and Locally Consistent Image Completion http://iizuka.cs.tsukuba.ac.jp/projects/completion/data/completion_sig2017.pdf 2019/08/18 Diminished Reality 入門
  17. 45 Traditional method vs Learning based method 伝統的な手法 vs 深層学習に基づく手法

    ≒ 処理速度 vs 精度                         (≒ ラスタライズ vs レイトレ?) 深層学習に基づく画像修復を用いたDR ・高速に推論できるCNNの開発 or DRの実装方法に工夫が必要  (既存のCNNを実装してパフォーマンス検証してみる?) 伝統的な画像修復を用いたDR ・深層学習に基づく手法よりは高速と考えられるが高速化は必要 ・少しでも精度を高めるようなアルゴリズムの改良が必要 2019/08/18 Diminished Reality 入門
  18. Diminished Reality入門のまとめ Diminished Reality (DR) とは • 日本語では「隠消現実感(いんしょうげんじつかん)」 • 視覚的に不要な物体を隠蔽・消去、もしくは障害となる物体を透過させる

    DRを実現する手法の分類 • 事前観測型DR:Pre-Observation Based DR (POB-DR) • 実時間観測型DR:Real-time Observation Based DR (ROB-DR) • 画像修復型DR:Image Inpainting Based DR (IB-DR) DRの実用化に向けて • さらなる高速化が必要(画像修復型DR) 47 2019/08/18 Diminished Reality 入門