Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
高精細3次元計測のためのデータ駆動型「深層照度差ステレオ」入門
Search
hsanto
April 17, 2023
Education
0
2.6k
高精細3次元計測のためのデータ駆動型「深層照度差ステレオ」入門
第232回CVIM研究会チュートリアル(2023年1月)
図などは各論文から引用したものです.
hsanto
April 17, 2023
Tweet
Share
Other Decks in Education
See All in Education
アプリ開発を目指した授業づくりについて
asial_corp
0
420
week2@tcue2024
nonxxxizm
0
810
View Manipulation and Reduction - Lecture 9 - Information Visualisation (4019538FNR)
signer
PRO
0
1.4k
2023年度桜井政成ゼミ資料_論文の探し方・読み方
masanari
6
2.2k
パフォーマンス・チューニング入門
oracle4engineer
PRO
2
620
LightSail2324
cbtlibrary
0
130
情報Iの「縦糸」と「横糸」を意識したプログラム教育の実践
asial_edu
0
200
5 занятие. Разбор метода "8 кубиков"бизнес-модели #ideaNN 16.02.2024.
karlov
0
180
AI教育の未来『おもしろい』を作れる人材の育て方 #東京AI祭
o_ob
1
360
第33回 JAWS-UG札幌 クラウド女子会コラボ 勉強会
nagisa53
2
360
Animaatiot opetuksessa
matleenalaakso
0
3.1k
LinkedIn
matleenalaakso
0
1k
Featured
See All Featured
How to Ace a Technical Interview
jacobian
272
22k
Bash Introduction
62gerente
604
210k
Agile that works and the tools we love
rasmusluckow
325
20k
The Pragmatic Product Professional
lauravandoore
25
5.8k
Building a Scalable Design System with Sketch
lauravandoore
456
32k
Design by the Numbers
sachag
274
18k
jQuery: Nuts, Bolts and Bling
dougneiner
59
7.1k
Raft: Consensus for Rubyists
vanstee
132
6.3k
How to train your dragon (web standard)
notwaldorf
73
5.2k
4 Signs Your Business is Dying
shpigford
175
21k
Six Lessons from altMBA
skipperchong
21
3k
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
221
21k
Transcript
⾼精細3次元計測のための データ駆動型「深層照度差ステレオ」⼊⾨ 第232回CVIM研究会 (2023年1⽉) ⼤阪⼤学 ⼭藤 浩明 1
⾼精細3次元計測のための データ駆動型「深層照度差ステレオ」⼊⾨ 1. 背景 2. 照度差ステレオ法 ‐ 照度差ステレオ法とは ‐ 古典的な照度差ステレオ法
‐ 撮影環境 3. 深層照度差ステレオ法 ‐ 回帰問題としての照度差ステレオ法 ‐ データ表現とネットワーク構造 ‐ 学習データ ‐ 評価 4. 発展的な研究とまとめ 2
1. 背景 3
画像からの3次元復元 • バーチャルリアリティ (VR),メタバース・デジタルツイン • デジタルアーカイブ化 4 [Twitter(@iwamah1)より引⽤] バーチャルオープンキャンパス [⼤阪⼤学
情報科学研究科]
デジタルアーカイブ化 5 ⽴体複製画 [デトロイト美術館展 by RICOH] デジタルアーカイブ 観測画像 復元結果を⽤いた レンダリング
2. 照度差ステレオ法 6
幾何 (Geometry‐based) 3次元復元 測光 (Photometry‐based) 姿勢 𝑹|𝒕 7
幾何 (Geometry‐based) 3次元復元 測光 (Photometry‐based) 姿勢 𝑹|𝒕 ステレオカメラ 視点1 視点2
8 対応点
幾何 (Geometry‐based) 3次元復元 測光 (Photometry‐based) 姿勢 𝑹|𝒕 ステレオカメラ 視点1 視点2
𝑓 𝑧 𝑑 𝑏 焦点距離: 𝑓 ベースライン: 𝑏 視差(disparity): 𝑑 深度 𝑧 𝑏 9 (三⾓測量)
幾何 (Geometry‐based) 3次元復元 測光 (Photometry‐based) 姿勢 𝑹|𝒕 ステレオカメラ フォトグラメトリ (Structure‐from‐Motion
+ 多眼ステレオ) 𝑖 カメラ ✅ ⼤域的な形状推定 ❌疎な形状推定 (対応点探索がボトルネック) 10 (三⾓測量) 視点1 視点2 𝑓 𝑧 𝑑 𝑏 焦点距離: 𝑓 ベースライン: 𝑏 視差(disparity): 𝑑 深度 𝑧 𝑏
幾何 (Geometry‐based) 3次元復元 測光 (Photometry‐based) 𝑹|𝒕 • ⼤域的な形状推定が可能 • 対応点探索がボトルネック
照度差ステレオ法 光源⽅向 観測 表⾯の傾き (法線⽅向) 推定 11
幾何 (Geometry‐based) 3次元復元 測光 (Photometry‐based) 𝑹|𝒕 • ⼤域的な形状推定が可能 • 対応点探索がボトルネック
✅ 密な形状(法線⽅向)推定 ❌ 局所的な形状しか推定できない 12 照度差ステレオ法 光源⽅向 観測 表⾯の傾き (法線⽅向) 推定
幾何 (Geometry‐based) 3次元復元 測光 (Photometry‐based) 𝑹|𝒕 ✅ ⼤域的な形状推定が可能 ❌疎な形状推定 (対応点探索がボトルネック)
✅ 密な形状(法線⽅向)推定 ❌ 局所的な形状しか推定できない 13
幾何 (Geometry‐based) 3次元復元 測光 (Photometry‐based) 𝑹|𝒕 ✅ ⼤域的な形状推定が可能 ❌疎な形状推定 (対応点探索がボトルネック)
✅ 密な形状(法線⽅向)推定 ❌ 局所的な形状しか推定できない 14
照度差ステレオ法の基本原理 ~画像⽣成モデル~ 材質 3次元形状 照明環境 画像 15
照度差ステレオ法の基本原理 ~物理ベースビジョン~ 材質 3次元形状 照明環境 画像 16
照度差ステレオ法の基本原理 材質 3次元形状 照明環境 画像 17
照度差ステレオ法の基本原理 材質 3次元形状 照明環境 画像 18 ? ?
古典的な照度差ステレオ法における仮定 材質 3次元形状 画像 19 ? 照明環境 複数の,⽅向が既知の 無限遠光源(並⾏光源) ⼊射光⽅向
𝒍
古典的な照度差ステレオ法における仮定 3次元形状 画像 20 照明環境 複数の,⽅向が既知の 無限遠光源(並⾏光源) ⼊射光⽅向 𝒔 材質
ランバート拡散反射モデル (等⽅拡散反射)
古典的な照度差ステレオ法 3次元形状 照明環境 画像 21 無限遠光源(並⾏光源) ランバート拡散反射
古典的な照度差ステレオ法 ⼊射光⽅向 𝒍 𝑙 𝑙 𝑙 観測⽅向 法線 𝒏 𝑛
𝑛 𝑛 拡散反射率 𝜌 ランバート拡散反射モデル︓ 輝度値 𝑚 𝜌 𝑙 𝑙 𝑙 𝑛 𝑛 𝑛 𝜌𝒍 𝒏 輝度値 𝑚 𝜃 ランバートの余弦則 𝒍 1 𝒏 1
古典的な照度差ステレオ法 観測⽅向 法線 𝒏 𝑛 𝑛 𝑛 拡散反射率 𝜌 ランバート拡散反射モデル︓
輝度値 𝑚 𝜌 𝑙 𝑙 𝑙 𝑛 𝑛 𝑛 𝜌𝒍 𝒏 輝度値 𝑚 複数の光源を考えてみる︓ 𝑚 𝜌𝒍 𝒏 𝑚 𝜌𝒍 𝒏 𝑚 𝜌𝒍 𝒏 ↓ 𝒎 𝑚 𝑚 𝑚 𝒍 𝒍 𝒍 𝜌𝒏 𝑳𝜌𝒏 ⼊射光⽅向 𝒍 𝒍 𝒍 𝑳の逆⾏列を計算すると 𝜌𝒏 𝒏 𝑳 𝒎 𝒏 𝒏 𝒏 𝜌 𝒏 (光源数 > 3のときは擬似逆⾏列を⽤いる) ∵ 𝒏 1 𝒏 1
古典的な照度差ステレオ法 24 https://github.com/yasumat/RobustPhotometricStereo 法線マップ ⼊⼒画像
照度差ステレオの撮影 25 (a) カメラ LED (b‐1) (b‐2) カメラ LED (c)
カメラ LED 回転台 (a) Santo+, ECCV 2020 (b) Li+, TIP 2020 (c) Mecca+ , BMVC 2021
照度差ステレオの撮影 26 [Shi+, TPAMI 2019] [Santo+, ECCV 2020]
古典的な照度差ステレオ法の限界 • ランバート拡散反射モデル 素焼きの陶器 27 • ⾮ランバートな反射モデル ⾦属,陶磁器,プラスチック etc.
古典的な照度差ステレオ法の限界 • ランバート拡散反射モデル 画像⽣成モデル︓ 𝑚 𝜌𝒍 𝒏 28 • ⾮ランバートな反射モデル
画像⽣成モデル︓ 𝑚 𝑏 𝒍, 𝒏, 𝒗 𝒍 𝒏 ⼊射光⽅向 𝒍 観測⽅向 𝒗 法線 𝒏 拡散反射率 𝜌 ⼊射光⽅向 𝒍 観測⽅向 𝒗 法線 𝒏 双⽅向反射率分布関数 (Bidirectional Reflectance Distribution Function, BRDF)
⾮ランバートな照度差ステレオ法 ⽅針 1. ロバスト推定 ‐ 拡散反射成分(ランバート反射)が⽀配的 ‐ 鏡⾯反射など⾮ランバート反射が外れ値的に存在 2. 柔軟な反射モデル
(BRDF) ‐ Phongモデル,Cook‐Torranceモデル etc. 29 [2012] • 実世界の幅広い反射を扱うには • 照度差ステレオ法として解けるのか (𝑚 𝑏 𝒍, 𝒏, 𝒗 𝒍 𝒏)
3. 深層照度差ステレオ法 30
回帰問題としての照度差ステレオ法 画像⽣成モデル︓ 𝑚 𝑏 𝒍 , 𝒏, 𝒗 𝒍 𝒏
𝑚 𝑏 𝒍 , 𝒏, 𝒗 𝒍 𝒏 ⋮ 𝑚 𝑏 𝒍 , 𝒏, 𝒗 𝒍 𝒏 回帰問題︓ 𝒏 F 𝑚 , 𝑚 , ⋯ , 𝑚 , 𝒍 , 𝒍 , ⋯ , 𝒍 31 ⼊射光⽅向 𝒍 観測⽅向 𝒗 法線 𝒏 観測輝度 𝑚
Deep Photometric Stereo Network (DPSN)* 32 * Santo+, “Deep Photometric
Stereo Network,” ICCVW 2017. 観測画像 光源1 光源2 光源 𝑓 ︙ 観測輝度ベクトル 𝑚 𝑚 𝑚 ・ ・ ・ ・・・ 𝑛 𝑛 𝑛 全結合層 (MLP) 観測輝度ベクトル 𝑚 𝑚 𝑚 𝑚 ・ ・ ・ 𝑚 ・ ・ ・ シンプルな⼿法で データ駆動型アプローチの有⽤性を⽰した
深層照度差ステレオ法の難しさ 観測輝度ベクトルの順番で⼊射光⽅向の情報を表現 ↓ 光源の数や⼊射光⽅向は撮影装置に依存 撮影装置ごとに推定器を学習しなければならない 33 観測画像 光源1 光源2 光源
𝑓 ︙ 観測輝度ベクトル 𝑚 𝑚 𝑚 可変⻑ かつ 順不同の観測データを どのように扱うか
データ表現とネットワーク構造 最新⼿法の理解に不可⽋な4つの論⽂ [観測マップ] Ikehata, “CNN‐PS: CNN‐based Photometric Stereo for General
Non‐Convex Surfaces,” ECCV 2018. [画像特徴マップ] Chen+, “PS‐FCN: A Flexible Learning Framework for Photometric Stereo,” ECCV 2018. [グラフ構造] Zhuokun+, “GPS‐Net: Graph‐based Photometric Stereo Network,” NeurIPS, 2020. [集合と⾃⼰注意機構] Ikehata, “PS‐Transformer: Learning Sparse Photometric Stereo Network using Self‐Attention Mechanism,” BMVC, 2021. 34
データ表現とネットワーク構造 最新⼿法の理解に不可⽋な4つの論⽂ [観測マップ] Ikehata, “CNN‐PS: CNN‐based Photometric Stereo for General
Non‐Convex Surfaces,” ECCV 2018. [画像特徴マップ] Chen+, “PS‐FCN: A Flexible Learning Framework for Photometric Stereo,” ECCV 2018. [グラフ構造] Zhuokun+, “GPS‐Net: Graph‐based Photometric Stereo Network,” NeurIPS, 2020. [集合と⾃⼰注意機構] Ikehata, “PS‐Transformer: Learning Sparse Photometric Stereo Network using Self‐Attention Mechanism,” BMVC, 2021. 35
Ikehata, “CNN‐PS: CNN‐based Photometric Stereo for General Non‐Convex Surfaces,” ECCV
2018 36 𝑢 𝑣 観測マップ (observation map) ⼊射光⽅向 𝒍 𝑥 , 𝑦 , 𝑧 𝑢 int 𝑤 𝑥 1 2 𝑣 int 𝑤 𝑦 1 2 𝑤
Ikehata, “CNN‐PS: CNN‐based Photometric Stereo for General Non‐Convex Surfaces,” ECCV
2018 37 𝑢 𝑣 観測マップ (observation map) ⼊射光⽅向 𝒍 𝑥 , 𝑦 , 𝑧 𝑤
Ikehata, “CNN‐PS: CNN‐based Photometric Stereo for General Non‐Convex Surfaces,” ECCV
2018 38 𝑢 𝑣 観測マップ (observation map) ⼊射光⽅向 𝒍 𝑥 , 𝑦 , 𝑧 𝑢 int 𝑤 𝑥 1 2 𝑣 int 𝑤 𝑦 1 2 𝑤
Ikehata, “CNN‐PS: CNN‐based Photometric Stereo for General Non‐Convex Surfaces,” ECCV
2018 39 ネットワーク構造 ✅ ⼊射光⽅向を離散化 → 固定⻑のマップで表現 ❌ 観測数が少ない場合に疎なマップとなって精度低下 𝑢 𝑣 観測マップ (observation map) ⼊射光⽅向 𝒍 𝑥 , 𝑦 , 𝑧 𝑢 int 𝑤 𝑥 1 2 𝑣 int 𝑤 𝑦 1 2 𝑤
疎な観測マップに特化した⼿法 (SPLINE‐NET*) 40 * Zheng+, “SPLINE‐Net: Sparse Photometric Stereo Through
Lighting Interpolation and Normal Estimation Networks,” ICCV 2019.
データ表現とネットワーク構造 最新⼿法の理解に不可⽋な4つの論⽂ [観測マップ] Ikehata, “CNN‐PS: CNN‐based Photometric Stereo for General
Non‐Convex Surfaces,” ECCV 2018. [画像特徴マップ] Chen+, “PS‐FCN: A Flexible Learning Framework for Photometric Stereo,” ECCV 2018. [グラフ構造] Zhuokun+, “GPS‐Net: Graph‐based Photometric Stereo Network,” NeurIPS, 2020. [集合と⾃⼰注意機構] Ikehata, “PS‐Transformer: Learning Sparse Photometric Stereo Network using Self‐Attention Mechanism,” BMVC, 2021. 41
Chen+, “PS‐FCN: A Flexible Learning Framework for Photometric Stereo,” ECCV
2018 42 観測画像 光源1 光源2 光源 𝑓 ︙ , ⼊射光⽅向 , , ︙ ∈ ℝ ネットワーク構造 ✅ 光源ごとの観測から特徴量を抽出 ✅ Max‐poolingによって可変⻑の⼊⼒を統合 ❌ 画像空間での特徴抽出→過剰な平滑化
データ表現とネットワーク構造 最新⼿法の理解に不可⽋な4つの論⽂ [観測マップ] Ikehata, “CNN‐PS: CNN‐based Photometric Stereo for General
Non‐Convex Surfaces,” ECCV 2018. [画像特徴マップ] Chen+, “PS‐FCN: A Flexible Learning Framework for Photometric Stereo,” ECCV 2018. [グラフ構造] Zhuokun+, “GPS‐Net: Graph‐based Photometric Stereo Network,” NeurIPS, 2020. [集合と⾃⼰注意機構] Ikehata, “PS‐Transformer: Learning Sparse Photometric Stereo Network using Self‐Attention Mechanism,” BMVC, 2021. 43
Zhuokun+, “GPS‐Net: Graph‐based Photometric Stereo Network,” NeurIPS, 2020 44 グラフ
⼊射光⽅向 𝒍 𝑥 , 𝑦 , 𝑧 ノード特徴量 𝑚 𝑥 , 𝑦 , 𝑧 観測輝度: 𝑚 ⼊射光⽅向 𝒍 𝑥 , 𝑦 , 𝑧 観測輝度: 𝑚 ✅ GCNによるピクセル単位(per‐pixel)の特徴量抽出 + 画像空間での回帰 ネットワーク構造
データ表現とネットワーク構造 最新⼿法の理解に不可⽋な4つの論⽂ [観測マップ] Ikehata, “CNN‐PS: CNN‐based Photometric Stereo for General
Non‐Convex Surfaces,” ECCV 2018. [画像特徴マップ] Chen+, “PS‐FCN: A Flexible Learning Framework for Photometric Stereo,” ECCV 2018. [グラフ構造] Zhuokun+, “GPS‐Net: Graph‐based Photometric Stereo Network,” NeurIPS, 2020. [集合と⾃⼰注意機構] Ikehata, “PS‐Transformer: Learning Sparse Photometric Stereo Network using Self‐Attention Mechanism,” BMVC, 2021. 45
Ikehata, “PS‐Transformer: Learning Sparse Photometric Stereo Network using Self‐Attention Mechanism,”
BMVC, 2021 46 観測画像 光源1 光源2 光源 𝑓 ︙ 観測輝度と ⼊射光⽅向ベクトルの集合 𝑚 𝑚 𝑚 𝒍 𝒍 𝒍 ✅ 位置符号化を⽤いないTransformerによって可変⻑かつ順不同の集合から特徴量抽出 Transformerによる特徴量抽出 𝒙 𝒙 ⋮ 𝒙
Ikehata, “PS‐Transformer: Learning Sparse Photometric Stereo Network using Self‐Attention Mechanism,”
BMVC, 2021 47 ピクセル単位の特徴量抽出 画像ごとに重みを共有したCNNで 特徴量マップを抽出
𝑢 𝑣 観測マップ (observation map) ⼊射光⽅向 𝒍 𝑥 , 𝑦
, 𝑧 𝑤 CNN-PS 観測画像 光源1 光源2 光源 𝑓 ︙ , ⼊射光⽅向 , , ︙ PS-FCN グラフ ⼊射光⽅向 𝒍 𝑥 , 𝑦 , 𝑧 ノード特徴量︓ 𝑚 , 𝑥 , 𝑦 , 𝑧 観測輝度: 𝑚 GPS-NET 光源1 光源2 光源 𝑓 ︙ 集合 𝑚 𝑚 𝑚 𝒍 𝒍 𝒍 PS-Transformer 特徴マップ 𝒙 𝒙 ⋮ 𝒙
学習データ • ⼊⼒︓観測画像 + ⼊射光⽅向 • 真値︓法線マップ 実世界で収集するのは困難 → 合成データを⽣成(レンダリング)しよう
レンダリングエンジン(レンダラー) 49
カメラ 光源
学習⽤合成シーンの⽣成 51 3次元形状 照明環境 画像 材質 (BRDF)
学習⽤合成シーンの⽣成 52 材質 (BRDF) 3次元形状 照明環境 画像 無限遠光源(並⾏光源)
学習⽤合成シーンの⽣成 53 照明環境 画像 無限遠光源(並⾏光源) 3次元形状 [DPSN, PS‐FCN, CNN‐PS] 材質
(BRDF)
合成シーンの⽣成に⽤いる材質 (BRDF) MERL BRDF Database [Matusik+ 2003] • 100種類の実測したBRDFのデータベース 54
Disney Principled BRDF [Burley+, 2012] • 11パラメータで制御するモデル
合成シーンの⽣成に⽤いる材質 (BRDF) MERL BRDF Database [Matusik+ 2003] • 100種類の実測したBRDFのデータベース 55
Disney Principled BRDF [Burley+, 2012] • 11パラメータで制御するモデル ✅ 実測値である ❌ 100種類に限定されている
合成シーンの⽣成に⽤いる材質 (BRDF) MERL BRDF Database [Matusik+ 2003] • 100種類の実測したBRDFのデータベース 56
Disney Principled BRDF [Burley+, 2012] • 11パラメータで制御するモデル ✅ 実測値である ❌ 100種類に限定されている ✅ 無限に⽣成可能 ❌ 実世界の観測とモデリングのギャップ
学習⽤合成シーンの⽣成 57 照明環境 画像 無限遠光源(並⾏光源) 3次元形状 [DPSN, PS‐FCN, CNN‐PS] 材質
(BRDF)
⽣成画像の例 58
評価 DiLiGenTデータセット [Shi+, 2019] • 10物体 • 96光源環境下 • 真値の法線マップ
(レーザセンサ) 59
60
評価 (96光源) 平均 HARVEST COW READING GOBLET BUDDHA POT2 BEAR
POT1 CAT BALL 15.39 30.62 25.6 19.8 18.5 14.92 14.65 8.39 8.89 8.41 4.1 ランバート 10.2 18.4 7.92 15.8 10.9 13.8 9.73 7.05 8.73 7.05 2.49 DPSN 8.39 15.85 7.33 13.33 8.6 7.91 7.25 7.55 7.13 6.16 2.82 PS-FCN 7.21 14.08 7.92 12.12 7.42 8.07 6.38 4.2 5.37 4.38 2.12 CNN-PS 9.63 17.93 7.44 15.5 9.62 10.36 10.89 5.28 8.29 6.49 4.51 SPLINE-NET 7.81 15.14 6.14 13.58 9.0 7.77 7.01 5.07 6.04 5.42 2.92 GPS-NET 7.6 13.53 5.96 11.29 9.12 10.07 7.55 4.61 6.24 5.02 2.58 PS-Transformer 61 平均⾓度誤差(度)
評価 (10光源) 62 平均⾓度誤差(度) 平均 HARVEST COW READING GOBLET BUDDHA
POT2 BEAR POT1 CAT BALL 16.1 31.32 26.48 19.37 19.23 16.02 15.65 9.84 9.59 8.9 4.58 ランバート 10.19 18.82 9.97 14.34 11.21 10.54 10.37 5.7 8.38 8.24 4.35 PS-FCN 13.53 19.36 13.83 16.07 15.74 13.39 15.04 11.89 12.79 9.0 8.21 CNN-PS 10.35 19.05 8.8 16.13 10.43 10.07 11.79 5.99 8.77 7.52 4.96 SPLINE-NET 9.43 16.92 9.34 15 10.79 8.87 8.38 6.34 7.5 6.81 4.33 GPS-NET 7.66 14.41 6.54 11.24 9.28 8.65 6.97 4.88 6.06 5.34 3.27 PS-Transformer
深層照度差ステレオ法 • Santo+, “Deep Photometric Stereo Network (DPSN),” ICCVW 2017.
• [観測マップ] Ikehata, “CNN‐PS: CNN‐based Photometric Stereo for General Non‐Convex Surfaces,” ECCV 2018. ( Zheng+, “SPLINE‐Net: Sparse Photometric Stereo Through Lighting Interpolation and Normal Estimation Networks,” ICCV 2019.) • [画像特徴マップ] Chen+, “PS‐FCN: A Flexible Learning Framework for Photometric Stereo,” ECCV 2018. • [グラフ構造] Zhuokun+, “GPS‐Net: Graph‐based Photometric Stereo Network,” NeurIPS, 2020. • [集合と⾃⼰注意機構] Ikehata, “PS‐Transformer: Learning Sparse Photometric Stereo Network using Self‐Attention Mechanism,” BMVC, 2021. 63
4. 発展的な研究とまとめ 64
照度差ステレオ法 材質 (BRDF) 3次元形状 照明環境 画像 65
古典的な照度差ステレオ法 3次元形状 照明環境 画像 66 無限遠光源(並⾏光源) ランバート拡散反射
深層照度差ステレオ法 3次元形状 照明環境 画像 67 無限遠光源(並⾏光源) MERL BRDFなど
光源条件の緩和 • 近接照度差ステレオ法 68 • 未較正照度差ステレオ法 無限遠光源 近接点光源 ? ?
光源条件の緩和 • 近接照度差ステレオ法 69 • 未較正照度差ステレオ法 無限遠光源 近接点光源 ? ?
⼩規模な装置で撮影可能に
未較正深層照度差ステレオ法* 70 * Chen+, “Self‐calibrating Deep Photometric Stereo Networks,” CVPR
2019.
未較正深層照度差ステレオ法* 71 * Chen+, “Self‐calibrating Deep Photometric Stereo Networks,” CVPR
2019. PS‐FCN ⼊射光推定 ネットワーク
未較正深層照度差ステレオ法* 72 * Chen+, “Self‐calibrating Deep Photometric Stereo Networks,” CVPR
2019. PS‐FCN ⼊射光⽅向
評価 (96光源) w/ SDPS‐Net 平均 HARVEST COW READING GOBLET BUDDHA
POT2 BEAR POT1 CAT BALL 15.39 30.62 25.6 19.8 18.5 14.92 14.65 8.39 8.89 8.41 4.1 ランバート 10.2 18.4 7.92 15.8 10.9 13.8 9.73 7.05 8.73 7.05 2.49 DPSN 8.39 15.85 7.33 13.33 8.6 7.91 7.25 7.55 7.13 6.16 2.82 PS-FCN 7.21 14.08 7.92 12.12 7.42 8.07 6.38 4.2 5.37 4.38 2.12 CNN-PS 9.63 17.93 7.44 15.5 9.62 10.36 10.89 5.28 8.29 6.49 4.51 SPLINE-NET 7.81 15.14 6.14 13.58 9 7.77 7.01 5.07 6.04 5.42 2.92 GPS-NET 7.6 13.53 5.96 11.29 9.12 10.07 7.55 4.61 6.24 5.02 2.58 PS-Transformer 9.51 17.43 8.48 14.9 11.91 8.97 7.5 6.89 8.14 8.06 2.77 SDPS-Net 73 平均⾓度誤差(度) 較正結果を使⽤していない
74 (CVPR 2021)
実世界で活躍する照度差ステレオ法へ • 材質に関する制約の緩和 → 推定精度の改善 • より簡便な⼿法の登場 (光源数の削減,未較正) 75
まとめ • 照度差ステレオ法の基本原理について解説 • 深層照度差ステレオ法の理解に不可⽋な重要ポイントを解説 ‐ データ表現 ‐ ネットワーク構造 ‐
学習データ • 発展的な⼿法として未較正照度差ステレオ法などについて解説 76