Defocus Map Estimation From a Single Image Based on Two-Parameter Defocus Model / two-parameter-defocus-model

Explanation of "Defocus Map Estimation From a Single Image Based on Two-Parameter Defocus Model".
This paper models a theory for estimationg the amount of defocus.

1. Defocus Map Estimation From a Single Image Based on Two-Parameter Defocus Model 佐藤 駿
2. Depth from Defocus の概要 • レンズによる結像現象を利用し，画像上に見られるぼけの大きさから被写体までの距離を求め る手法 • レンズによるぼけはレンズ口径内の視差により生じる現象であり，ステレオ法の亜種として解釈 することも出来る • よってステレオ法と同様に，距離の二乗に反比例して測距精度が低下するという特性を持つ レンズによるぼけ＝レンズ口径内の視差によるもの ➝画像からこの情報をうまく抽出できれば距離の推定ができる ➝Defocus Map Estimation(DME)よりぼけ量マップを求める
3. Thin lens model of conventional camera 1. O: 光軸中心 2. p,p’,p’’: 物体の位置、仮想焦点、錯乱円 3. u: 物体の距離 4. v: 像の距離 5. f: 焦点距離 6. D: レンズの直径 7. s: レンズと像の距離 Rは次の式で求めることができる ここで F = f/Dであり、絞り値という f, F, sが定数であることから Rはuの単調増加関数であると言える 言い換えると、異なる距離にある物体は異なる半径の錯乱円を持っている ➝ 両者は一意に求まる
4. Defocus画像とPSFの関係 • 円形絞りを持つ従来のカメラでは、回折やレンズ収差の影響で錯乱円は円形の塊となることが多 い • ぼけの広がりを表す関数をPSFという(Point Spread Function) • よって、PSFは2次元ガウス関数g(x;y;σ)によってモデル化される ➝ある画素がその位置を中心としてガウス分布に従って周りに広がっているということ • ここで標準偏差σはdefocus量を表していてR=√2σである • 従ってdefocus画像はノイズが無視できるという仮定の元で潜在的なぼけのない画像とカメラの PSFの畳み込みとみなすことができる
5. Two-Parameter Defocus Model for Edge Regions • エッジは2種類存在する • パターンエッジ ➝ 色合いが変化することによるエッジ . エッジ間で距離が変化しない • 構造的エッジ ➝ 物体が切り替わることによるエッジ . エッジ間で距離が変化する u(x)はステップ関数. u: x➝{0,1} エッジ付近の画素値 (?)の定式化 構造的エッジだった場合左右で ガウス関数が異なる σを持っている ガウス関数を用いたエッジ付近の画素値の定式化 ➝エッジ周辺の画素値から A,Bを求めて、エッジ両側の σを求めたい(エッジの種類の同定 ) 構造的エッジのイメージ
6. Proposed Defocus Map Estimation method 1. エッジを検出する 2. エッジ周りのぼけの予測を行いエッジ両側の σを求める 3. エッジ周りのパターン信頼度を計算する (先程のパターンエッジである確率のようなもの ?) 4. パターン信頼度に基づいて構造 -テクスチャ成分取り出す 5. σと構造-テクスチャ成分を使ってLaplacian Mattingを行い間を補間する(塗りつぶす) 6. ぼけ量マップの全体が完成
7. Defocus Estimation at Edge Positions 1 Aがエッジ間の値の差異、 Bはエッジ両側のうち小さい方の値 r, lは探索枠の大きさ、i(x,y)は(x,y)の画素値 まずは1次元を仮定して立式を行う i_j(x)について(6)の式で計算できる (σ_jは不明) 更にその勾配(一回微分)∇i_j(x)は(7)の式になる カーネルの定義はこの式を用いる (正規分布に似た形?) 式(7)からKは次のように表せる (正規分布のx=0はe^0/σ√(2π)) またσ_j^2を大きめに設定することによって (10)のようにKを近似できる エッジ周りのイメージ
8. Defocus Estimation at Edge Positions 2 式(10)ではσ_l, σ_rのみが未知であり、これは σ_l^2+σ_r^2, σ_l*σ_rの連立一次方程式で表すことができる (10)を単純化してσ_l*σ_rを排除すると(11)の式が立てられる これを行列の形で次のように表す➝ 最小2乗法よりσ_l^2, σ_r^2は次のように求まる ここまでは1次元の場合の式だったので ||∇i(x,y)||を次のように定義し同様の式で 2次元として計算を行う エッジの検出にはCannyエッジ検出器を用いる
9. Defocus Estimation at Edge Positionsのフローチャート 破線部内が先程出てきた提案手法フローチャートの Defocus Estimationの部分に相当する
10. Pattern Confidence Calculation パターン信頼度は次のように簡単に求められる max(a,b)/min(a,b)>1 より P(x,y)∈[0, 1] となりこの式は確率を表すことができる また1-Pは構造的エッジの確率を表す 式の意味としては、まずエッジ部以外はすべてパターンとする 次にエッジ部については σの差異の割合によって確率を与えている Depthの変化によるσの変化は大きいので、構造的エッジであれば σの値が大きく異なり パターンエッジであればほとんど σは変化しない ➝従って通常ならPは0か1のどちらかに極端に近い値を取る 画像(a)のCanny検出器による エッジ検出を行ったものが (b) (b)からここまで説明した手法で 構造的エッジの確率を求めたものが (c) これだけだと弱い構造的エッジ が取れないので改善が必要
11. Improved STD 従来のSTD手法は次の式を用いて行われる この式においてIは入力画像、I_sは先程の構造的成分を表す しかしこの式はスムージング効果が強いため単に適用すると、 強いパターンエッジから弱い構造的エッジを区別することが困難になってしまう そこで先程のパターン信頼度を用いて式を次のように改良して適用する 構造エッジの場合Pが小さく最適化はI_sの大きな勾配を許容し、よって構造的エッジを保存する 逆にエッジがパターンエッジの場合 Pが大きく、最適化では I_sの大きな勾配を許さないため、 パターンエッジを排除することができる その結果、構造的成分 I_sは、パターンエッジを排除しつつ、構造エッジを保持することになる 画像(a)の構造的成分(b)から テクスチャ成分(c)を求めた結果 パターンエッジを排除しつつ構造 的エッジを保持することができてい る
12. Defocus Map Interpolation デフォーカスマップの補間は次の式で表される Laplacian matting問題と考えることができる ここでdは未知、d_0はエッジ位置では(σ_l+σ_r)/2 エッジ周辺でσ_lとσ_rのどちらかをとる 既知なスパース行列である Dは対角行列で成分D_iiはd_0>0のとき1それ以外は0となっている μは疎なスパース行列への忠実度と補間の滑らかさバランスを保つためのパラメーターである LはLaplacian matting行列であり次の式で表される δ_ijはi=jのとき1i≠jのとき0、w_kはウインドウサイズ、 μ_kと∑_kはウインドウw_k内の平均と共分散行列、 I_si, I_sjはそれぞれi,jにおける構造的成分 I_sの画素、εは正則化パラメータ、 U_3は3*3単位行列である Laplacian mattingの性質よりガイドのパターンは常にフィルタ結果に転写される 従ってIをガイド画像として用いると Iに含まれる物体上のパターンが転写されてしまう ➝物体上のパターンが除去されている構造的成分 I_sを用いればそれを防ぎつつフルデフォーカスマップを 得ることができる 上記の式よりフルデフォーカスマップは次の式で表される
13. Experiments ←実験の結果 a~eは他の論文の手法 fが今回の提案手法 テクスチャに敏感な反応を示さず、 きれいに奥行きのあるデフォーカスマップを 作成できていることが確認できる 著者はMATLABで実装したと言及している
14. Application to Depth Estimation 錯乱円の半径Rと先程求めたσにはR = √2σの関係がある Thin lens modelの式より距離u(x, y)は次のように表すことができる fは焦点距離、sはレンズから画像平面までの距離、 Fは絞り値をそれぞれ表す ”これらのパラメータは多くのデジタルカメラで作成されるJPEGファイルに埋め込まれたEXIFデータから得ることができる” (?) Defocus Mapは符号がないため仮想焦点位置が画像平面の手前と奥のどちらにあるかが判断できない すべての仮想焦点が画像平面の片側にあると仮定して進めることも可能だが、ここではいくつかのガイド線を利 用した2値グラフカットアルゴリズム (離散最適化？)を用いてエネルギー関数の最小化を行うことで符号の判別を 行う エネルギー関数E(L)として次の式を用いる Mは符号が既知の画素の集合、 Nは標準的な4連結の近傍領域上で定義される画素のペアの集合 (?)、L_i, L_jはそれぞれ位置i, jにおけるデフォーカスマップの符号、 L_i0は位置iにおける既知の符号、 αは正でユニタ リー項とペアーワイズ項のバランスを取るものである
15. Depth Estimation Experiment (a)が元画像 (b)が画像平面の片側にのみ仮想焦点が存在すると仮定した場合の距離の計算結果 (c)が元画像に符号を適用するためのガイド線を引いたもの . 黒が-1、白が+1にそれぞれなっている (d)(c)の画像より先程のアルゴリズムを適用した距離の計算結果 アルゴリズムを適用することで手前の距離が逆転してしまう現象を防いでいる Defocus Mapを求めるアルゴリズムは先程から説明している通りテクスチャに強い 毎回ガイド線を引かないと正確に距離が計測できないのは不便？ 物体が多くなるほど不便？
16. 手元での実験結果