基于空間變化窗口的信息散度算法*

程鴻 宮炎焱 章權(quán)兵 張偉

(1.安徽大學計算智能與信號處理教育部重點實驗室，安徽合肥230039;2.香港中文大學電子工程系，香港999077)

最后，檢測深度在橢圓窗口內(nèi)的變化，如果深度在短軸方向上的變化仍然大于閾值，在主軸上深度變化不顯著，那么迭代焦點

散焦恢復(fù)深度(DFD)是一種從散焦圖像中推斷場景3維幾何信息的方法［1-5］.Pentland率先提出了在頻率域使用解卷積方法來恢復(fù)深度［6］.文獻［7］中擴展了這項工作，消除了其中一幅圖像需要用小孔成像的約束.文獻［8］中利用線性擴散理論構(gòu)造了散焦空間，并通過確定散焦空間中的兩幅散焦圖像的關(guān)系重構(gòu)場景深度.但這些方法要么需要重構(gòu)聚焦圖像，要么簡化了成像模型，都有一定的局限性.文獻［9］中引入了信息散度理論，通過迭代估計深度和紋理獲得了良好的實驗結(jié)果.但這種方法是基于等焦面假設(shè)的，即假設(shè)場景平行于聚焦面，使得算法在深度不連續(xù)的物體邊界處所獲得的結(jié)果有誤.另外，同一些先前的DFD算法一樣，信息散度算法忽略了在不同相機參數(shù)下圖像大小的變化.

為此，文中提出了一種改進的信息散度算法.首先，計算兩幅散焦圖像間的單應(yīng)矩陣，并以此為依據(jù)矯正圖像，獲得具有相同大小的散焦圖像.然后，利用空間變化窗口來克服等焦面假設(shè)的局限，提高非連續(xù)區(qū)域深度估計的精度.最后，通過模擬和真實實驗對所提算法進行了驗證.

1 傳統(tǒng)的信息散度算法

文獻［9］中將場景重建分為形狀重建和紋理重建兩部分，利用最小化信息散度算法迭代估計深度和紋理，從而恢復(fù)場景的3維幾何信息.

首先，將模擬圖像J(由K(K≥2)幅散焦圖像組成)和理想圖像I之間的信息散度Φ表示為

式中:p和s分別為場景的輻射率(半徑)和深度函數(shù);當J和I不相等時，函數(shù)Φ為正值，圖像J和圖像I越相似，則信息散度Φ的值越小.現(xiàn)在的目標是尋找與s和p最接近的^s和^p，

式中E(·)為能量函數(shù)，滿足

其中λ為權(quán)參數(shù).

一般情況下，式(2)是非線性和有限維的，因此，可通過迭代方法來估計s和p.給定初始值p0，問題(2)可轉(zhuǎn)化成迭代求解如下優(yōu)化問題:

從k=0開始迭代，直到終止條件(例如 Euler-Lagrange方程)滿足為止.

信息散度算法雖然取得了較好的實驗結(jié)果，但其等焦面假設(shè)和忽略不同相機參數(shù)下圖像大小的變化使得該算法具有一些局限性.

信息散度算法假設(shè)場景平行于聚集面(即等焦面假設(shè)).一般情況下，等焦面假設(shè)只是局部處理每個點，所以有必要在點的周圍選擇一個區(qū)域進行求解.在文獻［9］中，選取的區(qū)域是一個以目標點為中心的圓形窗口.等焦面假設(shè)允許將成像過程描述成線性卷積的形式，因此平衡魯棒性和精確度的關(guān)系是一個難點［10］.圖1所示是與相機距離不同的兩塊平板的圖像.當測量圖中A點附近的深度時，測量窗口會覆蓋兩個具有不同深度的平面.在這種情況下，使用等焦面假設(shè)意味著在窗口中需要平滑深度值.因此，深度估計值必然在兩個平面的深度之間.

圖1 與相機距離不同的兩塊平板的圖像Fig.1 An image of two plates with different distances to camera

2 改進的信息散度算法

為克服文獻［9］中算法的局限，文中進行了如下改進:(1)在估計深度之前，先矯正圖像以確保不同平面的物體有相同的大小;(2)采用一種變化的窗口結(jié)構(gòu)來處理深度不連續(xù)區(qū)域上的估計問題.改進的信息散度算法步驟如下:

1)設(shè)置圖像大小、鏡頭半徑、焦距、光圈數(shù)、透鏡半徑和像平面;

2)利用單應(yīng)矩陣進行圖像矯正;

3)設(shè)置場景半徑pk和深度sk(k=0)的初始值;

4)確定每個像素點的變化窗口;

5)在每個窗口中模擬散焦圖像J;

6)利用紋理迭代算法獲得pk;

7)利用快速下降法獲得sk;

8)如果滿足終止條件，則迭代結(jié)束，否則將pk和sk作為初值，返回步驟4).

2.1 基于單應(yīng)矩陣的圖像矯正

將圖2(a)和2(b)所示的同一場景的兩幅散焦圖像疊加在一起，并對圖像右邊有3行字的地方進行了局部放大處理(見圖2(c)).從圖2(c)中可以看到明顯的重影，說明兩幅圖像的大小不一致，這會影響對應(yīng)點的匹配，從而影響散焦估計程度的精確性.

圖2 基于單應(yīng)矩陣的圖像矯正Fig.2 Image rectification based on homography

對于實際拍攝的兩幅圖像，點對應(yīng)關(guān)系是單應(yīng)變換關(guān)系.圖3給出了3維空間場景通過攝像機C在I'和I″像平面上的成像示意圖.當攝像機的像平面位置不同時，場景所成像的大小是不同的，并且像平面間不同位置圖形的面積放大率(文中平面I'中的矩形 α 和 β 分別對應(yīng) I″中的 α'和 β')也是不同的，攝像機在不同像平面位置拍攝得到同一場景的圖像，圖像之間存在單應(yīng)變換關(guān)系［11］.因此，文中通過計算單應(yīng)矩陣來解決圖像大小不一致問題.首先利用8點算法計算出基本矩陣F［11］，然后在兩幅散焦圖像中選取一組對應(yīng)點x1和x2以及一組對應(yīng)直線l1和l2，并計算單應(yīng)矩陣:

圖3 三維場景在不同像平面上的成像示意圖Fig.3 Imaging diagram of a three-dimension scene in different planes

2.2 空間變化的窗口結(jié)構(gòu)

文中通過引入空間變化的窗口結(jié)構(gòu)來改進信息散度算法，以克服等焦面假設(shè)的局限.如圖4所示，如果原本選擇的圓形窗口完全在一個平面內(nèi)(如區(qū)域B)，窗口中像素的深度差異很小，那么在計算過程中不改變窗口的形狀.如果圓形窗口在兩個平面(如區(qū)域D)內(nèi)，原來選定的窗口則通過算法自動變成橢圓形(如區(qū)域E).橢圓的長軸方向指向測量區(qū)域中深度差異最小的方向.保持整個窗口的面積不變，測量區(qū)域慢慢演變形狀(如區(qū)域F).

圖4 空間窗口變化示意圖Fig.4 Schematic diagram of space window change

假設(shè)測量域是一個半徑為rc的圓形窗口(在整個演化過程中，窗口的面積S保持不變).估測圓形測量域內(nèi)的深度圖，深度圖中深度的變化方向用θ(θ∈［0，μ))表示，在沿θ方向的直徑上對深度做插值Insert(θ).然后，尋找深度變化最大的直徑方向θv，該方向的深度為 Insert(θv).將 Insert(θv)與設(shè)定的閾值進行比較，如果小于閾值，則窗口形狀不發(fā)生變化;否則，窗口形狀由圓形演變成橢圓，橢圓的短軸指向θv方向，橢圓的焦點fp滿足

利用fp和S可以得到短軸的半徑長度:

最后，檢測深度在橢圓窗口內(nèi)的變化，如果深度在短軸方向上的變化仍然大于閾值，在主軸上深度變化不顯著，那么迭代焦點

式中m為迭代速率.把fp(n+1)代入式(8)，再次演變橢圓的形狀，當測量域的深度變化為0或開始增大時，演變停止.

3 實驗及結(jié)果分析

3.1 模擬實驗

首先利用文獻［7］中的模擬圖像(大小為101×101，焦距為0.012 m，光圈數(shù)為2，標定參數(shù)為2×104，像距分別為12.30和12.20 mm)來測試文中改進算法.用均方根誤差 εRMS來表示深度估計值d'(x)與真實深度d(x)之間的誤差［12］:

圖5 模擬實驗的結(jié)果Fig.5 Simulated results

圖5給出了文中算法對帶有隨機產(chǎn)生的高斯誤差(標準差σ=0.2)的模擬散焦圖像的實驗結(jié)果.圖6給出了不同噪聲水平下3種算法的均方根誤差.顯然，在高斯噪聲標準差增大的情況下文中改進算法具有更好的估計結(jié)果.

圖6 3種算法的標準誤差曲線Fig.6 Standard deviation curves of three algorithms

3.2 真實實驗

對文獻［9］中的2幅真實散焦圖像(大小為286×313，焦距為12 mm，光圈數(shù)為5，鏡頭半徑為3mm，像距分別為12.30和12.20mm)進行矯正，結(jié)果如圖7(a)和7(b)所示，然后利用原始信息散度算法［9］和文中改進算法進行深度估計實驗，結(jié)果分別如圖7(c)和7(d)所示.從圖7(c)、7(d)可知，在場景不連續(xù)區(qū)域，文中算法獲得的深度圖的邊緣更加清晰(圖中顏色越深的區(qū)域為距離攝像機越遠的點，即深度值越大的點).

圖7 真實實驗1的結(jié)果Fig.7 Results of the first real experiment

如圖8所示，輸入圖像用EOS 450D獲得，其透鏡參數(shù)為 EF-S18-55 mm f/3.5 －5.6，大小為 625 ×707，焦距為42mm，光圈數(shù)為5，透鏡半徑為4.2mm，像距分別為44.60和44.10 mm.使用原始信息散度算法［9］估計的深度結(jié)果如圖8(c)所示，使用文中改進算法估計的深度結(jié)果如圖8(d)所示(圖中顏色越深的區(qū)域為距離攝像機越遠的點，即深度值越大的點).從圖8(c)、8(d)可知，文中改進算法比原始信息散度算法能獲得更精確的深度圖.

圖8 真實實驗2的結(jié)果Fig.8 Results of the second real experiment

4 結(jié)語

傳統(tǒng)的信息散度算法沒有考慮到不同參數(shù)下圖像大小的變化，而且其等焦面假設(shè)會使得不連續(xù)面上的深度恢復(fù)結(jié)果發(fā)生錯誤.為此，文中提出了基于空間變化窗口的改進算法.模擬實驗和真實實驗驗證了文中算法的正確性.下一步擬將該算法推廣到視頻圖像的處理中，并重點研究其實時性.

［1］Aslantas V，Pham D T.Depth from automatic defocusing［J］.Optics Express，2007，15(3):1011-1023.

［2］Liang C K，Lin T H，Wong B Y，et al.Programmable aperture photography:multiplexed light field acquisition ［J］.ACM Transactions on Graphics，2008，27(3):1-10.

［3］Zhou C Y，Nayar S K.What are good apertures for defocus deblurring?［C］∥Proceeding of IEEE International Conference on Computational Photography.San Francisco:IEEE，2009:1-8.

［4］章權(quán)兵，張愛明.基于相對模糊和邊緣強化的散焦深度恢復(fù)研究［J］.華南理工大學學報:自然科學版，2010，38(4):136-140.Zhang Quan-bing，Zhang Ai-ming.Depth recovery from defocus based on relative blur and edge enhancement［J］.Journal of South China University of Technology:Natural Science Edition，2010，38(4):136-140.

［5］吳俊芳，劉桂雄，韋寧.散焦含噪圖像的點擴散函數(shù)估計與邊緣檢測［J］.華南理工大學學報:自然科學版，2010，38(6):118-133.Wu Jun-fang，Liu Gui-xiong，Wei Ning.PSF estimation and edge detection of defocused noisy image［J］.Journal of South China University of Technology:Natural Science Edition，2010，38(6):118-133.

［6］Pentland A P.A new sense for depth of field ［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1987，9(4):523-531.

［7］Surya G.Three-dimensional scene recovery from image defocus［D］.Stony Brook:Department of Electrical Engineering，State University of New York at Stony Brook，1994.

［8］Namboodiri V P，Chaudhuri S.On defocus，diffusion and depth estimation ［J］.Pattern Recognition Letters，2007，28(3):311-319.

［9］Favaro P，Soatto S.3-D shape estimation and image restoration［M］.London:Springer-Verlag London Ltd.，2007:70-85.

［10］Jin H，F(xiàn)avaro P.A variational approach to shape from defocus［C］∥Proceeding of the 7th European Conference on Computer Vision—Part II.Berlin/Heidelberg:Springer-Verlag，2002:18-30.

［11］Hartley R，Zisserman A.計算機視覺中的多視圖幾何［M］.韋穗，楊尚駿，章權(quán)兵，等，譯.合肥:安徽大學出版社，2002:191-235.

［12］Dorrer C，Zuege J D.Optical testing using the transportof-intensity equation［J］.Optics Express，2007，15(12):7165-7175.