多視點模糊圖像復原方法研究

洪漢玉，章秀華，范 艷，鄧哲煜，曹太騰，張?zhí)煨?/p>

(1. 武漢工程大學 電氣信息學院， 圖像處理與智能控制研究所，武漢 430205；2. 華中科技大學 自動化學院， 圖像識別與人工智能研究所，武漢 430074)〗

多視點模糊圖像復原方法研究

洪漢玉1，章秀華1，范 艷1，鄧哲煜1，曹太騰1，張?zhí)煨?

(1. 武漢工程大學 電氣信息學院， 圖像處理與智能控制研究所，武漢 430205；2. 華中科技大學 自動化學院， 圖像識別與人工智能研究所，武漢 430074)〗

提出了基于多視點圖像模糊核估計的復原方法.先給出了一種基于正則化保PSF路徑的模糊核估計算法，將各向異性正則化方法引入模糊核估計的迭代過程中，在此基礎上，為了降低噪聲和保護圖像邊緣，又給出了基于保邊緣的最大似然估計多視點去模糊方法.建立了多視點圖像PSF路徑之間的關系模型，確保多視點圖像特征點對應關系.估計了兩視點圖像的PSF路徑后，利用PSF路徑對應關系，計算了其它視點圖像的PSF路徑.當獲得所有視點圖像的PSF路徑和模糊核后，利用最大似然估計去模糊方法，得到了多視點去模糊圖像.實驗結果表明:該方法對多視點圖像復原效果好，提高了三維重建精度.

多視點；運動模糊；點擴散函數(shù)；圖像復原

近年來，人們對多視點系統(tǒng)和三維重建越來越感興趣并取得了重要進展.我們注意到，當目標運動時，捕獲的多視點圖像通常是模糊的，導致目前的三維重建算法不能準確地重建目標.因此多視點圖像去模糊方法的研究是必要的.這也成為了多視點三維重建的瓶頸技術問題.目前三維重建算法假定目標沒有任何運動.當目標有運動時，會導致圖像模糊，影響三維重建精度.

目前的運動去模糊方法主要集中于單視點圖像的去模糊.多視點圖像去模糊面臨許多難題，模糊核或者說點擴散函數(shù)(PSFs)在各個視點圖像中是不相同的，各個視點圖像的去模糊結果都會影響整個目標的三維重建.當模糊核和原圖像都未知時，模糊核估計是首要的.運動去模糊的主要難點在于精確估計模糊核.Joshi等[1]提出利用銳化邊緣預測法從單個模糊圖像中估計點擴展函數(shù)，該算法利用預測值與觀測值來求解點擴展函數(shù).如果能從模糊輸入圖中很好地預測出銳化圖像，則可以估計出模糊核.然而，輸入圖像的紋理使得銳化圖像及模糊核的大小難以預測，相應的點擴展函數(shù)不能被很好的估計.Fergus[2]提出一種利用圖像梯度分布統(tǒng)計特性來逼近原圖像的變分貝葉斯方法.這種方法能有效地對圖像去模糊并可估計復雜的模糊核，但需要人為控制核的大小.其它的一些去模糊算法也被提了出來[3,4]，從單張模糊圖像中估計PSF非常困難.

對于多幀圖像的去模糊，Cho等[5]提出了從相同場景的多幀圖像中去除非均勻運動模糊的方法.Yuan等[6]提出利用模糊/噪聲估計模糊核和減少噪聲的去模糊方法.Chen等[7]通過引入魯棒的代價函數(shù)和一系列先驗核知識來對兩幅圖像進行去模糊.利用多幀圖像去模糊方法可以得到較好的效果，但多幀圖像去模糊方法要求原始場景完全相同，因而限制了其應用.

為了解決這些問題，本文先提出了一種基于正則化保PSF路徑的單視點圖像模糊核估計算法，在估計出的單視點模糊圖像PSF基礎上，建立多視點圖像的PSF路徑之間的關系，估計出其中兩個視點圖像的PSF路徑關系式，并利用這個關系式來計算和優(yōu)化其它視點圖像的PSF路徑，最后對多視點圖像進行去模糊和三維重建.

1 單視點模糊核估計和去模糊

圖1為多視點圖像的立體視覺成像系統(tǒng).當目標在短曝光時間內(nèi)從A運動到B，對應的投影點也從ai運動到bi.由于成像面視角不同，運動投影軌跡aibi在各個成像面上的長度和方向都不相同.

各視點圖像可以表示為：

gi(x,y)=hi(x,y)?fi(x,y)+ni(x,y),

(1)

其中gi(x,y)為各視點的觀測圖像，hi(x,y)為對應視圖的模糊核，fi(x,y)為各視點的原清晰投影圖像，ni(x,y)為各視點模糊圖像所含的噪聲，?表示二維離散卷積，下標i為各視點序號.

1.1 基于正則化的單視點模糊核估計

在進行多視點圖像去模糊之前需要估計單視點模糊核.單視點圖像盲目估計模糊核可以闡述為將下面的代價函數(shù)最小化：

J(f,h)=‖h(x,y)?f(x,y)-g(x,y)‖2+λ1J(h)+λ2J(f),

(2)

其中第一項是數(shù)據(jù)項，后兩項是模糊核和模糊圖像的兩個正則化項.

二次正則化導致大梯度懲罰過重[8]，產(chǎn)生總體過平滑現(xiàn)象[9].為了解決這一問題, 我們采用各向異性正則化方法并使實際代價函數(shù)最小化：

(3)

其中φh(·)和φf(·)為模糊核梯度及圖像梯度的各向異性正則化系數(shù)，h(i,k)=h(i)-h(k)，h(k)是點擴散函數(shù)支撐域上當前點的鄰域值.

一般要求對大梯度進行較輕的平滑而對小梯度進行較重的平滑處理[11, 12]，本文采用下列各向異性正則化函數(shù)：

φh(t)=t2/(1+t2),φf(t)=lg(1+t2).

(4)

式中，將兩個函數(shù)αh(t)、αf(t)格式統(tǒng)一寫為：

α(t)=1/(1+t2)w,w=1,2,…

(5)

圖2顯示了不同w時α(t)的曲線，其對小梯度進行較重的懲罰而對大梯度懲罰較輕或不懲罰.

對式(4)進行交替極小化，可以得到 ：

(6)

(7)

通過采用交替迭代方法，求解式(6)和式(7)中的h和f，得到單視點模糊圖像的PSF.

實際的運動模糊核是一條單像素寬的直線段或光滑曲線段.為使上述估計方法得到的PSF滿足要求，本文采用空間濾波器來抑制PSF支持域中的一些小值，然后通過對比候選的模糊核點的值和校驗它是否與前一個的模糊核點在方向上一致來查找最大點和選擇當前模糊核8鄰域里的下一個點來精確細化模糊核，從而得到單像素寬的PSF路徑.

1.2 基于最大似然估計的單視點去模糊

通過上一步驟，估計出模糊核后，我們采用一種改進的最大似然估計算法來進行單視點圖像去模糊處理.

原始圖像定義為{f(x),x∈X,f(x)≥0}，PSF定義為{h(y|x),y∈Y,x∈X}，i(y)表示y像素點的灰度值，我們有：

(8)

假定噪聲n(y)服從泊松分布并且獨立.對其取對數(shù)，并省略常數(shù)項，我們可以得到對數(shù)似然函數(shù)為:

(9)

合并圖像差異最小化準則函數(shù)：

(10)

可以得到 ：

LP(f,h)=L(f,h)+ηΦ(f).

(11)

(12)

對式(11)求關于f (x)的偏微分并令其等于0，有 ：

(13)

(14)

(15)

1.3 R算法和ML算法的結合

本文提出的盲目去模糊正則化算法(即R算法)可以更嚴密的估計出PSF路徑.提出的最大似然估計算法(即ML 算法)可以更好的恢復圖像并且它可以允許PSF有一定的誤差.所以，我們用R算法來估計PSF，用ML算法來去模糊.

2 多視點模糊核估計和去模糊

2.1 多視點圖像PSF路徑關系的建立

假設[P]表示投影矩陣，(xyz1)表示一個均勻的三維坐標，(uv1)表示一個均勻的二維坐標，那么 (xyz1) 和(uv1)的關系可以用式(16)表示：

(16)

其中d 是空間點的深度.矩陣[P]由相機參數(shù)矩陣[K]*[R t]來確定，而相機參數(shù)矩陣已經(jīng)在多視點相機標定過程中被計算出來.

點(x,y,z)對點(u,v,d)有一個單一的對應值，反之亦然，式(16)可以重新整理為：

(17)

其中矩陣[B]是矩陣[P]3×3的逆矩陣，有：

(18)

(19)

(20)

其中：

(21)

從根本上說，每個PSF的值僅僅與各視點的運動投影軌跡有關，它們是：

psfi=h(Δu(i),Δv(i)),
psfj=h(Δu(j),Δv(j)).

(22)

(23)

其中(r0，r1，r2)由式(21)計算得出，但式(21)中參數(shù)i必須用參數(shù)n代替.

psfn=h(Δu(n),Δv(n)).

2.2 多視點圖像去模糊

建立多視點圖像PSF路徑關系后，我們可以對多視點模糊圖像進行聯(lián)合去模糊，從而獲得特征點能夠保持關系對應的清晰圖像，從而提高三維重建精度.多視點去模糊及三維重建主要流程見圖3.

3 實驗結果與分析

實驗1單視點模糊圖像的PSF估計及去模糊處理.圖4(a)為模糊圖像，圖 4(b)，(c)和(d)為分別用 Fish’s[12]，Joshi’s[1]和我們的算法對圖4(a)進行去模糊后的結果.圖 4(e)，(f)和(g)分別為Fish’s，Joshi’s和我們算法估計得到的模糊核的二維和三維顯示，其中左下框為二維的PSF路徑.通過對比，可以看出我們的算法具有更好的去模糊效果.

實驗2 多視點圖像去模糊處理.圖5為對15個不同視點套娃模型模糊圖像進行去模糊和三維處理的結果.由于篇幅所限，此處只選取了其中的第1，4，5，6，9共5個視點的圖像進行顯示.圖5(a)為第1，4，5，6，9共5個視點的模糊圖像，圖5(b)為圖5(a)對應的各視點去模糊圖像.圖5(c)，5(d)和5(e)分別為15個視點無模糊圖像，模糊圖像和多視點去模糊圖像的三維重建結果.從圖5(d)我們可以看到物體的三維表面有許多噪聲，并且有一些錯誤的結構形成和延伸.對比圖5(e)和5(d)，去模糊后的三維表面的噪聲被極大地降低.與圖5(c)對比，我們看到由去模糊后圖像重建的物體三維表面基本將物體重建出來，只是表面不如原始圖像重建表面平滑.

實驗3 多視點去模糊圖像的保邊緣效果驗證.圖6為對16個不同視點卡通模型模糊圖像進行去模糊和三維處理的結果.本文在此只選取了其中的第1，2，5，9，10共5個視點的圖像進行顯示.圖6(a)為第1，2，5，9，10共5個視點的模糊圖像，圖6(b)為圖6(a)對應的各視點去模糊圖像.圖6(c)，6(d)和6(e)分別為16個視點無模糊圖像、模糊圖像和多視點去模糊圖像的三維重建結果.對比圖6(c)，6(d)，6(e)三維模型的邊緣，可以看出圖6(e)重建結果良好，這表明我們的多視點去模糊算法對于邊緣保留是有效的.從實驗結果可以看出我們提出的多視點去模糊算法對于三維重建的質量有明顯的改善.

4 結語

本文提出了多視點去模糊方法.建立了多視點圖像的PSF路徑關系，只要估計出兩個視點的PSF路徑，其它視點的PSF路徑就可以利用路徑關系模型計算出來，進而去除所有視點模糊.實驗結果表明，本文提出的多視點去模糊方法對于三維重建表面質量有著明顯的改善.下一步的工作主要通過最優(yōu)化的方法得到更精確的多視點PSF路徑，獲取較完整的多視點模糊圖像復原信息，進一步提高三維重建質量.

[1] Joshi N, Szeliski R, Kriegman D J. PSF estimation using sharp edge prediction[C]//IEEE. Conference on Computer Vision & Pattern Recognition.New Jersey: CVPR, 2008: 1-8.

[2] Fergus R, Singh B,Hertzmann A,et al. Removing camera shake from a single photograph[J]. ACM Transsaction on Graphics (SIGGRAPH), 2006, 25(3): 787-794 .

[3] Jia J. Single image motion deblurring using transparency [C]//IEEE. Conference on Computer Vision & Pattern Recognition.New Jersey: CVPR, 2007: 1-8.

[4] Cai J,Ji H, Liu C, et al. Blind motion deblurring from a single image using sparse approximation[C]//IEEE. Conference on Computer Vision & Pattern Recognition. New Jersey: CVPR, 2009:104-111.

[5] Cho S, Matsushita Y, Lee S. Removing Non-Uniform Motion Blur from Images[C]//IEEE. Proceedings / IEEE International Conference on Computer Vision.New Jersey: IEEE International Conference on Computer Vision, 2007:1-8.

[6] Yuan L, Sun J, Quan L,et al. Image deblurring with blurred/noisy image pairs[J]. ACM Trans on Graphics (SIGGRAPH), 2007, 26(3): 204-213.

[7] Chen J,Yuan L, Tang C K, et al. Robust dual motion deblurring[C]//IEEE. Conference on Computer Vision & Pattern Recognition. New Jersey: CVPR, 2008:1-8.

[8] Park C, Kang M G. Noise-adaptive edge-preserving image restoration algorithm[J]. Opt Eng, 2000, 39(12): 3124-3136.

[9] Charbonnier P,Blanc-Feraud L, Aubert G,et al. Deterministic edge-preserving regularization in computed imaging[J]. IEEE Trans on Image Processing, 1997, 6(2):298-311.

[10] Geman D, Reynolds G. Constrained restoration and the recovery of discontinuities[J]. IEEE Trans Pattern Anal Machine Intell, 1992, 14(3): 367-383.

[11] Delaney A H, Bresler Y. Globally convergent edge-preserving regularized reconstruction: an application to limited-angle tomography[J]. IEEE Trans Image Process, 1998, 7(2): 204-221.

[12] Fish D,Brinicombe A,Pike E,et al.Blind deconvolution by means of the Richardson-Lucy algorithm[J]. Journal of the Optical Society of America A, 1994, 12(1):58-65.

Research on Restoration Method of Multiview Blur Images

Hong Hanyu1，Zhang Xiuhua1，F(xiàn)an Yan1，Deng Zheyu1，Cao Taiteng1，Zhang Tianxu2

(1 Institute for Image Processing and Intelligent Control, School of Electrical Information Engineering，Wuhan Institute of Technology, Wuhan 430205, China；2 Institute for Pattern Recognition and Artificial Intelligence，School of Automation ，Huazhong University of Science and Technology，Wuhan 430074, China)

For the restoration of multi-view blur image, the problem of exact estimation for each multi view image blur kernel is needed to be solved. So a restoration method based on multi view blur kernel estimation is proposed. Firstly a blur kernel estimation algorithm based on regularized with PSF path preserved is proposed, the anisotropy regularized method is introduced into the iteration process of the blur kernel estimation. On this basis, to reduce the noise and preserve the image edge, a multi view deblurring method based on maximum likelihood estimation with edge preserving is introduced. The relation model of PSF path for multi view image is built. Once the PSF path of two view images is estimated, by using the PSF path relation model, we can compute the PSF path of the other view images. The experimental results show the effectiveness of the proposed restoration method of multi view images, and the 3D reconstruction precision is enhanced.

multiview point；motion blur；PSF； image restoration

2015-10-10

洪漢玉(1964-)，男，教授，博士生導師，研究方向：目標識別、三維重建、精確制導，E-mail: hhyhong@163.com

國家自然科學基金面上項目(61175013)

TP319

A

1672-4321(2015)04-0072-06