傳統(tǒng)相機的空間變化離焦去模糊

楊亞威， 耿 志， 王 蕊， 李俊山

(1．第二炮兵工程大學(xué)，西安 710025; 2．中國人民解放軍96215 部隊，廣西 柳州 545616;3．成都軍區(qū)聯(lián)勤部后勤信息中心，成都 610015)

0 引言

近幾十年來，隨著傳感器技術(shù)的進步，數(shù)碼相機的應(yīng)用越來越廣泛。由于相機自身物理學(xué)方面的限制，圖像在獲取期間必須要在曝光時間、光圈大小和景深之間做一些交換。一般來說，短曝光時間和小光圈相機獲取的圖像受噪聲影響比較嚴(yán)重，而較長的曝光時間能夠保證圖像傳感器捕獲足夠的光線，但是獲取的圖像可能產(chǎn)生難以復(fù)原的運動模糊［1-2］;另一方面，較大的光圈能夠阻止運動模糊，并且捕獲足夠的光線，但是離焦模糊和景深的限制成為主要的缺點［3-5］。本文針對后者，在研究目前離焦模型的基礎(chǔ)上，提出了一種用軟件的方法來去除空間變化的離焦模糊。

由于圖像自身的復(fù)雜性，為了去除空間變化的模糊，一般會在處理過程中生成一幅映射圖，該映射圖對于后續(xù)的去模糊是至關(guān)重要的。文獻［6］通過計算輸入圖像的二階導(dǎo)數(shù)來提取邊緣上的模糊尺度，并采用彩色化方法傳播模糊尺度，獲取一幅2D 模糊映射圖，但是彩色化方法不能保證一幅正確的模糊映射圖，因此該方法對于圖像重構(gòu)是不充分的;文獻［7］使用局部對比度先驗獲取模糊映射圖，但是該方法沒有估計聚焦參數(shù)，以至于在獲取模糊映射圖的過程中需要人工的參與;文獻［8］通過比較輸入圖像尺度空間內(nèi)的邊緣來估計模糊映射圖，但是僅對于模糊感知的下采樣提出思想，而沒有研究圖像重構(gòu)的問題;文獻［9］對于光學(xué)模糊問題提出了空間變化去模糊的方法，但是沒有處理離焦模糊的難題;文獻［10］通過二次模糊的圖像來提取邊緣上的模糊尺度，得到了模糊映射圖和離焦放大率的結(jié)果，但是沒有給全聚焦的結(jié)果。

本文在以上方法的基礎(chǔ)上，提出了一種基于模糊映射圖和L1-2 優(yōu)化的空間變化離焦去模糊方法。首先，通過合并修改的局部對比度先驗和向?qū)V波估計模糊映射圖;其次，利用L1-2 優(yōu)化在每個尺度上對整體的離焦模糊輸入進行去模糊，獲得一系列不同尺度的去模糊圖像作為候選的輸出;最后，通過模糊映射圖，選擇去模糊的像素重構(gòu)全聚焦輸出圖像。實驗結(jié)果表明，本文提出的方法性能超越了當(dāng)前技術(shù)條件下的空間不變?nèi)ツ：椒ǎ?1-13］和空間變化去模糊方法。

1 圖像的離焦模型

為了復(fù)原離焦模糊圖像，首要問題是確定離焦模型，這樣確定出模型參量就可以估算出離焦的點擴散函數(shù)，進而完成圖像的去模糊?，F(xiàn)有的離焦模型有圓盤離焦模型和高斯離焦模型［14］兩種。其中:圓盤離焦模型是一種近似模型，它忽略了光的波動性，是假設(shè)光沿直線傳播的條件下提出的;高斯離焦模型也是一種近似模型，它是考慮離焦和衍射等諸多因素提出的。本文主要對這兩種離焦模型進行研究和分析。

1．1 圓盤離焦模型

圓盤離焦模型是利用幾何光學(xué)知識對離焦現(xiàn)象進行研究而得出的。依據(jù)幾何光學(xué)，若成像系統(tǒng)是理想的，則透鏡焦距上的點光源通過該系統(tǒng)所成的像為一個點，接近δ 函數(shù)。但當(dāng)物面、透鏡和像面間的間距不滿足透鏡成像公式時，點光源的像不再是一個點而是一個圓盤狀的彌散圓，其中彌散圓中的灰度值均勻分布。彌散圓的直徑是由物距、焦距、像距和光學(xué)系統(tǒng)光圈的大小共同決定的。圓盤離焦模型可表示為

式中，R 為模型離焦參量，可根據(jù)離焦模糊圖像確定［14］。

該模型存在的缺點是:在實際情況下，光并非嚴(yán)格遵循幾何光學(xué)的規(guī)律沿直線傳播，由于光具有波粒二重性，光通過光學(xué)孔徑時會發(fā)生衍射，這時圓盤離焦模型就顯得過于簡單。因此，只有在離焦程度較嚴(yán)重的情況下，因像差所引起的彌散遠大于衍射所引起的彌散時，這種模型才能較好地逼近離焦圖像的點擴散函數(shù)［14］。

1．2 高斯離焦模型

由于圓盤函數(shù)模型的頻域變換存在過多零點，這在實際應(yīng)用中有很大限制，因此，多數(shù)學(xué)者更傾向于高斯離焦模型［14］。高斯離焦模型不是通過光學(xué)知識推導(dǎo)出來的，而是在考慮眾多退化因素下得到的一種近似模型。高斯離焦模型可表示為

式中，σ=λR，為模型的離焦參量，可根據(jù)離焦模糊圖像來確定［15］，λ 為常數(shù)，R 為離焦參量。相對圓盤離焦模型，高斯離焦模型具有以下優(yōu)點:首先，由于高斯離焦模型的頻域變換具有極少數(shù)的零點，可消除逆濾波的奇異性;其次，連續(xù)(離散)二維高斯函數(shù)可轉(zhuǎn)化為兩個連續(xù)(離散)二維高斯函數(shù)的卷積，這意味著，在點擴散函數(shù)估計的過程中，反卷積算法總能消除一部分高斯降晰，雖然結(jié)果可能還包含一定的降晰，但圖像的分辨率得到改善。由于反卷積的結(jié)果不會變差，因而可避免參量確定時，微小誤差導(dǎo)致較大圖像復(fù)原誤差的問題。這兩個方面的優(yōu)點使得高斯離焦模型雖不能精確地逼近離焦的點擴散函數(shù)，卻得到了較為廣泛的應(yīng)用［14］。本文亦采用高斯離焦模型進行圖像去模糊。

高斯離焦模型的參量不能利用頻域過零點來確定，但可通過空域中檢測刃邊函數(shù)曲線的方法來確定。在高斯離焦模型復(fù)原中，假設(shè)離焦的點擴散函數(shù)呈高斯分布，對其進行積分后得到的線擴散函數(shù)也呈高斯分布，則可得

2 空間變化的離焦去模糊

2．1 模糊映射圖的生成

對于潛在的邊緣信號l(x)，一般能夠建模為

式中:u(x)為階躍函數(shù);A 為振幅;B 為偏移量;邊緣被定位在x=0 處。

假設(shè)邊緣信號l(x)遭受了離焦模糊，則模糊信號b(x)能夠被估計為卷積形式，即

式中，g(x，σ)是標(biāo)準(zhǔn)差為σ 的高斯函數(shù)，即

為了能夠提取模糊尺度σ，本文參考文獻［7］提出的局部對比度先驗LC(x)，然后使用文獻［10］的邊緣屬性對其進行修改。由式(4)和式(5)可得模糊邊緣的梯度為

把式(7)代入LC(x)可得到

式中，x'為x 的鄰域。

另外，為了去除邊緣附近的歧義性和映射圖中的噪聲，本文利用原始的模糊圖像作為向?qū)D像，采用文獻［16］的向?qū)V波方法獲得一幅更好的模糊映射圖

式中:GF 代表向?qū)V波;φ 和ε 表示濾波參數(shù)，詳見文獻［16］。

2．2 利用L1-2 優(yōu)化的圖像去模糊

在生成模糊映射圖以后，本文利用L1-2 優(yōu)化的去模糊方法獲取重構(gòu)的全聚焦去模糊圖像，這種去模糊方法合并了類Tikhonov 規(guī)整化和TV 規(guī)整化。假設(shè)b為模糊圖像，Gσ表示具有模糊尺度σ 的一個高斯模糊操作，lσ為相應(yīng)的n×n 的去模糊灰度域圖像，r 為加性噪聲，則有

由于b 為給定的模糊圖像，如果Gσ被確定，就能夠使用本文的方法復(fù)原lσ，即

式中:Dilσ表示在像素i 處的lσ的離散梯度為lσ的TV 規(guī)整化為類Tikhonov 規(guī)整化;μ 為參數(shù);0 ≤α ≤1。

與文獻［12］的方法相似，本文對L1-2 優(yōu)化采用變量分裂和懲罰的方法。在每個像素處，引入一個輔助變量wi，使Dilσ轉(zhuǎn)移到不可區(qū)分項‖·‖的外面，并且對wi和Dilσ之間的差分進行懲罰，能夠產(chǎn)生估計的模型為

利用一個足夠大的懲罰參數(shù)β，使得wi→Dilσ，等式(13)中描述的最小化問題被修改為在(w，lσ)級上的一個懲罰函數(shù)。

本文對于wi或者lσ采用一種交替的最小化算法來最小化懲罰函數(shù)。對于確定的lσ，僅僅與wi有關(guān)系的中間兩項對于wi是可分離的，因此最小化式(13)相當(dāng)于解決下式的最小化

對于式(14)，唯一的解決方案可通過使用矩陣微積分來給定，即

式中，i=1，2，…，n2，并且約定(0/0)=0。另一方面，對于確定的wi，通過求解式(16)，能夠很容易地最小化lσ，即

式(13)的一個封閉的解決方案為

假設(shè)lσ在周期邊界條件下，則有Di和GTσGσ是所有塊的循環(huán)行列式。因此，能夠利用2D 離散傅里葉變換F代替巨大的矩陣運算，使用傅里葉變換的卷積定理，能夠從數(shù)字濾波中得到lσ，即

式中:“* ”代表復(fù)共軛;“?”代表分量方式的乘法，除法也是分量方式的。在本文的交替最小化算法中，對于給定b，Gσ，α，β，能夠通過以下步驟得到lσ。

1)初始化b=lσ;

2)對于確定的lσ通過式(15)迭代地計算w，對于確定的w 通過式(18)計算lσ，直到最小化懲罰函數(shù)達到收斂，最后得到解卷積圖像lσ。

2．3 圖像重構(gòu)與尺度選擇

對于上述方法使用不同的模糊尺度，能夠重構(gòu)出N 個候選的去模糊圖像{lσ1，lσ2，…，lσN}。從σ1，σ2到σN利用大小為q 的步長量化連續(xù)模糊映射圖到離散的模糊尺度，并與去模糊的尺度進行比較，可重構(gòu)出全聚焦圖像為

式中，σ*(x，y)為與σ(x，y)相近的最大量化模糊尺度。由于σ*(x，y)≤σ(x，y)，能夠抑制由非規(guī)整性產(chǎn)生的振鈴偽像［17］。

3 實驗與分析

本文在Pentium(R)Dual-Core 2．5 GHz CPU，4 G 內(nèi)存的硬件環(huán)境和Windows 7，Matlab R2010a 的軟件環(huán)境條件下進行實驗。首先使用仿真的圖像定量地評估本文方法，然后使用真實的圖像表明方法的一般適用性。

3．1 仿真圖像的定量比較

本文利用Matlab 中Barbara，Greens，Pepper，Cameraman，Coins 和Liftingbody 6 幅圖像作為參考圖像，如圖1所示。

圖1 參考圖像樣例Fig．1 Examples of reference images

首先利用標(biāo)準(zhǔn)差(模糊尺度)為4 的2D 高斯函數(shù)對其進行模糊;然后分別采用DeconvTV［11］，F(xiàn)TVd［12］，TwIST［13］和本文方法對生成的圖像進行去模糊，模糊尺度分別設(shè)為2，4，6;最后利用PSNR 和SSIM 指標(biāo)對所得去模糊圖像進行比較，PSNR 和SSIM 的平均值如表1 所示。從表中可以看出，本文方法要優(yōu)于當(dāng)前技術(shù)條件下的空間不變?nèi)ツ：椒ā?/p>

表1 幾種圖像去模糊方法的性能比較Table 1 Performance comparison of several image debulurring approaches

3．2 真實圖像的去模糊實驗

為了驗證本文方法的一般適用性，實驗還對實際獲取的空間變化模糊圖像進行去模糊，并與合并的空間變化去模糊方法(文獻［6］方法和文獻［11］方法)進行比較，如圖2 所示。從實驗結(jié)果可以看出，本文方法在空間變化的離焦去模糊方面，具有更好的細(xì)節(jié)保持能力，去模糊的全聚焦圖像具有更好的視覺效果。

圖2 真實圖像的空間變化去模糊的效果圖Fig．2 Spatially-varying deblurring results of real images

4 結(jié)論

本文通過模糊映射圖和L1-2 優(yōu)化完成了傳統(tǒng)相機的空間變化離焦去模糊的任務(wù)，基于合成圖像和實際圖像的實驗結(jié)果表明了本文方法的有效性。但是高斯離焦模型不是經(jīng)過理論推導(dǎo)得出的模型，而是考慮綜合因素，根據(jù)經(jīng)驗提出的一種近似模型，因此它并不能精確地逼近真實的離焦點擴散函數(shù)，這導(dǎo)致圖像復(fù)原過程中存在一定的誤差。利用光學(xué)物理學(xué)方面的知識對成像系統(tǒng)進行更深入的研究，建立更精確的離焦模型是下一步的研究方向。

［1］ WHYTE O，SIVIC J，ZISSERMAN A，et al．Non-uniform deblurring for shaken images［J］．International Journal of Computer Vision，2012，98(2):168-186．

［2］ 謝飛，車宏，蔡猛，等．一種基于倒譜鑒別模糊參數(shù)的圖像復(fù)原算法［J］．電光與控制，2011，18(7):49-54．(XIE F，CHE H，CAI M，et al．An algorithm of image restoration based on blur parameter identification with cepstrum［J］．Electronics Optics ＆ Control，2011，18(7):49-54．)

［3］ ZHOU C Y，LIN S，NAYAR S K．Coded aperture pairs for depth from defocus and defocus deblurring［J］． International Journal of Computer Vision，2011，93(1):53-72．

［4］ CHAKRABARTI A，ZICKLER T．Depth and deblurring form a spectrally-varying depth-of-field［C］//European Conference on Computer Vision，2012:648-661．

［5］ 趙梅．航空相機焦面位置定位量測［J］．電光與控制，2010，17(4):66-68，78． (ZHAO M． Locating of focal plane position for aerial cameras［J］．Electronics Optics ＆Control，2010，17(4):66-68，78．)

［6］ BAE S，DURAND F．Defocus magnification［J］．Computer Graphic Forum，2007，26(3):571-579．

［7］ TAI Y W，BROWN M S． Single image defocus map estimation using local contrast prior［C］//The 16th International Conference on Image Processing，2009:1797-1800．

［8］ TRENTACOSTE M，MANTIUK R，HEIDRICH W．Bluraware image downsampling［J］．Computer Graphics Forum，2011，30(2):573-582．

［9］ KEE E，PARIS S，CHEN S，et al．Modeling and removing spatially-varying optical blur［C］//IEEE International Conference on Computational Photography，2011:1-8．

［10］ ZHOU S J，SIM T．Defocus map estimation from a single image［J］．Pattern Recognition，2011，44(9):1852-1858．

［11］ CHAN S，KHOSHABEH R，GIBSON K B，et al．An augmented lagrangian method for total variation video restoration［J］． IEEE Transactions on Image Processing，2011，20(11):3097-3111．

［12］ WANG Y L，YANG J F，YIN W T，et al．A new alternating minimization algorithm for total variation image reconstruction［J］． SIAM Journal on Imaging Sciences，2008，1(3):248-272．

［13］ BIOUCAS-DIAS J M，F(xiàn)IGUEIREDO M A T．A new twist:two-step iterative shrinkage/thresholding algorithms for image restoration［J］． IEEE Transactions on Image Processing，2007，16(12):2992-3004．

［14］ 穆麗娟．?dāng)?shù)字圖像自動聚焦與離焦模糊復(fù)原技術(shù)研究［D］．天津:天津師范大學(xué)，2009．(MU L J．Study on digital image auto-focusing and restoration technology of the defocused image［D］． Tianjin:Tianjin Normal University，2009．)

［15］ 趙輝，鮑歌堂，陶衛(wèi)． 圖像測量中自動調(diào)焦函數(shù)的實驗研究與分析［J］．光學(xué)精密工程，2004，12(5):531-536．(ZHAO H，BAO G T，TAO W． Experimental research and analysis of auto-focusing function in image measure［J］．Optics and Precision Engineering，2004，12(5):531-536．)

［16］ HE K M，SUN J，TANG X O．Guided image filtering［J］．IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，35(6):1397-1409．

［17］ CHAN T F，WONG C K．Total variation blind deconvolution［J］． IEEE Transactions on Image Proccessing，1998，7(3):370-395．