空間變化PSF非盲去卷積圖像復(fù)原法綜述

郝建坤，黃　瑋，劉　軍，何　陽

(1.中國(guó)科學(xué)院 長(zhǎng)春光學(xué)精密機(jī)械與物理研究所，吉林 長(zhǎng)春 130033;

2.中國(guó)科學(xué)院大學(xué)，北京 100049)

?

空間變化PSF非盲去卷積圖像復(fù)原法綜述

郝建坤1,2，黃瑋1*，劉軍1，何陽1,2

(1.中國(guó)科學(xué)院 長(zhǎng)春光學(xué)精密機(jī)械與物理研究所，吉林 長(zhǎng)春 130033;

2.中國(guó)科學(xué)院大學(xué)，北京 100049)

摘要：傳統(tǒng)的圖像復(fù)原一般認(rèn)為點(diǎn)擴(kuò)散函數(shù)(PSF)是空間不變的，實(shí)際光學(xué)系統(tǒng)由于受到像差等因素的影響，并非嚴(yán)格的線性空間不變系統(tǒng)，基于空間變化PSF的非盲去卷積圖像復(fù)原法逐漸體現(xiàn)其優(yōu)越性?？臻g變化PSF的非盲去卷積圖像復(fù)原法先準(zhǔn)確估計(jì)圖像空間變化的PSF，再利用非盲去卷積算法對(duì)圖像進(jìn)行復(fù)原，有利于恢復(fù)出高質(zhì)量圖像。本文從算法的角度綜述了近幾年提出的基于空間變化PSF的非盲去卷積圖像復(fù)原方法，并對(duì)比了基于強(qiáng)邊緣預(yù)測(cè)估計(jì)PSF的非盲去卷積法、基于模糊噪聲圖像對(duì)PSF估計(jì)非盲去卷積法等算法的優(yōu)缺點(diǎn)，各算法分別在PSF估計(jì)精確度、振鈴效應(yīng)抑制效果、適用范圍等方面體現(xiàn)出各自的優(yōu)劣?？臻g變化PSF的非盲去卷積圖像復(fù)原法的研究，有利于推進(jìn)圖像復(fù)原技術(shù)向更高水平發(fā)展，使光學(xué)系統(tǒng)往輕小型化方向發(fā)展，從而在多個(gè)科學(xué)領(lǐng)域發(fā)揮其重要作用。

關(guān)鍵詞:圖像復(fù)原；空間變化PSF；非盲去卷積；PSF估計(jì)

Review of non-blind deconvolution image restoration

based on spatially-varying PSF

1引言

圖像退化是指在圖像獲取傳輸過程中，由成像系統(tǒng)、傳輸介質(zhì)方面的原因造成圖像質(zhì)量下降，典型的表現(xiàn)為圖像模糊、失真等。產(chǎn)生圖像退化的原因有很多，常見的有以下幾種：

(1)目標(biāo)或拍攝裝置的移動(dòng)造成的運(yùn)動(dòng)模糊，長(zhǎng)時(shí)間曝光引起的模糊等；

(2)焦點(diǎn)未對(duì)準(zhǔn)、廣角引起的模糊，大氣擾動(dòng)引起的模糊，曝光時(shí)間太短導(dǎo)致拍攝裝置捕獲的光子太少引起的模糊等；

(3)散焦引起的圖像扭曲；

(4)圖像在成像、數(shù)字化、采集和處理過程引入的噪聲；

(5)成像系統(tǒng)本身的像差引起的模糊。

根據(jù)點(diǎn)擴(kuò)散函數(shù)(PSF)是否已知，圖像去模糊的方法大致可以分為兩類[1]：(1)盲去卷積，即圖像的PSF是未知的;(2)非盲去卷積，即圖像的PSF已知。

對(duì)于盲去卷積，由于PSF未知，在恢復(fù)清晰圖像的過程中，還要對(duì)PSF進(jìn)行估計(jì)，這是一個(gè)具有挑戰(zhàn)性的病態(tài)逆問題?，F(xiàn)實(shí)生活中絕大多數(shù)模糊圖像的PSF未知，這使得圖像盲復(fù)原更接近實(shí)際情況，因此大量盲去卷積的算法涌現(xiàn)出來[2-7]，其中針對(duì)運(yùn)動(dòng)模糊[8-9]和離焦模糊[5]等不同的模糊情況有不同的算法。

對(duì)于非盲去卷積，PSF要求已知，或者可以由算法來估計(jì)。根據(jù)模糊和PSF是否為空間變化，非盲去卷積可以分為空間不變PSF非盲去卷積和空間變化PSF非盲去卷積。空間不變PSF非盲去卷積認(rèn)為光學(xué)系統(tǒng)點(diǎn)擴(kuò)散函數(shù)空間不變，整幅圖像利用同一個(gè)PSF去卷積。經(jīng)典的空間不變PSF非盲去卷積算法有維納濾波算法[10]、Richardson-Lucy算法[11-12]、約束最小二乘算法[13]等，這些算法在圖像復(fù)原過程中會(huì)出現(xiàn)振鈴效應(yīng)、噪聲放大等問題?？臻g變化PSF非盲去卷積基于光學(xué)系統(tǒng)點(diǎn)擴(kuò)散函數(shù)的空間變化性去卷積，其整體思路為先對(duì)成像系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)作評(píng)估，使其盡量接近真實(shí)值，再利用非盲去卷積的方法對(duì)圖像進(jìn)行復(fù)原。若能較精確估計(jì)圖像空間變化的PSF，則更有利于恢復(fù)出高質(zhì)量的圖像。

本文將簡(jiǎn)單介紹空間變化PSF非盲去卷積算法的發(fā)展史，并對(duì)近幾年提出的幾種算法進(jìn)行介紹與分析，并針對(duì)各算法圖像復(fù)原結(jié)果對(duì)它們的優(yōu)缺點(diǎn)進(jìn)行評(píng)述，最后做出總結(jié)與展望。

2空間變化PSF非盲去卷積法發(fā)展史

圖像的退化模型可用下面的數(shù)學(xué)表達(dá)式表述：

(1)

式中，g(x,y)是指退化的圖像，h(x,y)是指點(diǎn)擴(kuò)散函數(shù)，f(x,y)為原圖像，n(x,y)為加性噪聲，*代表卷積運(yùn)算。

從圖像退化模型來看，恢復(fù)清晰圖像是一個(gè)反卷積的過程，利用非盲去卷積對(duì)圖像進(jìn)行復(fù)原，則需對(duì)圖像的PSF進(jìn)行估計(jì)。傳統(tǒng)的圖像復(fù)原方法認(rèn)為PSF空間不變，而實(shí)際上光學(xué)系統(tǒng)受像差等因素的影響并非是嚴(yán)格的線性空間不變系統(tǒng)，系統(tǒng)的點(diǎn)擴(kuò)散函數(shù)會(huì)隨著視場(chǎng)的變化而改變，因此空間變化PSF非盲去卷積圖像復(fù)原法的提出，更有利于提高復(fù)原質(zhì)量。

空間變化圖像復(fù)原建模困難，計(jì)算量大，從20世紀(jì)60年代開始很多學(xué)者對(duì)此展開了深入研究。1965年，羅曼和帕爾斯[14]首先對(duì)各視場(chǎng)退化不同這一現(xiàn)象進(jìn)行了討論；2006年，加納[15]在考慮像差和離焦的情況下對(duì)運(yùn)動(dòng)模糊所產(chǎn)生的空間變化點(diǎn)擴(kuò)散函數(shù)進(jìn)行了討論?？臻g變化PSF非盲去卷積算法主要利用分塊復(fù)原的方法對(duì)圖像去模糊。

分塊復(fù)原法由Trussell和Hunt于1978 年首先提出[16-17]，其主要步驟為將圖像劃分為子塊，認(rèn)為每一子塊圖像的點(diǎn)擴(kuò)散函數(shù)是空間不變的，然后對(duì)每個(gè)子塊利用維納濾波算法去卷積，最后將復(fù)原后的子圖像塊拼接到一起，重構(gòu)整幅清晰圖像。1993年，Michael L.Cobb等人利用大型并行計(jì)算機(jī)實(shí)現(xiàn)了Richardson-Lucy算法及最大熵算法，恢復(fù)了哈勃圖像[18]。1995 年，F(xiàn)aisal等人在更為先進(jìn)的并行計(jì)算機(jī)上，基于空間變化PSF，采用Richardson-Lucy恢復(fù)了哈勃圖像[19]。1996年，Boden[20]等人考慮了點(diǎn)擴(kuò)散函數(shù)分塊插值的結(jié)果，使用Richardson-Lucy算法成功恢復(fù)了哈勃圖像。1997年，Thomas[21]對(duì)分塊復(fù)原展開深入研究，應(yīng)用等暈區(qū)對(duì)圖像劃分，進(jìn)而對(duì)圖像各區(qū)域進(jìn)行復(fù)原。由于分塊復(fù)原法將復(fù)原圖像塊拼接后容易出現(xiàn)邊緣效應(yīng)，因此隨后許多學(xué)者對(duì)此展開研究，Guo等人[22]將圖像分塊后利用期望最大化算法(Expectation-Maximization，EM)估計(jì)各圖像塊的PSF，得到圖像空間變化PSF，再用空間自適應(yīng)限制最小二乘法復(fù)原圖像，圖像細(xì)節(jié)多的區(qū)域使用較松的規(guī)則化參數(shù)及較快的收斂速度，而在圖像相對(duì)平坦的區(qū)域使用較嚴(yán)格的規(guī)則化參數(shù)及較慢的收斂速度，從而抑制了邊緣效應(yīng)；Junmo Kim[23]以及Leah Bar[24]等人分別在2002年，2007年先后針對(duì)局部模糊圖像先使用交替最小化方法尋找模糊圖像邊界，然后利用Mumford-Shah 規(guī)整化方法復(fù)原圖像，抑制邊緣振鈴效應(yīng)。

除了分塊復(fù)原，還可以利用直接復(fù)原的方法，其步驟為先測(cè)得整幅圖像空間變化的PSF，再使用非盲去卷積對(duì)圖像進(jìn)行恢復(fù)。Berger等人[25]提出一種空變自適應(yīng)方法，將正則化和幻影抑制約束同時(shí)集成到算法中，利用凸集投影法復(fù)原圖像，不僅提高了像質(zhì)，還消除了振鈴效應(yīng)；2005年，Martin[26]利用直接復(fù)原法對(duì)圖像進(jìn)行恢復(fù)，使用非凸的 Perona-Malik規(guī)整化方法提高算法的魯棒性，取得較好的效果。

隨著圖像處理技術(shù)的發(fā)展，近幾年許多學(xué)者在前人研究的基礎(chǔ)上，提出了更多基于空間變化PSF的非盲去卷積圖像復(fù)原法，這些算法處理速度快、魯棒性好、適用范圍廣，具有較好的性能。接下來將對(duì)2008年至今所提出的一些方法進(jìn)行介紹與分析。

3基于空間變化PSF非盲去卷積法圖像復(fù)原法介紹與分析

3.1　基于強(qiáng)邊緣預(yù)測(cè)估計(jì)PSF的非盲去卷積法

對(duì)于僅已知一幅模糊圖像的盲復(fù)原問題，準(zhǔn)確估計(jì)PSF是核心問題。由于圖像強(qiáng)邊緣經(jīng)模糊后對(duì)圖像質(zhì)量影響較大[27]，因而通過強(qiáng)邊緣預(yù)測(cè)法[28]尋找圖像的強(qiáng)邊緣，在預(yù)測(cè)到的強(qiáng)邊緣信息中，選擇半徑為r區(qū)域內(nèi)的像素值作為有效像素用來估計(jì)空間變化的PSF。評(píng)估PSF時(shí)，基于貝葉斯框架，可表述為求解最大后驗(yàn)概率(MAP)問題[43]，進(jìn)而轉(zhuǎn)化為求負(fù)對(duì)數(shù)似然比之和的最小值。

(2)

(3)

式中，Ki≥0,用牛頓投影梯度法求解該非負(fù)線性最小二乘問題。

圖像空間變化PSF估計(jì)得到后，可以用各種非盲去卷積算法對(duì)圖像去模糊，但必須保證算法整體的有效性。

3.2　基于模糊/噪聲圖像對(duì)PSF估計(jì)非盲去卷積法

利用兩幅不同曝光度的圖像對(duì)模糊圖像進(jìn)行復(fù)原的想法，最早由S.H.Lim和D.A.Silverstein提出[29]。該算法估計(jì)圖像空間變化的PSF，需要對(duì)同一場(chǎng)景拍攝兩幅圖像：一幅模糊圖像，一幅噪聲圖像[30]。將兩幅圖像分成相同的N×N個(gè)圖像塊，先測(cè)得每個(gè)圖像塊中心的PSF值，圖像其余位置的PSF利用雙線性插值近似得到。分塊圖像的模糊可表示為[31]:

(4)

(5)

式中，第一項(xiàng)為誤差項(xiàng)，表示清晰圖像與模糊核卷積所得的模糊圖像和輸入的模糊圖像之間的誤差，其越接近0越好；第二項(xiàng)為正則項(xiàng)，減少由模型的不精準(zhǔn)度所引入的噪聲。

如此估計(jì)得到的PSF是失敗的，部分模糊核形狀異常，因此需要對(duì)無效的模糊核進(jìn)行判斷，進(jìn)而對(duì)其修正。判定無效模糊核位置的方法有兩種：(1)計(jì)算各子窗口模糊核的熵，超過某閾值的即為無效模糊核；(2)由像素飽和引起的PSF估計(jì)失敗則更為嚴(yán)重，解決此問題需計(jì)算各子窗口模糊核值的和，對(duì)于有效模糊核，其值之和應(yīng)該接近于1，因而模糊核值之和與其他偏差較大的即為無效模糊核。確定無效模糊核位置后，用與其相鄰的有效模糊核的平均值作為其修正值。

PSF確定后，通過能量函數(shù)最小化的方法對(duì)圖像去卷積：

(6)

式中，第一項(xiàng)為誤差項(xiàng)；第二項(xiàng)為全變分正則項(xiàng)，它不僅能有效去除噪聲，而且不會(huì)過平滑圖像邊緣，除此之外，某種程度上能夠抑制由像素飽和引起的振鈴效應(yīng)。通過半二次迭代法[32]求解式(6)最小值。

參考文獻(xiàn)用[30]、[33]提出的改進(jìn)的Richardson-Lucy(RL)算法對(duì)圖像去卷積，先利用殘余RL算法(residual RL)對(duì)圖像初步恢復(fù)，再用增益控制RL算法(Gain-controlled RL)進(jìn)一步去除振鈴效應(yīng)，其速度比能量函數(shù)最小化法更快。

3.3　基于預(yù)處理的空變PSF的最小二乘共軛梯度法(PCGLS)

PCGLS算法與分塊復(fù)原法相近，但并不是分別對(duì)每個(gè)區(qū)域進(jìn)行復(fù)原再拼接到一起，而是將每一區(qū)域點(diǎn)擴(kuò)散函數(shù)進(jìn)行插值預(yù)處理，再利用最小二乘共軛梯度法對(duì)圖像全局復(fù)原，可有效避免傳統(tǒng)分塊復(fù)原法造成的邊緣振鈴效應(yīng)。

首先將圖像分為N×N個(gè)矩形區(qū)域，然后測(cè)部分區(qū)域的PSF。測(cè)量PSF的方法有點(diǎn)脈沖法、脈沖法、刀刃法。接著對(duì)點(diǎn)擴(kuò)散函數(shù)進(jìn)行插值預(yù)處理，獲得其他區(qū)域的點(diǎn)擴(kuò)散函數(shù)，經(jīng)過插值預(yù)處理得到的PSF更為精確，避免了實(shí)驗(yàn)設(shè)備條件不完善引入的誤差，有利于后續(xù)對(duì)圖像的復(fù)原。插值預(yù)處理的方法有線性插值、三次樣條插值、及分段三次Hermite插值多項(xiàng)式插值。線性插值一般插值效果不理想，實(shí)際應(yīng)用較少。分段三次Hermite插值函數(shù)比線性插值函數(shù)光滑性好，但不具有收斂性，而且會(huì)產(chǎn)生Runge現(xiàn)象，插值效果不理想。三次樣條插值效果最好，應(yīng)用比較廣泛。

圖像復(fù)原問題可轉(zhuǎn)化為求解最小二乘法問題：

(7)

共軛梯度法是一種求解最優(yōu)化問題最有效的迭代方法，將其引入求解該最小二乘問題中，可獲得較好的復(fù)原效果。

3.4　基于頻域估計(jì)PSF與Hyper-Laplacian先驗(yàn)的非盲去卷積法

Hirsch[34]等人提出的EFF(Efficient Filter Flow)法，基于頻域來計(jì)算圖像空間變化的PSF。在不考慮噪聲的情況下，圖像模糊可用矩陣向量相乘(MVM,matrix-vector-multiplication)線性表示y=Ax。參考文獻(xiàn)[35]提出的疊加(OLA,overlap-add )的方法，能夠在頻域中快速有效地計(jì)算空間變化的PSF。主要思想為將模糊圖像重疊分為p塊，其中一塊模糊圖像表示為[34]：

(8)

式中，x為清晰圖像，a(r)為第r個(gè)圖像塊的濾波器，其長(zhǎng)度為k，w(r)是一個(gè)長(zhǎng)度與x相同的窗口函數(shù)，使得第r個(gè)圖像塊與清晰圖像x相對(duì)應(yīng)的位置像素值不為0。

整幅圖像空間變化的PSF可表示為:

(9)

式中，A(r)表示a(r)的矩陣形式，Diag(v)表示向量v的對(duì)角矩陣形式，將式(9)轉(zhuǎn)化到頻域中:

(10)

式中，Cr是剪切矩陣，Za，Zy為補(bǔ)零矩陣，F(xiàn)表示離散傅里葉變換。

(11)

3.5　基于一階原始對(duì)偶算法的凸交叉通道先驗(yàn)圖像復(fù)原法

交叉通道先驗(yàn)去卷積就是不同的顏色通道在去卷積過程中共享信息，那么特征頻率保存較完好的某一顏色通道就可以幫助其他顏色通道重構(gòu)圖像。凸的交叉通道先驗(yàn)圖像復(fù)原法，不僅保證了全局收斂至最佳值，而且即使圖像存在較嚴(yán)重的模糊，也能恢復(fù)出質(zhì)量較好的圖像。

評(píng)估空間變化的PSF，需要對(duì)同一場(chǎng)景拍攝一幅模糊圖像(正常光圈大小下拍攝)和一幅清晰圖像(光圈縮小至接近小孔拍攝)，將模糊圖像和清晰圖像劃分成若干個(gè)大小相同的圖像塊。設(shè)j為模糊圖像的一個(gè)圖像塊，I表示相對(duì)應(yīng)的清晰圖像塊，估計(jì)PSF的最佳值bopt相當(dāng)于求解下面的最小化問題：

(12)

式中，第一項(xiàng)是線性最小方差的數(shù)據(jù)融合項(xiàng)， s=∑x,yI(x,y)/∑x,yj(x,y)是某個(gè)圖像塊的清晰圖像與模糊圖像像素值之比，表示清晰圖像塊和模糊圖像塊之間的差異；第二項(xiàng)為全變分先驗(yàn)；第三項(xiàng)表示能量約束項(xiàng)。式(12)是一個(gè)凸優(yōu)化問題，采用一階原始對(duì)偶優(yōu)化算法[39]，通過不斷迭代得到最優(yōu)PSF。得到最佳PSF以后，利用去卷積算法最終恢復(fù)清晰圖像。將該交叉通道先驗(yàn)運(yùn)用到所有顏色通道的去卷積過程中，可以用以下優(yōu)化問題來描述：

(13)

式中，第一項(xiàng)為最小二乘數(shù)據(jù)擬合項(xiàng)，第二項(xiàng)為圖像先驗(yàn)項(xiàng)，第三項(xiàng)為交叉通道先驗(yàn)項(xiàng)。其中c表示不同顏色通道，i為清晰圖像，j為模糊圖像，B是模糊核，H是卷積矩陣，λ和β均為權(quán)重因子。式(13)類似于式(12)，同樣使用一階原始對(duì)偶優(yōu)化算法來求解，最終恢復(fù)出清晰的圖像。

4算法對(duì)比及優(yōu)缺點(diǎn)評(píng)述

基于強(qiáng)邊緣預(yù)測(cè)估計(jì)PSF的非盲去卷積法適用于由運(yùn)動(dòng)、離焦以及相機(jī)的固有屬性所引起的模糊，運(yùn)行速度快，對(duì)各種圖像都能較準(zhǔn)確地估計(jì)其模糊核，且能夠在亞像素分辨率條件下，估計(jì)圖像空間變化的PSF。然而，它也有一定的局限性，只能求解具有單峰的模糊核，一旦模糊核為多峰，該算法就不再有效。這種局限性主要來源于對(duì)邊緣檢測(cè)器的依賴，對(duì)于每個(gè)模糊邊緣，邊緣檢測(cè)器只能找到一個(gè)位置。Joshi[28]等人利用上述方法對(duì)同時(shí)存在離焦和運(yùn)動(dòng)模糊的圖像進(jìn)行復(fù)原，測(cè)得整幅圖像的PSF后(其中噪聲由參考文獻(xiàn)[40]提出的方法測(cè)得)，利用經(jīng)典的Richardson-Lucy算法進(jìn)行去卷積，有效抑制振鈴效應(yīng)，并校正色差，實(shí)驗(yàn)結(jié)果如圖1。

圖1　Joshi等人實(shí)驗(yàn)的恢復(fù)圖像Fig.1　Recoverd image in the experiment by Joshi, et al

基于模糊/噪聲圖像對(duì)PSF估計(jì)非盲去卷積法主要用于運(yùn)動(dòng)模糊，其獨(dú)特之處在于用兩幅不同曝光度的圖像進(jìn)行圖像復(fù)原。相比于單幅圖像復(fù)原，其速度更快，且能分割處理拍攝目標(biāo)運(yùn)動(dòng)引起的模糊。算法整體魯棒性好，但抑制振鈴效應(yīng)的效果相比多幅圖的圖像復(fù)原差一些。Michal S?orel[31]等人將圖像分為7×7的圖像塊，利用該算法對(duì)圖像進(jìn)行復(fù)原，分別用能量函數(shù)最小化法和參考文獻(xiàn)[33]提出的改進(jìn)的RL算法去卷積，后者速度更快，實(shí)驗(yàn)結(jié)果見圖2、圖3，兩種方法復(fù)原圖像像質(zhì)都有所提升，雖然利用改進(jìn)的RL算法去卷積速度較快，但是圖像復(fù)原質(zhì)量相比能量函數(shù)最小化法差一些。

圖2　估計(jì)失敗的PSF和改進(jìn)后的PSFFig.2　Unsuccessfully estimated PSF and adjusted PSF

圖3　改進(jìn)RL算法和能量最小化算法恢復(fù)圖像Fig.3　Recovered images by variant RL and energy minimization

基于預(yù)處理的空變PSF的最小二乘共軛梯度法(PCGLS)主要對(duì)成像光學(xué)系統(tǒng)像差所引起的圖像模糊進(jìn)行復(fù)原，引入點(diǎn)擴(kuò)散函數(shù)的全局思想，進(jìn)而進(jìn)行全局圖像復(fù)原。利用插值對(duì)PSF進(jìn)行預(yù)處理從而避免了邊緣振鈴效應(yīng)，與未經(jīng)過預(yù)處理的空間變化PSF最小二乘共軛梯度法相比，其迭代速度較快，但是像質(zhì)沒有明顯提高。郝玲[41]將圖像分為5×5個(gè)圖像塊，先用刀刃法測(cè)部分區(qū)域的PSF，再利用分段插值對(duì)PSF進(jìn)行預(yù)處理，最后利用最小二乘共軛梯度法對(duì)圖像復(fù)原，實(shí)驗(yàn)結(jié)果見圖4。

圖4　模糊圖像和恢復(fù)圖像Fig.4　Blurred image and recovered image

圖5　Christian J.Schuler等人實(shí)驗(yàn)的恢復(fù)圖像Fig.5　Recovered image in the experiment by Christian J.Schuler, et al

基于頻域估計(jì)PSF與Hyper-Laplacian先驗(yàn)的非盲去卷積法主要用于運(yùn)動(dòng)模糊和光學(xué)系統(tǒng)像差引起的圖像模糊。該算法使用重疊分塊，在頻域中能夠快速有效地計(jì)算空間變化的PSF。利用Hyper-Laplacian先驗(yàn)對(duì)圖像進(jìn)行去卷積，可平滑圖像。該算法不僅對(duì)復(fù)雜成像光學(xué)系統(tǒng)圖像復(fù)原效果很好，而且對(duì)于模糊程度非常大的單透鏡相機(jī)同樣有較好的效果，其適用范圍廣。Christian J.Schuler[38]等人利用該算法，在去卷積的同時(shí)加入去馬賽克變化，不僅去除模糊還恢復(fù)了圖像的全彩色，實(shí)驗(yàn)結(jié)果見圖5，復(fù)雜系統(tǒng)和單透鏡復(fù)原像質(zhì)都明顯提升?；谝浑A原始對(duì)偶算法的凸交叉通道先驗(yàn)圖像復(fù)原法主要用于光學(xué)系統(tǒng)像差導(dǎo)致的圖像模糊，運(yùn)行速度快，魯棒性好，并且能夠使全局收斂至最佳值，交叉通道先驗(yàn)使不同顏色通道能夠共享更多圖像細(xì)節(jié)，抑制各通道產(chǎn)生的振鈴效應(yīng)，從而恢復(fù)出像質(zhì)較高的圖像。該算法不僅適用于普通商用鏡頭圖像恢復(fù)，而且適用于模糊嚴(yán)重的簡(jiǎn)單透鏡系統(tǒng)，同時(shí)也可用于多光譜相機(jī)的圖像復(fù)原，適用范圍非常廣。對(duì)簡(jiǎn)單透鏡系統(tǒng)的圖像恢復(fù)，雖然像質(zhì)提升至可接受的結(jié)果，但是與高端單反相機(jī)拍攝的照片相比，像質(zhì)差一些。Heide[42]等人用焦距為130 mm、F#為4.5的平凸透鏡制成單透鏡相機(jī)并獲取模糊圖像，其實(shí)驗(yàn)恢復(fù)結(jié)果見圖6，像質(zhì)明顯提高。

下面分別從估計(jì)PSF的方法、去卷積的方法、適用范圍、優(yōu)點(diǎn)以及缺點(diǎn)5個(gè)方面，對(duì)5種算法實(shí)例進(jìn)行對(duì)比，其對(duì)比結(jié)果見表1。

圖6　Heide等人實(shí)驗(yàn)的恢復(fù)圖像Fig.6　Recovered image in the experiment by Heide, et al

PSF估計(jì)去卷積適用范圍優(yōu)點(diǎn)缺點(diǎn)Joshi強(qiáng)邊緣預(yù)測(cè)法Richardson-Lucy運(yùn)動(dòng)、離焦以及相機(jī)的固有屬性所引起的模糊①速度快②PSF估計(jì)較準(zhǔn)確③亞像素分辨率下 復(fù)原圖像不適用于模糊核為多峰的情況MichalSorel模糊/噪聲圖像對(duì)估計(jì)法改進(jìn)的RL算法運(yùn)動(dòng)模糊①比單幅圖像復(fù) 原速度更快②振鈴效應(yīng)抑 制效果好拍攝兩幅不同曝光度的圖像不易控制HaoLin刀刃法+分段插值最小二乘共軛梯度像差引起的模糊 避免振鈴效應(yīng)像質(zhì)提高不明顯ChristianJ.Schuler頻域直接計(jì)算Hyper-Laplacian先驗(yàn)+demosaicing運(yùn)動(dòng)模糊、像差模糊①PSF估計(jì)快速有效②恢復(fù)圖像全彩色③能用于單透鏡 成像復(fù)原單透鏡復(fù)原效果差一些,PSF有待改進(jìn)Heide一階原始對(duì)偶算法一階原始對(duì)偶算法像差引起的模糊①速度快,魯棒性好②振鈴效應(yīng)抑制 效果好③可用于多種相 機(jī)圖像復(fù)原簡(jiǎn)單透鏡系統(tǒng)的圖像復(fù)原效果差一些

5結(jié)束語

圖像復(fù)原是一種逆問題，具有病態(tài)性質(zhì)。實(shí)際復(fù)原過程中，對(duì)PSF測(cè)量越準(zhǔn)確越有利于恢復(fù)出更真實(shí)的原圖像。傳統(tǒng)的圖像復(fù)原簡(jiǎn)化了PSF隨空間變化的這一實(shí)際特性，認(rèn)為PSF空間不變?；诳臻g變化PSF的非盲去卷積圖像復(fù)原從更精確的PSF出發(fā)對(duì)模糊圖像進(jìn)行復(fù)原，更加貼合成像系統(tǒng)的實(shí)際成像過程。本文對(duì)空間變化PSF的非盲去卷積圖像復(fù)原法的發(fā)展史進(jìn)行簡(jiǎn)單描述，重點(diǎn)介紹了近幾年提出的一些空間變化PSF非盲去卷積算法，同時(shí)對(duì)各算法進(jìn)行評(píng)述。

雖然這些算法已經(jīng)取得了很多創(chuàng)造性的成果，但是仍然存在一些不足之處：

(1)準(zhǔn)確評(píng)估空間變化的PSF是一項(xiàng)具有挑戰(zhàn)性的任務(wù)，這些算法依然有一定的改進(jìn)空間。

(2)對(duì)于復(fù)原簡(jiǎn)單透鏡系統(tǒng)所成像，若光學(xué)系統(tǒng)在設(shè)計(jì)時(shí)能夠校正一部分像差，在后期處理時(shí)會(huì)有更好的恢復(fù)效果，從而達(dá)到與復(fù)雜光學(xué)系統(tǒng)相媲美的像質(zhì)，實(shí)現(xiàn)光學(xué)設(shè)計(jì)與后續(xù)圖像處理算法設(shè)計(jì)的聯(lián)合設(shè)計(jì)將成為新的挑戰(zhàn)。

(3)目前這些算法只是處于實(shí)驗(yàn)室研究階段，還不夠完善，并且考慮到嵌入式計(jì)算機(jī)性能問題，難以運(yùn)用到實(shí)際中。

我們相信，對(duì)這些問題深入細(xì)致的研究將有利于完善基于空間變化PSF的非盲去卷積圖像復(fù)原法，推進(jìn)圖像復(fù)原技術(shù)向更高水平發(fā)展，使光學(xué)系統(tǒng)向更小、更輕、更便宜的方向發(fā)展，從而在多個(gè)科學(xué)領(lǐng)域發(fā)揮其重要作用。

[1]JADHAV R D,DESHMUKH P P. Parameter assumption for blind and non-blind deblurring in image processing[J].InternationalJ.Electrical,ElectronicsandComputerEngineering,2014,3(1):1-9.

[2]KUNDUR D,HATZINAKOS D. Blind image deconvolution[J].SignalProcessingMagazine,IEEE,1996,13(3):43-64.

[3]YAP K H,GUAN L,LIU W. A recursive soft-decision approach to blind image deconvolution[J].SignalProcessing,IEEETransactionson,2003,51(2):515-526.

[4]CAMPISI AND K. EGIAZARIAN.BlindImageDeconvolution:TheoryandApplications[M]. CRC Press,2007.

[5]YIN H,HUSSAIN I. Blind source separation and genetic algorithm for image restoration[C].2006 International Conference on Advances in Space Technologies,IEEE,2006:167-172.

[6]JUSTEN L,RAMLAU R. A non-iterative regularization approach to blind deconvolution[J].InverseProblems,2006,22(3):771.

[7]BABACAN S D,MOLINA R,KATSAGGELOS A K. Variational Bayesian blind deconvolution using a total variation prior[J].IEEETransactionsonImageProcessing,2009,18(1):12-26.

[8]KRAHMER F,LIN Y,MCADOO B,etal. Blind image deconvolution: Motion blur estimation[J].IMAPreprintsSeries,2006:2133-5.

[9]OLIVEIRA J P,FIGUEIREDO M A T,BIOUCAS-DIAS J M.BlindEstimationofMotionBlurParametersforImageDeconvolution[M]. Berlin Heidelberg:Springer,2007:604-611.

[10]WIENER N.Extrapolation,Interpolation,andSmoothingofStationaryTimeSeries[M]. Cambridge,MA:MIT Press,1949.

[11]RICHARDSON W H. Bayesian-based iterative method of image restoration[J].J.OpticalSocietyofAmeirica,1972,62(1):55-59.

[12]LUCY L B. An iterative technique for the rectification of observed distributions[J].TheastronomicalJ.,1974,79:745.

[13]HUNT B R. The application of constrained least squares estimation to image restoration by digital computer[J].IEEETransactiononComputers,1973,100(9):805-822.

[14]LOHMANN A W,PARIS D P. Space-variant image formation[J].J.OpticalSocietyofAmerica，1965，55(8):1007-1013.

[15]KLAPP I,YITZHAKY Y. Angular motion point spread function modelconsidering aberrations and defocus effects[J].J.Opt.Soc.Am.A,2006,23(8):1856-1864.

[16]TRUSSELL H，HUNT B. Image restoration of space variant blurs by sectioned methods[J].IEEETrans.Acoustics，SpeechandSignalProcess(S0096-3518)，1978,26(6):608-609.

[17]TRUSSEL H,HUNT B. Sectioned methods for image restoration[J].IEEETrans.Acoustics,SpeechandSignalProcess(S0096-3518),1978,26(2):157-164.

[18]COBB M L,HERTZ P L,WHALEY R O. Space variant point function deconvolution of hubbleimagery using the connection machine[J].SPIE,1993,2029:202-208.

[19]FAISAL M,LANTERMAN A D,SNYDER D L,etal.. Implementation of a modified richardson-lucy method for image restoration on a massively parallel computer to compensate for space-variant point spread function of a charge-coupled device camera[J].J.OpticalSocietyofAmericaA,1995,12:2593-2603.

[20]BODEN A F,REDDING D C,HANISCH R J. Massively parallel spatially-variant maximum likelihood restoration of hubble space telescope imagery[J].J.OpticalSocietyofAmericaA,1996,13:1537-1545.

[21]COSTELLO T P，MIKHAEL W B. Efficient restoration of space-variant blurs from physical optics by sectioning with modified Wiener filtering[J].DigitalSignalProcessing，2003,13(1):1-22.

[22]GUO Y P,LEE H P,TEO C L. Blind restoration of images degraded byspace-variant blurs using iterative algorithms for both blur identification and image restoration[J].ImageandVisionComputing，1997，15(5):399-410.

[23]KIM J,TSAI A,CETIN M,etal.. A curve evolution-based variational approach to simultaneous image restoration and segmentation[J].IEEEInternationalConferenceonImageProcessing,2002,1:109-112.

[24]BAR L，SOCHEN N A，KIRYATI N.RestorationofImageswithPiecewiseSpace-VariantBlur[M]. Berlin Heidelberg: Springer-Verlag,2007,4485:533-544.

[25]OZKAN M K，TEKALP A M，SEZAN M I. POCS-based restoration of space-varying blurredimages[J].IEEETransactionsonImageProcessing(S1057-7149)，1994，3(4)：450-454.

[26]WELK M，THEIS D，WEICKERT J.VariationAldeblurringofImageswithUncertainandSpatiallyVariantBlurs[M]. Berlin Heidelberg：Springer-Verlag，2005，3663：485-492.

[27]朱明,楊航,賀柏根,等.聯(lián)合梯度預(yù)測(cè)與導(dǎo)引濾波的圖像運(yùn)動(dòng)模糊復(fù)原[J].中國(guó)光學(xué),2013,6(6):850-855.

ZHU M,YANG H,HE B G,etal.. Image motion blurring restoration of joint gradient prediction and guided filter[J].ChineseOptics,2013,6(6):850-855.(in Chinese)

[28]JOSHI N,SZELISKI R,KRIEGMAN D J. PSF estimation using sharp edge prediction[C]. Computer Vision and Pattern Recognition,2008. CVPR 2008. IEEE Conference on. IEEE,2008:1-8.

[29]LIM S H,SILVERSTEIN D A. Method for deblurring an image:U.S. 8654201[P]. 2014-2-18.

[30]YUAN L,SUN J,QUAN L,etal.. Image deblurring with blurred/noisy image pairs[J].ACMTransactionsonGraphics,2007,26(3):1.

[33]YUAN L,SUN J,QUAN L,etal.. Progressive inter-scale and intra-scale non-blind image deconvolution[J].ACMTransactionsonGraphics,2008,27(3):74.

[34]HIRSCH M,SRA S,SCH LKOPF B,etal.. Efficient filter flow for space-variant multiframe blind deconvolution[J].InProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition(CVPR),2010:607-614.

[35]STOCKHAM J T G. High-speed convolution and correlation[C]. Proceedings of the April 26-28,1966,Spring joint computer conference. ACM,1966:229-233.

[36]KRISHNAN D,FERGUS R. Fast image deconvolution using hyper-Laplacian priors[C]. Advances in Neural Information Processing Systems,Springer,2009:1033-1041.

[37]LEVIN A,WEISS Y,DURAND F,etal.. Understanding and evaluating blind deconvolution algorithms[C]. IEEE Conference on Computer Vision and Pattern Recognition,2009(CVPR 2009) IEEE,2009:1964-1971.

[38]SCHULER C J,HIRSCH M,HARMELING S,etal.. Non-stationary correction of optical aberrations[C]. 2011 IEEE International Conference on Computer Vision(ICCV),IEEE,2011:659-666.

[39]CHAMBOLLE A,POCK T. A first-order primal-dual algorithm for convex problems with applications to imaging[J].J.MathematicalImagingandVision,2011,40(1):120-145.

[41]郝玲.基于空變系統(tǒng)圖像恢復(fù)的點(diǎn)擴(kuò)散函數(shù)獲取研究[D].哈爾濱：哈爾濱工業(yè)大學(xué)航天學(xué)院，2012.

HAO L. Point spread function obtaining research based on the linear space variant image restoration[D]. Harbin:Harbin Institute of Technology,2012.(in Chinese)

[42]HEIDE F,ROUF M,HULLIN M B,etal.. High-quality computational imaging through simple lenses[J].ACMTransactionsonGraphics,2013,32(5):149.

[43]FERGUS R,SINGH B,HERTZMANN A,etal.. Removing camera shake from a single photograph[J].ACMTransactionsonGraphics,2006,25(3):787-794.

郝建坤(1991—)，女，山西大同人，碩士研究生，主要從事圖像復(fù)原等方面的研究。E-mail:haojiankunlj@163.com

黃瑋(1965—)，男，吉林長(zhǎng)春人，研究員，博士生導(dǎo)師，主要從事光學(xué)系統(tǒng)設(shè)計(jì)方面的研究。E-mail：huangw@ciomp.ac.cn

Supported by National Natural Science Foundation of China(No.11474038)

HAO Jian-kun1,2, HUANG Wei1*, LIU Jun1, HE Yang1,2

(1.ChangchunInstituteofOptics,FineMechanicsandPhysics,

ChineseAcademyofSciences,Changchun130033,China;

2.UniversityofChineseAcademyofSciences,Beijing100049,China)

*Correspondingauthor,E-mail:huangw@ciomp.ac.cn

Abstract:Traditional image restoration is generally considered that point spread function(PSF) is space-invariant. However, the actual optical system suffering from various optical aberrations can not be strictly linear space invariant. Non-blind deconvolution(NBD) algorithm of image restoration based on spatially-varying PSF(SVPSF) gradually embodies its superiority. NBD image restoration with SVPSF accurately estimates the spatially-varying PSF of the image at first, and then restores the image through NBD algorithm, which is conducive to the recovery of high quality images. From the perspective of algorithm, we review non-blind image restoration method proposed in recent years based on spatially-varying PSF, as well as compare merits and drawbacks among NBD algorithm based on PSF estimation using sharp edge prediction, NBD algorithm based on blurred/noisy image pairs, and so on. These algorithms reflect pros and cons respectively in PSF estimation accuracy, inhibitory effect of ringing artifacts, and the scope of application. The study of the NBD image restoration method based on SVPSF is beneficial to the development of image restoration technology to a higher level, which facilitates the optical systems to be smaller, so that it can play an important role in many scientific fields.

Key words:image restoration;spatially-varying PSF;non-blind deconvolution;PSF estimated

作者簡(jiǎn)介：

中圖分類號(hào)：TN911.73

文獻(xiàn)標(biāo)識(shí)碼:A

doi:10.3788/CO.20160901.0041

文章編號(hào)2095-1531(2016)01-0041-10 2095-1531(2016)01-0051-14

基金項(xiàng)目：應(yīng)用光學(xué)國(guó)家重點(diǎn)實(shí)驗(yàn)室基金資助項(xiàng)目(No.Y4223FQ141) 國(guó)家自然科學(xué)基金資助項(xiàng)目(No.11474038)

收稿日期:2015-09-11； 2015-09-03；

修訂日期:2015-11-13 2015-10-12

Supported by Foundation of State Key Laboratory on Applied Optics of China(No.Y4223FQ141)