空間變化模糊的圖像復(fù)原算法

,

(浙江工業(yè)大學(xué) 信息工程學(xué)院,浙江 杭州 310023)

對于許多成像裝置來說,它們的圖像退化模型雖然可以被認(rèn)為是線性的,但在圖像獲取傳輸過程中,由成像系統(tǒng)、傳輸介質(zhì)方面的原因造成圖像退化模型并不是空間不變(Space-invariant)的,而是空間變化的(Space-variant)。其變化性的起因主要是傳輸介質(zhì)的非均勻性和光學(xué)系統(tǒng)的成像缺陷。光學(xué)系統(tǒng)含有像差,且像差的大小通常會隨視場的變化而發(fā)生改變,而工作環(huán)境變化、系統(tǒng)平臺振動外界因素更會加劇光學(xué)系統(tǒng)的像差,引起成像系統(tǒng)不同視場PSF的變化。除了前面兩個(gè)引起空間變化的因素外,成像系統(tǒng)探測器響應(yīng)的非均勻性,成像目標(biāo)物與光學(xué)系統(tǒng)間的相對運(yùn)動等因素也會造成系統(tǒng)不同視場的PSF不同。當(dāng)空間不變圖像復(fù)原算法用于處理空間變化產(chǎn)生的模糊時(shí),其性能會下降,產(chǎn)生較差的恢復(fù)結(jié)果。因此需要用空間變化圖像恢復(fù)模型?？臻g變化模型與空間不變的模型差異主要表現(xiàn)在:空間不變的模糊核(Point spread function)在圖像退化模型中是固定不變,而空間變化的模糊核在圖像的不同區(qū)域是不同的。空間變化模型,因?yàn)榭臻g變化的特性,模糊核無法當(dāng)作一個(gè)整體。從而導(dǎo)致空間變化模型在圖像復(fù)原過程要比空間不變模型要復(fù)雜得多。在關(guān)于如何解決空間變化模糊的問題上,Costello等[1-2]提出了分塊復(fù)原法,即將圖像分為幾塊區(qū)域,每個(gè)區(qū)域的模糊核都當(dāng)作空間不變的,然后使用去模糊算法復(fù)原圖像后再將幾個(gè)區(qū)域拼接起來形成一個(gè)完整的圖像。分塊復(fù)原法將復(fù)原圖像塊拼接后容易出現(xiàn)邊緣效應(yīng)。與之對應(yīng)的是直接復(fù)原法,直接復(fù)原法中解決此類問題的一個(gè)較為普遍的方法是將模糊核用一系列基礎(chǔ)分解矩陣來表示。Tezaur等[3-4]的一些早期的嘗試,將原始模糊的子集作為分解矩陣,然后應(yīng)用到圖像復(fù)原算法當(dāng)中。而后,Popkin等[5]開始嘗試使用奇異值分解來分解模糊核。Miraut等[6]將奇異值分解模糊核運(yùn)用到圖像復(fù)原算法當(dāng)中,提出了基于小波框架正則化的L0范數(shù)圖像復(fù)原算法。Sroubek等[7]在SVD分解模糊核的基礎(chǔ)上,使用TV范數(shù)作為正則項(xiàng)也取得了不錯(cuò)的復(fù)原效果,并橫向?qū)Ρ攘四：朔謩e基于行分解的奇異值分解和基于列分解的奇異值分解的復(fù)原效果。

干凈無損的圖像是稀疏的,近年來基于稀疏表達(dá)的圖像復(fù)原算法不斷出現(xiàn)且取得不錯(cuò)的效果[8-9]。小波框架具有稀疏性和良好的局部頻域特性,在圖像復(fù)原中得到了很好的應(yīng)用[10-12];Chan等[13]基于小波框架提出了針對空間變化模糊的高分辨率圖像重建算法。近年來在壓縮感知領(lǐng)域的一些實(shí)驗(yàn)表明:將TV函數(shù)和小波框架的組合作為正則項(xiàng)能夠取得較好的復(fù)原效果[14-15]。新算法使用TV和小波框架的線性組合模型作為正則項(xiàng),結(jié)合使用SVD技術(shù)將模糊核分解為一個(gè)基濾波矩陣和一個(gè)系數(shù)濾波矩陣,將正則化模型引入到空間變化去模糊領(lǐng)域。并運(yùn)用交替方向乘子法(Alternating direction method of multipliers)對算法進(jìn)行快速求解。實(shí)驗(yàn)表明：新的算法能夠取得較好的峰值信噪比和結(jié)構(gòu)相似度。

1 圖像退化模型

1.1 模糊核模型

點(diǎn)擴(kuò)散函數(shù)(PSF)描述了一個(gè)成像系統(tǒng)對一個(gè)點(diǎn)光源(物體)的響應(yīng)。與空間不變產(chǎn)生的模糊不同,空間變化產(chǎn)生的模糊,它產(chǎn)生的PSF在圖像中的每個(gè)點(diǎn)都是不同的。因此在圖像中某點(diǎn)s的PSF可以用函數(shù)h(x,s)來表示,空間變化的圖像退化模型可表示為

(1)

式中:u為想要恢復(fù)的清晰原始圖像;g為被相機(jī)捕捉到的影像;h為模糊核函數(shù)。轉(zhuǎn)化為向量矩陣的形式為g=Hu,其中H為離散空間變化模糊核的退化矩陣。

1.2 模糊核的分解

空間變化模糊核的分解有列分解(Column-wise decomposition)和行分解(Row-wise decomposition)兩種形式。Miraut等[6]將模糊核表示為IKs(Integration kernels)和PSFs(Point spread functions)兩種形式,IKs所對應(yīng)的模糊核分解為行分解(RWD),PSFs所對應(yīng)的分解形式為列分解(CWD)。通常使用PSFs來表示線性的空間變化裝置要比使用IKs表達(dá)地更加自然準(zhǔn)確,主要原因在于PSF描述了點(diǎn)光源在經(jīng)過光學(xué)系統(tǒng)后,由于衍射而形成一個(gè)擴(kuò)大的像點(diǎn),通過測量系統(tǒng)的PSF,能夠更準(zhǔn)確地提取圖像信息,所以PSFs要比IKs更加直觀。在文獻(xiàn)[7]中,Sroubek等使用散焦模糊來模擬空間變化模糊,并將模糊圖像的模糊核分別用CWD和RWD分解方式來分解,并使用TV正則化的方法對圖像進(jìn)行復(fù)原。通過文獻(xiàn)[7]的實(shí)驗(yàn)結(jié)果,了解到使用CWD分解法后算法恢復(fù)的圖像質(zhì)量要好于RWD分解法,與此同時(shí)，隨著所取分解取得的奇異值個(gè)數(shù)K的增加,CWD分解法所取得的恢復(fù)圖像與原始圖像的均方誤差(MSE)下降得更快。這表明在取得較好圖像復(fù)原效果的同時(shí)減少K的值,以便于簡化計(jì)算。因此,新算法采用CWD-SVD分解法來分解PSFs。

(2)

式中:sr按照從大到小排列取前k奇異值,sk=diag({σ1,…,σk})。由此可得模糊核分解公式為

(3)

式中:br(x),mr(s)分別為所需要的基濾波矩陣和系數(shù)矩陣[16]，其中br(x)=ur(x),mr(s)=srvr(s)。

結(jié)合圖像退化模型,分解后,相應(yīng)的圖像退化模型為

g=[B1,B2,…,BK][M1,M2,…,MK]Tu+n=
BMu+n

(4)

式中:g為退化圖像的向量表示;u為原始圖像的向量表示;n為噪聲的向量表示;B,M分別為模糊核經(jīng)SVD后得到的基濾波矩陣和系數(shù)濾波矩陣。

2 圖像復(fù)原算法

2.1 正則化復(fù)原模型

圖像復(fù)原是一個(gè)典型的病態(tài)問題,因此需要引入原始圖像的先驗(yàn)信息,構(gòu)造附加解的先驗(yàn)信息作為約束條件,將病態(tài)問題良態(tài)化。這就是圖像復(fù)原正則化處理的基本思想。利用正則化方法將式(4)轉(zhuǎn)為求解最優(yōu)化問題,求解泛函模型,即

E(u,g)=Q(u,g)+λJ(u)

(5)

(6)

2.2 基于ADMM的圖像去模糊算法

為了克服TV正則化方法計(jì)算困難的缺點(diǎn),近年發(fā)展出了許多高效的計(jì)算方法,如原對偶方法、FTVd、增廣拉格朗日法和交替方向乘子法(ADMM)等。為了求解上述模型,將式(6)轉(zhuǎn)化為約束最優(yōu)化問題。ADMM算法是機(jī)器學(xué)習(xí)中比較廣泛使用的約束問題最優(yōu)化方法,它是增廣拉格朗日法的一種延伸,其主要目的是為了彌補(bǔ)了二次懲罰的缺點(diǎn)。在一些問題中,二次懲罰來近似約束問題在最優(yōu)點(diǎn)附近需要懲罰項(xiàng)的系數(shù)趨于無窮,這會使得海森矩陣很大,因此近似的目標(biāo)函數(shù)會很不穩(wěn)定。ADMM能夠避免這種缺陷,該算法引入了線性逼近部分,通過線性系數(shù)不斷的接近最優(yōu)解,使得在二次懲罰項(xiàng)系數(shù)很小的情況下,也能得到滿足要求精度的解。ADMM通過分解協(xié)調(diào)(Decomposition-coordination)過程,將大的全局問題分解為多個(gè)較小、較容易求解的局部子問題,并通過協(xié)調(diào)子問題的解而得到大的全局問題的解,所以新算法選用該方法求解模型。約束最優(yōu)化問題為

(7)

s.t.ω=Mu,v=Cu,H=Wu

將式(7)改為增廣拉格朗日形式,得到

(8)

根據(jù)ADMM迭代求解算法,可以對式(8)變量進(jìn)行分離求解,將式(8)轉(zhuǎn)化為分別對u,ω,v,H迭代求解問題。具體迭代求解算法為

(9)

要求解式(9)的變量u,ω,v,H,只需在對應(yīng)項(xiàng)關(guān)于變量求導(dǎo)為零即可,即求解極小值問題。式(9)中的第1項(xiàng)是關(guān)于u求導(dǎo),可得

(γMTM+βCTC+ρWTW)u=γMT(ω+q)+
βCT(v+p)+ρWT(H+t)

(10)

要求解式(10),需要求出(γMTM+βCTC+ρWTW)-1。W為緊小波框架分解算子,從而有WTW=I。C為差分算子,CTC為拉普拉斯算子矩陣,因此后2項(xiàng)都可以在頻域中快速計(jì)算,然而MTM

(11)

式(11)中：F和F-1分別代表傅里葉變換和傅里葉反變換。通過以上公式對變量的分離求解,再將其置入迭代優(yōu)化便可以在迭代中求解u。直到在迭代過程中迭代停止準(zhǔn)則小于已設(shè)定好的閾值或者超出最大設(shè)定迭代次數(shù)時(shí),停止迭代。

3 仿真分析

新算法使用峰值信噪比(PSNR)和結(jié)構(gòu)相似度(SSIM)來評估圖像復(fù)原效果,輔以主觀視覺效果的主觀評價(jià)。自然圖像具有極高的結(jié)構(gòu)性,表現(xiàn)在圖像的像素間存在著很強(qiáng)的相關(guān)性,這些相關(guān)性在視覺場景中攜帶著關(guān)于物體結(jié)構(gòu)的重要信息。SSIM能夠使圖像和參考圖像的結(jié)構(gòu)比較失真。相較于傳統(tǒng)所使用的影像品質(zhì)衡量指標(biāo),結(jié)構(gòu)相似性在影像品質(zhì)的衡量上更能符合人眼對影像品質(zhì)的判斷。PSNR值越大,SSIM的值越接近于1,說明恢復(fù)圖像越接近原圖像,恢復(fù)效果越好。

實(shí)驗(yàn)原始圖像分別選取分辨率為256×256的“Lena”“Cameraman”“House”“Barbara”圖像。實(shí)驗(yàn)編程環(huán)境為Matlab2016b。實(shí)驗(yàn)需要添加空間變化模糊,因其特殊性,退化模型采用文獻(xiàn)[7]提供的散焦模糊來獲取退化圖像。即假設(shè)模糊核函數(shù)已知,模糊程度可改變參數(shù)來手動控制。而在實(shí)際應(yīng)用中,模糊核需要被估計(jì)出來才能進(jìn)行圖像的復(fù)原。設(shè)置最大迭代次數(shù)為500。

新算法添加的模糊與文獻(xiàn)[7]相同,因此將新算法與文獻(xiàn)[7]所提出的TV復(fù)原模型進(jìn)行比較,對比算法參數(shù)取原值。部分實(shí)驗(yàn)結(jié)果如圖1～3所示。其中圖1(a)為原始清晰的圖像“Lena”,圖1(b)為添加散焦模糊后的圖像,圖1(c)為用文獻(xiàn)[7]算法復(fù)原的圖像,圖1(d)為新算法復(fù)原的圖像。圖2(a)和圖3(a)中為原始圖像,圖2(b)和圖3(b)為模糊圖像,圖2(c)和圖3(c)為新算法復(fù)原圖像。圖4為實(shí)驗(yàn)圖1(b)新算法與文獻(xiàn)[7]算法的迭代次數(shù)與PSNR值的關(guān)系圖,圖5為實(shí)驗(yàn)測試圖“Lena”在不同模糊程度下(PSF變化速率值越大,模糊程度越高),新方法和文獻(xiàn)[7]算法復(fù)原圖像PSNR值的對比數(shù)據(jù)圖。更多實(shí)驗(yàn)數(shù)據(jù)對比結(jié)果如表1所示。

圖1 “Lena”模糊圖像復(fù)原結(jié)果Fig.1 The result of blurred image “Lena”

圖2 “Barbara”模糊圖像復(fù)原結(jié)果Fig.2 The result of blurred image “Barbara”

圖3 “Cameraman”模糊圖像復(fù)原結(jié)果Fig.3 The result of blurred image “Cameraman”

圖4 文獻(xiàn)[7]與新算法PSNR隨迭代次數(shù)對比Fig.4 PSNR comparison between proposed method and reference[7] with iteration number

圖5 文獻(xiàn)[7]與新算法PSNR隨模糊程度的對比Fig.5 PSNR comparison between proposed method and reference[7] with speed of PSF changes

測試圖像模糊程度(SSIM)峰值信噪比/dB文獻(xiàn)[7]新算法結(jié)構(gòu)相似度文獻(xiàn)[7]新算法LenaCameramanHouse0.427 929.664 832.142 70.858 60.903 60.454 930.038 432.042 20.867 00.901 90.500 930.022 730.057 20.873 90.878 40.503 831.217 234.707 20.907 40.947 70.515 332.037 533.691 30.906 20.911 80.550 131.901 131.755 70.918 60.892 20.547 834.435 937.047 40.890 30.920 30.563 534.150 734.471 30.873 80.875 90.590 135.091 934.150 70.889 00.872 2

從圖1(c,d)的對比,可以看出新算法復(fù)原的圖像在發(fā)絲、帽檐紋理較多的區(qū)域比文獻(xiàn)[7]算法復(fù)原的圖像要更加清晰,而圖4也可以表明,新算法在迭代次數(shù)230之前效果差于對比算法,但隨著迭代次數(shù)的增加,新算法的復(fù)原效果要好于對比算法。表1“l(fā)ena”圖像的第一行數(shù)據(jù)也表明,迭代最終結(jié)果新算法在PSNR上比文獻(xiàn)[7]算法產(chǎn)生的結(jié)果高出2.47 dB左右,在SSIM數(shù)值上要高出0.045左右。在表1的實(shí)驗(yàn)中,具體的對比了3幅經(jīng)典圖像在不同模糊程度下,新算法與文獻(xiàn)[7]算法的復(fù)原效果。每幅測試圖像的模糊程度,由上至下模糊程度越來越低(SSIM越高)。從實(shí)驗(yàn)結(jié)果可以看出,新算法提出的結(jié)合TV和小波框架的雙正則化模型的復(fù)原效果在PSNR和SSIM都略優(yōu)于文獻(xiàn)[7]提出的正則化恢復(fù)模型的復(fù)原效果。圖5的數(shù)據(jù)顯示,相比于文獻(xiàn)[7]算法,在測試圖像模糊程度較低時(shí),新算法表現(xiàn)不太理想,產(chǎn)生的復(fù)原效果與對比算法持平甚至略低,但隨著原始圖像模糊程度的增加,新算法的最終復(fù)原效果越加明顯。新算法通過增加了小波框架作為先驗(yàn)信息,每次迭代的計(jì)算量略有增加,但基本與文獻(xiàn)[7]相當(dāng),結(jié)合以上圖表數(shù)據(jù)顯示出的去模糊效果,當(dāng)添加的模糊程度越深,新算法取得的恢復(fù)結(jié)果更加優(yōu)于文獻(xiàn)[7]算法的恢復(fù)結(jié)果。

在實(shí)際例子中,模糊圖像恢復(fù)需要先計(jì)算模糊核參數(shù),得到參數(shù)之后再使用圖像復(fù)原算法進(jìn)行恢復(fù)。新算法未涉及到模糊核參數(shù)的估計(jì),故無法在模糊核參數(shù)未知的情況下對圖像進(jìn)行復(fù)原。圖6(a)是一幅車輛在行駛過程中拍下的圖像,由于相機(jī)曝光時(shí)間過長或者車速過快等原因,導(dǎo)致圖中車牌模糊不清。將模糊圖像使用算法[3]對其模糊核參數(shù)進(jìn)行估計(jì),可以得到相關(guān)的模糊中心、長度、方向等信息。再將估計(jì)好的模糊核參數(shù)代入到算法中進(jìn)行復(fù)。對比圖6(a,b)兩幅圖像,車牌號由原始的模糊不清經(jīng)過算法復(fù)原之后變得清晰可見。

圖6 模糊圖像的復(fù)原Fig.6 Restoration of fuzzy images

4 結(jié) 論

TV正則化和小波正則化圖像復(fù)原算法是近年來效果較好、效率較高的算法。針對在空間變化模糊中圖像恢復(fù)的問題,傳統(tǒng)復(fù)原算法表現(xiàn)效果不佳。新算法基于模糊核分解,結(jié)合傳統(tǒng)正則化技術(shù),提出一種總變分和小波框架雙正則化模型。并使用ADMM算法將原問題分解為易于求解的子問題進(jìn)行獨(dú)立求解,使得算法能快速迭代收斂。實(shí)驗(yàn)結(jié)果表明,新算法提出的方法在圖像去模糊恢復(fù)過程中能夠較好地保存原始圖像的邊緣信息和細(xì)節(jié)。同其他算法相比,新算法取得了更好的客觀評價(jià)指標(biāo),在主觀上也具有更好的視覺效果。