基于NSST與稀疏先驗(yàn)的遙感圖像去模糊方法

成麗波, 董 倫, 李 喆, 賈小寧

(長(zhǎng)春理工大學(xué) 數(shù)學(xué)與統(tǒng)計(jì)學(xué)院, 長(zhǎng)春 130022)

遙感圖像在采集、 傳輸、 存儲(chǔ)、 顯示的過程中會(huì)受到諸多因素的影響, 導(dǎo)致獲取的圖像信息有一定缺失, 圖像因此會(huì)失真而變得模糊. 模糊圖像會(huì)嚴(yán)重影響自身信息的豐富性和有效性, 從而影響人們對(duì)圖像信息的判斷. 所以遙感圖像去模糊[1-4]的研究至關(guān)重要.

在數(shù)學(xué)的角度上, 模糊圖像可視為由清晰圖像與某一模糊核進(jìn)行卷積并疊加噪聲的結(jié)果[5]. 用數(shù)學(xué)表達(dá)式表示為f=K?u+ε, 其中K為模糊核,ε為噪聲.根據(jù)模糊核K是否已知, 圖像去模糊可分為圖像非盲去模糊和圖像盲去模糊.圖像非盲去模糊過程就是在已知模糊核的情況下, 從模糊圖像f中復(fù)原出清晰圖像u的過程, 該問題實(shí)質(zhì)上是一個(gè)線性逆問題. 圖像去模糊領(lǐng)域中具有稀疏先驗(yàn)的傳統(tǒng)方法包括基于稀疏表示的圖像復(fù)原算法、 基于全變分(total variation, TV)模型的算法等[6-7].

基于稀疏先驗(yàn)的方法是近年來(lái)圖像去模糊領(lǐng)域中的一個(gè)研究重點(diǎn), 其處理問題的方法是充分利用圖像信號(hào)的稀疏特征, 將其轉(zhuǎn)化為去模糊問題中的先驗(yàn)約束條件, 從而把病態(tài)問題轉(zhuǎn)變?yōu)榱夹詥栴}, 實(shí)現(xiàn)圖像信號(hào)的去模糊. Bredies等[8]針對(duì)圖像去模糊問題, 建立了以lp范式為約束項(xiàng)的優(yōu)化模型; Beck等[9]建立了一種二次逼近的圖像去模糊算法, 該算法在收縮速度上有一定的提升; Dupe等[10]針對(duì)去模糊問題, 提出了由數(shù)據(jù)保真項(xiàng)、 稀疏促進(jìn)項(xiàng)、 附加項(xiàng)組成的圖像復(fù)原框架, 該模型框架也是目前基于稀疏先驗(yàn)的復(fù)原方法常用的模型框架. 之后, 諸多研究者在原始復(fù)原框架的基礎(chǔ)上進(jìn)行了諸多改良. Daubechies等[11]構(gòu)造了l1范式正則化的優(yōu)化問題模型, 并提出用迭代收縮算法處理該優(yōu)化問題; Pustelnik等[12]提出了多正則項(xiàng)約束優(yōu)化解決單一正則項(xiàng)存在不足的問題; 孫濤等[13]通過將稀疏模型和全變分模型相結(jié)合, 證明了混合模型比單一模型具有更好的圖像去模糊性能; 鐘秋祥等[14]提出了一種自適應(yīng)二階變分模型, 該模型對(duì)復(fù)原脈沖噪聲下的模糊圖像可以很好地抑制復(fù)原所產(chǎn)生的階梯效應(yīng); Duan等[15]構(gòu)建了一種最大化l1正則化的圖像去模糊算法, 該算法對(duì)去除大氣湍流模糊具有良好的效果, 并設(shè)置了軟抑制策略抑制偽影.

一些研究者嘗試用圖像在小波[16]、 緊框架[17]、 輪廓波[18]等多尺度分析工具下的稀疏特征與稀疏先驗(yàn)的模型框架相結(jié)合, 使復(fù)原模型得到了改進(jìn), 圖像復(fù)原的效果也得到提升. 例如: Cai等[19]利用圖像小波域系數(shù)的稀疏性作為約束條件, 所得復(fù)原后的圖像能很好地抑制噪聲和偽跡; 王艮化等[20]通過構(gòu)建混合空域和小波域的正則化方法, 提升了原始稀疏表示框架的復(fù)原性能; 袁存林等[21]在小波變換域中圖像系數(shù)稀疏的先驗(yàn)假設(shè)下, 構(gòu)建一個(gè)包含數(shù)據(jù)保真項(xiàng)和基于小波框架的正則化項(xiàng)的算法模型, 實(shí)現(xiàn)了對(duì)圖像的去模糊、 去噪; 婁帥等[22]采用輪廓波對(duì)圖像進(jìn)行分解, 輪廓波可以更好地刻畫圖像的細(xì)節(jié)紋理信息, 并通過對(duì)罰函數(shù)進(jìn)行優(yōu)化, 使復(fù)原后的圖像具有更豐富的細(xì)節(jié)特征; 張晶等[23]針對(duì)圖像復(fù)原時(shí)出現(xiàn)的紋理、 細(xì)節(jié)信息丟失的問題, 提出了緊框架小波與全變分協(xié)同稀疏的圖像復(fù)原算法, 該方法可準(zhǔn)確刻畫圖像的細(xì)節(jié)信息; Shen[24]提出了一種基于小波框架的非凸正則化復(fù)原算法用于圖像去模糊, 采用多域主動(dòng)學(xué)習(xí)(MDAL)算法進(jìn)行模型的求解, 實(shí)驗(yàn)表明該方法具有良好的去模糊和去噪能力.

近年來(lái), 經(jīng)過改良的多尺度幾何分析工具在圖像處理領(lǐng)域應(yīng)用廣泛, 非下采樣剪切波變換(non-subsampled shearlet transform, NSST)就是一種改良的多尺度幾何分析工具, 它具有良好的時(shí)頻局域性和平移不變性[25-29], 與傳統(tǒng)小波相比可以更好地保留圖像的細(xì)節(jié)信息, 更好地刻畫圖像的結(jié)構(gòu)特征. 目前, 非下采樣剪切波變換常用于圖像融合的研究, 而在圖像去模糊研究中的應(yīng)用較少, 所以結(jié)合非下采樣剪切波變換與遙感圖像去模糊的研究有意義.

基于上述工作與改良多尺度分析工具的啟發(fā), 本文設(shè)計(jì)一種基于非下采樣剪切波變換與稀疏表示相結(jié)合的圖像復(fù)原算法, 利用圖像在非下采樣剪切波變換下低頻和高頻圖像結(jié)構(gòu)的特性, 對(duì)低頻、 高頻圖像分別進(jìn)行相應(yīng)的處理, 以有效保留圖像復(fù)原后的細(xì)節(jié)信息, 提升圖像復(fù)原的效果.

1 預(yù)備知識(shí)

1.1 剪切波變換

剪切波是一種由不同尺度小波所集成的合成波. 相比于單一小波, 剪切波對(duì)圖像有更細(xì)致的分解: 單一小波分解圖像只會(huì)產(chǎn)生3個(gè)高頻子帶, 而經(jīng)過剪切波分解的圖像可分解出更多的高頻子帶, 并且低頻部分和高頻部分的特征分布會(huì)隨著變換尺度的不同呈現(xiàn)一定的規(guī)律.

剪切波對(duì)圖像在任何尺度上分解的低頻系數(shù)都是原圖像整體輪廓的近似, 且保留了原圖像的大部分能量信息; 高頻部分是原圖像在不同尺度特征值下提取的有效閾值信號(hào), 主要突出原圖像的細(xì)節(jié)信息, 如邊緣信息、 紋理信息. 剪切波的定義表示為

SHf(a,s,t)=〈f,ψa,s,t〉,

(1)

其中ψa,s,t為剪切波母函數(shù), 定義為

ψa,s,t(x)=a-3/4ψ(A-1B-1(x-t)),

(2)

a∈+,s∈,t∈2依次表示尺度參數(shù)、 剪切參數(shù)和平移參數(shù); 矩陣A表示具有各向異性的膨脹矩陣, 定義為

矩陣B表示剪切矩陣, 定義為

1.2 非下采樣剪切波變換

NSST是對(duì)剪切波變換的改進(jìn), 其在保持剪切波變換的頻域緊支撐、 時(shí)域快衰減等優(yōu)良特性的同時(shí), 還保證每個(gè)尺度上的高頻系數(shù)都接近于最稀疏的表示. 與剪切波變換相比, NSST具有位移不變性和更好的方向性特征, 可以更準(zhǔn)確地刻畫圖像的細(xì)節(jié)紋理信息.

NSST主要包括多尺度分解和方向局部化兩個(gè)步驟[30-33]: 采用非下采樣金字塔濾波器組(non-subsampled pyramid filter banks, NSPF)對(duì)圖形進(jìn)行n級(jí)尺度分解, 實(shí)現(xiàn)多尺度化; 采用剪切濾波器組(shearlet filter banks, SFB)實(shí)現(xiàn)方向局部化, 最終得到低頻子帶及由細(xì)到粗的高頻子帶. 圖1為NSST分解的示意圖.

圖1 NSST分解示意圖Fig.1 Schematic diagram of NSST decomposition

2 算法設(shè)計(jì)

2.1 本文算法模型

本文受NSST對(duì)圖像進(jìn)行分解后的高頻圖像具有稀疏性的啟發(fā), 構(gòu)造基于非下采樣剪切波變換與稀疏先驗(yàn)的圖像去模糊模型, 表示為

(3)

其中‖·‖F(xiàn)表示Frobenius范數(shù),W表示非下采樣剪切波變換,Θ(·)表示深度去除噪聲的卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network, CNN)去噪器,α>0表示平衡正則項(xiàng)與保真項(xiàng)的正則化參數(shù).

2.2 CNN去噪器

CNN除在圖像復(fù)原過程中具有良好的去噪性能外, 其高度的并行性還可大幅度縮短運(yùn)行時(shí)間, 圖2為本文CNN去噪器的網(wǎng)絡(luò)結(jié)構(gòu). 由圖2可見, 該網(wǎng)絡(luò)結(jié)構(gòu)由卷積核為64的卷積層、 歸一化單元(batch normalization, BN)和線性整流單元(rectified linear unit, ReLU)三種模塊構(gòu)成, 網(wǎng)絡(luò)開始部分由一個(gè)卷積層和一個(gè)線性整流單元組成, 中間部分為若干個(gè)由卷積層、 歸一化單元和線性整流單元組成的模塊組構(gòu)成, 結(jié)尾部分僅由卷積層組成. 該網(wǎng)絡(luò)已經(jīng)通過大量的數(shù)據(jù)集完成去噪訓(xùn)練, 可直接應(yīng)用于本文算法中, 達(dá)到深度去噪的效果.

圖2 CNN結(jié)構(gòu)Fig.2 Structure of CNN

2.3 模型求解

對(duì)模型(3)的求解, 引入輔助變量d,z, Lagrange乘子c,b.給定約束條件d=Wu,z=u, 則問題(3)變?yōu)槿缦录s束形式:

其中λ>0,τ>0是罰參數(shù).

利用交替方向乘子法(alternating direction method of multipliers, ADMM)對(duì)問題(4)求解得到如下子問題:

下面求解各子問題.首先, 求解u-子問題.由于求解該問題是可微的, 因此可直接給出u-子問題的閉合解形式:

(10)

其中F表示快速Fourier變換,F-1表示快速Fourier變換的逆變換,F(·)*表示快速Fourier變換的共軛轉(zhuǎn)置, °表示矩陣的點(diǎn)乘.

其次, 對(duì)d-子問題求解.因?yàn)樾枰獙?duì)低頻和高頻圖像分別進(jìn)行處理, 因此將低頻圖像記作dl、 高頻圖像記作dh.使用導(dǎo)向?yàn)V波對(duì)低頻圖像濾波進(jìn)行處理, 以最大可能保持圖像信息, 采用閾值方法對(duì)高頻圖像進(jìn)行處理:

(11)

其中G(·)表示導(dǎo)向?yàn)V波器,S1/τ(·)表示軟閾值算子.

最后, 求解z-子問題.從Bayes角度該問題是一個(gè)高斯去噪問題:

(12)

其中w=u+c/τ.

綜上, 可得如下算法.

算法1本文的圖像去模糊算法.

步驟1) 輸入含噪聲的模糊圖像f, 模糊算子K; 輸入變量u,z,b,d,c, 初始化u=f;

步驟2) 對(duì)圖像u進(jìn)行分層ui(i=1,2,3);

fori=1∶kdo

步驟3) 利用非下采樣剪切波分解退化圖像ui;

步驟4) 利用式(11)更新d;

步驟5) 利用式(7)更新b;

步驟6) 利用非下采樣剪切波逆變換重構(gòu)圖像ui;

步驟7) 利用式(10)更新ui;

步驟8) 利用式(12)更新z;

步驟9) 利用式(9)更新c;

end

步驟10) 對(duì)復(fù)原后的u1,u2,u3進(jìn)行重構(gòu);

輸出: 復(fù)原后的遙感圖像u.

3 實(shí)驗(yàn)結(jié)果與分析

本文在開放的遙感衛(wèi)星圖像數(shù)據(jù)集[34]中選取6張大小為600×600不同場(chǎng)景的圖像(ImageA,ImageB,ImageC,ImageD,ImageE,ImageF)進(jìn)行仿真實(shí)驗(yàn), 清晰圖像如圖3所示. 本文算法實(shí)驗(yàn)在MATLAB R2020b上進(jìn)行, 電腦配置為Windows10, Intel(R) Core(TM) i5-6300 HQ CPU @ 2.30 GHz.

圖3 實(shí)驗(yàn)中使用的清晰圖像Fig.3 Clear images used in experiment

使用混合即插即用(hybrid plug-and-play, H-PNP)算法[35]、 基于稀疏組表示(group-based sparse representation, GSR)算法[36]、 L2TV算法與本文去模糊算法進(jìn)行實(shí)驗(yàn)對(duì)比. 選用3種模糊, 即平均模糊、 高斯模糊和運(yùn)動(dòng)模糊, 其中平均模糊核大小為7×7; 高斯模糊核的寬度為7, 濾波器的標(biāo)準(zhǔn)差為2; 運(yùn)動(dòng)模糊核的運(yùn)動(dòng)角度為3, 運(yùn)動(dòng)長(zhǎng)度為17. 噪聲均選取均值為0、 標(biāo)準(zhǔn)差為5的高斯噪聲.

不同場(chǎng)景圖像去模糊的結(jié)果分別如圖4～圖9所示, 作為圖像去模糊的主觀評(píng)價(jià)指標(biāo). 每種模糊分別選取兩種場(chǎng)景, 展示去模糊后的結(jié)果, 本文算法可對(duì)含有高斯噪聲的模糊遙感圖像進(jìn)行有效的圖像復(fù)原, 既保證復(fù)原后的圖像不失真, 也更好保留了圖像的細(xì)節(jié), 同時(shí)也克服了圖像復(fù)原過程中產(chǎn)生的振鈴效應(yīng). 表1列出了高斯噪聲下的遙感圖像使用不同算法去模糊的評(píng)價(jià)指標(biāo)結(jié)果. 由表1可見, 本文算法的客觀評(píng)價(jià)指標(biāo)峰值信噪比(PSNR)和結(jié)構(gòu)相似度(SSIM)的數(shù)值結(jié)果較好, PSNR和SSIM值均高于其他去模糊算法. 本文算法相比其他3種對(duì)比實(shí)驗(yàn)算法, 對(duì)同一張含有模糊和噪聲的退化圖像進(jìn)行復(fù)原, PSNR和SSIM均有顯著提升. 在進(jìn)行去高斯模糊時(shí), 本文算法可將PSNR提升0.28～1.25 dB, SSIM提升0.014～0.175; 在進(jìn)行去平均模糊時(shí), 本文算法可將PSNR提升0.11～1.61 dB, SSIM提升0.014～0.157; 在進(jìn)行去運(yùn)動(dòng)模糊時(shí), 本文算法可將PSNR提升0.23～1.67 dB, SSIM提升0.004～0.168.

表1 高斯噪聲下的遙感圖像使用不同算法去模糊的評(píng)價(jià)指標(biāo)結(jié)果

圖4 不同算法對(duì)ImageA去除高斯模糊的結(jié)果對(duì)比Fig.4 Comparison of results for removing Gaussian blurring from ImageA using different algorithms

圖5 不同算法對(duì)ImageB去除高斯模糊的結(jié)果對(duì)比Fig.5 Comparison of results for removing Gaussian blurring from ImageB using different algorithms

圖6 不同算法對(duì)ImageC去除平均模糊的結(jié)果對(duì)比Fig.6 Comparison of results for removing average blurring from ImageC using different algorithms

圖7 不同算法對(duì)ImageD去除平均模糊的結(jié)果對(duì)比Fig.7 Comparison of results for removing average blurring from ImageD using different algorithms

圖8 不同算法對(duì)ImageE去除運(yùn)動(dòng)模糊的結(jié)果對(duì)比Fig.8 Comparison of results for removing motion blurring from ImageE using different algorithms

圖9 不同算法對(duì)ImageF去除運(yùn)動(dòng)模糊的結(jié)果對(duì)比Fig.9 Comparison of results for removing motion blurring from ImageF using different algorithms

表2列出了高斯噪聲下的遙感圖像使用不同算法去模糊的時(shí)間對(duì)比結(jié)果. 由表2可見, 本文算法對(duì)退化圖像復(fù)原的時(shí)間相比于L2TV算法的復(fù)原時(shí)間略長(zhǎng), 相比于H-PNP和GSR算法的復(fù)原時(shí)間則大幅度縮減. 因此, 本文算法在提升復(fù)原效果的同時(shí), 也避免了實(shí)現(xiàn)對(duì)退化圖像復(fù)原所用時(shí)間過長(zhǎng)的問題, 從而實(shí)現(xiàn)了對(duì)退化圖像的高質(zhì)量、 高速率復(fù)原的目的.

表2 高斯噪聲下的遙感圖像使用不同算法去模糊的時(shí)間對(duì)比結(jié)果

綜上所述, 針對(duì)遙感圖像的模糊問題, 本文設(shè)計(jì)了一種基于NSST與稀疏先驗(yàn)的遙感圖像去模糊方法. 該方法利用遙感圖像在非下采樣剪切波分解下的高頻圖像的稀疏特性構(gòu)造基于NSST與稀疏先驗(yàn)的圖像去模糊模型, 采用交替方向乘子法求解模型, 采用閾值方法對(duì)高頻圖像進(jìn)行約束處理; 為減少由NSST分解多導(dǎo)致的圖像信息缺失, 在低頻圖像進(jìn)行導(dǎo)向?yàn)V波處理, 以最大可能保留圖像的細(xì)節(jié)信息; 在整個(gè)復(fù)原過程中采用CNN去噪器進(jìn)行深度去噪; 再將處理后的高頻圖像與低頻圖像進(jìn)行重構(gòu), 最終復(fù)原出清晰的圖像. 本文方法有效復(fù)原了高斯噪聲下的高斯模糊、 平均模糊、 運(yùn)動(dòng)模糊的遙感圖像. 實(shí)驗(yàn)結(jié)果表明: 對(duì)6種場(chǎng)景的遙感模糊圖像使用本文算法進(jìn)行去模糊, 取得了較好的實(shí)驗(yàn)結(jié)果, 在客觀評(píng)價(jià)指標(biāo)(PSNR,SSIM)的數(shù)值結(jié)果上相比其他3種對(duì)比方法得到了大幅度提升. 在主觀視覺上也取得了較好的效果, 大量縮減了復(fù)原時(shí)間.