改進(jìn)稀疏表示與積化能量和的多聚焦圖像融合*

張貴倉,王 靜，蘇金鳳

(西北師范大學(xué)數(shù)學(xué)與統(tǒng)計學(xué)院，甘肅 蘭州 730070)

1 引言

圖像融合的目的是將來自多個傳感器的圖像的冗余和互補(bǔ)信息集成到一幅新圖像中，更適合人類或機(jī)器感知[1]。其中，多聚焦圖像融合是圖像融合的重要分支,近幾十年來,多聚焦圖像融合一直是研究的熱點(diǎn)[2,3]。

到目前為止,根據(jù)不同的處理域可以將圖像融合算法分為:基于空間域的圖像融合算法和基于變換域的圖像融合算法[4]?；诳臻g域的圖像融合算法有方差、加權(quán)平均和空間頻率[5]等。雖然這些算法可以部分區(qū)分聚焦區(qū)域和離焦區(qū)域,但由于分辨能力有限,導(dǎo)致得到的融合圖像通常具有較高的空間失真和較低的信噪比[6 - 8]?；谧儞Q域的非下采樣輪廓波變換NSCT(Non-Sampled Contourlet Transform)[9]在圖像融合中得到廣泛的應(yīng)用,但它具有很高的計算復(fù)雜度,限制了其在實際場景中的應(yīng)用。因此,近年來,Easley等[10]通過非下采樣金字塔濾波器NSPF(Nonsub-Sampled Pyramid Filters)和改進(jìn)的剪切波濾波器組SFB(Shearlet Filte Banks)，提出了非下采樣剪切波變換NSST(Non-Sampled Shearlet Transform),不僅解決了傳統(tǒng)變換的所有問題，而且具有多尺度局部性、各向異性和計算復(fù)雜度低等優(yōu)點(diǎn)[11 - 13]。

另一方面,好的融合算法還依賴于有效的融合策略。傳統(tǒng)的低頻子帶融合方法是取系數(shù)的加權(quán)平均值,這對圖像融合的對比度和分辨率有較大影響[11]。Liu等[12]成功地將結(jié)構(gòu)張量和NSST應(yīng)用于CT和MRI圖像的融合,但是他們使用簡單的平均融合規(guī)則融合了低頻子帶系數(shù)。同樣,處理高頻子帶系數(shù)最簡單且有效的方法之一是使用最大絕對值融合規(guī)則[13]。但是,源圖像之間的某些冗余信息很容易丟失,一些“偽影”被引入到融合圖像中。拉普拉斯能量和[14]與修正拉普拉斯能量和[15]常用于捕獲高頻子帶中的所有顯著特征。迄今為止,研究人員提出的多種合理的融合方法中,稀疏表示SR(Sparse Representation)在圖像融合領(lǐng)域中得到了廣泛的應(yīng)用[16]。Yang等[17]提出基于SR的圖像融合框架,并使用最大值融合規(guī)則計算稀疏系數(shù)。Liu等[18]提出自適應(yīng)的稀疏表示圖像融合,并用OMP(Orthogonal Matching Pursuit)算法計算稀疏系數(shù)。Liu等[19]提出基于卷積稀疏表示的融合框架,將源圖像通過卷積稀疏表示分解為基礎(chǔ)層和細(xì)節(jié)層，再分別對基礎(chǔ)層和細(xì)節(jié)層進(jìn)行融合，得到融合圖像。Liu等[20]提出基于SR和NSCT的圖像融合算法,提高了融合圖像的亮度，但一些細(xì)節(jié)存在缺陷。楊勇等[21]提出基于NSST和SR的圖像融合算法,得到的融合圖像在亮度上有所改善,但存在虛假的邊緣信息。本文提出基于改進(jìn)SR的融合規(guī)則,增強(qiáng)了圖像的清晰度。同時，為了增強(qiáng)圖像銳化的細(xì)節(jié)信息并改善圖像的亮度，本文提出積化能量和算法。

本文采用NSST變換將改進(jìn)SR與積化能量和相結(jié)合，提出改進(jìn)SR與積化能量和的多聚焦圖像融合算法。NSST用于分解多聚焦源圖像,以獲得低頻子帶系數(shù)和高頻子帶系數(shù)。對于低頻子帶系數(shù),采用基于改進(jìn)SR的融合算法獲得低頻融合系數(shù);對于高頻子帶系數(shù),提出積化能量和的融合算法,以獲得高頻融合系數(shù)。最后,使用NSST的逆變換獲得多聚焦融合圖像。該融合算法可以最大程度地提取重要顯著特征的細(xì)節(jié)信息。

2 相關(guān)研究

2.1 非下采樣剪切波變換

NSST分為2個步驟:第1步通過NSPF對多聚焦源圖像進(jìn)行l(wèi)級分解,獲得低頻子帶系數(shù)和高頻子帶系數(shù)；第2步通過SFB對圖像進(jìn)行多尺度和多方向的分解[14]。實際上，用NSPF可得到粗糙的多尺度分解圖像，即對源圖像進(jìn)行l(wèi)級、k方向的分解,得到與源圖像大小相同的一個低頻子帶系數(shù)Ll和多個高頻子帶系數(shù)Hl,k,其中，Hl,k表示第l級、k方向的高頻子帶系數(shù)。圖1是2級NSST分解的示意圖。

Figure 1 NSST分解示意圖圖1 NSST decomposition

2.2 稀疏表示理論

SR模型基于以下假設(shè):可將多個聚焦信號表示或近似為冗余字典中幾個原子的線性組合。給定一個冗余字典D∈Rn×T(n

(1)

3 圖像融合算法具體實現(xiàn)

3.1 基于改進(jìn)稀疏表示的低頻系數(shù)融合規(guī)則

在多聚焦圖像融合中,場景圖中相同位置的圖像由于聚焦和成像機(jī)制的不同,聚焦圖像存在差異,導(dǎo)致每幅圖像包含的細(xì)節(jié)信息不同,如紋理、邊緣等[17]。傳統(tǒng)的低頻子帶融合方法有很多局限性,例如,絕對值解的系數(shù)取大法易丟失一些細(xì)節(jié)信息,等權(quán)值加權(quán)平均法在某些區(qū)域可能會引起融合圖像亮度的顯著下降,鄰域能量取大法容易引入一些噪聲[18]。因此,本文提出基于改進(jìn)SR的低頻系數(shù)融合規(guī)則。

(2)

(3)

(4)

(5)

其中,D是局部自適應(yīng)字典,ε是允許誤差。

(6)

(7)

(8)

稀疏系數(shù)融合V-E規(guī)則如式(9)所示：

(9)

(10)

(11)

3.2 基于積化能量和的高頻系數(shù)融合規(guī)則

圖像通?？梢员灰暈槎S分段平滑信號,而高頻分量中也包含許多能量與邊緣細(xì)節(jié)信息，在多聚焦圖像融合中，由于源圖像的成像機(jī)制不同，聚焦程度不同，導(dǎo)致生成的圖像不同。傳統(tǒng)的高頻融合規(guī)則基于拉普拉斯能量和，經(jīng)常會帶來融合圖像能量損失,亮度也易急劇下降，從而導(dǎo)致視覺感知體驗下降。為了改善融合圖像亮度獲得具有豐富細(xì)節(jié)信息的融合圖像，本文提出了積化能量和的高頻子帶系數(shù)融合規(guī)則。

為提取高頻子帶系數(shù)的能量,本文定義了局部加權(quán)能量LWE(Local Weighted Energy)，如式(12)所示:

(12)

(13)

為了獲取更詳細(xì)的細(xì)節(jié)信息,本文定義了局部加權(quán)8鄰域修正拉普拉斯能量和WSML(locally Weighted eight neighborhood Modified Laplace energy Sum),如式(14)所示:

(14)

|2r(i,j)-r(i,j-1)-r(i,j+1)|+

(15)

高頻段的最終積化能量和定義為LWE和WSML的乘積，如式(16)所示：

(16)

3.3 融合算法步驟

本文使用NSST變換將改進(jìn)SR與積化能量和相結(jié)合,以實現(xiàn)不同場景和焦距的多聚焦圖像融合。假設(shè)A和B是2幅已配準(zhǔn)且具有不同聚焦源的輸入多聚焦圖像,F為最終的融合圖像。

具體的融合步驟可分為如下3步：

融合算法過程如圖2所示。

Figure 2 Process of multi-focus image fusion 圖2 多聚焦圖像融合過程

4 實驗結(jié)果與分析

為了驗證本文算法的可行性,本節(jié)選取5對嚴(yán)格配準(zhǔn)且大小為256×256的圖像(如圖3所示)，利用Matlab(2016a)進(jìn)行實驗,并與目前流行的5種多聚焦圖像融合算法進(jìn)行比較,這5種算法分別是基于稀疏表示SR的圖像融合算法[17]、基于自適應(yīng)稀疏表示ASR (Adaptive Sparse Representation)的圖像融合算法[18]、基于卷積稀疏表示CSR (Convolutional Sparse Representation)的圖像融合算法[19]、基于非下采樣輪廓波變換NSCT和稀疏表示SR的圖像融合算法[20]、基于非下采樣剪切波變換NSST和稀疏表示SR的圖像融合算法[21]。其中本文實驗參數(shù)設(shè)置如下:NSST分解級數(shù)l和方向數(shù)k設(shè)置為[3,3,4,4]；稀疏編碼中,塊大小是8×8，步長s=1。

Figure 3 Multi-focus image pairs in experiment圖3 實驗使用的多聚焦圖像對

由于在真實場景中沒有參考圖像,因此對融合圖像的質(zhì)量進(jìn)行定量評估并非易事。近年來,研究人員提出了多種圖像評估方案,但這些方案褒貶不一，無法確定哪一種評估方案最準(zhǔn)確。因此，研究人員往往采用多種方案并行的方式對融合結(jié)果進(jìn)行客觀評估，本文采用最常用且效果較好的5個指標(biāo)來驗證本文算法的有效性，其分別為:互信息MI(Mutual Information)、邊緣強(qiáng)度QAB/F(Edge Strength)、平均梯度AG(Average Gradient)、峰值信噪比PSNR(Peak Signal-to-Noise Ratio)和結(jié)構(gòu)相似度SSIM(Structural Similarity Idnex)。其中，MI可計算源圖像有多少信息移動到融合圖像中[16]；QAB/F可度量有多少邊緣信息從源圖像移動到圖像融合中[17]；AG反映了圖像對細(xì)節(jié)、紋理顯示的能力[18]；PSNR值的大小表示融合圖像的失真程度，值越大則效果越好[19]；SSIM可以權(quán)衡融合圖像與源圖像之間的結(jié)構(gòu)相似性[21]。因此，上述5個評價指標(biāo)的值越大，融合圖像越清晰，融合圖像的效果越好。

圖3是不同場景下的多聚焦圖像對(5對),圖像均是對部分區(qū)域進(jìn)行聚焦,其他區(qū)域散焦。圖4展示了采用不同算法的融合圖像。其中，第1列為SR的融合結(jié)果，第2列為ASR的融合結(jié)果，第3列為CSR的融合結(jié)果，第4列為NSCT_SR的融合結(jié)果，第5列為NSST_SR的融合結(jié)果，第6列為本文算法的融合結(jié)果。6種算法都能得到最終融合的圖像，并得到有效的信息，仔細(xì)觀察可以發(fā)現(xiàn)：第1行第1～2列的2幅圖像沒有很好地將右聚焦源圖像的信息進(jìn)行融合，導(dǎo)致融合后的圖像清晰度降低；第1行第3～5列的3幅圖像丟失了部分紋理信息，對比度下降；第1行第6列的圖像則很好地保留了圖像的細(xì)節(jié)及紋理等信息，同時提高了圖像的清晰度和對比度，融合效果較好。第2行第1～6列的6幅圖像，學(xué)生的頭部在場景中有輕微的運(yùn)動，我們觀察能看到6種算法的融合圖像中學(xué)生頭部都會受到不希望出現(xiàn)的偽影的影響,但第2行第6列的圖像可以獲得很好的視覺效果。第3行第1～2列的2幅圖像中老虎的腳部發(fā)白，圖像的清晰度下降；第3行第3～5列的3幅圖像整幅圖像清晰度提高，卻丟失了部分紋理信息； 第3行第6列的融合圖像則提高了圖像的清晰度，較好地保留了紋理信息，融合效果比較理想。第4行第1～2列的2幅圖像的鬧鐘和書桌的邊緣出現(xiàn)了嚴(yán)重的虛影，融合效果較差；第4行第3～5列的3幅圖像均較好地保留了源圖像特征，但損失了部分細(xì)節(jié)信息；第4行第6列的融合圖像聚焦區(qū)域的邊緣處融合效果比較理想。第5行第1～6列的6幅圖像中，氣球在場景中有輕微的運(yùn)動，融合圖像的清晰度越來越高；第5行第6列的融合圖像的清晰度最高，聚焦區(qū)域的邊緣處融合效果較好。

Figure 4 Fusion results multi-focus image pairs with different algorithms圖4 多聚焦圖像對采用不同算法的融合結(jié)果

表1列出了5對多聚焦圖像融合效果的客觀評價結(jié)果。從表1中結(jié)果可以發(fā)現(xiàn)，SR算法的AG和MI評價指標(biāo)總是最低的，相反PSNR評價指標(biāo)總是比較高，這意味著它對融合圖像中錯誤引入的噪聲具有魯棒性,但是可能會丟失一些細(xì)節(jié)信息；ASR和CSR算法的AG、QAB/F、MI和SSIM的值均優(yōu)于SR算法的客觀評價指標(biāo)，說明融合的圖像在清晰度、對比度上有較大提升，但細(xì)節(jié)和紋理等信息較模糊，圖像容易失真；NSST_SR算法和NSCT_SR算法幾乎可以得到較高的AG和MI，反而PSNR指標(biāo)要相對低一些，這表明雖然這2種算法可以通過4級分解提取足夠的細(xì)節(jié)信息，但其對誤配準(zhǔn)、誤聚焦具有較強(qiáng)的敏感度；本文在NSST_SR算法的基礎(chǔ)上，對高頻子帶系數(shù)提出了一種符合視覺效果的融合算法，對低頻子帶系數(shù)提出了改進(jìn)的稀疏表示融合算法， 其AG、MI、PSNR、SSIM和QAB/F指標(biāo)均優(yōu)于其他算法的，這表明本文算法不僅擁有對比算法的優(yōu)點(diǎn)，而且還能抑制噪聲，提高清晰度和對比度，較好地保留了圖像的細(xì)節(jié)及紋理信息，是針對多聚焦圖像的一種有效融合算法。

Table 1 Objective evaluation experimental results of image fusion

5 結(jié)束語

本文提出一種將改進(jìn)SR與積化能量和相結(jié)合的多聚焦圖像融合算法。首先將NSST應(yīng)用于已處理的源圖像,得到高頻子帶系數(shù)和低頻子帶系數(shù)。對低頻子帶系數(shù)提出了低頻融合規(guī)則,即采用滑動窗口對低頻圖像劃分,減少字典學(xué)習(xí)所需要的數(shù)據(jù)量,再利用基于改進(jìn)SR的融合規(guī)則得到稀疏系數(shù),最終獲得低頻融合系數(shù),這使得低頻融合中的關(guān)鍵問題得以解決,即細(xì)節(jié)提??；另一方面,對于高頻子帶系數(shù)提出積化能量和的融合規(guī)則,以保證圖像的亮度與能量的保持。實驗分析表明，與經(jīng)典算法相比，本文所提融合算法得到的結(jié)果可保留更多細(xì)節(jié)信息,具有更好的視覺效果，是一種有效的融合算法。