基于CNN的非下采樣剪切波域多聚焦圖像融合

劉帥奇， 王 潔， 安彥玲， 李子奇， 胡紹海， 王文峰

(1.河北大學(xué) 電子信息工程學(xué)院，河北 保定 071000； 2.河北省機(jī)器視覺(jué)工程技術(shù)研究中心，河北 保定 071000； 3.北京交通大學(xué) 信息所， 北京 100044； 4.中國(guó)科學(xué)院 新疆生態(tài)與地理研究所數(shù)字圖像處理實(shí)驗(yàn)室，新疆 烏魯木齊 830011)

0 引言

一般將圖像融合過(guò)程由低到高分為3個(gè)層次：像素級(jí)融合、特征級(jí)融合、決策級(jí)融合[1].目前，空間域和變換域是主要的兩種在像素級(jí)別基礎(chǔ)上的融合方法.空間域算法主要包括基于區(qū)域斯能量和加權(quán)[2]、基于核范數(shù)最小化[3]等融合算法.而變換域算法主要采用多尺度幾何變換進(jìn)行圖像融合[4]，例如文獻(xiàn)[5]提出的基于輪廓波變換(contourlet transform, CT)的圖像融合算法；文獻(xiàn)[6]提出的基于非下采樣輪廓波變換(non-subsampled contourlet transform，NSCT)與脈沖耦合神經(jīng)網(wǎng)絡(luò)(pulse coupled neural network，PCNN)圖像融合算法；文獻(xiàn)[7]提出的基于剪切波變換(shearlet transform, ST)與PCNN的圖像融合算法.目前，處于主流位置的是變換域融合算法，其中應(yīng)用最為廣泛的為CT和ST.與CT相比，ST符合緊框架理論，可以有效地對(duì)圖像的特征信息進(jìn)行提取，同時(shí)其離散形式很容易實(shí)現(xiàn)[8].因此，ST在圖像融合中得到了廣泛的應(yīng)用[9-10].為了克服ST不具有平移不變性的缺點(diǎn)，也為了更好地利用圖像的空間連續(xù)性，文獻(xiàn)[10]利用文獻(xiàn)[11]提出的基于兩尺度向?qū)V波的融合算法思想，在復(fù)剪切波變換(complex shearlet transform，CST)域中引入圖像的空間連續(xù)性.雖然該算法明顯地提升了融合后圖像的視覺(jué)效果，但是在圖像數(shù)據(jù)保留方面還可以提升，也就是低頻部分的融合規(guī)則還可以進(jìn)行改進(jìn).

近年來(lái)，由于深度學(xué)習(xí)理論的研究逐步深入并在相關(guān)領(lǐng)域取得了較好的研究成果[12-13]，因此CNN也被應(yīng)用于多聚焦圖像融合中，如文獻(xiàn)[12]提出的一種采用CNN的多聚焦圖像融合規(guī)則.雖然該算法獲得很好的圖像融合效果,但是在圖像融合的過(guò)程中，該方法并沒(méi)有對(duì)圖像進(jìn)行高低頻的劃分，這顯然不符合人眼的視覺(jué)規(guī)律.因此，筆者結(jié)合該融合規(guī)則提出了基于NSST域的多聚焦圖像融合算法.

1 非下采樣剪切波變換原理

設(shè)Shearlet變換的基函數(shù)為：

ψj,l,k(x)=|detA|j/2ψ(BlAjx-k),

(1)

式中：j≥0；l=-2j～2j-1；k∈Z2；ψ∈L2(R2)；Aj表示伸縮變換矩陣；Bl表示保區(qū)域的幾何變換矩陣.

因此函數(shù)f的ST可表示為：

Sψ=〈f,ψj,l,k〉.

(2)

NSST[8]是ST的擴(kuò)展，能夠很好地克服圖像的下采樣操作，因而具備圖像變換的平移不變性.在進(jìn)行圖像融合時(shí)，能夠使融合圖像中擁有更多源圖像的信息特征，使整體的融合圖像效果得到極大的改善.

2 基于卷積神經(jīng)網(wǎng)絡(luò)的圖像融合規(guī)則

在基于CNN的圖像融合算法中，圖像融合中決策圖的生成通常被看作分類(lèi)問(wèn)題進(jìn)行分析.文獻(xiàn)[12]給出了基于CNN的一種多聚焦圖像融合算法，將圖像融合的主要任務(wù)轉(zhuǎn)變成設(shè)計(jì)CNN的網(wǎng)絡(luò)架構(gòu).而活動(dòng)水平測(cè)量和融合規(guī)則可以通過(guò)大量的圖像數(shù)據(jù)進(jìn)行CNN模型訓(xùn)練生成[12].

文獻(xiàn)[12]采用了文獻(xiàn)[14]中提出的Siamese結(jié)構(gòu)的CNN模型，如圖1所示.由圖1可知，網(wǎng)絡(luò)中的每個(gè)分支具有3個(gè)卷積層和1個(gè)最大池化層.筆者設(shè)置圖像塊的大小為16×16，每個(gè)卷積核大小和步幅分別設(shè)置為3×3和1，最大池化層的縮放因子和跨度分別設(shè)置為2×2和2.

圖1 CNN網(wǎng)絡(luò)模型Fig.1 The model of CNN

將CNN用于多聚焦圖像融合算法的計(jì)算過(guò)程：首先，將兩個(gè)源圖像輸送到預(yù)訓(xùn)練的CNN模型以輸出得分圖；其次，通過(guò)對(duì)重疊區(qū)域塊求平均值，從得分圖中獲得具有與源圖像相同大小的焦點(diǎn)圖；再次，將焦點(diǎn)圖以0.5為閾值分割成二進(jìn)制圖；然后，使用小區(qū)域去除和向?qū)V波[15]來(lái)精細(xì)化二進(jìn)制分割圖以生成最終決策圖；最后，使用逐像素加權(quán)平均策略并利用最終決策圖生成融合圖像.

通過(guò)上述圖像融合的步驟可知：在圖像融合過(guò)程中，該方法并沒(méi)有對(duì)圖像進(jìn)行高低頻的劃分，這顯然是不符合人眼的視覺(jué)規(guī)律的.因此，筆者結(jié)合該融合規(guī)則提出了一種基于NSST域的多聚焦圖像融合方法.

3 向?qū)V波

向?qū)V波對(duì)圖像的邊緣保持具備很好的效果.設(shè)向?qū)D為I，輸入圖像為p，而輸出圖像為q[15].其中I與p可以是同一張圖像.向?qū)V波的關(guān)鍵部分就是假設(shè)一個(gè)線性模型，即向?qū)DI與輸出圖q之間存在局部線性模型：

qi=akIi+bk,?i∈ωk，

(3)

式中：i為模型的像素索引；a、b為模型的線性系數(shù)；ωk為以向?qū)DI中一點(diǎn)k為中心，長(zhǎng)寬為(2r+1)的正方形窗.

圖像的邊緣保持濾波問(wèn)題則轉(zhuǎn)換為如下的最優(yōu)化問(wèn)題：

(4)

式中：ε表示歸一化因子.可以使用線性回歸求解公式(4)的解[15]：

(5)

4 基于CNN的NSST域圖像融合

筆者采用NSST進(jìn)行圖像分解，該變換可以很好地抑制偽吉布斯效應(yīng).文獻(xiàn)[5]提出的改進(jìn)的拉普拉斯能量和(sum of Laplace energy, SML)是一種能更好地表示圖像邊緣細(xì)節(jié)信息的區(qū)域能量函數(shù)，在選擇高頻變換域系數(shù)中具有很好的效果，筆者在此基礎(chǔ)上對(duì)圖像融合中的拉普拉斯能量加上所對(duì)應(yīng)的權(quán)值，并對(duì)高頻選擇系數(shù)圖用向?qū)V波來(lái)進(jìn)行平滑處理.設(shè)輸入具有不同聚焦點(diǎn)的兩幅源圖像A和B，經(jīng)過(guò)融合后得到圖像F.

其次，對(duì)于源圖像分解得到的低頻系數(shù)采用基于CNN的圖像融合算法進(jìn)行圖像融合.利用文獻(xiàn)[12]對(duì)不同的圖像訓(xùn)練集訓(xùn)練得到的CNN網(wǎng)絡(luò)模型獲得圖A和B的融合決策圖m，然后歸一化并進(jìn)行NSST來(lái)獲取相應(yīng)的低頻系數(shù)決策圖mL，則根據(jù)決策圖獲得的低頻系數(shù)可由下式計(jì)算：

(6)

然后，對(duì)高頻系數(shù)(l大于0)進(jìn)行融合的規(guī)則為采用基于向?qū)V波的IWSML取大進(jìn)行處理.

定義像素點(diǎn)的拉普拉斯能量如下：

Ml,d(x,y)=

|2Sl,d(x,y)-Sl,k(x-1,y)-Sl,k(x+1,y)|+

|2Sl,k(x,y)-Sl,k(x,y-1)-Sl,k(x,y+1)|.

(7)

由于高頻圖像的權(quán)值主要是由距離的大小和子帶的方向所決定的，所以定義相應(yīng)的權(quán)值公式：

ω(x,y)=ω0(x,y)+θd(x,y)，

(8)

其中，ω0(x,y)=

而θd中的θ表示距離的大小，d表示NSST分解方向，其作用對(duì)ω(x,y)的d方向數(shù)據(jù)進(jìn)行翻倍.

因此，IWSML的定義式為：

(9)

(10)

然后，對(duì)mA和mB進(jìn)行向?qū)V波來(lái)加強(qiáng)高頻系數(shù)的空間聯(lián)系性，如式(11)所示：

(11)

(12)

圖2 基于CNN的NSST域圖像融合框架Fig.2 The diagram of multi-focus image fusion algorithm based on CNN in NSST domain

5 實(shí)驗(yàn)結(jié)果

為了有效地評(píng)估該算法在不同聚焦程度圖像中的融合性能，利用在不同圖像融合中常用的融合測(cè)試圖像所提出的算法，并且從主觀和客觀兩方面與文獻(xiàn)[5]中所提出的CT-SML圖像融合方法、文獻(xiàn)[6]提出NSCT-PCNN圖像融合方法、文獻(xiàn)[7]提出的ST-PCNN圖像融合方法、文獻(xiàn)[10]中提出的CST-GF圖像融合方法和文獻(xiàn)[12]提出基于CNN的圖像融合方法進(jìn)行對(duì)比.客觀性能評(píng)價(jià)指標(biāo)采用5種不同的方法，如圖像方差(standard deviation，Std)、圖像平均梯度(average gradient，Avg)[10]、圖像QAB/F度量[5]、圖像的互信息(mutual information，MI)[10]和圖像空間頻域度(spatial frequency，SF)[10].這5個(gè)指標(biāo)測(cè)試值越大，表明圖像融合的評(píng)價(jià)指標(biāo)越高，融合的圖像越清晰，越符合人類(lèi)的視覺(jué)系統(tǒng).本文算法在實(shí)驗(yàn)過(guò)程中NSST的分解層數(shù)設(shè)置為4層，每層方向?yàn)V波器設(shè)置為有6、10、10、18個(gè)方向子帶，CNN參數(shù)選擇與文獻(xiàn)[12]相同，高頻融合規(guī)則中的r=3,ε=1.

首先對(duì)多聚焦圖像進(jìn)行圖像融合的測(cè)試，圖3(a)、(b)為經(jīng)典的多聚焦圖像融合測(cè)試圖Clock 的左側(cè)部分聚焦和右側(cè)部分聚焦的圖像.然后采用所述的不同方法對(duì)多聚焦圖像進(jìn)行融合，所得融合圖像及與原測(cè)試圖像的差圖見(jiàn)圖3(c)～(t).

圖3 Clock原圖像和各融合算法的融合效果Fig.3 Fusion effect of each fused method and Clock original image

在實(shí)驗(yàn)結(jié)果中，不同算法的融合結(jié)果不同，上圖的融合結(jié)果中大表的左上角部分和大表中數(shù)字8附近的區(qū)域，能夠發(fā)現(xiàn)本文的算法能夠更清晰地表達(dá)圖像，更符合人眼的視覺(jué)特性.與CNN相比，本文的算法在多聚焦圖像融合中這些區(qū)域稍差一些，但是本文的算法在圖像的灰度層次呈現(xiàn)中更為清晰明顯，這歸功于NSST的應(yīng)用.從上述各種融合圖像實(shí)驗(yàn)結(jié)果與圖3(a)的差圖對(duì)比能夠發(fā)現(xiàn)，本文算法得到融合圖像的實(shí)驗(yàn)效果圖是最好的，這說(shuō)明了本文的算法在圖像的細(xì)節(jié)信息保留方面是很有效的，這主要?dú)w功于CNN融合策略的引入.綜合上述來(lái)看，從不同融合圖像差圖對(duì)比中可以明顯地看出在視覺(jué)效果方面本文的算法是最好的，人造紋理產(chǎn)生的最少，這主要是由于引入向?qū)V波使圖像的空間連續(xù)性得到很大的提升，從而有效地抑制了融合圖像中人造紋理的產(chǎn)生.

表1給出了各融合算法相應(yīng)的客觀評(píng)價(jià)指標(biāo).由表1可知，本文所提出的融合算法在各項(xiàng)評(píng)價(jià)指標(biāo)所取得的結(jié)果值都是最好的.這表明本文所提出的融合算法可以有效地提取源圖像的聚焦信息并且較好地保留空間信息.最后從計(jì)算時(shí)間上看，雖然在數(shù)據(jù)的計(jì)算時(shí)間上本文的算法用時(shí)比較長(zhǎng)，但是可以看到與其他融合算法相比，本文采用的NSST變換具有更好的時(shí)頻特性，而與CNN相比，筆者提出的融合規(guī)則能充分地利用圖像的統(tǒng)計(jì)信息.

然后對(duì)空拍圖像進(jìn)行融合測(cè)試.圖4(a)、(b)為不同聚焦圖像，各算法融合效果如圖5(c)～(t)所示.

從實(shí)驗(yàn)結(jié)果中可以發(fā)現(xiàn)，融合結(jié)果中上下飛機(jī)前面和后面鄰近的區(qū)域，與圖3中的融合結(jié)果視覺(jué)效果類(lèi)似，能夠發(fā)現(xiàn)本文的算法在圖像的融合質(zhì)量和層次的清晰度表達(dá)上，更容易使人眼系統(tǒng)接受到更好視覺(jué)的圖像信息特征，并且本文算法充分地利用了圖像的空間連續(xù)性從而克服了其他融合算法在融合圖像中引入的一些人造紋理.

同樣，表2給出了各融合算法的客觀評(píng)價(jià)指標(biāo).由表2可知，本文算法具有最好的客觀評(píng)價(jià)標(biāo)準(zhǔn).這也說(shuō)明本文算法不但可以充分地提取源圖像中的細(xì)節(jié)信息，很好地抑制了最終融合圖像中人造紋理的產(chǎn)生，并且對(duì)于不同種類(lèi)的圖像融合具有魯棒性，所以綜合來(lái)看,本文所提出融合規(guī)則是一種比較好的在圖像融合中的方法.

表1 圖3中各個(gè)融合算法融合效果的客觀評(píng)價(jià)指標(biāo)Tab.1 Objective evaluation index of each fusion algorithm in Figure 3

表2 圖4中各個(gè)融合算法融合效果的客觀評(píng)價(jià)指標(biāo)Tab.2 Objective evaluation index of each fusion algorithm in Figure 4

圖4 飛機(jī)原圖像和各融合算法的融合效果Fig.4 Fusion effect of each fused method and Airplane original image

6 結(jié)論

筆者提出了一種基于CNN的NSST變換域圖像融合方法.該方法有效利用NSST變換域優(yōu)良的時(shí)頻變換特性又充分應(yīng)用了CNN圖像融合規(guī)則較好的能量保持特點(diǎn)，并通過(guò)向?qū)V波使對(duì)融合過(guò)程中的高頻圖像進(jìn)行平滑處理，進(jìn)而更好地提高了圖像的空間連續(xù)性，使圖像的融合質(zhì)量進(jìn)一步增強(qiáng).綜合上述的實(shí)驗(yàn)表明，該方法具有更好的圖像特征表達(dá)性能，不管是在圖像的整體效果還是在客觀性能指標(biāo)上都要更優(yōu)于文中所描述的目前的圖像融合算法.