基于M-DTCWT和2APCNN的多聚焦圖像融合

錢榮威, 許丹丹, 周 涵

(石家莊鐵道大學(xué) 電氣與電子工程學(xué)院，河北 石家莊 050043)

多聚焦圖像融合技術(shù)能夠有效提高圖像信息的利用率和系統(tǒng)對目標(biāo)探測識別的可靠性，是圖像融合研究中一類具有代表性的研究問題[1-2]。圖像融合方法主要分為空間域算法和變換域算法。空間域算法主要有灰度加權(quán)平均法、主成分分析法(PCA)和針對遙感圖像通道形式的顏色空間轉(zhuǎn)換法(HSV)等[3-5]?；诳臻g域的融合算法直接對圖像像素進(jìn)行簡單處理，即將圖像中清晰區(qū)域與另一幅圖像的模糊區(qū)域進(jìn)行加權(quán)平均容易導(dǎo)致圖像信息的丟失，對融合圖像的質(zhì)量產(chǎn)生較大影響。變換域算法主要有Laplace金字塔變換法、小波變換(WT)法、輪廓波變換(CT)法及非下采樣輪廓波變換(NSCT)等方法[6-7]。由于變換域算法在提取圖像細(xì)節(jié)上具有更多的優(yōu)勢，因此被廣泛應(yīng)用與多聚焦圖像融合中。但傳統(tǒng)小波只能捕獲有限的方向信息，不能有效反映豐富的方向紋理。雙樹復(fù)小波變換(DTCWT)[8]的提出極大減小了傳統(tǒng)小波變換中的平移敏感性。吳一全等[9]將DTCWT與CT中的方向?yàn)V波器組(DFB)進(jìn)行級聯(lián)得到了具有移不變性的復(fù)輪廓波變換(CCT),但因DFB存在下采樣行為，所以會在一定程度上影響圖像融合效果。采用非下采樣濾波器組(NSDFB)替換CCT中的DFB，得到一種不具有非下采樣行為的多方向雙樹復(fù)小波變換(M-DTCWT)，將其應(yīng)用于多聚焦圖像融合中，可對圖像進(jìn)行更多尺度和方向上的分解，因此它能夠更好地提取多聚焦圖像的邊緣細(xì)節(jié)等高頻信息，從而提升融合質(zhì)量。在圖像融合過程中，除分解工具以外，對分解系數(shù)的融合策略同樣對融合質(zhì)量起著舉足輕重的影響。隨著壓縮感知的發(fā)展，稀疏表示(SR)為圖像融合提供了新的方法。Yang et al[10]在DCT(discrete cosine transformation)字典下建立稀疏分解模型，采用OMP算法得到稀疏系數(shù)，但此方法未進(jìn)行多尺度分解，直接在原圖像基礎(chǔ)上進(jìn)行稀疏表示，容易丟失圖像細(xì)節(jié)。Moonon et al[11]在對稀疏系數(shù)融合時，采用系數(shù)絕對值取大策略時未考慮單組系數(shù)間的相關(guān)性，因此本文采用模糊邏輯(FL)與SR相結(jié)合的方法(FAR)作為低頻系數(shù)的融合策略。脈沖耦合神經(jīng)網(wǎng)絡(luò)(PCNN)是一種模擬動物大腦皮層細(xì)胞的神經(jīng)網(wǎng)絡(luò)模型，具有空間鄰近和特征相似聚集的特點(diǎn)，廣泛應(yīng)用在圖像高頻系數(shù)組的融合中[12]，文獻(xiàn)[13]提出了雙通道脈沖耦合神經(jīng)網(wǎng)絡(luò)(2APCNN)簡化了PCNN模型，文獻(xiàn)[14]將其應(yīng)用在了多聚焦圖像融合中，提升算法計算效率的同時得到了較好的融合效果。本文將平均高斯差分梯度(ADOG)作為2APCNN的鏈接強(qiáng)度，提出改進(jìn)2APCNN的高頻融合策略。

1 M-DTCWT的圖像分解原理

(1)

式中，θ∈{±15°，±45°，±75°}；n∈Z2；i∈N,表示分解尺度，N為分解總尺度。對圖像進(jìn)行DTCWT分解,每個尺度i都會產(chǎn)生2個低頻子帶與6個高頻子帶，一般將2個低頻子帶合并為1個低頻子帶，有利于下一級的尺度分解。

(2)

式中，n∈Z2；m∈Z2，各尺度下方向子帶的分解數(shù)目為2l。由于NSDFB采用二叉樹進(jìn)行子帶分解，所以會產(chǎn)生2n個方向子帶。整體的分解結(jié)構(gòu)如圖1所示。

圖1 M-DTCWT的整體分解示意圖

2 2APCNN原理

根據(jù)生理學(xué)和心理學(xué)視覺系統(tǒng)對特征明顯區(qū)域的反應(yīng)要比不明顯區(qū)域反應(yīng)強(qiáng)烈，不可能每個神經(jīng)元的鏈接強(qiáng)度都相同，而圖像的梯度可以很好地反映邊緣特征信息。針對傳統(tǒng)PCNN缺點(diǎn)，提出一種改進(jìn)2APCNN模型，將平均高斯差分梯度(ADOG)作為2APCNN的鏈接強(qiáng)度自適應(yīng)選取通道，并提出改進(jìn)空間頻率(MSF)作為外部激勵。其數(shù)學(xué)表達(dá)式如下

(3)

改進(jìn)空間頻率

(4)

式中，

(5)

式中，M×N代表圖像尺寸；I(i,j)為(i,j)處分解系數(shù)。MSF既包含了行頻RF、列頻CF，也包含了對角頻DF1、DF2。

平均高斯差分梯度

(6)

式中，(i,j)為像素坐標(biāo)；P、Q=1為窗口大小；IDOG(i,j)為I(i,j)的二階高斯差分。

(7)

式中，Gauss(x,y,σ)為二維高斯函數(shù)，根據(jù)式(6)得到鏈接強(qiáng)度

(8)

3 融合規(guī)則

3.1 結(jié)合FL與SR的低頻系數(shù)融合

稀疏表示的模型

Xi=arg min‖X‖0 s.t,‖i-DX‖2<εi∈(A,B)

(9)

式中，i為源圖像；D為過完備字典；X為稀疏系數(shù)；‖X‖0為稀疏向量的0范數(shù)；ε為逼近系數(shù)容限且ε≥0。然而，式(9)是一個NP-hard問題，為解決這一問題提出了基追蹤(BP)算法、匹配追蹤(MP)算法和正交匹配追蹤(OMP)算法[16]。利用具有較高計算效率及收斂能力的OMP算法進(jìn)行稀疏分解。

由于高斯函數(shù)作為圖像所含信息及區(qū)域能力的一種測度，可以描述圖像低頻信息的豐富度，所以將歸一化的高斯函數(shù)作為基本邏輯參考標(biāo)準(zhǔn)指導(dǎo)稀疏系數(shù)的融合。定義隸屬函數(shù)如下

(10)

式中，μ、σ2分別為稀疏向量均值、方差；W為隸屬度且W∈[0,1]。結(jié)合式(9)和式(10)得到稀疏系數(shù)的融合規(guī)則

XF=WAXA+(1-WA)XB

(11)

將融合后的稀疏系數(shù)XF與原字典相乘得到最終的低頻融合系數(shù)

LF=XFD

(12)

3.2 改進(jìn)2APCNN的高頻系數(shù)融合

第一步：根據(jù)式(4)得到高頻系數(shù)的改進(jìn)空間頻率并將作為激勵輸入2APCNN。

(13)

第二步：根據(jù)式(8)計算高頻系數(shù)的鏈接強(qiáng)度。

(14)

第四步：直到第三步迭代停止，根據(jù)點(diǎn)火數(shù)映射圖選擇高頻融合系數(shù)。

(15)

4 實(shí)驗(yàn)與分析

為驗(yàn)證算法的融合效果，選取2組已配準(zhǔn)的多聚焦圖像(Clock、Lab)進(jìn)行融合,見圖2。實(shí)驗(yàn)中圖像均來自http://www.imagefusion.org/。本節(jié)實(shí)驗(yàn)所使用的計算機(jī)處理器為Intel(R)Core(TM)i7-4720HQ CPU@ 2.60 GHz，內(nèi)存為12.0 GB，操作系統(tǒng)為Windows 10 64位系統(tǒng)，運(yùn)行平臺為Matlab 2016a。并將算法與其他3種算法進(jìn)行了對比：(1)文獻(xiàn)[14]提出的NSCT作為分解工具，低頻系數(shù)采用稀疏表示融合策略，高頻系數(shù)采用2APCNN融合策略，標(biāo)記為NSCT-2APCNN。(2)屈小波等[17]提出的改進(jìn)拉普拉斯能量和尖銳頻率局部化Contourlet域方法，低頻系數(shù)采用均值融合策略，高頻系數(shù)采用SML取大策略，記為SFLCT-SML。(3)文獻(xiàn)[18]提出的DTCWT與SR相結(jié)合，低頻系數(shù)采用稀疏表示融合，高頻系數(shù)采用絕對值取大融合策略，記為DTCWT-SR。參數(shù)均保持原作者所采用參數(shù)。本文算法記為M-DTCWT-2APCNN，M-DTCWT分解層數(shù)為3層，各層方向子帶數(shù)目分別為[2，4，8]。

圖2 Clock融合結(jié)果

Clock圖像的融合結(jié)果如圖2(a)～圖2(d)所示。從視覺效果上來看，幾種算法均實(shí)現(xiàn)了多聚焦圖像融合，但因分解工具及融合策略的不同，融合后圖像的質(zhì)量也不同。為更明顯地展示視覺上的差別，將各融合圖像與原左聚焦圖像做差得到融合結(jié)果殘差如圖2(e)～圖2(h)所示，對于殘差圖像來說，更少的殘差信息說明從原圖像中轉(zhuǎn)移了更多信息到融合圖像中。從圖2中可以看出(已用矩形框標(biāo)出)，圖2(e)、圖2(f)的殘差雖然不太明顯，但仍然可以看出殘留了鬧鐘頂部的大致輪廓，說明NSCT-2APCNN與SFLCT-SML這2種方法沒有較好地將原圖像信息融合進(jìn)圖像中?；贒TCWT-SR方法的殘差圖2(g),在鬧鐘輪廓上融合較好，但隱約可以辨認(rèn)出時針與分針，并沒有將此信息較好地融合進(jìn)圖像中。而本文算法得到的圖2(h)幾乎沒有殘留信息無法辨認(rèn)出物體。

圖3(a)～圖3(d)為Lab圖像的融合結(jié)果，各融合結(jié)果與原右聚焦圖像的殘差圖顯示在圖3(e)～圖3(h)中?？梢钥闯鲈跉埐钭蠲黠@的是NSCT-SR方法得到的融合圖像，其次是SFLCT-SML與NSCT-2APCNN，但仍然可以辨認(rèn)出人體輪廓?dú)埐钶^為明顯。然而采用本文算法進(jìn)行融合的殘差圖像中幾乎沒有殘留信息，只在人體頭部有細(xì)小痕跡。綜上說明：相比較于其他3種方法，本文提出的融合算法能夠更好地捕獲原圖像中聚焦良好區(qū)域的信息，有效提升了融合質(zhì)量。

圖3 Lab融合結(jié)果

為了更好評估本文算法在多聚焦圖像上的融合性能，還選取了3種客觀評價指標(biāo)：邊緣信息度量QAB/F、互信息MI和空間頻率SF進(jìn)行度量[19]。QAB/F衡量有多少邊緣信息從原圖像轉(zhuǎn)移到融合后圖像；MI代表原圖像有多少信息轉(zhuǎn)移到融合圖像；而SF可以度量圖像空間的總體活躍程度。對于這3個指標(biāo)來說，值越大代表融合質(zhì)量越高。

4.1 分解工具融合性能對比

表1為使用不同分解工具對圖2(a)和圖2(b)Clock圖像的融合性能對比，為公平體現(xiàn)本文提出的多方向DTCWT分解工具對融合效果的提升，所有分解工具的低頻系數(shù)均采用均值融合策略，高頻系數(shù)均采用絕對值取大融合策略。

由表1可得，本文提出的M-DTCWT在所有指標(biāo)中取得了最優(yōu)或次優(yōu)的融合效果，并于傳統(tǒng)的DTCWT相比，在指標(biāo)QAB/F、MI和SF上分別提升了3.80%、13.96%和3.81%，較其他傳統(tǒng)算法也有一定的提升，尤其是在指標(biāo)MI上較NSCT和SFLCT分別提升了14.58%和16.39%，充分體現(xiàn)了M-DTCWT對融合效果帶來的提升，證明了其在圖像融合中的應(yīng)用價值。這些融合效果的提升主要?dú)w功于M-DTCWT多尺度多方向特性可以更好地對圖像進(jìn)行稀疏分解。運(yùn)行時間上，由于加入了多方向NSDFB分解，較DTCWT提升了約1倍的時間，與SFLCT相比也提高了9.30%，NSCT則最慢，是本文算法的4.57倍。

表1 分解工具的融合性能對比

4.2 整體融合性能對比

實(shí)驗(yàn)通過客觀評價指標(biāo)QAB/F、MI、SF及運(yùn)行時間Times考察不同融合方法性能的結(jié)果如表2所示。本文提出的算法在QAB/F和MI這2個指標(biāo)上均取得了最大值。與SFLCT-SML算法相比較，2組圖像分別提升了2.90%、15.12%和3.27%、15.48%。對采用NSCT-2APCNN算法，分別提升了1.01%、8.11%和1.41%、10.39%。相比于未改進(jìn)的DTCWT-SR算法，分別提升了1.93%、8.87%和1.4%、9.18%。這主要?dú)w功于多方向DTCWT分解的多尺度多方向性、FSR的低頻系數(shù)融合相關(guān)性以及改進(jìn)2APCNN對高頻特征的有效反應(yīng)。整體上來看，本文算法對SFLCT提升最大，對NSCT-2APCNN和未改進(jìn)的DTCWT-SR提升不分伯仲，但本文是對DTCWT的一種改進(jìn)，因此兩者的比較更具意義。

表2 綜合客觀評價指標(biāo)

由于QAB/F和MI是一種信息轉(zhuǎn)移度量且本文算法在2組實(shí)驗(yàn)中均取得了最大值，代表所提出方法融合了更多的原圖像信息，同時這也與視覺效果對比相符合，證明了本文算法的融合效果要優(yōu)于其他3種方法。在SF指標(biāo)中2組實(shí)驗(yàn)取得最大值的分別為SFLCT-SML和NSCT-2APCNN，雖然本文算法表現(xiàn)較差，但與其他3種方法相比可以看出，只在小數(shù)點(diǎn)后第二位上略有波動，差別很小，說明未對圖像的空間活躍度產(chǎn)生明顯影響。與NSCT-2APCNN相比本文算法快了3倍、2.69倍，這是由于NSCT分解工具具有較高的冗余度因此算法運(yùn)行時間較長。與SFLCT-SML相比差別較小，而對比傳統(tǒng)的DTCWT-SR則慢了2.72倍、3倍，這主要?dú)w結(jié)于在DTCWT基礎(chǔ)上進(jìn)行了多方向NSDFB分解，增加了算法運(yùn)行時間。綜上所述，相比于傳統(tǒng)方法，本文所提算法對融合效果提升較為明顯，具有一定的優(yōu)越性。

5 結(jié)束語

針對DTCWT在方向分解上的不足，提出了一種基于多方向雙樹復(fù)小波變換(M-DTCWT)的多聚焦圖像融合方法。先對多聚焦圖像進(jìn)行M-DTCWT分解,得到低頻系數(shù)與高頻系數(shù)。對低頻系數(shù),提出結(jié)合模糊邏輯和稀疏表示(FSR)的融合規(guī)則得到低頻融合系數(shù)。對高頻系數(shù)，提出利用平均高斯差分梯度(ADOG)作為鏈接強(qiáng)度的改進(jìn)雙通道脈沖耦合神經(jīng)網(wǎng)絡(luò)(2APCNN)的高頻融合策略。最后通過M-DTCWT的反變換得到融合圖像。實(shí)驗(yàn)結(jié)果表明，本文算法在主觀評價與客觀評價上均優(yōu)于傳統(tǒng)的融合方法，較傳統(tǒng)DTCWT方法在指標(biāo)QAB/F和MI上，分別提高了1.93%、8.87%和1.40%、9.18%，體現(xiàn)了本文算法在多聚焦圖像融合中的優(yōu)越性。