面向雙模態(tài)紅外圖像差異的擬態(tài)融合方法

王學(xué)霜，王肖霞，吉琳娜，郭小銘

（中北大學(xué) 信息與通信工程學(xué)院，山西 太原 030051）

0 引言

雙模態(tài)紅外圖像是指紅外光強(qiáng)圖像和紅外偏振圖像，其中紅外光強(qiáng)圖像是紅外熱成像技術(shù)通過(guò)探測(cè)景物紅外輻射強(qiáng)度形成的[1]，而紅外偏振圖像是利用紅外偏振成像技術(shù)在紅外熱成像基礎(chǔ)上獲得多方向偏振量得到的[2]，兩者在醫(yī)學(xué)、農(nóng)業(yè)、消防、軍事等領(lǐng)域都發(fā)揮巨大的作用[3-4]。紅外光強(qiáng)圖像有明顯的亮度和外表輪廓，紅外偏振圖像有清晰的邊緣和紋理細(xì)節(jié)，兩者構(gòu)成互補(bǔ)信息，使雙模態(tài)紅外圖像的融合成為近年來(lái)研究的重點(diǎn)內(nèi)容[5]。目前雙模態(tài)紅外圖像融合算法的融合方式較為單一，存在圖像融合效果不明顯甚至差的問(wèn)題，因此如何有效利用雙模態(tài)紅外圖像互補(bǔ)信息，實(shí)現(xiàn)圖像信息的高質(zhì)量融合成為亟待解決的問(wèn)題。

圖像融合方法主要包括多尺度變換和非多尺度變換的融合方法，其中也存在對(duì)經(jīng)典方法的改進(jìn)及混合融合[6]。Li[7]提出了一種基于引導(dǎo)濾波的加權(quán)平均技術(shù)，以利用空間一致性融合基礎(chǔ)層和細(xì)節(jié)層；Liu[8]結(jié)合多尺度變換和稀疏表示提出了一種通用的圖像融合框架；Liu[9]利用連體卷積網(wǎng)絡(luò)集成紅外和可見光圖像的像素活動(dòng)信息。這些融合方法雖然可以獲得較好的融合性能，但由于融合方式的單一性，不能實(shí)現(xiàn)圖像融合的自適應(yīng)性。針對(duì)此類問(wèn)題，為便于對(duì)圖像差異信息的有效融合，Hu[10]構(gòu)建差異特征來(lái)定向描述雙模態(tài)紅外圖像的互補(bǔ)信息，并驗(yàn)證能夠用差異特征引導(dǎo)融合，為研究差異特征融合，實(shí)現(xiàn)雙模態(tài)紅外圖像互補(bǔ)信息的有效融合奠定基礎(chǔ)。

針對(duì)上述問(wèn)題，本文結(jié)合差異特征驅(qū)動(dòng)融合機(jī)制，提出了一種擬態(tài)融合方法。差異特征的有效融合使雙模態(tài)紅外圖像互補(bǔ)信息得到有效利用，能夠從中獲得更全面的融合信息。

1 研究方法

面向雙模態(tài)紅外圖像差異的擬態(tài)融合方法主要包括兩部分，主差異特征的選擇，各層變?cè)蛿M態(tài)結(jié)構(gòu)的確定。其中主差異特征選擇模塊用于確定圖像組的主差異特征類型，各層變?cè)蛿M態(tài)結(jié)構(gòu)的確定模塊用來(lái)對(duì)應(yīng)主差異特征類型的高層變?cè)⒌蛯幼冊(cè)?、基層變?cè)蛿M態(tài)結(jié)構(gòu)。具體方法流程如圖1所示。

圖1 面向雙模態(tài)紅外圖像差異的擬態(tài)融合方法流程Fig.1 Flow chart of mimic fusion method for dual-mode infrared image difference

1.1 主差異特征的選擇

從成像影響因素、物體輻射特性、目標(biāo)探測(cè)效果角度分析雙模態(tài)紅外圖像特點(diǎn)[11]，雙模態(tài)紅外圖像特征中亮度、邊緣與紋理特征差異明顯，因此從中進(jìn)行差異特征的選擇。亮度特征有平均能量（average energy,AE）、熵（entropy,EN）、對(duì)比度（contrast,CD）；邊緣特征有標(biāo)準(zhǔn)差（standard deviation,STD）、邊緣強(qiáng)度（edge strength,ES）、邊緣豐度（edge abundance,EA）、平均梯度（average gradient,AG）；紋理差異特征有Tamura 對(duì)比度（Tamura contrast,TCD）、均勻度（homogeneity degree,HD）、清晰度（definition,DF）。

特征差異度是用來(lái)描述雙模態(tài)紅外圖像差異特征的差異程度，范圍[0～1]，如公式(1)所示：

式中：Dif 代表特征差異度；Df 代表差異特征值；I 和P 分別代表紅外光強(qiáng)與偏振圖像；w1、w2分別為紅外光強(qiáng)、偏振圖像的權(quán)重；σ是一個(gè)極小的常數(shù)用于防止分母為0。

將多樣本圖像劃分為32×32 尺寸的局部圖像，從中隨機(jī)選擇64 組計(jì)算亮度、邊緣和紋理特征的差異度如圖2所示，通過(guò)觀測(cè)64 組樣本圖像特征差異度的分布情況對(duì)圖像特征進(jìn)行粗篩，確定雙模態(tài)紅外圖像的差異特征。亮度特征中，AE 與CD 的差異度值較高且存在較大的幅值范圍，但是EN 差異特征差異度較低，對(duì)兩類圖像的差異表示不明顯，因此選擇AE 和CD 作為亮度差異特征；邊緣特征中，由于EA與AG 相比于STD 與ES 來(lái)說(shuō)，它們存在高差異度值的數(shù)量較多，STD 與ES 的特征差異在圖像中不明顯，因此選擇EA 和AG作為邊緣差異特征；紋理特征中，TCD 和DF 差異特征存在高的差異度和較大的幅值，而HD 差異度值的變化趨勢(shì)與TCD 相近且大多數(shù)值較低于TCD 差異度值，因此選擇TCD 和DF 作為紋理差異特征。

圖2 亮度、邊緣和紋理特征下的特征差異度Fig.2 Feature difference under brightness,edge and texture features

利用主差異特征類型選取規(guī)則，獲取圖像的3 種主差異特征類型。將亮度特征和邊緣紋理特征設(shè)為兩組，先分別得到兩組中包含主差異特征的個(gè)數(shù)MTea如式(3)所示，兩組的差異特征按差異度排序后，分別選擇對(duì)應(yīng)個(gè)數(shù)的差異特征，得到主差異特征類型。

1.2 各層變?cè)蛿M態(tài)結(jié)構(gòu)的確定

1）特征融合度

在確定差異特征與各層變?cè)?、擬態(tài)結(jié)構(gòu)的關(guān)系時(shí)，需要選擇出圖像融合效果較好的組合，除了對(duì)視覺效果的判斷以外，還要進(jìn)行客觀描述。在圖像不失真的情況下，差異特征值越高代表圖像質(zhì)量越好，由于對(duì)差異特征值直接比較并不直觀，為了更方便地觀測(cè)出雙模態(tài)紅外圖像差異特征的融合效果，采用特征融合度來(lái)描述在不同變?cè)M合下差異特征的融合情況，選擇變?cè)謱咏Y(jié)構(gòu)中融合主差異特征效果較好的變?cè)绻?4)所示：

式中：xi為不同變?cè)诤系玫讲町愄卣髦?；n為各層變?cè)目倲?shù)；yi為計(jì)算所得差異特征的特征融合度數(shù)值。yi＞0 認(rèn)為變?cè)鶎?duì)應(yīng)圖像差異特征擁有較好的融合效果，且數(shù)值越大融合效果越好，yi＝1 時(shí)融合效果最好；反之認(rèn)為融合效果不好，并且數(shù)值越小融合效果越差。

2）各層變?cè)拇_定

擬態(tài)融合的組成結(jié)構(gòu)包括擬態(tài)變?cè)蛿M態(tài)結(jié)構(gòu)，將擬態(tài)變?cè)譃楦邔幼冊(cè)?、低層變?cè)突鶎幼冊(cè)?，?gòu)造擬態(tài)融合方法的擬態(tài)變?cè)?，具體如表1所示。其中高層變?cè)砀黝惗喑叨确纸馑惴ǎ坏蛯幼冊(cè)砀叩皖l融合規(guī)則；基層變?cè)獎(jiǎng)t代表融合參數(shù)。

表1 擬態(tài)變?cè)疶able 1 Set of mimic variables

在各層變?cè)?，由于高層變?cè)蛯雍突鶎幼冊(cè)虼艘来未_定差異特征與高層變?cè)?、低層變?cè)突鶎幼冊(cè)年P(guān)系。

建立單一差異特征與高層變?cè)愰g的關(guān)系，確定高層變?cè)?。固定低層與基層變?cè)?，在不同高層變?cè)悆?nèi)各選一種高層變?cè)謩e進(jìn)行6 類差異特征的融合，比較融合后對(duì)應(yīng)差異特征的特征融合度值，由于同類型的高層變?cè)纸夥绞较嗨?，因此至少選擇前2個(gè)特征融合度最大的高層變?cè)?，?lái)確定單一差異特征的高層變?cè)?，如?5)所示：

式中：DF(n)代表第n個(gè)差異特征，HVkn表示與差異特征n對(duì)應(yīng)的第k個(gè)高層變?cè)?，其中n＝1,2,…,6，k＝1,2,…,K。

建立單一差異特征與高層變?cè)悆?nèi)的關(guān)系，確定類內(nèi)高層變?cè)４_定高層變?cè)惡?，將類?nèi)所有高層變?cè)M(jìn)行差異特征的融合，分別計(jì)算6 類差異特征不同高層變?cè)奶卣魅诤隙龋Ａ籼卣魅诤隙却笥? 的高層變?cè)?，確定單一差異特征的類內(nèi)高層變?cè)缡?6)所示：

式中：j＝1,2,…,J為差異特征對(duì)應(yīng)的類內(nèi)高層變?cè)獋€(gè)數(shù)的變量。

建立單一差異特征與低層變?cè)年P(guān)系。固定基層變?cè)?，將差異特征?duì)應(yīng)高層變?cè)乃械蛯幼冊(cè)M合情況進(jìn)行差異特征的融合，先進(jìn)行主觀判斷，剔除融合失真、視覺效果差的變?cè)M合情況后，再計(jì)算特征融合度，選擇特征融合度值大于0 的低層變?cè)?，確定低層變?cè)?，如?7)所示：

式中：LV 代表低層變?cè)?，h＝1,2,…,H為高層變?cè)碌蛯幼冊(cè)獋€(gè)數(shù)的變量。

建立單一差異特征與基層變?cè)年P(guān)系。將不同基層變?cè)胧?7)下得到的高層和低層變?cè)M合中，選擇在高層和低層變?cè)嗤那闆r下，不同基層變?cè)胁町愄卣鞯奶卣魅诤隙茸畲笾?，確定差異特征對(duì)應(yīng)的基層變?cè)?，變?cè)謱咏Y(jié)構(gòu)也由此確定，如式(8)所示：

式中：BV 代表基層變?cè)籰＝1,2,…,L為低層變?cè)禄鶎幼冊(cè)獋€(gè)數(shù)的變量。

3）擬態(tài)結(jié)構(gòu)的確定

擬態(tài)結(jié)構(gòu)代表高層變?cè)慕M合方式，常見的擬態(tài)結(jié)構(gòu)為串聯(lián)式、并聯(lián)式和內(nèi)嵌式結(jié)構(gòu)。串聯(lián)式結(jié)構(gòu)（tandem structure,TS）將前一級(jí)高層變?cè)妮敵鲎鳛楹笠患?jí)高層變?cè)妮斎?，同時(shí)要保證第二級(jí)后各高層變?cè)斎氲暮侠碓O(shè)計(jì)；并聯(lián)式結(jié)構(gòu)（parallel structure,PS）不同高層變?cè)哂邢嗤妮斎?，?duì)圖像同時(shí)進(jìn)行融合，最后將不同融合結(jié)果合成獲得并聯(lián)式結(jié)構(gòu)的融合結(jié)果；內(nèi)嵌式結(jié)構(gòu)（embedded structure,ES）是由不同高層變?cè)獙訉忧短撰@得最終融合結(jié)果，其內(nèi)部輸出能作為其他高層變?cè)妮斎?，其他高層變?cè)軌蚯度肫渲?，?dāng)內(nèi)部融合結(jié)束后，外部高層變?cè)獙?nèi)部不同融合結(jié)果組合得到內(nèi)嵌式結(jié)構(gòu)的融合結(jié)果。

確定變?cè)謱咏Y(jié)構(gòu)后，建立主差異特征類型與擬態(tài)結(jié)構(gòu)的關(guān)系，即確定對(duì)高層變?cè)慕M合結(jié)構(gòu)，從而形成變體。由式(3)的主差異特征類型選取規(guī)則得到圖像的主差異特征，對(duì)應(yīng)出各層變?cè)?，按照不同擬態(tài)結(jié)構(gòu)對(duì)高層變?cè)M(jìn)行組合，計(jì)算各擬態(tài)結(jié)構(gòu)不同主差異特征類型融合結(jié)果的特征融合度，確定特征融合度最大值占比最高的擬態(tài)結(jié)構(gòu)，形成變體，如式(9)所示：

式中：MDF代表主差異特征類型；MS表示擬態(tài)結(jié)構(gòu)；E表示變體；y表示高層變?cè)膫€(gè)數(shù)，s＝1,2,…,S，代表擬態(tài)結(jié)構(gòu)個(gè)數(shù)的變量。

2 實(shí)驗(yàn)及結(jié)果分析

2.1 實(shí)驗(yàn)結(jié)果

通過(guò)對(duì)圖3 中6 組雙模態(tài)紅外圖像進(jìn)行實(shí)驗(yàn)來(lái)驗(yàn)證本文擬態(tài)融合方法的融合效果，圖像組中第一行為紅外光強(qiáng)圖像，第二行為紅外偏振圖像。本文在擬態(tài)變?cè)懈邔幼冊(cè)悆?nèi)選擇具有代表性的多尺度融合方法，例如金字塔變換類內(nèi)有拉普拉斯金字塔（Laplacian pyramid,LP）[12]、低通比率金字塔（low-pass ratio pyramid,RP）[13]等；小波變換類內(nèi)包括離散小波變換（discrete wavelet transform,DWT）[14]、雙樹復(fù)小波變換（dual-tree complex wavelet transform,DTCWT）[15]等；方向?yàn)V波類包括非下采樣剪切波變換（non-subsampled Shearlet transform,NSST）[16]等；邊緣保持類內(nèi)包括導(dǎo)向?yàn)V波（directed filtering,GF）[7]、L0邊緣保持濾波（L0 edge-preserving filtering,LEP）[17]等。低層變?cè)械娜诤弦?guī)則組合表示為（高頻規(guī)則_低頻規(guī)則）?；鶎幼?cè)械娜诤蠀?shù)包含在融合算法內(nèi)，如LP、RP、DWT 等存在分層參數(shù)n，NSST 算法中剪切波的方向參數(shù)（dcomp)、尺度參數(shù)（dsize)，GF 的濾波參數(shù)（filter）等。

圖3 實(shí)驗(yàn)圖像Fig.3 Experimental images

首先由式(1)計(jì)算得到6 組圖像差異特征的特征差異度，再利用式(3)結(jié)合特征差異度確定各組圖像的主差異特征類型，結(jié)果如表2所示。

表2 主差異特征類型Table 2 Main difference feature types

根據(jù)確定的變?cè)謱咏Y(jié)構(gòu)，對(duì)應(yīng)出6 組圖像主差異特征類型的各層變?cè)?。由于圖像組的主差異特征類型不同，對(duì)應(yīng)的變?cè)膊幌嗤?，最后確定的各層變?cè)绫?所示。

表3 圖像組的各層變?cè)猅able 3 Variables of each layer of image group

選擇擬態(tài)結(jié)構(gòu)，確定高層變?cè)线m的組合方式，從而形成變體。分別對(duì)6 組雙模態(tài)紅外圖像的不同高層變?cè)床煌瑪M態(tài)結(jié)構(gòu)組合，計(jì)算在3 種擬態(tài)結(jié)構(gòu)組合下融合結(jié)果的特征融合度，如圖4所示。

圖4 6 組圖像的特征融合度Fig.4 Feature fusion degree of six groups of images

由于串聯(lián)式結(jié)構(gòu)在融合過(guò)程中，每次串聯(lián)時(shí)融合圖像的選擇對(duì)融合結(jié)果起關(guān)鍵作用，因此在串聯(lián)時(shí)需要選擇合適的圖像輸入進(jìn)行融合；并行式結(jié)構(gòu)在最后融合時(shí)權(quán)重的不同影響著融合的質(zhì)量，本文權(quán)重取均值，從圖中結(jié)果可以看出差異特征融合效果不理想；內(nèi)嵌式結(jié)構(gòu)中圖像的融合質(zhì)量與高層變?cè)那短孜恢糜嘘P(guān)，當(dāng)圖像分解后需要選擇合適的高層變?cè)獙?duì)高頻或低頻分量進(jìn)行融合。觀測(cè)圖4 不同圖像組差異特征的特征融合度結(jié)果，得出a、b、c、d、f 圖像組的特征融合度最大值串聯(lián)式結(jié)構(gòu)占比最高，因此確定擬態(tài)結(jié)構(gòu)為串聯(lián)式結(jié)構(gòu)；e 圖像組中特征融合度最大值占比最高的是內(nèi)嵌式結(jié)構(gòu)，因此其作為e 組圖像的擬態(tài)結(jié)構(gòu)。

最后的實(shí)驗(yàn)結(jié)果如圖5所示，其中(1)組為擬態(tài)融合方法形成變體后最終得到的融合結(jié)果，對(duì)比實(shí)驗(yàn)使用LP_SR[8]與CNN[9]算法，實(shí)驗(yàn)結(jié)果分別為(2)組與(3)組。

圖5 紅外光強(qiáng)與偏振圖像融合結(jié)果Fig.5 Fusion results of infrared light intensity and polarized images

2.2 結(jié)果分析

1）主觀分析

從視覺效果來(lái)看，a(1)右上角建筑的邊緣和紋理部分比a(2)和a(3)更明顯，b(1)中汽車刮雨器附近的細(xì)節(jié)比b(2)和b(3)更多，c(1)欄桿處的視覺效果比c(2)和c(3)好，d 和e 組圖像在方法1 下的結(jié)果亮度比在方法2 和方法3 下結(jié)果的亮度高，其中e(1)圖中坦克炮筒部分的邊緣比e(2)和e(3)圖像清晰，f(1)結(jié)果的紋理比f(wàn)(2)和f(3)的紋理更明顯。

2）客觀分析

利用9 種常用評(píng)價(jià)指標(biāo)對(duì)6 組圖像的3 種不同融合結(jié)果進(jìn)行比較，如表4所示。雖然評(píng)價(jià)指標(biāo)結(jié)果的最大值沒(méi)有都在(1)組圖像中，但整體來(lái)說(shuō)，利用(1)組方法所得融合圖像的常用評(píng)價(jià)指標(biāo)結(jié)果最優(yōu)值總體所占比重比其他兩種方法得到融合圖像的評(píng)價(jià)指標(biāo)結(jié)果大得多，高達(dá)77.8%，其中(2)組中算法評(píng)價(jià)指標(biāo)最優(yōu)值占 5.6%，(3)組中算法評(píng)價(jià)指標(biāo)最優(yōu)值占16.6%。因此從常用指標(biāo)評(píng)價(jià)結(jié)果可知，針對(duì)圖像差異的擬態(tài)融合方法能夠?qū)崿F(xiàn)較好的融合效果。

表4 評(píng)價(jià)指標(biāo)結(jié)果Table 4 Evaluation index results

用擬態(tài)指標(biāo)進(jìn)行評(píng)價(jià)，分析擬態(tài)融合方法的優(yōu)勢(shì)。融合有效度是比較雙模態(tài)紅外圖像各類差異特征融合效果的評(píng)價(jià)指標(biāo)，其作用是評(píng)價(jià)融合方法對(duì)源圖像差異信息的融合情況，如式(10)所示：

式中：I 和P 分別為紅外光強(qiáng)與偏振圖像；T 代表差異特征的編號(hào)；Df 為差異特征值；FD 代表差異特征的融合度。wI,T和wp,T代表權(quán)重因子，為了說(shuō)明源圖像中差異特征較大者其重要性也越大，反之越小。

用3 種融合方法得到的6 組雙模態(tài)紅外圖像融合結(jié)果的融合有效度如表5所示。通過(guò)觀察差異特征融合有效度的最大值分布可知，(1)中方法對(duì)差異特征的融合效果總體比其他兩種方法對(duì)差異特征的融合效果好。另外觀察表中數(shù)據(jù)可知(1)中方法的融合有效度都為正值，而(2)組所用方法的融合有效度在b、c、e圖像組中存在負(fù)值，(3)組所用方法的融合有效度在a、b、c、e 圖像組中存在負(fù)值，代表本文方法可以通過(guò)對(duì)融合策略進(jìn)行自適應(yīng)選擇，實(shí)現(xiàn)對(duì)源圖像差異特征的有效融合，而其他方法存在對(duì)源圖像差異特征的無(wú)效融合

表5 融合有效度結(jié)果Table 5 Fusion effectiveness results

3 結(jié)論

本文提出一種面向圖像差異的擬態(tài)融合方法，該方法通過(guò)確定變?cè)謱咏Y(jié)構(gòu)，根據(jù)圖像主差異特征類型確定各層變?cè)蛿M態(tài)結(jié)構(gòu)，實(shí)現(xiàn)對(duì)變體的獲取，達(dá)到融合雙模態(tài)紅外圖像互補(bǔ)信息的目的，實(shí)現(xiàn)了對(duì)融合算法的針對(duì)性選擇和圖像的自適應(yīng)性融合，從主客觀進(jìn)行評(píng)價(jià)，特別是擬態(tài)評(píng)價(jià)指標(biāo)的結(jié)果得出本文方法實(shí)現(xiàn)了對(duì)圖像差異信息的有效融合和圖像融合的自適應(yīng)性，提高了圖像的融合質(zhì)量。本文研究為下一步面向圖像區(qū)域劃分，提高局部區(qū)域融合質(zhì)量的擬態(tài)融合研究提供參考。