基于導(dǎo)向平滑銳化濾波和多尺度分解的紅外與可見光圖像融合

余先濤，郭昭陽，孟立顯，金其順

(1.武漢理工大學(xué) 機(jī)電工程學(xué)院，湖北 武漢 430070;2.中國鐵路武漢局集團(tuán)有限公司，湖北 武漢 430071；3.中國鐵路武漢局集團(tuán)有限公司科學(xué)技術(shù)研究所，湖北 武漢 430071)

圖像融合技術(shù)是圖像處理中的重要分支，它的目的是將多源傳感器在同一場景或同一目標(biāo)上采集到的圖像信息融合成一幅新的圖像，以充分利用不同傳感器的互補(bǔ)信息，從多方面獲得場景或目標(biāo)的描述，便于觀察和后續(xù)的處理。其中紅外與可見光圖像融合是圖像融合技術(shù)中的重點(diǎn)之一。紅外圖像傳感器根據(jù)物體紅外輻射的差異成像，其圖像采集不依賴于外部光線，具有較強(qiáng)的抗干擾能力，但紅外圖像背景信息和分辨率較低，容易缺乏細(xì)節(jié)?？梢姽鈭D像傳感器根據(jù)物體對光線的不同反射能力成像，圖像采集易受低光照或遮擋物等環(huán)境因素影響，但可見光圖像通常具有豐富的場景邊緣紋理細(xì)節(jié)。因此紅外圖像與可見光圖像具有良好的互補(bǔ)性，融合圖像既包含紅外目標(biāo)信息，又有豐富的紋理細(xì)節(jié)等場景信息，已廣泛應(yīng)用于隱蔽性武器檢測、目標(biāo)檢測與跟蹤等領(lǐng)域[1]。

紅外與可見光圖像融合研究中應(yīng)用較為廣泛的方法有基于多尺度分解的融合方法[2]、基于稀疏表示的融合方法[3]、基于子空間的融合方法[4]、基于神經(jīng)網(wǎng)絡(luò)的融合方法[5]等。其中基于多尺度分解的融合方法一直是研究和應(yīng)用的熱點(diǎn)，傳統(tǒng)的基于多尺度分解的圖像融合方法包括金字塔變換(pyramid transform)[2]、小波變換(wavelet transform)、非下采樣輪廓波變換(nonsubsampled contourlet transform)等。該類方法的一般過程為將源圖像進(jìn)行多尺度分解得到一系列不同尺度的子圖像，再將得到的不同尺度的子圖像根據(jù)設(shè)計(jì)的融合規(guī)則進(jìn)行融合，最后通過逆變換得到最終的融合圖像。但融合結(jié)果中可能出現(xiàn)紅外目標(biāo)亮度較低，目標(biāo)和場景邊緣容易產(chǎn)生光暈和偽影。這是由于傳統(tǒng)的多尺度分解方法忽略了空間一致性且在分解過程中邊緣紋理沒有得到良好保護(hù)所造成的。改進(jìn)傳統(tǒng)的多尺度融合方法使其具有良好的邊緣細(xì)節(jié)和目標(biāo)顯著性成為近些年來關(guān)注的熱點(diǎn)。朱浩然等[6]提出了一種基于迭代導(dǎo)向?yàn)V波與多視覺權(quán)重信息的紅外與可見光圖像融合算法，該方法有效地抑制偽影的產(chǎn)生。Chen等[2]將多尺度分解后的低頻層融合由紅外低頻層權(quán)重決定，高頻層融合采用最大絕對值規(guī)則，生成具有明顯突出目標(biāo)和豐富細(xì)節(jié)的融合圖像。以上基于多尺度分解的融合算法有效改善了融合圖像偽影和目標(biāo)顯著性問題，但存在一定的局限性，如融合圖像對比度較低，邊緣紋理存在“光暈”等。

針對這些問題筆者引入導(dǎo)向邊緣感知平滑銳化濾波器[7],相對于導(dǎo)向?yàn)V波[8]有更好的邊緣保護(hù)能力，解決了原始導(dǎo)向?yàn)V波出現(xiàn)的細(xì)節(jié)“光暈”現(xiàn)象，同時(shí)提高融合圖像的整體亮度。

1 相關(guān)算法

導(dǎo)向?yàn)V波在平滑噪聲的同時(shí)具有很好的邊緣梯度保護(hù)功能，因此在大量的圖像融合任務(wù)中得到應(yīng)用，有效解決了雙邊濾波器的梯度反轉(zhuǎn)問題，但是其本質(zhì)是一個(gè)平滑濾波器。導(dǎo)向平滑銳化濾波器運(yùn)用導(dǎo)向?yàn)V波的思想設(shè)計(jì)了一種統(tǒng)一的具有平滑和銳化功能的濾波器。

1.1 導(dǎo)向?yàn)V波

導(dǎo)向?yàn)V波是一種基于局部線性模型的快速邊緣保護(hù)濾波器,基于塊模型的定義為：

Jk(q)=akGk(q)+bk

(1)

式中：Jk(q)為期望輸出；Gk(q)為引導(dǎo)圖像第k塊像素；ak、bk為線性系數(shù)。

ak、bk可通過最小化塊上的損失函數(shù)來確定。

(2)

式中：Ik(q)為源圖像位于q∈?k的像素；ε為正則化參數(shù)。

通過式(2)可求得：

bk=μk-akγk

(3)

(4)

將式(3)中bk代入式(1)可得到一個(gè)新的塊模型：

Jk(q)=μk+ak(Gk(q)-γk)=μk-akΔGk(q)

(5)

式中：ΔGk(q)=γk-Gk(q)為拉普拉斯算子的泛化。

1.2 導(dǎo)向平滑銳化濾波器

Deng等[8]利用導(dǎo)向?yàn)V波的思想設(shè)計(jì)出了導(dǎo)向平滑銳化濾波器,將平滑和銳化統(tǒng)一到一個(gè)濾波器中，利用參數(shù)的不同控制平滑銳化效果。

式(5)中要求輸入圖像Ik和引導(dǎo)圖像Gk必須相關(guān)聯(lián)，如果它們是正相關(guān)，那么ΔIk(q)和ΔGk(q)符號相同。如果是負(fù)相關(guān)，那么預(yù)期這兩個(gè)拉普拉斯符號是相反的。因此，需要對制導(dǎo)圖像上計(jì)算的拉普拉斯符號進(jìn)行校正。式(3)中ak自動(dòng)滿足要求。根據(jù)以上討論，以式(5)為基礎(chǔ)定義基于塊模型導(dǎo)向平滑銳化濾波器：

Jk(q)=μk+sign(φk)αk(Gk(q)-γk)

(6)

式中，αk為正參數(shù)。其負(fù)對數(shù)似然為:

(7)

D(αk)=-logp({Jk(q)}|αk)-logp(αk)

(8)

通過最小化代價(jià)函數(shù)D(αk)來確定濾波參數(shù)αk，相當(dāng)于最大化后驗(yàn)。求解?D/?αk=0，令ε=1/θ2，η=κε得到最優(yōu)解為：

(9)

(10)

由此可知，αk≥|ak|，原始的引導(dǎo)濾波器是導(dǎo)向平滑銳化濾波器在κ=0時(shí)的一個(gè)特例。類似于原始導(dǎo)向?yàn)V波器的實(shí)現(xiàn)，對圖像中每個(gè)塊計(jì)算參數(shù)αk；然后再執(zhí)行加權(quán)平均操作。則基于塊模型濾波輸出式(6)可改寫為：

(11)

通過保持其他參數(shù)不變，探討不同κ值對平滑銳化濾波器的影響結(jié)果如圖1所示。圖1(b)和圖1(c)顯示0<κ<1時(shí)的平滑效果，較小的κ值會增加圖像的平滑度。圖1(e)和圖1(f)顯示κ>1時(shí)的銳化效果，較大的κ值會產(chǎn)生更清晰的結(jié)果。通過設(shè)置κ=1得到圖1(d)所示圖像，其與原始圖像完全一致，因此，當(dāng)κ=1時(shí)，濾波器不會產(chǎn)生平滑或銳化效果。假設(shè)給出了4個(gè)參數(shù)：塊半徑r，參數(shù)κ、ε和尺度參數(shù)s，可以看出其與原始的導(dǎo)向?yàn)V波器具有相同的復(fù)雜度O(N),它們都是由線性濾波器來實(shí)現(xiàn)的。

圖1 不同κ值對平滑銳化濾波器的影響(設(shè)置r=11,ε=0.01,s=1)

2 算法實(shí)現(xiàn)

筆者利用導(dǎo)向平滑銳化濾波器的銳化功能，設(shè)計(jì)具體的融合算法。首先，利用源圖像的多尺度分解獲得高、低頻信息。然后，針對不同的信息采用各種融合策略。最后使用相關(guān)反變換得到融合結(jié)果。該融合算法框架如圖2所示。

圖2 本文提出的圖像融合算法框架

2.1 多尺度分解

在提出的融合方法中，首先對紅外和可見光圖像進(jìn)行多尺度分解，采用了拉普拉斯金字塔分解源圖像，因?yàn)樗蓪⒃磮D像分解為不同的空間頻段，融合過程在不同的空間頻率層單獨(dú)進(jìn)行。因此，對于每個(gè)分解層的不同頻段的各自特征和細(xì)節(jié)，可以采用各種融合規(guī)則。此外，拉普拉斯金字塔分解運(yùn)行時(shí)間短，可以提高算法的計(jì)算效率。

拉普拉斯金字塔構(gòu)成是在高斯金字塔基礎(chǔ)上演變而來，源圖像I0作為高斯金字塔的第0層，對其進(jìn)行高斯低通濾波和隔行隔列采樣得到金字塔的第一層，重復(fù)以上過程構(gòu)成高斯金字塔。則圖像金字塔第k層為：

1≤k≤N,0≤i≤Rk,0≤j≤Ck

(12)

式中：N為金字塔的最高層編號；Rk和Ck分別高斯金字塔第k層的行、列數(shù)；ω(m,n)是一個(gè)具有低通特性的二維可分離5×5窗口函數(shù)。

(13)

高斯金字塔的當(dāng)前層都是對其前一層圖像先進(jìn)行高斯低通濾波，再作隔行和隔列的降2采樣而生成的。前一層圖像大小依次為當(dāng)前層圖像大小的4倍。

1≤k≤N,0≤i≤Rk,0≤j≤Ck

(14)

(15)

式中:N為拉普拉斯金字塔最高層；LPk為拉普拉斯金字塔分解的第k層圖像。

2.2 融合規(guī)則

低頻部分代表了圖像的大部分平滑區(qū)域，這些區(qū)域包含大部分圖像能量，通常代表圖像的背景信息?？偟膩碚f，圖像的像素強(qiáng)度分布主要體現(xiàn)在低頻信息中。高頻部分通常表征圖像的變化區(qū)域，如圖像的邊緣輪廓。傳統(tǒng)的多尺度圖像融合方法在低頻和高頻層設(shè)計(jì)融合算法時(shí)，忽略了高斯濾波器抑制噪聲的同時(shí)平滑圖像的固有特性，因此得到的融合圖像邊緣模糊，筆者對紅外和可見光圖像低頻和高頻層分別使用導(dǎo)向平滑銳化濾波器，再分別采用平均融合規(guī)則。以低頻層融合為例，計(jì)算公式為：

M1=SSIF(In,Gn,i,e,k,s)，

M2=SSIF(In,Gn,i,e,k,s),

(16)

式中：M1和M2分別為低頻紅外和可見光濾波圖像；In和Gn分別為低頻層紅外和可見光圖像第n層圖像；i,e,k,s分別為導(dǎo)向平滑銳化濾波器用戶手動(dòng)輸入的參數(shù)；M為紅外與可見光低頻第n層的融合圖像。高頻層的融合規(guī)則與低頻層一致。

2.3 多尺度重構(gòu)

由式(15)可得：

(17)

從式(17)可知，將拉普拉斯金字塔的頂層由上到下用式(17)進(jìn)行逐層遞推，可以得到最終的紅外和可見光高頻和低頻層融合圖像。

3 實(shí)驗(yàn)結(jié)果和分析

為了測試和驗(yàn)證所提出融合算法的優(yōu)越性，筆者選取TNO圖像融合數(shù)據(jù)集中配準(zhǔn)后的紅外與可見光圖像與4種先進(jìn)的融合算法進(jìn)行定性定量的分析。4種融合算法分別為：Chen等[2]提出的基于多尺度的融合算法LP(laplacian)；Li等[9]提出的基于導(dǎo)向?yàn)V波的二尺度融合算法GFF(image fusion with guided filtering)；Ma等[10]提出的基于梯度濾波的二尺度融合算法；GTF(infrared and visible image fusion via gradientlet filter)以及Ma等[5]提出的基于深度學(xué)習(xí)的融合算法FusionGAN(fusion generative adversarial networks),這些算法均來自公開的代碼。所有實(shí)驗(yàn)均在一臺配備2.5 GHz Intel Core CPU和4 GB內(nèi)存的筆記本電腦上進(jìn)行。經(jīng)過實(shí)驗(yàn)對比，設(shè)置尺度分解層數(shù)為4，平滑銳化導(dǎo)向?yàn)V波器參數(shù)設(shè)置為：r=11，ε=0.01，s=1，可見光圖像高頻和低頻層κ=7.5，紅外圖像高頻和低頻層κ=5。

3.1 定性分析

筆者選取TNO圖像融合數(shù)據(jù)集中在不同場景下的Lake,Kaptein_1123,Kaptein_1654,Soldiers_with_jeep,Marne_04與其他4種融合算法進(jìn)行對比。結(jié)果如圖3所示。Chen等基于傳統(tǒng)的LP方法改進(jìn)的融合圖像，雖然紅外圖像的高顯著性得到保留，但融合圖像邊緣出現(xiàn)明顯光暈，同時(shí)融合圖像(d)和(e)中天空出現(xiàn)明顯偽影。GFF中可見光圖像背景細(xì)節(jié)在融合圖像中未得到很好保留，紅外目標(biāo)顯著性降低。GTF融合圖像很好地保留了紅外目標(biāo)的顯著性和可見光圖像的背景細(xì)節(jié)，但亮度減低?；谏疃葘W(xué)習(xí)的FusionGAN融合方法，融合圖像的亮度偏低。筆者提出的融合算法，在保留紅外目標(biāo)的顯著性和可見光圖像背景細(xì)節(jié)上都有良好的表現(xiàn)，同時(shí)克服了傳統(tǒng)基于拉普拉斯金字塔的多尺度圖像融合中邊緣光暈問題。

3.2 定量分析

定性分析時(shí)由于主觀人為意識的干擾，相對缺乏客觀性，因此進(jìn)行客觀的定量分析。選用平均梯度(mean grdient,MG)，空間頻率(spatial frequency,SF)，熵(entropy,EN)，視覺保真度(visual information fidelty,VIF)，邊緣強(qiáng)度(edge intensity,EI)5項(xiàng)常用指標(biāo)對融合圖像性能進(jìn)行評價(jià)。

較大的平均梯度(MG)表示融合圖像包含豐富的邊緣紋理。空間頻率(SF)表示圖像梯度分布，包含水平和垂直梯度，根據(jù)人類的視覺系統(tǒng)，融合圖像具有較大的空間頻率對人類感知非常敏感，并且圖像具有豐富的邊緣紋理。熵(EN)反映圖像中包含的平均信息量，較大的熵值表示融合結(jié)果的一致性和融合算法的優(yōu)越性能。視覺保真度(VIF) 基于自然場景統(tǒng)計(jì)和由人類視覺系統(tǒng)提取影像信號的概念的圖像質(zhì)量評估參數(shù)，較大的值表明圖像的視覺效果較好。邊緣強(qiáng)度(EI)越高，圖像質(zhì)量越高，越清晰。

筆者將定性分析的5張圖片再進(jìn)行定量對比，結(jié)果如圖4所示。從圖4可知，在5種常用的圖像評價(jià)指標(biāo)中，筆者提出的融合算法均優(yōu)于其他融合方法。本文的融合圖像邊緣紋理強(qiáng)度，圖像清晰度，以及融合圖像信息量都具有良好的效果。同時(shí)也進(jìn)行了融合算法時(shí)間對比，結(jié)果如表1所示。融合時(shí)間越短，說明融合算法實(shí)時(shí)性越好。

圖3 不同算法對TNO數(shù)據(jù)集上的5種圖像融合結(jié)果定性比較

圖4 5種融合算法得到的5張融合圖像的定性比較

表1 不同融合算法下的融合時(shí)間 s

4 結(jié)論

針對傳統(tǒng)的多尺度紅外與可見光融合算法得到融合圖像邊緣光暈、偽影、噪聲和邊緣細(xì)節(jié)信息丟失等問題，提出了一種基于導(dǎo)向平滑銳化濾波的多尺度融合算法，通過參數(shù)設(shè)置，利用導(dǎo)向平滑銳化濾波器銳化功能濾波同時(shí)增強(qiáng)邊緣細(xì)節(jié)，很好地平衡了高斯平滑效果。利用本算法得到的融合圖像無論是在定性定量的分析上，還是運(yùn)行速度上都有優(yōu)異的表現(xiàn)。