基于全局稀疏梯度濾波器分解的圖像融合方法

常莉紅,馮福存,羅 徽,楊 媛，陸萬順

(1.寧夏師范學(xué)院 數(shù)學(xué)與計算機科學(xué)學(xué)院，寧夏 固原 756099;2.寧夏師范學(xué)院 物理與電氣工程學(xué)院，寧夏 固原 756099)

可見光圖像和紅外線圖像的融合是多傳感器圖像融合領(lǐng)域中的一個熱點[1]，已被廣泛地應(yīng)用于增強人類視覺感知、物體檢測和目標(biāo)識別等領(lǐng)域[2].

基于小波變換[3]、曲線波變換[4]和非下采樣輪廓波變換(nonsubsampled contourlet transform，NSCT)[5]等傳統(tǒng)的融合方法由于操作簡單備受大家青睞.然而，以上融合方法常常引起圖像的對比度下降、模糊邊緣等問題的困擾.Toet等[6]提出的方向濾波的圖像融合方法，Zhang等[7]提出的基于特征提取和視覺保護的融合方法(feature etraction and vsual iformation peservation，F(xiàn)TVP)，Bavirisetti等[8-9]利用差分迭代的形式基于微分方程給出了四階微分方程的(the fourth order partial differential equations，F(xiàn)PDE)融合方法和各向異性擴散方程(anisotropic diffusion and principal component analysis based fusion，ADPCA)的融合方法.用差分迭代的方式對圖像進行特征分解提出的圖像融合方法均從不同的程度對圖像的邊緣起到了很好的保護作用，但是在融合結(jié)果中紅外線圖像的高亮目標(biāo)的對比度仍有所減弱.近年來，隨著深度學(xué)習(xí)的興起，通過網(wǎng)絡(luò)訓(xùn)練的融合方法也成為研究的熱點.典型的方法有基于脈沖神經(jīng)網(wǎng)絡(luò)的方法[10]和卷積神經(jīng)網(wǎng)絡(luò)的方法(convolutional neural network，CNN)[11]等,尤其是基于CNN的融合方法可以從整體上處理活動水平測量和權(quán)重分配的兩個問題，但是這種方法容易受到訓(xùn)練集的影響，并且算法也比多尺度算法復(fù)雜.

為了保留紅外線圖像中的高亮目標(biāo)，Ma等[12]提出了一種基于梯度閾值濾波器分解和全局優(yōu)化(gradient threshold function and global optimization，GTG)的融合方法，利用梯度濾波器作為分解工具，對兩種圖像采用不同的表示，基于梯度和紋理結(jié)構(gòu)信息將圖像分解成近似層和剩余層，克服了傳統(tǒng)濾波器分解不可避免地由于亮度的分散而導(dǎo)致的邊緣模糊.但在融合的過程中對剩余層設(shè)計融合規(guī)則時其梯度算子采用的是傳統(tǒng)的Sobel局部算子，會影響到全局優(yōu)化的結(jié)果，本文利用全局稀疏的梯度算子(global sparse gradient，GSG)[13]代替Sobel算子改進分解的結(jié)果.

在圖像融合的過程中，可見光圖像中常見的一種是低照度圖像，由于獲取時受到光照的影響，圖像的很多細(xì)節(jié)被“隱藏”在黑暗中，無法顯示出場景的真實的細(xì)節(jié)，若將其與紅外線圖像融合，會造成場景信息的丟失，因此為了顯現(xiàn)細(xì)節(jié)，有必要先要對低照度的可見光圖像進行增強處理，以達(dá)到提高場景信息，增強融合效果.因此，本文基于光照估計的圖像增強和全局稀疏梯度濾波器提出一種紅外線與低照度圖像的融合方法.首先，對低照度圖像利用增強方法提高細(xì)節(jié)信息.其次，利用全局稀疏梯度濾波器對增強的低照度圖像與紅外線圖像進行分解，得到近似層和剩余層.為了保持紅外線圖像在融合結(jié)果中的高亮和顯著性特征,在近似層選取了基于能量保護的融合規(guī)則，為了保護可見光圖像的紋理細(xì)節(jié)信息，在小梯度變化的剩余層采用基于GSG信息的融合規(guī)則.最后，通過疊加得到融合的圖像，實驗結(jié)果驗證所提算法是有效的.

1 相關(guān)理論

1.1 基于光照估計的低照度圖像增強方法

常見的圖像增強方法是通過對比度的拉伸起到增強場景細(xì)節(jié)的效果，往往沒有明顯的物理意義.基于光照估計的增強方法(low-light image enhancement via iumination map estimation，LIME)[14]是對傳統(tǒng)的Retinex增強方法的一種改進，具有明顯物理意義.這里只給出LIME方法的主要數(shù)學(xué)公式,詳細(xì)過程參照文獻(xiàn)[14].

(i)令L是低照度圖像,其三個通道分別用R、G、B表示，每一點像素用P(x,y)表示，x和y分別表示水平和垂直方向的坐標(biāo)，用三個通道中像素點P對應(yīng)的最大值(max)來估計初始照明圖.

(1)

(2)

(ii) 最后增強的低照度圖像R可以表示為

(3)

其中ε是一個很小的正數(shù)，目的是為了防止分母為零.

圖1(b)和(d)是一組LIME增強方法的實驗結(jié)果圖，從增強的結(jié)果可以清晰地看到被“埋藏”在低照度圖像中的細(xì)節(jié)信息均被顯示出來.

圖1 基于LIME的增強結(jié)果

1.2 基于全局稀疏梯度的濾波器

文獻(xiàn)[12]所提的梯度濾波器(gradientlet filter,GF)所表示的數(shù)學(xué)模型如下

(4)

(5)

(6)

參數(shù)s是控制權(quán)函數(shù)的寬度,取s=1.則公式(4)就變?yōu)?/p>

(7)

公式(7)中前一項是為了保持輸出圖像的亮度分布，將輸入圖像的亮度分布傳輸給濾波圖像,利用L2范數(shù)最小來優(yōu)化.后面一項是為了抑制小的圖像梯度,讓濾波輸出的總梯度最小.在第二項中為了保持邊緣的同時能去除小梯度紋理和噪聲,設(shè)置了一個閾值罰函數(shù)TP,在邊緣梯度大于梯度閾值,并且應(yīng)該盡可能地用小的懲罰因子來保留.噪聲或紋理梯度小于閾值,應(yīng)使用較大的懲罰因子盡可能消除,其中TP設(shè)計為

(8)

d∈{x,y}表示x和y方向,λ是懲罰系數(shù)的最大值,α是梯度閾值,n是閾值函數(shù)的斜率.α隨著梯度的增大而逐漸減小,下降速率由n來控制;n越大,斜率越大,罰值函數(shù)越接近階躍函數(shù).當(dāng)n趨近于正無窮時,閾值函數(shù)變成階躍函數(shù),這里利用向前-向后分裂算法對公式(7)進行求解得到最后的輸出的濾波圖像,為了描述方便記全局稀疏梯度的濾波器(global sparse gradient filter，GSGF)為GSGF(I,m,α,λ,n),m是求解過程中的迭代次數(shù),本文中通過實驗測試,取α=0.2,m=1,λ=10,n=3.

利用GSGF(I,m,α,λ,n)對圖像進行分解,可以得到近似層IA和細(xì)節(jié)層ID

IA=GSGF(I,m,α,λ,n) ，

(9)

ID=I-IA.

(10)

圖2給出了用GSGF(I,m,α,λ,n)對紅外線圖像進行分解的示例圖,從圖中可以明顯地看出,基于亮度分布的信息全部留在了圖像的近似層,而紋理和噪聲的信息分解到了細(xì)節(jié)層.

圖2 GSGF(I,m,α,λ,n)方法的分解結(jié)果

2 可見光圖像增強后的GSGF融合方法

假設(shè)所有的紅外線圖像I1和可見光I2源圖像均已配準(zhǔn),算法以兩張圖像的融合為例,可以推廣到n幅圖像,所提算法主要分為如下幾步.

(i) 可見光圖像I2通過LIME方法先進行增強，增強后的結(jié)果為I2E.

(11)

(12)

(13)

(14)

(15)

(16)

為了提高顯著性權(quán)重對融合結(jié)果的影響,利用高斯函數(shù)對GSG(·)算子得到的顯著性圖進行擴散,得到高斯梯度顯著性圖，

ζ1(x,y)=Gaussian(S1,δ,r)，

(17)

ζ2(x,y)=Gaussian(S2,δ,r)，

(18)

其中(x,y)表示像素位置,Gaussian(·)是高斯濾波函數(shù),δ,r是參數(shù),取δ=r=5.

圖像的細(xì)節(jié)圖的權(quán)重表示為

(19)

(20)

圖3 細(xì)節(jié)圖、顯著性圖和權(quán)重圖

最后的剩余層為

(21)

(iii) 將融合的近似部分和剩余部分進行疊加得到融合的圖像,即

(22)

3 實驗

3.1 測試圖集

為了驗證所提方法的融合效果,實驗選取圖像融合公測數(shù)據(jù)集中的24對紅外線與可見光圖像(如圖4所示,來自http://www.imagefusion.org/)進行測試,第一、第三行給的是可見光圖像,第二、第四行給的是同一場景中的紅外線圖像.

圖4 測試集

3.2 評價指標(biāo)

選取熵(Entropy，EN)[16]、標(biāo)準(zhǔn)偏差(Standard deviation，SD)[16]、互信息(Mutual information，MI)[16]、基于結(jié)構(gòu)相似度的梯度QG評價指標(biāo)[17]和相位一致性的度量指標(biāo)QP[17]五個客觀指標(biāo)值對所提算法和比較算法進行客觀評價.一般來說，實驗結(jié)果中這幾個數(shù)據(jù)值越大說明融合效果越好，但是對于熵而言，因為融合過程中帶來了噪聲，使得值也會提高，因此評價融合效果的好壞，要綜合這五個指標(biāo)來評價.

3.3 實驗結(jié)果與分析

為了說明所提算法是有效的，基于不同理論選取了CNN[11]、NSCT[5]、 FTVP[7]、ADPCA[9]、FPDE[8]和GTG[12]六個先進的融合方法與所提算法比較.為了能更好地說明對低照度圖像的增強可以提高融合的效果，對沒有增強的可見光圖像與紅外線圖像直接用全局稀疏梯度的濾波器作為分解工具和能量保護的融合規(guī)則及改進的梯度顯性融合規(guī)則進行融合，其結(jié)果記作GSGF，將增強后融合的結(jié)果記作GSGFE.

圖5給出所提算法和比較算法的一組實驗結(jié)果圖.實驗結(jié)果表明各種算法均能改善場景的細(xì)節(jié)信息,提高視覺質(zhì)量.但是NSCT、FTVP和ADPCA的融合方法在融合結(jié)果中明顯地降低了圖像的對比度,比如紅外線圖像中亮度比較高的人物信息,在NSCT、ADPCA和FTVP的融合結(jié)果中明顯地變暗.CNN和FPDE的融合結(jié)果,盡管保留了高亮度的目標(biāo)但對圖像的細(xì)節(jié)信息過于平滑,比如路面磚的紋理看不到.GTG的融合結(jié)果能保留紅外線圖像的高亮目標(biāo),但也丟失了可見光圖像中的場景細(xì)節(jié).相比較本文所提算法GSGF和GSGFE的融合效果都較好地保持了圖像的高亮目標(biāo)和細(xì)節(jié)內(nèi)容.圖5(g)與圖5(a)～圖5(f)比較沒有明顯優(yōu)勢，但觀看圖5(h)GSGFE的融合結(jié)果,圖像整體的亮度和清晰度有較大提高,能清楚地看到路面和灌木叢的交界處的道路牙石,圖像右側(cè)高樓墻面磚的紋理清晰可見.

圖6給出了一組基于“Tree”圖的融合結(jié)果.圖像主要包含人、樹等以靜為主的目標(biāo)特征,可見光圖像的信息較模糊,對比度較高,紅外線圖像的信息和對比度均較模糊,通過本組融合圖像的對比,八種方法均實現(xiàn)了紅外線圖和可見光圖的融合,但視覺效果上有一定的差異.以8組圖片中用矩陣框所標(biāo)注的區(qū)域為例，從圖中結(jié)果可以看出NSCT、ADPCA和FPDE方法也是減低了圖像的對比度,如在紅外線圖像中樹冠和地面雜草的紋理在融合結(jié)果中明顯地變暗.FTVP的融合結(jié)果中減弱了紅外線圖像中的高亮目標(biāo)人物,CNN的融合結(jié)果中圖像場景的細(xì)節(jié)變得模糊,GTG算法雖能保留高亮目標(biāo),但紋理細(xì)節(jié)也被模糊了.ADPCA和FPDE算法效果很相似,紋理細(xì)節(jié)的保留要比NSCT的好,但圖像對比度也減弱了.相比較所提算法GSGF和GSGFE的視覺效果更好,較好地保留了源圖像的目標(biāo)信息,還給出了豐富的圖像信息,均較好的保持了圖像的高亮目標(biāo)和細(xì)節(jié)內(nèi)容.特別是圖6(h)GSGFE的融合結(jié)果,圖像的立體感更強,樹冠的邊界紋理更清晰,人的高亮特征更突出.

表1給出了文中八種不同的方法對測試集中24對圖像融合得到的五個客觀指標(biāo)值的平均值,每個指標(biāo)值在不同方法中均為值越大表明該方法越好.從五個指標(biāo)值來看,所給GSGFE算法四個指標(biāo)值均取得了最好,GSGF在三個指標(biāo)上取得了次好，進一步證明了所提算法在改善對比度、紋理信息、邊和角等方面都比文中所提出其他算法更有效.

4 結(jié)論

本文利用全局稀疏梯度算子代替?zhèn)鹘y(tǒng)的梯度算子改進梯度濾波器分解工具,采用能量保護和基于全局稀疏梯度顯著性的融合規(guī)則對可見光圖像和紅外線圖像提出了一種融合方法,為了進一步提高融合圖像中的場景細(xì)節(jié),還對可見光圖像利用LIME方法增強后進行了融合,從融合的視覺效果和實驗的客觀指標(biāo)值兩方面都表明了所提方法是有效的,取得了較好的視覺效果.