基于L1-L0分解的可見光-紅外線圖像融合方法

常莉紅,馮福存

(寧夏師范學院數(shù)學與計算機科學學院,寧夏 固原 756000)

1 引 言

紅外視覺技術是一種常用的夜視背景增強技術。紅外傳感器通過采集物體表面的熱輻射來獲取圖像信息,它能探測到人眼在黑暗或者遮擋條件下看不見得物體,而夜間可見光圖像通常是用低感光度的CCD相機拍攝,它能提供更適合人類感知的細節(jié)和背景物體,因此紅外視覺技術常見的一種技術就是將兩種不同類型的電磁光譜圖像信息進行融合,獲得增強的、更全面的場景信息。

近十幾年來,人們提出了多種像素級的紅外線與可見光圖像的融合方法。其中基于多尺度的圖像融合算法是最流行的。經典的多尺度圖像融合方法主要包括金字塔分解方法,小波變換方法,非下采樣輪廓波方法(nonsubsampled contourlet transform,NSCT)[1],脊波變換方法(curvelet transforms,CVT)[2]等。大多數(shù)基于多尺度變換的方法的目標是在分解過程中獲得更多的定向子帶或在各種尺度上獲得更好的細節(jié)選擇。然而,由于紅外線圖像和可見光圖像之間的亮度響應存在著較大的差異,當圖像之間的細節(jié)不互補時,它們可能會降低可見光圖像中的原始感知信息。因此后續(xù)的研究工作中出現(xiàn)了許多改進的方法,比較優(yōu)秀的方法有:①基于學習的方法,比如基于脈沖神經網(wǎng)絡的方法[3]和卷積神經網(wǎng)絡的方法(convolutional neural network,CNN)[4]等。②基于微分方程的方法,其代表方法有基于四階微分方程的方法(the fourth order partial differential equations,FPDE)[5]、基于各向異性擴散方程的融合方法(anisotropic diusion and principal component analysis based fusion,ADPCA)[6]等。③基于保邊濾波器的方法,比如基于方向濾波的方法(the guided image filter,GF)[7]、高斯濾波融合方法[8]等。這些方法都取得了很好的效果。

在弱光條件下獲得的細節(jié)通常在可見光圖像中以極低的對比度顯示,在這種情況下,直接將它與紅外線圖像進行融合,并不能改善融合結果中的夜視場景,圖1(a)所示,融合結果夜視場景的細節(jié)信息模糊不清,圖1(b)是對可見光圖像進行增強后融合的結果,對比很明顯,融合結果中包含了更多的場景細節(jié)信息。因此,增強可見光圖像的對比度是十分有必要的。另外,紅外線與可見光圖像融合的結果中還要很好的保留紅外線圖像中的顯著性目標,這樣在后續(xù)的應用中才是有意義的。

圖1 融合結果Fig.1 Fusion results

因此本文基于上述目的,提出了一種基于內容增強的可見光圖像和紅外線圖像的融合方法。與現(xiàn)有的融合方法相比,該方法的主要貢獻是利用L1-L0約束的新型圖像分解方法[9]對圖像進行信息表示,并利用二尺度下的細節(jié)層與源圖像的差建立視覺顯著性權重圖對細節(jié)層進行融合,利用加權局部能量的融合規(guī)則對基礎層進行融合,在融合結果中保留了豐富的場景細節(jié)和顯著性目標信息。

2 相關理論

2.1 方向導波的圖像增強方法

迄今為止,人們提出了各種增強算法,其中方向導波的圖像增強算法[7]表現(xiàn)出了優(yōu)秀的性能,能很好的將可見光圖像中的每個弱光區(qū)域的細節(jié)增強,以盡可能提高圖像的可見性。具體實施方法是通過對圖像成份的分解結合高動態(tài)范圍壓縮實現(xiàn)的。

方向導波是一種局部線性模型,其輸出結果qi是引導圖Ii在像素k的局部窗ωk中的一個線性輸出,其數(shù)學表達式為:

(1)

(2)

其中,ε是正則化參數(shù)；pi是輸入圖。

為了方便表示,我們把(1)式中方向導波對圖像的作用記作GFr,ε(·),其所實現(xiàn)的圖像增強方法可以表示如下四步:

1)利用方向導波對圖像I進行分解,先得到圖像的基礎層Ib=GFr,ε(I)。

(3)

(4)

3)利用比例因子β對基礎層進行動態(tài)范圍壓縮,然后利用因子γ恢復整體對比度:

(5)

4)最后將增強的圖像轉換到空間域,其結果為:

(6)

圖2給出了一組基于方向導波增強方法的效果圖。圖2(a)是未增強的可見光圖像,光照條件比較差,很多場景內容都無法清晰的看到,圖2(b)是所給算法的增強結果,從圖中明顯看出來,經過該算法增強后,源圖像中低對比的夜視場景細節(jié)均顯示出來了,大大地提高了圖像的視覺效果。

圖2 可見光圖像的增強結果Fig.2 Enhancement results for s set of visible images

2.2 基于L1-L0約束的圖像分解方法

Zhang[9]等人通過對圖像的細節(jié)層和基礎層分別施加L1范數(shù)結構先驗和L0范數(shù)的邊緣保護先驗提出了一種新型的圖像分解方法。一方面,由于L1范數(shù)的先驗約束條件具有離群拒絕性,保留了基礎層的大梯度,使得基礎層是分段光滑的。另一方面用L0范數(shù)的約束條件能產生扁平效應來約束細節(jié)層,這樣可以強制細節(jié)層的小紋理梯度為零(可以去除噪聲的影響)的同時保持了視覺上重要的邊緣信息和主結構的紋理信息?；贚1-L0約束的圖像分解方法的數(shù)學優(yōu)化模型可以表示為:

(7)

其中,P是像素點；N是像素的總個數(shù)；Ip是輸入的原圖像；Bp是它的基礎層；(Ip-Bp)是細節(jié)層；(IP-BP)2是強制基礎層接近原圖像；|?iBP| 是對基礎層所施加的L1范數(shù)的約束條件；?i表示偏導數(shù)符號,F(?i(IP-BP))指對細節(jié)層加入L0的梯度約束；λ1和λ2是兩個參數(shù)(文中取λ1=λ2=0.3)。F是如下指示函數(shù):

(8)

式(7)的優(yōu)化求解可以用交替迭代法[10]獲得。這樣對圖像I基于L1-L0的二尺度分解可以寫為:

(9)

D1=I-B1

(10)

B2=modelL1-L0(B1)

(11)

D2=B1-B2

(12)

其中,modelL1-L0(·)是指對圖像通過公式(7)的求解結果；B1是對圖像I第一次分解得到的基礎層；D1是第一次分解得到細節(jié)層；B2是對圖像B1再次分解得到的基礎層,即是圖像二尺度分解下的基礎層；D2是二尺度分解下的細節(jié)層。

最后通過將各個分解層疊加起來就得到了合成的圖像:

I=D1+D2+B2

(13)

圖3給出了基于L1-L0約束分解的一個例子。從圖3中我們明顯看到基礎層B2是大結構信息,不同尺度下的細節(jié)層D1和D2保護了不同的紋理細節(jié)。

他也許是在說他自己，內心不夠純凈，做久了playboy，懶得再相信真心？但是他在努力，他在努力接受她的真心。

圖3 基于L1-L0的圖像分解Fig.3 Based on L1-L0 image decomposition

3 所提的圖像融合方法

第二步:對I1和I2利用(8)～(13)式進行L1-L0的圖像分解,分別得到不同尺度下圖像的基礎層和細節(jié)層;

(14)

(15)

第三步:在基礎層和細節(jié)層上選取不同的融合規(guī)則進行融合。

由于基礎層B2i(i=1,2)集中了圖像的主要能量,因此本文選取加權局部能量(weighted local energy,WLE)[11]的融合規(guī)則,其表達式為:

(i+m,j+n)2

(16)

其中，S∈{B21,B22}；W是半徑為r,大小為(2r+1)×(2r+1)的加權矩陣,本文取r=1,有:

這樣得到融合的基礎層為:

(17)

細節(jié)層包含了圖像的紋理細節(jié)和噪聲,反映的是源圖像的小梯度變化,因此可以根據(jù)圖像梯度構建細節(jié)層的梯度顯著性圖。常見的梯度算子中,Sobel算子相對來說更能平滑圖像中的噪聲,有效的保留紋理信息,降低噪聲的影響。Sobel(·)算子是如下定義的:

Sobel(D(x,y))=|(D(x+1,y-1)+2D(x+1,y)+

D(x+1,y+1)-(D(x-1,y-1)+2D(x-1,y)+D(x-1,y+1))|+

|(D(x-1,y-1)+2D(x,y+1)+D(x+1,y+1)-(D(x-1,y-1)+

2D(x,y-1)+D(x+1,y-1))|

(18)

這樣由Sobel(·)算子可以得到可見光和紅外線圖像細節(jié)層的梯度顯著性圖:

S1i(x,y)=Sobel(D1i) (i=1,2)

(19)

S2i(x,y)=Sobel(D2i) (i=1,2)

(20)

為了增加梯度對權重的影響范圍,常常用高斯濾波器對梯度顯著性進行擴散,得到最終的梯度顯著性圖:

ζ1i(x,y)=Gaussian(S1i,δ,r)

(21)

ζ2i(x,y)=Gaussian(S2i,δ,r)

(22)

其中,(x,y)是對應的像素位置；Gaussian(·)是高斯濾波器；δ,r是高斯濾波器的參數(shù),文中取δ=r=5。

這樣細節(jié)層的權重可以定義為:

(23)

(24)

圖4給出了細節(jié)層D11和D21的顯著性圖ζ11(x,y)、ζ21(x,y)和權重圖ψ11(x,y)、ψ21(x,y)。

圖4 細節(jié)層、顯著性圖和權重圖Fig.4 Sources,visual saliency,weight maps

利用顯著性和權重圖得到融合的最后的細節(jié)層為:

Df(x,y)=ψ11(x,y)D11(x,y)+ψ21(x,y)·

D21(x,y)+ψ21(x,y)D12(x,y)+

ψ22(x,y)D22(x,y)

(25)

第四步:將融合的基礎層和細節(jié)層進行疊加得到融合的圖像,即:

If(x,y)=Bf+Df

(26)

4 實驗結果及分析

4.1 測試圖集

為了測試所提方法的有效性,我們選取了14對紅外線圖像和可見光圖像(如圖5所示)進行測試,這些圖像來自:http://figshare.com/articles/TNO_Image_fusion_dataset/1008029.

圖5 測試集Fig.5 Test set

4.2 客觀評價指標

融合結果從兩方面進行評價,一方面是主觀的視覺效果,另一方面是通過四種專門評價融合結果的客觀指標,它們是標準偏差(Standard deviation,SD),熵(Entropy,EN),互信息(Mutual information,MI)[12]和基于結構相似度的梯度QG[13]評價指標,實驗結果的指標值越大說明融合效果越好。

4.3 結果與分析

為了說明所提算法的有效性,將本文所提方法分兩種情況(一種是可見光未增強直接與紅外線圖像進行融合,另一種是可見光被增強后與紅外線圖像進行融合,為了方便前者記作L0L1,后者記作EL0L1)與下面選取的三類5種關于紅外線與可見光圖像具有代表性的圖像融合方法作比較,它們是基于多尺度變換的融合方法(CVT[1],NSCT[2]),基于深度學習的方法(CNN[4])和基于微分方程的方法(ADPCA[5],FDEP[6])。各個方法的參數(shù)選取均是對應參考文獻中給出的最優(yōu)選擇下的參數(shù)設置。

圖6和圖7給出了兩組測試圖集中前段所提各個方法的融合效果圖。

圖6 不同方法對“Nato-camp”圖的融合結果Fig.6 Fusion results of different methods for “Nato-camp” image

圖7 不同方法對“Street” 圖的融合結果Fig.7 Fusion results of different methods for “Street” image “Street” image

圖6給出了一組關于“Nato-camp”圖的融合結果圖。所給的場景中主要包含人、樹木、道路、柵欄和屋頂?shù)忍卣?是一組靜態(tài)目標圖,通過本組圖像的對比,六種方法增強后均有效的使紅外線圖和可見光圖的信息得到互補,視覺效果都有了很大的改善。通過山路的路畔和柵欄等清晰度的對比,FPDE圖的整體效果相對模糊點。本文所提方法與其他幾種方法相比較,L0L1算法保留了紅外線圖像中的高亮目標,人像比其他方法清晰,但是由于弱光圖像的影響,融合后場景中的許多細節(jié)信息丟失,例如從視覺上草木處出現(xiàn)了較大的黑影,柵欄也分辨不清。EL0L1算法所得圖像的亮度比前五種方法有較大的提高,柵欄和房頂上的煙囪清晰可辨,房屋前樹冠上的樹葉的輪廓更加清晰。若選取同一對比物,以圖中的人像為例,通過放大圖像的對比,發(fā)現(xiàn)ADPCA圖和FPDE圖的結果比較模糊,在局部放大的圖像中,其他幾種方法都出現(xiàn)了人物邊緣的偽影,而EL0L1的方法邊沒有這種現(xiàn)象,這表明所提方法具有很好的保邊緣作用,同時還保留了更多的場景細節(jié)。

圖7給出了各個方法對“Street” 圖的融合結果。圖像主要包含行人、公交站點、文字、汽車和信號燈等目標特征,此圖中涉及光源目標、動態(tài)目標較多,是一組動靜結合目標圖。通過本組圖像的對比,六種方法增強后均有效的使紅外線圖和可見光圖的信息得到互補,視覺效果都有了較大的改善。通過各光源點的亮度、站臺上方字母、人行道上的路燈桿及行人等清晰度的對比,CNN圖的整體效果相對模糊點。本文所提方法與其他幾種方法相比較,L0L1圖和EL0L1圖像的亮度均比前五種方法有較大的提高,L0L1圖相對于其他五種方法清晰度沒有較大優(yōu)勢,但EL0L1圖的亮度更高,圖像也更清晰,第一輛汽車頂部路燈的反射光,第二輛汽車后方的路燈桿及沒有發(fā)光的路燈泡,站臺下的一組護欄等在前六圖中基本看不到。字母標識牌上的字母比前六圖更加清晰。若選取同一對比物,以圖中局部放大的行人為例,發(fā)現(xiàn)圖CVT和FPDE圖的結果比較模糊,其他幾種方法能較清晰的看到人頭部的輪廓,而EL0L1方法比其他方法融合結果的亮度更高一點。通過本文算法加強后EL0L1圖的效果較好,更能較多的顯示出場景中的細節(jié)信息。

圖8給出了本文所提各個算法在測試集(14組圖像)上每組圖像融合結果的EN、SD、MI、 QG指標值的折線圖。每張子圖上方給出了各算法對該指標值的平均值。從四個指標圖像中能清楚的看到本文所提的算法L0L1和EL0L1算法相比較其他五個算法從各個指標上取得了好的結果,特別是EL0L1更為突出,在四個指標上均值都取得了最大,在單個的圖像上除了個別圖像上單個指標未達到最大,大多數(shù)圖像上都取得了最大。EN指標圖說明了算法能保留更多的源圖像中的平均信息,SD指標說明所提算法得到融合圖像的對比度。MI是指融合圖像中從源圖像中攜帶的信息量,所提方法都取得了較好的效果。QG是指的所給方法的保邊的信息,EL0L1算法的值最大,這說明圖像中包含了更多邊緣信息,因此從視覺上圖像更加清晰,這與前面的效果圖的分析是一致的。圖7的實驗結果也再次證實了所提方法可以取得好的結果,這也表明了所提方法能很好的從源圖像中保留更多的信息,也具有很好的保護邊緣的性能。

圖8 各個指標值及其平均值Fig.8 Each metric and its average value

表1給出了幾種算法在測試集上運行的平均時間(均為MATLAB語言成像,在Dell Intel?CoreTMi7-7600U CPU@2.80GHz 2.90 GHz 機上測試),本文所提算法EL0L1所用的時間相對于算法CNN少得多,相比較除CNN算法外本文所提的其他算法所用時間差距最大是1.5965 s,最小是0.6223 s,比算法L0L1多1.3164 s,運算的時間成本不是太大,但比較圖像融合結果,無論從視覺效果還是指標值的取值,算法EL0L1均是最好的。

表1 各個算法在測試圖集上運行的平均時間Tab.1 Average running time of each algorithm on test set

5 總 結

本文基于L1-L0圖像分解方法提出了一種可見光圖像和紅外線圖像的融合方法,并結合方向導波的圖像增強方法進一步提高了融合圖像的細節(jié)信息。通過L1-L0的圖像分解方法是通過先驗約束對圖像進行分解的,所得的基礎層包含了圖像的大的結構,集中了圖像的主要能量,因此在該層采用了局部能量保護的融合規(guī)則,而細節(jié)層包含了主要紋理、噪聲和小的結構,都屬于小梯度信息,因此采用了梯度顯著性圖的融合規(guī)則。通過實驗及其數(shù)據(jù)分析證明了所提方法,尤其是增強后的算法與不同類型的融合方法比較,無論從視覺上還是客觀指標上都取得了較好的效果。