基于雙邊濾波和NSST的紅外與可見光圖像融合

,

(南京理工大學(xué) 自動(dòng)化學(xué)院，南京 210094)

0 引言

圖像融合是指將兩個(gè)或者兩個(gè)以上傳感器生成的圖像信息根據(jù)某種算法進(jìn)行結(jié)合，從而獲得比單個(gè)傳感器更加準(zhǔn)確、可靠、全面的描述[1-2]。紅外與可見光圖像融合是圖像融合的一個(gè)重要分支，能夠有效結(jié)合紅外圖像的目標(biāo)保持特性和可見光圖像的場景細(xì)節(jié)保持特性，從而增強(qiáng)人們?cè)跓熿F、遮擋、光線不足等惡劣條件下的場景感知和目標(biāo)識(shí)別能力[3]。由于綜合了多個(gè)傳感器的信息，圖像融合對(duì)其中單個(gè)傳感器的性能要求得以降低。

多尺度變換是目前較為常用的圖像融合方法。傳統(tǒng)的變換域方法如金字塔變換[4]、小波變換[5]、輪廓波變換[6]等不具備平移不變特性，可能導(dǎo)致頻譜混疊，進(jìn)而造成圖像邊緣模糊。而非下采樣輪廓波變換(non-subsampled contourlet transform, NSCT)，雖然具有平移不變性及良好的時(shí)頻特性，但是算法復(fù)雜度偏高，計(jì)算時(shí)間長，且分解方向數(shù)受到限制[7]。因此，K.Guo和G.Easley等人提出了非下采樣剪切波變換(non-subsampled shearlet transform, NSST)[8]，該方法以其各方面的良好特性得到了廣泛應(yīng)用。除以上主流的變換域方法外，雙邊濾波由于不僅能夠有效濾除噪聲，且可以保留圖像的邊緣及大尺度信息，也被用于圖像分解和融合中。基于雙邊濾波的融合方法，往往將雙邊濾波器和高斯濾波器結(jié)合起來使用，先分解紅外與可見光圖像到不同尺度，然后將各尺度的圖像分別進(jìn)行融合，最后重構(gòu)得到融合結(jié)果；融合圖像細(xì)節(jié)清晰，且對(duì)比度較高[9- 10]。

多尺度變換將圖像分解為低頻和各高頻子圖像，低頻圖像包含了圖像的主要灰度信息，高頻圖像則反映了圖像的邊緣和細(xì)節(jié)等特征。對(duì)于低頻圖像融合，采用傳統(tǒng)的加權(quán)平均或基于局部特性選取系數(shù)的融合策略，往往視覺效果不佳。本文在NSST分解的基礎(chǔ)上引入雙邊和高斯濾波來指導(dǎo)低頻系數(shù)進(jìn)行加權(quán)融合。最終的融合結(jié)果既突出了紅外目標(biāo)，又保留了背景圖像中豐富的細(xì)節(jié)信息，符合人眼視覺觀察。

1 雙邊與高斯濾波

高斯濾波器是一種常見的線性低通濾波器，廣泛應(yīng)用于圖像平滑和去噪處理中。高斯濾波是在空間域上通過高斯函數(shù)對(duì)濾波窗口區(qū)域中的像素進(jìn)行加權(quán)平均，并用其替代原中心點(diǎn)像素值的過程，高斯濾波公式為：

(1)

(2)

式(1)中，Iq為圖像I中q坐標(biāo)處的像素灰度值，σs為高斯函數(shù)的標(biāo)準(zhǔn)偏差，Ω為濾波窗口區(qū)域。式(2)為高斯函數(shù)。圖像高斯濾波將Ω區(qū)域中像素坐標(biāo)q與中心點(diǎn)P的距離‖p-q‖作為高斯函數(shù)gσ(x)的輸入，僅考慮了空間位置信息，因此利用高斯濾波器對(duì)圖像進(jìn)行低通濾波時(shí)，除濾除噪聲外，往往還會(huì)濾除部分邊緣信息，使得圖像邊緣較為模糊。

Tomasi和Manduchi于1998年提出的雙邊濾波算法[11]，則彌補(bǔ)了高斯濾波的不足之處。雙邊濾波作為一種非線性濾波方法，應(yīng)用于圖像濾波中，不僅能有效去除圖像噪聲，還能清晰地保留圖像邊緣及大尺度信息。雙邊濾波公式如下：

(3)

式(3)中，Ip，Iq為圖像I中坐標(biāo)分別為p和q的像素點(diǎn)灰度值；σs，σr分別代表了對(duì)應(yīng)的高斯標(biāo)準(zhǔn)差；Ω表示濾波窗口區(qū)域。雙邊濾波采用了兩個(gè)高斯濾波核gσs和gσr，相比高斯濾波，還考慮了灰度值的相近程度對(duì)中心點(diǎn)的影響。gσs核函數(shù)以Ω區(qū)域中像素坐標(biāo)q與中心點(diǎn)p的距離‖p-q‖作為輸入，能夠有效的去除噪聲等高頻信息；gσr核函數(shù)以Ω區(qū)域中像素灰度值Ip與中心灰度值Iq差值的絕對(duì)值|Ip-Iq|作為輸入，使得灰度值相差較小的鄰域像素對(duì)中心點(diǎn)影響較大，灰度值相差較大的則影響較小，從而能夠保留圖像中邊緣等灰度變化較大的部分。因此，雙邊濾波能夠在去除噪聲等高頻信息的同時(shí)，有效保留邊緣等圖像灰度突變信息。

結(jié)合高斯濾波與雙邊濾波的特點(diǎn)，將雙邊濾波結(jié)果B(I)與高斯濾波結(jié)果G(I)作差(如式(4)),可以獲得僅在雙邊濾波中得到保留的大尺度邊緣信息[9,12]。

E(I)=B(I)-G(I)

(4)

可見光圖像通過物體反射成像，圖像背景細(xì)節(jié)清晰；紅外圖像通過熱輻射成像，圖像中主要包含紅外目標(biāo)信息，邊緣信息以及大尺度信息，而缺乏細(xì)節(jié)紋理信息。利用式(3)計(jì)算紅外圖像的大尺度邊緣圖像E(I)時(shí)，E(I)圖像中除包含大尺度邊緣信息外，當(dāng)紅外圖像中紅外目標(biāo)相對(duì)較小時(shí)，紅外目標(biāo)能夠得到突出。為保留更多的大尺度邊緣信息，σs取值較大，σr取值較小。本文設(shè)置參數(shù)σs為9，σr為0.1，得到紅外圖像的大尺度邊緣信息如圖1所示。

圖1 紅外圖像及濾波處理結(jié)果

2 基于NSST變換的多尺度圖像融合

基于多尺度變換的圖像融合算法，將源圖像分解到不同尺度以及各個(gè)方向，不同尺度和方向的子帶圖像具有不同的特征，基于這些特征對(duì)各子帶圖像靈活選取融合規(guī)則，使得融合結(jié)果能夠有效保留目標(biāo)灰度信息以及背景細(xì)節(jié)信息。文中采用NSST進(jìn)行多尺度變換，分解圖像到低頻及高頻各子帶。由于雙邊濾波可以保留圖像中的邊緣及大尺度信息，結(jié)合雙邊和高斯濾波可以得到包含紅外目標(biāo)的大尺度邊緣信息，將其用于指導(dǎo)低頻融合；高頻則采用傳統(tǒng)的“絕對(duì)值取大”的方法。

圖2 本文算法流程圖

2.1 NSST變換

Easley等人利用具有合成膨脹的仿射系統(tǒng)將多尺度分析和幾何分析相結(jié)合提出了合成小波理論，shearlet變換是其中滿足緊支撐框架條件的特例[13]。由于Shearlet變換不具備平移不變性，因此Easley等人于2008年在此基礎(chǔ)上又提出了NSST變換。NSST變換主要分為兩個(gè)部分：多尺度分解和方向局部化。多尺度分解是通過非下采樣金字塔(non-subsampled pyramid, NSP)濾波器組實(shí)現(xiàn)的。圖像經(jīng)j層NSP分解得到j(luò)+1個(gè)子帶圖像，其中包括1個(gè)低頻和j個(gè)高頻子帶圖像，其大小與原圖相同。方向局部化是由改進(jìn)的剪切波濾波器組(shearlet filter, SF)實(shí)現(xiàn)的。設(shè)第j層高頻子帶的方向局部化級(jí)數(shù)為，則該層分解的方向數(shù)為。因此經(jīng)過j層NSST分解可以得到1個(gè)低頻圖像和個(gè)高頻子帶圖像。NSST變換的兩層結(jié)構(gòu)如圖3所示。

圖3 NSST二層分解結(jié)構(gòu)圖

NSST變換具有shearlet變換的方向敏感性、良好的時(shí)頻保持特性等優(yōu)點(diǎn)，同時(shí)由于NSST變換在從多尺度分解到方向級(jí)數(shù)化的全部過程中均沒有進(jìn)行下采樣操作，因此克服了下采樣操作可能帶來的偽吉布斯(Gibbs)現(xiàn)象，具備平移不變性，是圖像真正的二維稀疏表示。相比較當(dāng)前同樣主流且具備平移不變性的NSCT變換，NSST變換由于可以任意選擇分解方向數(shù)且運(yùn)算效率更高，從而更具實(shí)際應(yīng)用價(jià)值。

2.2 高低頻融合規(guī)則

2.2.1 低頻融合規(guī)則

經(jīng)雙邊與高斯濾波處理得到的大尺度邊緣圖像包含了紅外圖像中的大尺度邊緣及目標(biāo)信息，考慮到低頻系數(shù)包含了圖像的主要灰度信息，而傳統(tǒng)的對(duì)低頻圖像采取加權(quán)平均的方法，獲得的融合結(jié)果往往細(xì)節(jié)模糊、對(duì)比度不高，因此利用雙邊與高斯濾波器改進(jìn)低頻系數(shù)的融合權(quán)重。

對(duì)紅外和可見光圖像分別進(jìn)行雙邊和高斯濾波處理，得到相應(yīng)的大尺度邊緣圖像E(IR)和E(IV)，將兩者作差可以得到紅外圖像中較為突出的紅外信息和邊緣信息，如式(5)所示：

(5)

對(duì)ω1進(jìn)行歸一化，并利用式(6)進(jìn)行非線性變換，以達(dá)到突出紅外信息的目的。

(6)

將ω1作為紅外低頻系數(shù)的加權(quán)權(quán)值，低頻部分的融合規(guī)則可以表示為：

(7)

其中:ω1+ω2=1。將ω1作為紅外低頻系數(shù)的加權(quán)權(quán)值，可以有效突出紅外圖像中的目標(biāo)和邊緣信息；又由于在不包含目標(biāo)和邊緣信息的部分，可見光圖像所占權(quán)重較大，因此低頻融合圖像能夠包含可見光圖像中較為豐富的背景細(xì)節(jié)信息。

2.2.2 高頻融合規(guī)則

圖像的各高頻子帶系數(shù)則反映了圖像的邊緣或紋理細(xì)節(jié)等灰度突變特征，本文中高頻系數(shù)仍采用較為傳統(tǒng)的絕對(duì)值取大的融合規(guī)則，如式(8)所示。該方法計(jì)算簡單，且能有效突出紅外與可見光圖像中的細(xì)節(jié)和紋理信息。

(8)

3 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證算法的有效性，本文基于三組圖庫中已配準(zhǔn)的紅外與可見光圖像：UN camp、OCTEC、Trees進(jìn)行圖像融合實(shí)驗(yàn)，并對(duì)文中算法及拉普拉斯金字塔(LP)、小波變換(WT)、NSST變換算法的融合效果進(jìn)行了分析對(duì)比。除本文算法外，上述算法均采取低頻取平均值，高頻絕對(duì)值取大的融合策略。算法中具體設(shè)置如下：LP中選擇分解層數(shù)為4層；WT選擇濾波器為“db1”,分解層數(shù)為1層；NSST選取“maxflat”拉普拉斯濾波器，選擇分解層數(shù)為{3,3,4,5}。仿真實(shí)驗(yàn)平臺(tái)為MATLAB R2010b，實(shí)驗(yàn)結(jié)果如圖4～6所示。

圖4 UN camp圖像不同算法融合效果

圖5 OCTEC圖像不同算法融合效果

圖6 Trees圖像不同算法融合效果

3.1 主觀質(zhì)量評(píng)價(jià)

圖4～圖6所示的融合結(jié)果表明，本文算法的融合結(jié)果保留了更多的可見光背景信息，并且更接近真實(shí)場景，更符合人眼視覺觀察。在UN camp圖像中，本文算法結(jié)果紅外目標(biāo)明亮，圖像對(duì)比度較高；在OCTEC圖像中，本文算法的人和煙霧源較為明亮，天空、房屋和樹木等背景顯著清晰；在Trees圖像中，與低頻加權(quán)平均相比，本文算法結(jié)果的樹木與道路的對(duì)比度更高，更符合人眼視覺特性。

3.2 客觀質(zhì)量評(píng)價(jià)

為了客觀地評(píng)價(jià)融合效果，采用3種客觀評(píng)價(jià)指標(biāo)：信息熵(entropy, E)[14]、互信息(mutual information, MI)[15]、峰值信噪比(peak signal to noise ratio, PSNR)[16]對(duì)上述幾種算法的融合結(jié)果進(jìn)行評(píng)價(jià)。信息熵表征了圖像中所包含的信息量，越大則融合效果越好；互信息表示兩幅圖像灰度信息分布的相關(guān)性，越大表明融合結(jié)果保留了原紅外與可見光圖像中越多的有用信息；峰值信噪比可度量融合圖像中的噪聲情況，數(shù)值大說明融合質(zhì)量較好。

表1為3組實(shí)驗(yàn)圖像不同算法下的客觀質(zhì)量評(píng)價(jià)指標(biāo)?？梢钥闯?，本文算法的信息熵、互信息和峰值信噪比指標(biāo)均優(yōu)于其它算法，這說明，本文算法相較于傳統(tǒng)的圖像融合算法融合性能更好，質(zhì)量更高。

表1 不同算法融合效果的客觀質(zhì)量評(píng)價(jià)

4 結(jié)束語

雙邊濾波采用灰度域和空間域兩個(gè)高斯核進(jìn)行濾波，能夠清晰地保留圖像的邊緣信息。將雙邊濾波與高斯濾波相結(jié)合，對(duì)紅外圖像進(jìn)行處理，能夠得到包含紅外目標(biāo)信息的大尺度邊緣圖像。由于NSST具有平移不變性，且能夠?qū)D像分解到各個(gè)方向，本文在NSST變換基礎(chǔ)上，利用雙邊和高斯濾波改進(jìn)低頻圖像的加權(quán)權(quán)重。實(shí)驗(yàn)結(jié)果表明，相比傳統(tǒng)融合算法容易導(dǎo)致圖像對(duì)比度不高、背景模糊等問題，本文算法的融合結(jié)果背景清晰，更接近源圖像，且符合人眼視覺觀察，融合質(zhì)量更高。

參考文獻(xiàn)：

[1] 敬忠良, 肖 剛, 李振華. 圖像融合—理論與應(yīng)用[M]. 北京: 高等教育出版社, 2007.

[2] 王 昕, 吉桐伯, 劉 富,等.結(jié)合目標(biāo)提取和壓縮感知的紅外與可見光圖像融合[J].光學(xué)精密工程,2016,24(7):1743-1753.

[3] 傅志中, 王 雪, 李曉峰,等. 基于視覺顯著性和NSCT的紅外與可見光圖像融合[J].電子科技大學(xué)學(xué)報(bào),2017,46(2):357-362.

[4] Burt P J, Adelson E H. The Laplacian Pyramid as a Compact Image Code[J]. IEEE Transactions on Communications, 1983, 31(4):532-540.

[5] Ranchin T, Wald L. The wavelet transform for the analysis of remotely sensed images[J].International Journal of Remote Sensing,1993, 14(3):615-619.

[6] Do M N, Vetterli M. Contourlets: a new directional multiresolution image representation[C]. IEEE, 2002.

[7] Cunha A L, Zhou J, Do M N. The nonsubsampled contourlet transform: Theory, design, and applications[J]. IEEE Trans. Image Process, 2006, 15(10): 3089-3101.

[8] Easley G, Labate D, Lim W Q. Sparse directional image representations using the discrete shearlet transform[J]. Applied & Computational Harmonic Analysis, 2008, 25(1):25-46.

[9] 周志強(qiáng),汪 渤,李立廣,等.基于雙邊與高斯濾波混合分解的圖像融合方法[J].系統(tǒng)工程與電子技術(shù),2016, 38(1):8-13.

[10] 吳 川. 基于雙邊濾波的多尺度圖像融合[J]. 計(jì)算機(jī)工程與應(yīng)用, 2015, 51(1):31-34.

[11] Tomasi C, Manduchi R. Bilateral filtering for gray and color images[A]. International Conference on Computer Vision. IEEE Computer Society[C]. 1998:839.

[12] Bennett E P, Mason J L, Mcmillan L. Multispectral Bilateral Video Fusion[J]. IEEE Transactions on Image Processing, 2007, 16(5):1185-1194.

[13] 鄧承志, 饒 偉. 基于Shearlet變換的紅外與可見光圖像自適應(yīng)融合[J]. 激光與紅外, 2013, 43(4): 399-403.

[14] Leung L W, King B, Vohora V. Comparison of image data fusion techniques using entropy and INI[A]. Singapore: Proceedings of 22ndAsian of Conference on Remote Sensing[C]. 2001:152-157.

[15] Hossny M, Nahavandi S, Creighton D. Comments on 'Information measure for performance of image fusion'[J]. Electronics Letters, 2008, 44(18):1066-1067.

[16] 彭 海.紅外與可見光圖像融合方法研究[D].杭州:浙江大學(xué),2012.