基于雙邊與高斯濾波混合分解的圖像融合方法

周志強, 汪　渤, 李立廣, 李　筍

(1. 北京理工大學(xué)自動化學(xué)院, 北京 100081; 2.空軍駐華北地區(qū)軍事代表室, 北京 100086)

?

基于雙邊與高斯濾波混合分解的圖像融合方法

周志強1, 汪渤1, 李立廣2, 李筍1

(1. 北京理工大學(xué)自動化學(xué)院, 北京 100081; 2.空軍駐華北地區(qū)軍事代表室, 北京 100086)

摘要：針對紅外與可見光圖像融合時,兩種異質(zhì)圖像信息容易相互干擾,造成融合圖像出現(xiàn)模糊、信息混亂和對比度降低等問題,提出了一種基于雙邊與高斯濾波混合分解的融合方法。首先采用雙邊和高斯濾波器對輸入的紅外與可見光圖像進行混合信息分解,得到小尺度紋理細節(jié)、大尺度邊緣和底層粗略尺度圖像信息;其中的大尺度邊緣信息包含紅外圖像的主要特征,依據(jù)該特征確定各分解子信息的融合權(quán)重,從而將重要的紅外特征信息注入到可見光圖像;最后通過對各融合子信息進行組合重構(gòu)出融合圖像。實驗結(jié)果表明,該算法融合效果要優(yōu)于傳統(tǒng)基于多尺度分解的圖像融合算法。

關(guān)鍵詞：高斯濾波; 雙邊濾波; 信息分解; 圖像融合

0引言

紅外與可見光圖像融合是多傳感器圖像信息融合領(lǐng)域中的一項重要技術(shù)。由于紅外成像傳感器能夠探測到人眼不可見的紅外波段熱輻射信息,將紅外圖像信息與可見光圖像有效融合于一起,可以增強人們在遮擋、微光和惡劣天氣條件下的場景感知和目標(biāo)識別能力。因此,紅外與可見光圖像融合技術(shù)在近幾十年來被廣泛研究和應(yīng)用。

目前,紅外與可見光等多源圖像融合中應(yīng)用最為廣泛的是基于多尺度分解的圖像融合方法[1],包括早期的拉普拉斯金字塔變換(Laplasse pyramid transform, LAP)方法[2]和后來發(fā)展起來的離散小波變換方法(discrete wavelet transform, DWT)[3]等。文獻[4]基于人類視覺系統(tǒng)對局部對比度敏感的特性,在LAP方法的基礎(chǔ)上,又提出了基于對比度金字塔變換(ROLP)的多尺度融合算法,能夠很好地融合紅外與可見光圖像中的高對比度特征信息。由于普通的離散小波變換不具有平移不變性,學(xué)者們又提出了其他性能更好的多尺度分解方法。其中,雙樹復(fù)數(shù)小波(dual tree complex wavelet,DT-CWT)由于比一般小波具有更好的平移不變性和方向選擇性,基于雙樹復(fù)數(shù)小波變換的圖像融合方法取得了更好的融合效果[5]。更為復(fù)雜的非降采樣曲波變換(nonsubsampled contourlet transform,NSCT)在分解過程中沒有經(jīng)過降采樣,且具有更多的方向選擇性,被證明融合效果要優(yōu)于其他多尺度分解方法[6]。此外,shearlet變換近些年來也被有效應(yīng)用于圖像融合中[7-9]。

紅外圖像主要反映的是場景里物體的熱輻射信息,其成像特性與可見光波段的自然圖像具有很大的差異,可表現(xiàn)為圖像的局部灰度極性相反,對比度不自然,圖像信息整體較為模糊等。由于這些因素的影響,紅外與可見光圖像融合時,兩種異質(zhì)圖像信息往往容易形成相互干擾,使融合圖像出現(xiàn)信息混亂、背景模糊和對比度下降等情況。上述多尺度分解方法并不能對紅外圖像特征進行有效提取和分離,因此也無法依據(jù)紅外與可見光圖像特性的不同分析和解決上述融合問題。

與傳統(tǒng)的多尺度分解方法不同,本文利用雙邊與高斯濾波器對輸入圖像進行混合信息分解,在達到尺度分離的同時還可以得到不同尺度的圖像紋理細節(jié)和邊緣信息。其中,大尺度邊緣信息里包含了紅外圖像的主要特征,依據(jù)該特征可確定各分解子信息的融合權(quán)重,將重要的紅外圖像信息注入到可見光圖像,避免相互出現(xiàn)干擾。最終的融合圖像既能突出顯著的紅外目標(biāo)特征,又能保持可見光圖像清晰的背景、紋理細節(jié)和對比度信息,并且通過參數(shù)的控制,可以方便地調(diào)整融合結(jié)果中的紅外圖像信息量。

1雙邊濾波及其圖像信息分解

雙邊濾波是一種非線性濾波方法,對圖像信號具有良好的邊緣保持作用[10]。雙邊濾波器采用兩個高斯濾波核,不僅在空間域上考慮鄰近像素點距離對濾波中心點的影響,還在圖像灰度域上考慮了灰度值間的相似度對濾波結(jié)果的作用。以gσ代表標(biāo)準(zhǔn)偏差為σ的高斯函數(shù),表示為

(1)

則原始圖像I在某點p處的雙邊濾波定義如下:

(2)

由式(2)可知,雙邊濾波器可以看作是由兩個高斯濾波器組合而成。在空間域由于高斯核函數(shù)gσs的作用,噪聲和高頻信息能夠有效被濾除。同時,由于灰度域高斯核函數(shù)gσr的作用,與濾波中心點灰度值相差較大的鄰域像素點對濾波結(jié)果影響較小,從而能夠保留原始圖像中較大的灰度突變特征。因此,雙邊濾波在去除高頻紋理信息的同時,可以有效保留圖像邊緣?；谶@種特性,可應(yīng)用雙邊濾波器對圖像進行不同尺度信息分解,得到包含圖像邊緣的大尺度圖像信息BF(I)和小尺度圖像紋理細節(jié)信息D(I),其中

(3)

應(yīng)用式(2)、式(3)能夠在保持邊緣的基礎(chǔ)上達到大尺度圖像信息和小尺度紋理信息的有效分離,進而可以對不同信息分別進行處理。這種雙尺度圖像信息分解方法被廣泛運用于多種圖像處理算法中,包括圖像去噪、紋理增強[11]、高動態(tài)范圍壓縮[12]、色調(diào)和光照處理[13]等,并被證明能夠有效避免相關(guān)圖像處理過程中的“光暈”現(xiàn)象。

2雙邊與高斯濾波混合信息分解

在圖像平滑和去噪處理中,高斯濾波器是最廣為應(yīng)用的基本工具之一。它在空間域上通過高斯濾波函數(shù)對濾波中心點周圍像素進行加權(quán)處理,濾波公式可表示為

(4)

由式(2)可知,當(dāng)σr取值較小而σs取值較大時,雙邊濾波器將能夠保留更多的大尺度邊緣信息。因此,在式(3)分解的基礎(chǔ)上,結(jié)合高斯和雙邊濾波器可進一步得到如下的混合圖像信息分解:

(5)

上述分解過程如圖1所示,分解后可得到小尺度的紋理細節(jié)信息D(I)、大尺度邊緣信息E(I)以及底層的粗略尺度圖像信息A(I)(其中A(I)=G(I))。

圖1　雙邊與高斯濾波混合圖像信息分解過程

與可見光圖像相比,紅外圖像通常成像較為模糊,圖像中主要以大尺度信息為主,缺乏豐富的紋理細節(jié)信息,并且對于熱輻射顯著的紅外目標(biāo),邊緣特征較為強烈。因此,紅外圖像在經(jīng)過雙邊與高斯濾波混合信息分解后,顯著的紅外特征信息將主要體現(xiàn)在E(I)分量中。以圖2(a)所示的紅外圖像為例,對其進行雙邊與高斯濾波混合信息分解,為使分解出的大尺度邊緣特征信息更為突出,令σs=8、σr=0.1(雙邊濾波時使圖像灰度歸一化于[0,1]),得到的紋理細節(jié)信息、大尺度邊緣信息以及粗略尺度信息分別如圖2(b)~圖2(d)所示。其中,紋理細節(jié)信息D(IR)和大尺度邊緣信息E(IR)都表示為其絕對值形式,并為顯示方便經(jīng)過了一定的亮度變換。從圖中可以看出,圖2(a)的紅外圖像信息主要集中于場景中的人物、房屋和樹木等目標(biāo)上,且細節(jié)信息較少,邊緣信息較為突出。因此,圖像經(jīng)過分解后,只得到少量有用的紋理特征,除底層的粗略尺度低通濾波信息外,重要的紅外特征信息集中反映在大尺度邊緣信息分解結(jié)果中(見圖2(c))。

圖2　紅外圖像信息分解結(jié)果

由以上分析可知,采用上述雙邊與高斯濾波混合分解方法能夠通過不同尺度和類型信息分解的方式,提取和分離出圖像中的顯著紅外特征。因此,為避免紅外與可見光圖像融合時出現(xiàn)信息干擾,可利用這種分解方式在子信息融合的過程中設(shè)法將顯著的紅外圖像信息注入到可見光圖像中,使融合圖像既能突出顯著的紅外目標(biāo)特征,又能保持可見光圖像清晰的背景、紋理細節(jié)和對比度信息。具體融合過程可簡述為:首先,對源圖像分別進行雙邊與高斯濾波混合信息分解;然后,根據(jù)分解出的紅外特征確定各子信息的融合權(quán)重;最后,通過對融合后的子信息進行組合重構(gòu)出融合圖像。

3分解子信息的融合

對紅外圖像IR和可見光圖像IV進行雙邊與高斯濾波混合信息分解,得到的分解信息分別表示如下:

對于紅外與可見光圖像融合,上述分解不但可以達到不同尺度紋理、邊緣以及底層粗略尺度圖像信息的有效分離,從而在不同尺度上實現(xiàn)各子信息的融合處理,而且便于選取顯著紅外圖像信息,將其注入到可見光圖像中。

為使可見光圖像在注入紅外圖像信息的同時,既能突出紅外圖像中的顯著目標(biāo),又能保持可見光波段的清晰背景和紋理細節(jié),在對各尺度子信息進行融合時,利用大尺度邊緣分解信息所表征的紅外圖像特征確定各子信息的融合權(quán)重。

首先,結(jié)合紅外與可見光圖像中的大尺度邊緣信息E(IR)和E(IV),判斷圖像各區(qū)域是否存在顯著的紅外特征:

(6)

對于圖像中的某點x,R(x)>0表示該點存在重要的紅外信息,并且其值越大,紅外特征越顯著。然后,對所有點處的R(x)進行歸一化和非線性變換處理:

(7)

式中，函數(shù)Sλ:[0,1]→[0,1]為非線性變換函數(shù),定義為

(8)

按式(7)計算得到圖像融合過程中紅外特征的顯著性強度C后,再按如下公式分別確定紅外圖像中各子信息的融合權(quán)重:

式中，W0、W1和W2分別表示紅外圖像的小尺度紋理信息、大尺度邊緣信息和底層粗略尺度圖像信息的融合權(quán)重;高斯函數(shù)gσ1、gσ2用來對權(quán)重系數(shù)進行平滑處理,使其適應(yīng)不同尺度子信息的融合,其中σ1=2,σ2=2σs。

令DF、EF和AF分別表示紅外與可見光圖像中各子信息的加權(quán)融合結(jié)果,其計算公式分別為

最后,對這些融合子信息進行累加,可重構(gòu)出最終的融合圖像IF:

(9)

圖3給出了非線性變換函數(shù)Sλ(α)(見式(8))在不同參數(shù)λ下的曲線形狀。增大參數(shù)λ時,曲線形狀緩慢變陡峭,相應(yīng)的非線性變換逐漸變劇烈,最終通過式(7)在融合過程中引入的紅外特征也逐漸變得強烈。因此,通過調(diào)整參數(shù)λ,上述方法可以方便地對融合進的紅外圖像信息量進行控制。另外,在依據(jù)紅外特征顯著性強度對不同尺度子信息進行加權(quán)融合時,通過對權(quán)重系數(shù)進行不同程度的高斯平滑處理,可消除尺度因素的影響,使不同尺度子信息都能夠自然融合。

圖3　不同參數(shù)情況下的非線性變換函數(shù)曲線

4實驗結(jié)果及分析

下面通過在不同測試數(shù)據(jù)上的實驗檢驗和評估本文方法的融合效果。圖4給出了本文方法在常用紅外與可見光圖像融合測試數(shù)據(jù)“UN Camp”上的融合結(jié)果。其中,融合圖像圖4(c)和圖4(d)的λ參數(shù)取值分別為λ=5和λ=50。從圖中可以看出,本文方法能夠?qū)⒓t外圖像中的顯著目標(biāo)和可見光圖像中的背景與細節(jié)信息很好地融合于一起,并且λ越大,融合圖像中的紅外特征信息越強烈。實際使用時,可根據(jù)觀察者的需要,對參數(shù)λ進行進一步調(diào)整。

圖4　本文方法在測試數(shù)據(jù)“UN Camp”上的融合結(jié)果

圖5給出了不同融合方法在“Trees”測試數(shù)據(jù)上的實驗結(jié)果。其中,GRAD表示基于梯度金字塔分解的圖像融合方法[15]。如圖5(c)~圖5(g)所示,LAP、GRAD、ROLP、DT-CWT和NSCT融合方法通過不同的多尺度分解實現(xiàn)圖像信息融合,得到的融合結(jié)果中雖然都能夠突出目標(biāo)人物信息,但是原可見光圖像中的樹木、道路等背景與細節(jié)信息融合出現(xiàn)混亂,在融合結(jié)果中難以辨認(rèn)。本文方法通過雙邊與高斯濾波混合分解,實現(xiàn)紅外特征及不同尺度信息的有效分離,從而在融合過程中能夠通過顯著紅外圖像信息的注入,有效避免兩種信息相互干擾。從圖5(h)可以看出,本文方法在融合進紅外圖像中顯著的人物目標(biāo)的同時,保持了可見光圖像中遠處明亮的背景信息,人物目標(biāo)兩旁的樹木枝葉在融合圖像中也更加容易分辨,整體融合的視覺效果要明顯優(yōu)于其他方法。

圖5　不同方法在測試數(shù)據(jù)“Trees”上的融合結(jié)果比較

圖6所示的是各種融合方法在“Octec”圖像數(shù)據(jù)上的融合結(jié)果比較。從圖6(d)中的融合結(jié)果可以看出,通過利用多尺度梯度分解,GRAD方法能夠有效地融合紅外與可見光圖像。但是GRAD在分解過程中不能分離出顯著的紅外目標(biāo)特征,造成在融合結(jié)果中引入了過多的紅外背景信息,形成強烈干擾,使融合圖像整體上變模糊。相同的問題同樣發(fā)生于LAP、DT-CWT與NSCT等方法融合結(jié)果中,由于可見光圖像中未加選擇地引入了過多的紅外背景干擾信息,融合圖像的背景和細節(jié)變模糊,對比度顯著降低。圖6(e)中的ROLP方法融合結(jié)果則出現(xiàn)過增強現(xiàn)象,使圖像整體對比度不太自然。相比之下,本文方法的融合圖像(見圖6(h))不但突出了被煙霧遮擋的紅外圖像目標(biāo),而且很好地保持了可見光圖像清晰的背景、細節(jié)以及對比度信息,整體融合效果要優(yōu)于其他方法。

采用互信息(mutual information, MI)作為融合性能客觀評價指標(biāo),對不同方法的融合結(jié)果進行比較。MI指標(biāo)用來衡量所有轉(zhuǎn)化到融合圖像中的源圖像信息量,指標(biāo)值越高表示有更多的信息轉(zhuǎn)化到融合圖像中,融合效果越好。文獻[16]證明MI指標(biāo)能很好地適用于紅外與可見光圖像融合性能評價。表1給出了各種方法在不同測試數(shù)據(jù)上的MI指標(biāo)評價結(jié)果。從表中可以看出,本文方法對不同測試數(shù)據(jù)的融合性能指標(biāo)值均要顯著高于其他方法。

圖6　不同方法在測試數(shù)據(jù)“Octec”上的融合結(jié)果比較

測試數(shù)據(jù)融合方法LAPGRADROLPDT-CWTNSCT本文方法UNCamp0.22250.23640.22420.20720.22020.5952Trees0.32030.36760.31390.33370.33860.6283Octec0.35820.43530.35540.37740.39900.7353

5結(jié)論

傳統(tǒng)的多尺度圖像分解方法主要注重不同尺度信息的分離,在進行紅外與可見光圖像融合時,容易造成兩種圖像信息相互干擾,使融合圖像背景和細節(jié)不清晰。本文利用雙邊與高斯濾波器對源圖像進行混合信息分解,在達到尺度分離的同時還可以得到不同尺度圖像紋理細節(jié)和邊緣信息。應(yīng)用這種混合分解方式,根據(jù)紅外圖像大尺度邊緣信息較為突出,而可見光圖像背景和細節(jié)信息較為豐富的特點,將重要的紅外圖像信息注入到可見光圖像中,使融合圖像既能突出顯著的紅外目標(biāo)特征,又能保持可見光圖像清晰的背景、紋理細節(jié)和對比度信息。實驗結(jié)果證明,本文方法融合性能要明顯優(yōu)于傳統(tǒng)基于多尺度分解的圖像融合方法。

參考文獻：

[1] Jing Z L, Xiao G, Li Z H.Imagefusion:theoryandapplication[M].Beijing: Higher Education Press, 2007.(敬忠良,肖剛,李振華. 圖像融合—理論與應(yīng)用[M].北京:高等教育出版社,2007.)

[2] Burt P J, Adelson E H. The Laplacian pyramid as a compact image code[J].IEEETrans.onCommunications,1983,31(4):532-540.

[3] Chipman L J, Orr T M, Graham L N. Wavelets and image fusion[C]∥Proc.oftheSPIE,1995: 208-219.

[4] Toet A, Van Ruyven L J, Valeton J M. Merging thermal and visual images by a contrast pyramid[J].OpticalEngineering, 1989, 28(7): 789-792.

[5] Lewis J J, O’Callaghan R J, Nikolov S G, et al. Pixel-and region-based image fusion with complex wavelets[J].InformationFusion, 2007, 8(2): 119-130.

[6] Zhang Q, Guo B. Multifocus image fusion using the nonsubsampled contourlet transform[J].SignalProcessing, 2009, 89(7): 1334-1346.

[7] Miao Q G, Shi C, Xu P F, et al. A novel algorithm of image fusion using shearlets[J].OpticsCommunications, 2011, 284(6) : 1540-1547.

[8] Liu X, Zhou Y, Wang J J. Image fusion based on shearlet transform and regional features[J].AEU-InternationalJournalofElectronicsandCommunications, 2014, 68(6): 471-477.

[9] Kong W W, Zhang L J, Lei Y. Novel fusion method for visible light and infrared images based on NSST-SF-PCNN[J].InfraredPhysics&Technology, 2014, 65(7):103-112.

[10] Tomasi C, Manduchi R. Bilateral filtering for gray and color images[C]∥Proc.ofthe6thInternationalConferenceonComputerVision, 1998: 839-846.

[11] Fattal R, Agrawala M, Rusinkiewicz S. Multiscale shape and detail enhancement from multi-light image collections[C]∥Proc.oftheACMSIGGRAPH, 2007: 51-59.

[12] Durand F, Dorsey J. Fast bilateral filtering for the display of high-dynamic-range images[C]∥Proc.oftheACMSIGGRAPH, 2002:257-266.

[13] Bae S, Paris S, Durand F. Two-scale tone management for photographic look[C]∥Proc.oftheACMSIGGRAPH, 2006, 25: 637-645.

[14] Bennett E P, Mason J L, McMillan L. Multispectral bilateral video fusion[J].IEEETrans.onImageProcessing,2007,16(5):1185-1194.

[15] Burt P, Kolczynski R. Enhanced image capture through fusion[C]∥Proc.ofthe4thInternationalConferenceonComputerVision,1993:173-182.

[16] Hossny M, Nahavandi S, Creighton D. Comments on “information measure for performance of image fusion”[J].ElectronicsLetters，2008, 44 (18): 1066-1067.

周志強(1982-),男,講師,博士,主要研究方向為多源圖像融合,計算機視覺。

E-mail:zhzhzhou@bit.edu.cn

汪渤(1964-),男,教授,博士,主要研究方向為導(dǎo)航、制導(dǎo)與控制。

E-mail:wangbo_bitauto@gmail.com

李立廣(1980-),男,工程師,主要研究方向為空軍軍通裝備質(zhì)量。

E-mail:53801057@qq.cn

李筍(1987-),男,博士研究生,主要研究方向為圖像處理、目標(biāo)識別。

E-mail:lsbit@foxmail.com

網(wǎng)絡(luò)優(yōu)先出版地址：http://www.cnki.net/kcms/detail/11.2422.TN.20150917.1659.006.html

Image fusion based on a hybrid decomposition via

bilateral and Gaussian filters

ZHOU Zhi-qiang1, WANG Bo1, LI Li-guang2, LI Sun1

(1.SchoolofAutomation,BeijingInstituteofTechnology,Beijing100081,China; 2.AirForce

MilitaryRepresentativeOfficeinHuabeiArea,Beijing100086,China)

Abstract:The fusion result of infrared and visible images tends to become blurred, confused and suffers contrast degradation due to different characteristics of the two sources of information. To solve these problems, a fusion algorithm based on a hybrid decomposition via bilateral and Gaussian filters is proposed. Bilateral and Gaussian filters are applied firstly to achieve a hybrid decomposition for infrared and visible images. Small-scale texture details, large-scale edges and coarse image information of the input images are obtained. The sub-information is then merged to inject prominent infrared image features into the visible image, for which the fusion weights are determined according to the infrared image features represented by the decomposed large-scale edges. Finally, all the merged sub-information is assembled to reconstruct the fused image. Experiments demonstrate that the proposed fusion method obviously outperforms the image fusion algorithms based on the conventional multi-scale decomposition.

Keywords:Gaussian filter; bilateral filter; information decomposition; image fusion

作者簡介：

中圖分類號：TP 312

文獻標(biāo)志碼：A

DOI:10.3969/j.issn.1001-506X.2016.01.02

基金項目：國家自然科學(xué)基金(61403033)資助課題

收稿日期：2014-12-03；修回日期：2015-09-09；網(wǎng)絡(luò)優(yōu)先出版日期：2015-09-17。