基于雙引導濾波的紅外和可見光圖像融合算法

劉 丹,朱鴻泰,程 虎,桑賢偵

(中科芯集成電路有限公司,江蘇 無錫 214072)

1 引 言

單一圖像傳感器可能無法提供目標場景的完整信息,為了解決這一問題,“多傳感器圖像融合技術”應運而生[1-2]。目前常見的融合方式包括遙感圖像融合、多聚焦圖像融合、醫(yī)學圖像融合、紅外和可見光圖像融合等。其中,紅外和可見光圖像融合是最具研究價值的融合技術之一,廣泛應用于目標跟蹤、檢測識別[3-4]等領域。

紅外和可見光圖像融合算法分為像素級、特征級、決策級三個層次。其中,像素級融合方式得到的圖像信息最為豐富,本文所研究的融合算法是基于該層次進行的。Li等人提出的基于引導濾波的圖像融合算法(Guided Filter Fusion,GFF)[5],采用均值濾波對圖像進行分解,之后利用拉普拉斯、高斯和引導濾波生成顯著圖和融合權重,在多種應用場景表現(xiàn)出優(yōu)越性能,但利用拉普拉斯算子生成的顯著圖會損失部分圖像特征。之后,Gan[6]和Javed[7]等人通過調(diào)整GFF算法中的部分組件來提升算法性能,但算法時間開銷增加。Shreyamsha提出的交叉雙邊濾波融合算法(Cross Bilateral Filter,CBF)[8],利用協(xié)方差矩陣的特征值計算融合權重,融合圖像中會引入人工偽影。Zhou等人[9]采用非線性方式構造權重圖,將重要紅外特征注入可見光圖像中,但在過度曝光場景下,部分圖像特征會被淹沒。近年來,深度學習在圖像處理等領域展示出優(yōu)越性能,也已成功應用于圖像融合。Liu提出的基于卷積神經(jīng)網(wǎng)絡(Convolutional Neural Networks,CNN)[10]的融合算法,利用CNN計算權重高斯金字塔,但該算法對過曝光等低質(zhì)量圖像融合效果差;Zhang[11]提出的具有多分類約束的生成對抗網(wǎng)絡可對低質(zhì)量圖像進行較好融合,但二者均存在算法時間開銷大的問題,在圖像融合服務于目標檢測、跟蹤等實時性要求高的場景時,上述算法不適用。Zhang[12]提出的用于多模態(tài)圖像融合的壓縮分解網(wǎng)絡以及Ma[13]等人提出的基于顯著目標檢測的融合網(wǎng)絡,在算法融合速度方面得到了改善,但這兩種算法訓練難度高,所需數(shù)據(jù)量大,對于小樣本情況不適用。因此,盡管基于深度學習的圖像融合算法在部分性能指標上得到提升,但在圖像數(shù)據(jù)集、硬件條件受限,處理速度要求高的情況下,算法無法滿足應用需求[14];

為解決上述問題,本文提出了一種基于引導濾波多尺度分解的圖像融合算法,利用雙引導濾波器將圖像分解為小尺度紋理、大尺度邊緣和基礎圖像;之后,直接利用紋理及邊緣層圖像構建顯著性映射圖,突出源圖像顯著性信息的同時降低算法復雜度;根據(jù)顯著信息構造權重圖,紋理層權重采用非線性方式構造,將互補的紋理細節(jié)信息以較大比重注入到融合圖像中,邊緣層權重采用等比例方式構造,簡單但有效地將大尺度特征進行融合,同時不會出現(xiàn)由于過度注入而產(chǎn)生的圖像對比度下降問題;基礎層采用平均加權方式融合,控制圖像的整體觀感。

2 引導濾波

引導濾波器是一種邊緣保持濾波器,其操作基于局部線性模型,以像素k為中心的局部窗口wk中,濾波輸出q與導向圖G之間關系如下:

qi=akGi+bk?i∈wk

(1)

其中,wk表示半徑為r的方形窗口;ak,bk是wk上的常系數(shù),可通過最小化以下代價函數(shù)估計:

(2)

其中,ε是為了防止ak太大的正則化參數(shù);I為輸入圖像。利用最小二乘法可得:

(3)

(4)

(5)

2.1 濾波核半徑r的影響

由引導濾波原理可知,濾波核半徑r越大,鄰域像素的影響越大,平滑越明顯。

2.2 正則化參數(shù)ε的影響

2.3 引導圖像G的影響

引導濾波具有結構轉(zhuǎn)移特性。當引導圖像與輸入圖像相同時,則進行保持邊緣的濾波操作;當引導圖像與輸入圖像不同時,平滑操作由引導圖像的結構來調(diào)節(jié)。

引導濾波是一種很好的保邊濾波方法,不需要像其他濾波方法那樣直接進行卷積操作,它可以通過使用積分圖像技術[15]的盒形濾波器快速實現(xiàn),計算時間與濾波器的參數(shù)無關。

3 基于引導濾波多尺度分解的圖像融合算法

紅外圖像和可見光圖像對同一目標場景的亮度響應可能存在較大差異,這主要是由于兩類圖像的成像原理不同所致。前者依據(jù)物體的熱輻射特性進行成像,在光照不足或霧、煙等惡劣條件下仍能捕獲目標;后者依據(jù)物體的光反射特性進行成像,圖像分辨率更高,包含更豐富的紋理細節(jié)信息?；诖?結合引導濾波性質(zhì),設計圖像多尺度分解框架,將紅外和可見光圖像分為小尺度紋理、大尺度邊緣和基礎圖像,之后對兩類圖像的相應分量采用不同策略進行融合得到融合后圖像。

3.1 多尺度圖像分解

引導濾波器是一種良好的邊緣保持濾波器,濾波器參數(shù)對濾波結果的影響已在第2節(jié)中進行了分析說明,其中,不同正則化參數(shù)ε對濾波結果的影響如圖1所示。

圖1 不同正則化參數(shù)的濾波結果

由圖1可知,正則化參數(shù)越大,圖像越模糊,濾波后圖像包含的高頻信息越少。為進一步驗證濾波核半徑對濾波結果的影響,測試不同ε(0.01,104)下濾波核半徑分別為2、4、8、16的濾波結果和迭代濾波效果,如圖2和圖3所示。

圖2 ε=0.01時不同濾波核半徑的濾波結果和迭代濾波結果

圖3 ε=104時不同濾波核半徑的濾波結果和迭代濾波結果

由圖2、3可知,當ε=0.01時,不同半徑濾波器對圖像的紋理細節(jié)信息起到平滑作用,圖像邊緣信息保留較好;當ε=104時,隨著濾波核半徑的增大,圖像邊緣成分被顯著平滑,圖像變得十分模糊。

綜上,設計基于雙引導濾波的多尺度圖像分解方法,如圖4所示。引導濾波器1的參數(shù)ε設置為非常大的數(shù)值,引導濾波器2的參數(shù)ε設置為非常小的數(shù)值。因此,級聯(lián)的引導濾波器1反復平滑輸入圖像的高頻成分,級聯(lián)的引導濾波器2反復平滑輸入圖像的紋理細節(jié),同時保留邊緣特征。進而,我們可以通過以下計算得到濾波器2去除的紋理細節(jié)和相對于濾波器1額外保留的邊緣特征。

圖4 基于引導濾波多尺度分解的圖像融合算法框架

D(j,0)=GFrj-1,ε1(I1_(j-1))-GFrj,ε2(I2_j)

(6)

D(j,1)=GFrj,ε2(I2_j)-GFrj,ε1(I1_j)

(7)

其中,j=1,2,…,n表示分解級數(shù);GFr0,ε1(I1_0)=IvisorIir,濾波器1的最終輸出結果表示多尺度分解的基礎圖像。上述圖像分解思想與文獻[16]類似,并將其推廣到多尺度分解,得到紅外與可見光圖像在不同尺度上的特征信息。與傳統(tǒng)引導濾波圖像融合算法相比,本文采用雙引導濾波器代替均值濾波器對圖像進行更加精細地劃分,融合時可更好的保留源圖像中不同尺度上的特征信息。

多尺度分解獲得的基礎圖像包含了最粗尺度的信息。理論上,我們可以繼續(xù)進行分解操作,直至得到源圖像的平均信息為止。但在實際應用中不需要這樣做,因為基礎圖像中含有一定量的低頻殘余信息可以很好地控制融合后圖像的整體觀感。此外,該種方式需要大量的分解級數(shù),這將大大增加算法計算量。結合不同正則化參數(shù)下不同濾波核半徑的處理效果(圖2、圖3),設置分解級數(shù)n=3即可有效提取源圖像中的紋理、邊緣信息。

源圖像I可通過分解后的多尺度圖像和基礎圖像重構,表示如下:

(8)

3.2 權重圖構造及圖像融合

(9)

(10)

之后,利用Sigmoid函數(shù)進行調(diào)整,函數(shù)定義如下:

(11)

函數(shù)圖像如圖5所示,函數(shù)值在0～1之間,且在x=0時,f(x)=0.5。依據(jù)上述函數(shù)性質(zhì),構造基于S函數(shù)的對任意輸入變量輸出概率在0與1之間,且輸出概率和為1的權重函數(shù),表示如下:

圖5 Sigmoid函數(shù)圖像

(12)

(13)

(14)

根據(jù)權重圖得到小尺度紋理層的融合信息為:

(15)

該融合策略可將源圖像中的紋理細節(jié)信息盡可能多的注入融合圖像中,融合結果如圖6(a)所示。

圖6 圖像融合結果

(16)

(17)

根據(jù)權重圖得到大尺度邊緣層的融合信息為:

(j=1,i=1;j=2,…,n,i=0,1)

(18)

利用等比例映射策略得到的大尺度邊緣層融合圖像如圖6(b)所示,可很好地保留源圖像中邊緣信息,同時不會引入額外的人工偽影。

基礎層圖像融合采用平均加權方式,將紅外和可見光圖像的最粗尺度信息進行整合,控制融合后圖像的整體觀感,如圖6(c)所示,公式表示如下:

(19)

最后,將融合后的各層圖像整合得到最終融合圖像如圖6(d)所示,公式表示如下:

(20)

3.3 彩色圖像融合方法

根據(jù)彩色空間信息的表達形式,基于灰度圖像融合方法,設計彩色圖像的融合方式。傳統(tǒng)方法通常將彩色圖像按照RGB三基色分成R通道、G通道、B通道,后對三通道圖像分別進行融合,之后將各通道融合結果合并形成最終融合圖像。但是,由于彩色圖像本身的復雜性,融合后圖像會出現(xiàn)偏色失真嚴重等致命問題。

為解決上述問題,通過對色彩模型的研究,采用色彩模型轉(zhuǎn)換方法對彩色圖像融合進行優(yōu)化。其中,YUV色彩模型可將圖像亮度信息和色彩信息分離,Y描述圖像亮度信息,UV描述色彩信息。所以,對彩色圖像進行融合操作前,將RGB圖像轉(zhuǎn)換為YUV格式圖像,后根據(jù)灰度圖像融合策略,對Y通道圖像進行融合,最后,將融合圖像與UV通道圖像YUV格式圖像轉(zhuǎn)換為RGB格式圖像,得最終的融合圖像。

4 實驗結果與分析

本文所使用的紅外-可見光圖像對從數(shù)據(jù)集[17-18]中收集,涵蓋多種場景及工作條件,如樹木、戰(zhàn)場、房屋、過度曝光和低照度等,部分測試數(shù)據(jù)如圖7所示,圖中第一、三行是可見光圖像,第二、四行是紅外圖像。每對紅外-可見光圖像均已被嚴格配準,以確保圖像融合算法可以成功執(zhí)行及實驗結果的準確性。算法參數(shù)設置如下:引導濾波器1和2的正則化參數(shù)ε1,ε2分別設置為104,0.01,濾波核半徑rj+1=2rj,r1=2,分解級數(shù)n=3。實驗在Matlab 2016a環(huán)境下進行,PC規(guī)格包括i7-10510U CPU(2.30 GHz),16.0 GB內(nèi)存。

圖7 紅外和可見光圖像數(shù)據(jù)

4.1 定性分析

在圖像融合質(zhì)量評價中,定性評價是一種重要的評價方法,它以人眼視覺系統(tǒng)為基礎對融合圖像質(zhì)量進行評價。因此,為了驗證所提算法的有效性,首先對其進行定性評估。并與其他基于多尺度分解、深度學習的圖像融合算法CBF[8]、GFF[5]、CNN[10]進行比較。圖8為不同算法在過度曝光圖像上的融合結果。圖8(a)可見光圖像可提供場景信息,但是由于汽車燈光的過度曝光,汽車周圍的行人不可見。圖8(b)紅外圖像可提供行人信息,但缺少場景細節(jié)。由圖可知,CBF算法會產(chǎn)生人工偽影;CNN算法汽車周圍的人不清晰;與GFF算法相比,本文算法含更豐富的場景細節(jié)。

圖8 不同融合算法在過度曝光圖像上的融合結果

圖9、10(a)可見光圖像可提供樹木、圍欄等場景信息;圖9、10(b)紅外圖像可提供可見光圖像中由于樹木遮擋、能見度低等原因?qū)е虏豢梢姷娜说男畔?。如圖(c)～(f)所示,與其他融合算法相比,本文算法可成功地將互補的紅外光譜信息注入到融合圖像中,同時也很好地保留了可見光圖像中的場景細節(jié)。

圖9 不同融合算法在戰(zhàn)場圖像上的融合結果

圖10 不同融合算法在樹木圖像上的融合結果

為驗證本文彩色圖像融合算法相比于RGB三通道分別融合方式的優(yōu)越性,分別在停車場、房屋彩色場景圖片上進行測試。由圖11可知,利用本文方法處理得到的融合圖像對色彩信息的保留效果更好,融合圖像偏色失真問題更小,更貼近自然場景。

圖11 不同彩色圖像融合策略的融合結果

4.2 定量分析

定性評價不足以判斷融合算法的有效性,因此本節(jié)將對算法的融合性能進行定量評估。使用平均梯度[19]、邊緣強度[19]、空間頻率[20]、結構相似度[19]和一種基于人類感知啟發(fā)的度量標準[20]五種質(zhì)量指標進行客觀評價。前三種指標直接測量生成融合圖像的質(zhì)量,不需要使用輸入圖像。后兩種是為圖像融合設計的質(zhì)量評價指標,測量輸入圖像與融合圖像之間的相似性。不同圖像融合算法的定量測試結果如表1所示,性能最優(yōu)及次優(yōu)的結果分別用下劃直線及下劃曲線區(qū)分顯示。

表1 不同圖像融合算法的定量測試結果

從表1可以看出,本文算法在空間頻率、結構相似度、Qcv指標上表現(xiàn)最優(yōu),在平均梯度、邊緣強度指標上表現(xiàn)次優(yōu)。然而值得注意的是,雖然CBF算法在平均梯度、邊緣強度指標上獲得了最好的定量性能,但其定性性能不是很好,從圖4可以明顯看出,利用CBF算法得到的融合圖像中引入了大量偽影。綜上可得,本文算法能夠?qū)⒓t外和可見光圖像中的互補信息注入到融合圖像中,信息損失少。

表2給出了不同圖像融合算法在4種典型圖像上的運行時間及21對測試圖像上的平均運行時間。CBF算法利用雙邊濾波、特征值等方式進行圖像融合,二者均比較耗時,導致算法時間開銷大幅增加;CNN算法使用卷積神經(jīng)網(wǎng)絡計算權重金字塔,耗時最大;GFF算法雖然在圖像分解階段均采用兩尺度分解方式,但圖像分解或權重圖計算操作復雜,導致算法運行時間增加;本文算法采用多尺度分解方式進行圖像融合,引導濾波可使用盒形濾波器快速實現(xiàn),利用分解的特征圖構造顯著圖及權重圖,無需引入額外特征提取操作,保證算法融合效果的同時提升處理速度。

表2 不同算法運行時間

5 結 論

本文提出了一種基于引導濾波多尺度分解的圖像融合算法,用于紅外和可見光圖像的融合。該算法采用雙引導濾波器代替均值濾波器對紅外和可見光圖像進行更加精細地劃分;融合時,根據(jù)不同尺度層細節(jié)圖像構造顯著性映射圖,用其代替額外的特征提取操作,突出源圖像顯著信息的同時大大降低算法復雜度;利用顯著性映射圖、Sigmoid函數(shù)構造權重圖,有效地保留了源圖像中的場景細節(jié)和邊緣特征;利用先RGB到YUV色彩模型轉(zhuǎn)換后融合方式,更好地保留了圖像的色彩信息,減小融合圖像的偏色失真。定性和定量實驗結果表明,與其他圖像融合算法相比,本文算法能更好地將紅外和可見光圖像中的互補信息注入到融合圖像中,偏色失真小,引入偽影少,計算復雜度低。