基于滾動(dòng)引導(dǎo)濾波的紅外與可見(jiàn)光圖像融合

張 慧，韓新寧，韓惠麗

（1.寧夏師范學(xué)院 數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院，寧夏 固原 756000；2.寧夏師范學(xué)院 化學(xué)化工學(xué)院，寧夏 固原 756000）

0 引言

由于成像設(shè)備成像原理造成同一場(chǎng)景下的紅外與可見(jiàn)光圖像各有利弊：紅外圖像受光線或不利天氣條件的影響較小，但缺乏足夠的背景細(xì)節(jié)；可見(jiàn)光圖像通常包含更多的細(xì)節(jié)和紋理信息與更高的空間分辨率，但受不利天氣等因素影響較大。如果將同一場(chǎng)景下紅外與可見(jiàn)光圖像融合就可獲取更多圖像信息，因此紅外與可見(jiàn)光圖像融合在目標(biāo)檢測(cè)、監(jiān)視、情報(bào)收集等軍事和民用領(lǐng)域有著重要的應(yīng)用[1-3]。

紅外與可見(jiàn)光圖像的融合有很多種方法，現(xiàn)階段較常見(jiàn)的為基于多尺度分解的融合方法。多尺度融合方法實(shí)質(zhì)是用多尺度分解將空間上重疊的特征在尺度上充分分離，從而使不同尺度上分離出來(lái)的特征更有效地進(jìn)行組合。如劉等人提出了一種基于多尺度變換和稀疏表示的圖像融合的一般框架[4]，并取得了不錯(cuò)的融合效果。但由于稀疏表示采用窗口滑動(dòng)技術(shù)，致使融合圖像中細(xì)節(jié)過(guò)于平滑，圖像局部模糊不清，整體視覺(jué)效果不佳。為了提高視覺(jué)效果，李等人提出了一種快速有效的圖像融合方法，稱為基于引導(dǎo)濾波的融合方法（guided filtering fusion GFF）[5]，其中引入了一種新的基于引導(dǎo)濾波的權(quán)重構(gòu)造方法，由于權(quán)重的計(jì)算不可避免帶來(lái)融合后圖像的噪音和偽影，因此構(gòu)造了視覺(jué)顯著性函數(shù)將像素顯著性和空間一致性結(jié)合起來(lái)。Bavirisetti 等人借鑒GFF 方法中的優(yōu)點(diǎn)，提出了一種多尺度引導(dǎo)濾波融合方法（multi-scale guided fusion MGF）[6]，在不同尺度上轉(zhuǎn)移邊緣結(jié)構(gòu)方面，大大降低了算法的復(fù)雜度。GFF 和MGF 方法有一定的優(yōu)點(diǎn)，但是也有不足之處。Gan 等人提出了GFF 與MGF 方法中的不足之處[7]：首先，顯著性函數(shù)沒(méi)有保留圖像所有特征，導(dǎo)致視覺(jué)效果差；其次，這兩類方法所采用邊緣保護(hù)濾波器在圖像分解中較少考慮其空間尺度，因此，沒(méi)有將多尺度分解的優(yōu)勢(shì)發(fā)揮出來(lái)。為了取得較好的融合效果，必須解決以上的兩個(gè)問(wèn)題。張等人提出了一種基于尺度的邊緣保護(hù)濾波器，稱為滾動(dòng)引導(dǎo)濾波器（rolling guidance filter RGF）[8]，RGF 在圖像分解過(guò)程中具有很好的尺度感知和邊緣保持特性，彌補(bǔ)了GFF 與MGF 方法中的關(guān)于空間尺度的不足之處，因此本文采用RGF 方法作為源圖像分解的工具。

圖像融合除了分解方法外還有融合規(guī)則影響圖像融合的最終效果。傳統(tǒng)的基礎(chǔ)層和細(xì)節(jié)層大多數(shù)采用“平均”與“絕對(duì)值最大”的融合規(guī)則，常常會(huì)導(dǎo)致圖像的對(duì)比度下降和可見(jiàn)光圖像細(xì)節(jié)丟失且產(chǎn)生噪聲，從而影響融合后圖像的視覺(jué)效果。馬等人在文獻(xiàn)[9]中提出了使用視覺(jué)顯著性圖（visual saliency map,VSM）[10]來(lái)合并基礎(chǔ)層，有效地避免對(duì)比度的損失；同時(shí)提出了一種優(yōu)化的加權(quán)最小二乘法（weighted least square,WLS）方法來(lái)融合細(xì)節(jié)層，此方法基于紅外和可見(jiàn)光圖像特征的不同特性，可以選擇性地融合源圖像中的細(xì)節(jié)信息。文獻(xiàn)[9]中所提及的融合規(guī)則很好地解決了GFF 與MGF 方法中采用顯著性函數(shù)導(dǎo)致融合圖像視覺(jué)效果不佳的問(wèn)題。所以，本文也采用VSM 和WLS 方法作為基礎(chǔ)層和細(xì)節(jié)層的融合規(guī)則。

可見(jiàn)光圖像成像時(shí)易受天氣等因素的影響使得可見(jiàn)光源圖像辨識(shí)度低，直接導(dǎo)致融合后圖像的視覺(jué)效果不佳，因此，可見(jiàn)光圖像的增強(qiáng)一直是圖像融合過(guò)程中源圖像預(yù)處理的重要環(huán)節(jié)之一?，F(xiàn)階段很多研究成果，如文獻(xiàn)[11-12]所提及的方法都在可見(jiàn)光圖像增強(qiáng)上有不錯(cuò)的效果，但是也有計(jì)算成本高等一些不足之處，如何提高可見(jiàn)光圖像的增強(qiáng)效果也是圖像融合中急需解決的問(wèn)題。

綜上所述，本文提出了一種基于滾動(dòng)引導(dǎo)濾波的紅外與可見(jiàn)光圖像融合方法。首先利用引導(dǎo)濾波將可見(jiàn)光圖像進(jìn)行增強(qiáng)，然后利用滾動(dòng)引導(dǎo)濾波將源圖像進(jìn)行多尺度的分解。通常的融合方法將源圖像分別分解為細(xì)節(jié)層和基礎(chǔ)層，但在文獻(xiàn)[13-14]中提出將源圖像分解為基礎(chǔ)層，大尺度層與小尺度層，即將細(xì)節(jié)層繼續(xù)細(xì)分。這樣分解的原因是細(xì)化細(xì)節(jié)層的分解能夠提高融合圖像的視覺(jué)效果，同時(shí)也能保護(hù)圖像邊緣。因此本文也采用這種分解方法，并在分解后的基礎(chǔ)層，大尺度層、小尺度層采用不同的融合方法進(jìn)行融合，最后進(jìn)行信息合成得到最終融合圖像。通過(guò)觀察融合圖像和對(duì)比數(shù)據(jù)結(jié)果發(fā)現(xiàn)，本文所提出的融合方法在主觀評(píng)價(jià)和客觀評(píng)價(jià)上都有不錯(cuò)的表現(xiàn)。

1 可見(jiàn)光圖像的增強(qiáng)與源圖像的分解

1.1 可見(jiàn)光圖像的增強(qiáng)

為了增強(qiáng)較暗光線下可見(jiàn)光圖像，文獻(xiàn)[15]給出了一種基于引導(dǎo)濾波的高動(dòng)態(tài)范圍壓縮的圖像增強(qiáng)方法，其實(shí)質(zhì)是利用引導(dǎo)濾波對(duì)圖像進(jìn)行分解，分步對(duì)圖像進(jìn)行增強(qiáng)。標(biāo)記引導(dǎo)濾波算子為GFr,ε(·)，則基本步驟可以表述如下：

1）對(duì)圖像I先利用方引導(dǎo)濾波算子進(jìn)行分解得到基礎(chǔ)層Ib＝GFr,ε(·)。

3）增強(qiáng)后的圖像為：

式中：r與ε是關(guān)于引導(dǎo)濾波的大小和保護(hù)圖像邊緣程度的參數(shù)；β與γ是動(dòng)態(tài)范圍壓縮的尺度因子。由于篇幅所限，4 個(gè)參數(shù)的具體定義與取值可參閱文獻(xiàn)[15]。

圖1 給出了兩組可見(jiàn)光圖像利用所給方法進(jìn)行增強(qiáng)前、后的對(duì)比圖像。通過(guò)圖1 明顯可以看出，增強(qiáng)后的可見(jiàn)光圖像無(wú)論是在細(xì)節(jié)表現(xiàn)還是整體的對(duì)比度上都得到了提升。

圖1 兩組可見(jiàn)光圖像的增強(qiáng)結(jié)果Fig.1 Visibility enhancement results for two test visible images

1.2 源圖像的分解

在多尺度分解中往往會(huì)伴隨融合后圖像邊緣出現(xiàn)一些光暈以及不能很好地實(shí)現(xiàn)空間重疊特征的尺度分離，而RGF 具有邊緣保持和尺度感知特性，從而可以減少光暈并保留特定尺度的信息，故本文采用RGF方法對(duì)源圖像進(jìn)行分解。記滾動(dòng)引導(dǎo)濾波算子為RGF(I,σs,σr,T)。其中I為輸入圖像，σs是標(biāo)準(zhǔn)方差作為尺度參數(shù)，σr是用來(lái)控制權(quán)重的范圍，本文取σr＝0.05，T是迭代次數(shù)，這里取T＝4。源圖像可利用以下式來(lái)進(jìn)行多尺度分解：

式中：uj是第j層濾波輸出圖像，u0＝I。dj是第j層細(xì)節(jié)層。N代表分解的層數(shù)，本文N＝4，令利用公式(5)～(8)將可見(jiàn)光與紅外圖像分別分解為小尺度層、大尺度層和基礎(chǔ)層。基于滾動(dòng)引導(dǎo)濾波融合的框架如圖2所示。

2 分解后的信息合成

2.1 小尺度層的信息合成

通過(guò)圖2 融合流程圖的展示可知，利用RGF方法將可見(jiàn)光與紅外圖像分別分解后所得的第一層細(xì)節(jié)層作為小尺度層。由于細(xì)節(jié)層系數(shù)的絕對(duì)值越大，對(duì)應(yīng)的特征越顯著，所以在小尺度層上采用傳統(tǒng)的“絕對(duì)值最大”融合規(guī)則對(duì)細(xì)節(jié)層進(jìn)行合并。

圖2 基于多尺度分解的滾動(dòng)方向?qū)Рㄈ诤狭鞒虉DFig.2 Flow chart of fusion based on MSD of the rolling guided filter

首先給出絕對(duì)值最大的系數(shù)Wj：

那么在小尺度層的復(fù)合信息利用下式進(jìn)行計(jì)算：

2.2 大尺度層的信息合成

與可見(jiàn)光圖像相比，紅外圖像通常含有大尺度的結(jié)構(gòu)信息，但缺乏視覺(jué)細(xì)節(jié)信息并含噪聲。在更高層的細(xì)節(jié)層如果簡(jiǎn)單地使用傳統(tǒng)的“絕對(duì)值最大”融合規(guī)則，不考慮紅外和可見(jiàn)光圖像之間的不同特性，可能會(huì)融合來(lái)自源圖像不相關(guān)的細(xì)節(jié)信息，以及紅外圖像的噪聲。為了使融合后的圖像更自然，更適合人類視覺(jué)感知，我們稱自第二層開始的細(xì)節(jié)層為大尺度層，結(jié)合文獻(xiàn)[9]，提出WLS 融合規(guī)則。

為了減少噪聲，我們將公式(9)的融合系數(shù)利用高斯濾波器進(jìn)行平滑，即：

在此取σs＝2。然后依然利用“絕對(duì)值最大”融合規(guī)則，得到融合后第j層的細(xì)節(jié)層。

然后利用公式(11)來(lái)獲得優(yōu)化后的第j層的細(xì)節(jié)層。

2.3 基礎(chǔ)層的信息合成

常見(jiàn)的基礎(chǔ)層融合方法容易導(dǎo)致對(duì)比度降低，為了避免對(duì)比度的損失，我們引入VSM 融合方法對(duì)基礎(chǔ)層進(jìn)行融合。VSM 方法根據(jù)像素與所有其他像素的對(duì)比度來(lái)定義像素的顯著性[16]。

讓Ip表示圖像I中像素p的強(qiáng)度值，像素p的顯著值V(p)定義為：

式中：L表示I中的像素總數(shù)。將V(p)規(guī)范化后其取值在[0,1]之間，令V1和V2分別表示輸入的紅外圖像和可見(jiàn)光圖像利用公式(14)計(jì)算得到的顯著值，則紅外與可見(jiàn)光圖像基礎(chǔ)層的融合結(jié)果可以通過(guò)公式(15)得到：

最后的融合結(jié)果為：

3 實(shí)驗(yàn)結(jié)果與分析

3.1 測(cè)試集與相比較的融合方法

為了驗(yàn)證本文所提出方法的融合效果，選取如圖3 所給的10 組紅外與可見(jiàn)光圖像的測(cè)試集（來(lái)源于http://www.imagefusion.org/）。本文所提的方法記為RGF_GSE，與本文所提方法進(jìn)行比較的融合方法有RGF_GS（文獻(xiàn)[9]所提方法），GFF 方法和MGF 方法，以及離散小波變換方法（discrete wavelet transform,DWT）和曲波變換方法（curvelet transform,CVT）。

圖3 測(cè)試集Fig.3 Test set

3.2 圖像質(zhì)量評(píng)價(jià)指標(biāo)

為了更加客觀地評(píng)價(jià)融合的效果，本文采用6 種常見(jiàn)的融合指標(biāo)對(duì)各種融合方法進(jìn)行客觀質(zhì)量評(píng)價(jià)。6種融合指標(biāo)分別為度量圖像中信息豐富程度的熵（Entropy,EN），度量融合圖像中結(jié)構(gòu)信息的標(biāo)準(zhǔn)偏差（standard deviation,SD），度量從源圖像傳遞到融合圖像的信息熵（tsallis entropy,QTE）[17]、度量輸入圖像與融合圖像之間的非線性相關(guān)信息熵（nonlinear correlation information entropy,QNCIE）[18]，度量圖像的感知顯著性（perceptual saliency,PS）[15]，以及所用時(shí)間（time，單位為秒）。在評(píng)價(jià)的過(guò)程中，這些評(píng)價(jià)指標(biāo)的數(shù)值除時(shí)間值越小越好，其指標(biāo)數(shù)值越大說(shuō)明融合效果越好。

3.3 融合后的主觀評(píng)價(jià)

鑒于文章篇幅的限制，從10 組融合結(jié)果中給出其中兩組的融合結(jié)果進(jìn)行比較，如圖4所示。通過(guò)觀察融合結(jié)果發(fā)現(xiàn)，兩組實(shí)驗(yàn)結(jié)果中利用DWT 與CVT 方法融合結(jié)果中都出現(xiàn)了“塊”，這是因?yàn)閮煞N方法都是采用多尺度分解＋SR 的融合框架，而稀疏的融合規(guī)則會(huì)導(dǎo)致融合結(jié)果中出現(xiàn)“塊”。并且采用這兩種方法所得融合圖像較為模糊，辨識(shí)度低。采用GFF 方法與MGF 方法所得兩組融合結(jié)果中圖像對(duì)比度比較低，并且圖像中有些邊界較為模糊，例如第一組實(shí)驗(yàn)結(jié)果中的樹木和花草基本無(wú)法辨識(shí)，只是一個(gè)輪廓；第二組中柵欄與周圍植物基本無(wú)法分辨，視覺(jué)效果差。利用RGS_GS 方法融合所得的實(shí)驗(yàn)結(jié)果與之前的4 種方法對(duì)比，沒(méi)有出現(xiàn)“塊”，對(duì)比度也得到了提高，兩組融合結(jié)果中邊緣處理的也較為理想，但是也有一些不足之處。例如，第一組融合結(jié)果中植物辨識(shí)度也不是很好，地面與墻面較為模糊；第二組中植物輪廓不分明，某些區(qū)域?qū)Ρ榷鹊?。采用本文提出的方法RGS_GSE所得到的融合結(jié)果，視覺(jué)效果好，整個(gè)融合圖像的對(duì)比度高，兩組圖像中的植物輪廓分明，樹葉與花朵都能分的很清楚。并且某些細(xì)節(jié)處理很好，例如第一組融合結(jié)果中右邊墻面上有很多均勻的豎線，都看得很清楚，這些豎線在其他方法的融合結(jié)果中根本看不到；在第二組融合結(jié)果中柵欄、房屋上的煙囪都很清楚。

圖4 兩組實(shí)驗(yàn)結(jié)果圖Fig.4 Two sets of experimental results

通過(guò)實(shí)驗(yàn)結(jié)果展示和分析可以看出，本文所提出的方法無(wú)論是在細(xì)節(jié)處理、邊緣保護(hù)還是在對(duì)比度提升上都有很好的表現(xiàn)，所得融合圖像適應(yīng)人類視覺(jué)感知，有很好的視覺(jué)效果。

3.4 融合后的客觀評(píng)價(jià)

表1 給出的是10 組圖像經(jīng)不同融合方法后所得客觀評(píng)價(jià)指標(biāo)的結(jié)果，由于篇幅原因，表中的數(shù)據(jù)是10 組圖像在同一方法、同一指標(biāo)取平均值。通過(guò)觀察6 種客觀評(píng)價(jià)指標(biāo)的測(cè)試數(shù)據(jù)（黑色表明結(jié)果最好），本文所提出的方法在其中4 項(xiàng)的評(píng)價(jià)指標(biāo)中都是最好的，有一項(xiàng)的指標(biāo)在6 種方法中數(shù)據(jù)是排在第二的，在耗時(shí)方面沒(méi)有MGF 和GFF 兩種方法優(yōu)化。這主要是由于本文所提方法需要對(duì)可見(jiàn)光圖像進(jìn)行增強(qiáng)，會(huì)耗費(fèi)一定時(shí)間，并且MGF 與GFF 方法的特點(diǎn)就是分解方法簡(jiǎn)單，融合用時(shí)少。但是綜合考慮融合效果和用時(shí)的細(xì)微差距，本文給出的融合方法在邊緣保護(hù)、細(xì)節(jié)的融合處理以及視覺(jué)效果等方面都有不錯(cuò)的表現(xiàn)。

表1 用DWT、CVT、GFF、MGF、RGF_GS 和RGF_GSE 方法融合得到的指標(biāo)Table 1 Comparison with DWT,CVT,GFF,MGF,RGF_GS and RGF_GSE of different processing results

4 結(jié)論

本文提出一種基于滾動(dòng)引導(dǎo)濾波的可見(jiàn)光與紅外圖像融合方法，首先利用引導(dǎo)濾波對(duì)可見(jiàn)光圖像的內(nèi)容進(jìn)行增強(qiáng)，提高可見(jiàn)光圖像在照明條件不好情況下的融合效果。同時(shí)，為了提高融合圖像的視覺(jué)感知以適應(yīng)人類視覺(jué)，并實(shí)現(xiàn)紅外圖像與可見(jiàn)光圖像不同特征信息的融合，本文利用滾動(dòng)引導(dǎo)濾波將源圖像分解為小尺度層、大尺度層和基礎(chǔ)層。在大尺度層的信息合并中，采用WLS 融合規(guī)則解決可見(jiàn)光與紅外圖像不同特征，使融合后的圖像更加適應(yīng)人類感知。為了降低對(duì)比度的損失，在基礎(chǔ)層的信息合成過(guò)程中使用了VSM 優(yōu)化的融合方法。主觀評(píng)價(jià)與客觀評(píng)價(jià)也證實(shí)了本文方法的有效性。