一種基于雙邊濾波和圖像融合的增強(qiáng)方法

武院生，楊衛(wèi)平，張勝輝，呂云波

（1.國(guó)防科學(xué)技術(shù)大學(xué)電子科學(xué)與工程學(xué)院，長(zhǎng)沙410073；2.武警云南省總隊(duì)迪慶州支隊(duì)，迪慶674400）

一種基于雙邊濾波和圖像融合的增強(qiáng)方法

武院生1，2，楊衛(wèi)平1，張勝輝1，呂云波1

（1.國(guó)防科學(xué)技術(shù)大學(xué)電子科學(xué)與工程學(xué)院，長(zhǎng)沙410073；2.武警云南省總隊(duì)迪慶州支隊(duì)，迪慶674400）

在系統(tǒng)研究可見(jiàn)光和紅外圖像融合技術(shù)的基礎(chǔ)上，提出一種圖像融合算法用以檢測(cè)可見(jiàn)光圖像中的隱含目標(biāo)。為了在檢測(cè)隱含目標(biāo)的同時(shí)平滑圖像中目標(biāo)的邊緣信息，采用雙邊濾波來(lái)去除噪聲并在此基礎(chǔ)上進(jìn)行圖像融合以獲取圖像完整信息。首先通過(guò)對(duì)圖像添加噪聲得到降質(zhì)退化圖像，然后采取雙邊濾波算法對(duì)降質(zhì)圖像進(jìn)行平滑去噪，此后，再對(duì)濾波去噪后圖像進(jìn)行融合。結(jié)合雙邊濾波和圖像融合方法，設(shè)計(jì)四種算法來(lái)驗(yàn)證雙邊濾波和圖像融合在多源圖像應(yīng)用中的強(qiáng)大功能。研究測(cè)試了算法對(duì)可見(jiàn)光圖像中因光線原因隱藏的人體目標(biāo)檢測(cè)性能。實(shí)驗(yàn)結(jié)果表明，該方法可以有效提高在背景圖像中進(jìn)行目標(biāo)檢測(cè)或識(shí)別的概率。

雙邊濾波；圖像融合；目標(biāo)探測(cè)；隱藏目標(biāo)

1 引 言

靜止圖像中的目標(biāo)檢測(cè)包括行人檢測(cè)，車輛檢測(cè)以及監(jiān)控［1－2］。多種方法被用于在圖像中探測(cè)人體目標(biāo)。在軍事和監(jiān)控應(yīng)用中，通常由于光照、煙霧弱光、黑夜等影響，很難檢測(cè)出噪聲圖像中的人體目標(biāo)，由于這些因素，重要目標(biāo)或特征可能會(huì)隱藏于可見(jiàn)光圖像中。從這些圖像中獲取隱含目標(biāo)包括圖像獲取、傳輸、統(tǒng)計(jì)、分析、處理、融合和顯示等一系列過(guò)程。熱傳感器或夜視儀等傳感器能獲取人眼所不能感知的數(shù)據(jù)信息，有鑒于此，多傳感器可以代替人眼從事一些探測(cè)工作。

當(dāng)前，學(xué)者們正在拓展目標(biāo)檢測(cè)的應(yīng)用領(lǐng)域，例如在交通安全、夜間觀察、軍事和醫(yī)療等領(lǐng)域。在夜晚城市街道或者大學(xué)校園里檢測(cè)行人是很困難的。城市街道的背景中，有大量夜間高溫的人造目標(biāo)，如建筑物、路燈，交通工具散發(fā)的熱量在紅外圖像中也可以被顯示成一個(gè)亮點(diǎn)。這些背景噪聲使得基于紅外的行人目標(biāo)探測(cè)更加復(fù)雜。

多傳感器圖像融合已成為另一種流行的機(jī)制［3－5］，多傳感器（多光譜）成像系統(tǒng)可以提供更多的有用信息。這個(gè)處理過(guò)程可以提取所有信道特征信息形成一幅完整圖像，然后將其傳送到?jīng)Q策機(jī)構(gòu)以辨別，這種技術(shù)可以提高圖像質(zhì)量并且可以應(yīng)用到很多領(lǐng)域。圖像融合是一個(gè)融合多幅圖像信息組成一幅合成圖像的過(guò)程，融合后的圖像將提供更多信息，圖像融合的過(guò)程就是從同一場(chǎng)景的多幅圖像中提取相關(guān)信息組成一幅圖像的過(guò)程。PCA、HIS顏色模型、Brovey、金字塔和多尺度幾何分析是幾種常用的圖像融合方法，像素水平、特征水平、決策水平是三種融合層次，圖像融合算法的發(fā)展絕大部分在于這三種層次。

研究的目的就是通過(guò)利用雙邊濾波器的優(yōu)越性能來(lái)提高紅外圖像和可見(jiàn)光圖像的融合效果，從而檢測(cè)出場(chǎng)景中的隱含目標(biāo)。當(dāng)目標(biāo)的前景和背景物體有著相同的顏色和亮度時(shí)，是很難被偵查到的；當(dāng)夜間目標(biāo)不能被清晰看到時(shí)，對(duì)目標(biāo)的偵察就成為了真正的挑戰(zhàn)；例如開(kāi)著頭燈的路上行駛的車輛和照明燈后面的物體。為能夠有效探測(cè)到目標(biāo)，研究中提出四種融合算法對(duì)基于雙邊濾波和圖像融合的增強(qiáng)方法進(jìn)行仿真實(shí)驗(yàn)，并對(duì)四種融合方法的結(jié)果進(jìn)行比較，從中選取較好的增強(qiáng)方法。

2 研究方法

任何研究方法的準(zhǔn)確與否都取決于實(shí)驗(yàn)中的系統(tǒng)方法以及基于實(shí)驗(yàn)輸出而得到的結(jié)果［6］。研究中首先是識(shí)別目標(biāo)，引導(dǎo)輸入圖像進(jìn)行平滑處理，然后融合圖像并輸出，這種算法被稱為前向融合算法。相反的，在平滑輸出圖像之前首先挑選輸入融合圖像，這種算法被稱為后向融合算法?；谶@些方法，不同水平的融合圖像算法包括ABFF（平均前向融合）、ABBF（平均后向融合）、CBFF（條件前向融合）和CBBF（條件后向融合）。MIBF（Multisensor Imagefusion using Bilateral Filter，基于雙邊濾波的多源圖像融合算法）－雙邊濾波多源圖像融合包括這四種算法，這一點(diǎn)起源于兩個(gè)重要的概念：FF（前向融合）和BF（后向融合）。這項(xiàng)工作將分兩部分描述：融合與濾波。濾波部分被調(diào)整到融合部分的前面或者后面，如果輸入圖像首先是進(jìn)行濾波然后再融合處理的叫做前向融合。相反的，后向融合是先進(jìn)行融合操作，最后再進(jìn)行濾波操作［7］。

2.1 雙邊濾波

目前，濾除圖像噪聲主要使用空域?yàn)V波和頻域?yàn)V波兩類。雙邊濾波（Bilateral Filtering，BF）是一種去噪能力很強(qiáng)的算法，屬于典型的非線性濾波算法［8］，但雙邊濾波在本質(zhì)上是一種基于鄰域像素灰度值進(jìn)行加權(quán)平均計(jì)算的濾波器，該算法既考慮空域信息，又考慮灰度相似性，故能夠在濾除噪聲的同時(shí)又具有保持圖像邊緣特征的能力。

可見(jiàn)光圖像與紅外圖像融合時(shí)，采用普通的中值濾波器或者高斯濾波器進(jìn)行處理，大量的邊緣和細(xì)節(jié)信息在平滑噪聲的同時(shí)會(huì)丟失，而后續(xù)紅外圖像目標(biāo)的檢測(cè)與識(shí)別與紅外圖像的邊緣密切相關(guān)，因此能夠保留邊緣與細(xì)節(jié)特征的濾波器在紅外圖像的處理時(shí)被采用［9］。所以，雙邊濾波器作為一種典型的非線性濾波器得到廣泛應(yīng)用，它能夠在濾除噪聲的同時(shí)很好地保留邊緣與細(xì)節(jié)特征，相比各向異性擴(kuò)散等其他非線性方法，雙邊濾波具有簡(jiǎn)單、非迭代的特點(diǎn)［10］。雙邊濾波在平滑圖像的同時(shí)通過(guò)對(duì)圖像臨近像素點(diǎn)的灰度值進(jìn)行非線性組合，很好地保存了邊緣信息。在此方法中，P（x，y）點(diǎn)的像素值被平均相似和相近點(diǎn)像素值代替，該方法在平行濾波平滑圖像的同時(shí)很好的保存了圖像邊緣信息。正因?yàn)樗鼙４孢吘壧卣?，所以被廣泛應(yīng)用。加權(quán)平均值是用幾何距離和范圍差異計(jì)算出來(lái)的，以達(dá)到空間域上的近似值。

空間域?yàn)V波器表達(dá)式為：

公式中，f和h分別表示輸入和輸出自然多頻帶圖，x表示中心像素點(diǎn)，ξ表示x的鄰域點(diǎn)，空域?yàn)V波表征了信息的幾何相似程度。低通濾波器的表達(dá)式為：

kr是常數(shù)，函數(shù)c（ξ，x）表示中心像素和鄰近像素點(diǎn)的幾何距離，函數(shù)f（x）表示值域?yàn)V波器，其表達(dá)式為：

中心像素點(diǎn)和附近像素點(diǎn)ξ之間的像素相似度由函數(shù)s（f（ξ），f（x））來(lái)衡量，因此，s為值域函數(shù)，c為空域函數(shù)。進(jìn)一步規(guī)劃常量可以表示為：

現(xiàn)在，綜合空域?yàn)V波和值域?yàn)V波，得到：

進(jìn)而結(jié)合空域?yàn)V波和值域?yàn)V波，得到能在平滑圖像噪聲的同時(shí)保留圖像邊緣的雙邊濾波算法：

2.2 使用雙邊濾波的多感圖像融合

現(xiàn)在將討論使用雙邊濾波多感圖像融合算法工作的細(xì)節(jié)。為了得到帶有豐富信息的融合圖像，首先設(shè)定融合過(guò)程中只包含兩個(gè)源圖像，用A和B表示，整個(gè)融合過(guò)程描述如下：

2.2.1 平均雙邊濾波前向融合（ABFF）

首先用雙邊濾波對(duì)源圖像A和B進(jìn)行平滑，分別得到去噪后的紅外圖像和可見(jiàn)光圖像。算法包括兩個(gè)部分：第一部分是平滑圖像并保留邊緣；第二部分是對(duì)紅外圖像和可見(jiàn)光圖像進(jìn)行融合。而第一部分又包括以下步驟：

預(yù)先計(jì)算高斯距離權(quán)值：

這里x和y分別表示水平和垂直方向上的像素距離，σ是高斯分布偏差。將鄰域內(nèi)各像素的加權(quán)平均值作為鄰域中心點(diǎn)，每一個(gè)像素點(diǎn)被賦予一個(gè)由附近像素點(diǎn)確定的加權(quán)平均值。最大的比重被放到原像素點(diǎn)，按照距離遠(yuǎn)近，較輕的比重被依次放在鄰近像素點(diǎn)，越遠(yuǎn)的點(diǎn)越輕。

計(jì)算高斯強(qiáng)度權(quán)值：

使用定義域和值域?yàn)V波器得到雙邊濾波器輸出。

第二部分，依據(jù)融合規(guī)則，紅外圖像和可見(jiàn)光圖像融合后獲得圖像F。這里融合規(guī)則就是通過(guò)紅外和可見(jiàn)光圖像像素點(diǎn)的位置計(jì)算平均像素值的平均融合。

融合圖像的目的就是通過(guò)融合互補(bǔ)信息找到原圖像的重要特征。識(shí)別、比較、轉(zhuǎn)移圖像的重要特征，是圖像融合的重要內(nèi)容，如邊緣和細(xì)節(jié)。因此，能夠識(shí)別并突出表現(xiàn)出圖像特征的方法是非常重要的。雙邊濾波和融合進(jìn)行結(jié)合能夠保存邊緣，所以被用來(lái)識(shí)別圖像細(xì)節(jié)特征，但是強(qiáng)烈的亮度變化可以導(dǎo)致雙邊濾波權(quán)值的劇烈變化，從而導(dǎo)致較大的計(jì)算誤差。

2.2.2 平均雙邊濾波后向融合（ABBF）

這種方法是將第一種方法ABFF順序倒置。首先，所有像素按照公式（9）執(zhí)行完畢。所以，很明顯濾波處理被放到了后面進(jìn)行，融合后的圖像依然被噪音干擾。然后，融合圖像被按順序操作：用PGD計(jì)算高斯距離權(quán)值、用ELRV提取局部特征、用GIV計(jì)算高斯強(qiáng)度權(quán)值和用GFR執(zhí)行高斯濾波。最后，受噪聲影響的融合圖像轉(zhuǎn)換成無(wú)噪融合圖像。

2.2.3 條件雙邊濾波前向融合（CBFF）

上面的算法，可以根據(jù)不同應(yīng)用在融合時(shí)設(shè)置條件規(guī)則來(lái)獲取更好的效果。根據(jù)融合條件的變化，我們重構(gòu)了算法，不再采用前面的平均融合算法。根據(jù)應(yīng)用需求，條件融合可以執(zhí)行最大選擇和最小選擇（MAX－CHOOSE MIN－CHOOSE）。首先，平滑部分可以在兩幅圖像中通過(guò)分別執(zhí)行PGD計(jì)算高斯距離權(quán)值、執(zhí)行ELRV提取局部特征、GIV計(jì)算高斯強(qiáng)度權(quán)值和GFR來(lái)實(shí)現(xiàn)高斯濾波。最后，含有噪聲的融合圖像被轉(zhuǎn)化成沒(méi)有噪聲的融合圖像。平滑處理過(guò)的圖像又通過(guò)選擇MAX－CHOOSE或者M(jìn)IN－CHOOSE規(guī)則得到融合圖像。

2.2.4 條件雙邊濾波后向融合（CBBF）

在CBBF算法里面，條件融合首先用于紅外圖像和可見(jiàn)光圖像。依照融合規(guī)則，使用MAXCHOOSE方法或者M(jìn)IN－CHOOSE方法完成融合源圖像。融合圖像能夠獲取高斯距離權(quán)值。特征值提取后，高斯強(qiáng)度權(quán)值和高斯濾波結(jié)果自然被算出。

多源圖像用平均方法融合，這種方法比較常用，具體定義如下：

輸入：N源圖像，空域和值域標(biāo)準(zhǔn)差分別為σr和σd

輸出：融合后圖像AF

步驟1：讀取帶有噪聲的紅外圖像和可見(jiàn)光圖像

步驟2：提前計(jì)算高斯距離權(quán)值

盡管紅外和可見(jiàn)光有不同的光譜帶，顯示不同的背景物體，但它們都可以顯示背景圖像的補(bǔ)充信息。因?yàn)榭梢?jiàn)光圖像顯示空間細(xì)節(jié)，而紅外圖像顯示光譜細(xì)節(jié)，所以兩種圖像融合可以保證得到能夠充分顯示可見(jiàn)光圖像中隱藏目標(biāo)的完整信息。下面我們對(duì)可見(jiàn)光圖像和紅外圖像用以上四種算法分別計(jì)算并比較。

3 實(shí)驗(yàn)結(jié)果和討論

以下用多組多源圖像作為輸入信息，用來(lái)發(fā)現(xiàn)圖像中的隱藏目標(biāo)，并對(duì)整個(gè)過(guò)程進(jìn)行認(rèn)真安排和設(shè)計(jì)。4組多源圖像用來(lái)實(shí)驗(yàn)，用以檢測(cè)對(duì)比上述四種算法，對(duì)比它們處理后的實(shí)際效果。圖像處理前后的評(píng)價(jià)指標(biāo)如表1所示，表中給出了每幅圖像處理前后的熵值，融合后圖像的熵值必須比原圖片要高，才能說(shuō)明融合后的圖像具有更多的信息量。熵值計(jì)算：

G－Gray levels；p（i）為灰度水平值為di的發(fā)生概率。標(biāo)準(zhǔn)差是另外一個(gè)用來(lái)測(cè)定比較融合前后圖像質(zhì)量的指標(biāo)。高質(zhì)量的圖像必定有高的標(biāo)準(zhǔn)差：

L為直方圖子塊數(shù)，If為融合圖像，hif為融合圖像歸一化直方圖。這一關(guān)系用來(lái)找出像素帶分布的中心值。這一關(guān)系改變的定義如下：

μf—輸出，μr—源圖像。

實(shí)驗(yàn)中采用了四對(duì)同源可見(jiàn)光和紅外圖像進(jìn)行處理，首先，導(dǎo)入紅外圖像和可見(jiàn)光圖像。首先對(duì)兩幅被標(biāo)以a和b（圖1）的圖像加入隨機(jī)高斯噪聲，而這一噪聲是為獲得雙邊濾波權(quán)限而加入的。在圖1的第一行，人物在紅外圖像中很清晰，但在可見(jiàn)光圖像中并未出現(xiàn)。c圖到f圖是分別用平均前向融合、平均后向融合、條件前向融合、條件后向融合四種算法處理的結(jié)果，而前兩種算法的處理結(jié)果顯然比后兩種算法處理結(jié)果中的人物圖像要更為模糊，光線很暗，那么區(qū)分圖像的背景和前景就顯得有些困難。表1是對(duì)這幾種算法定量的評(píng)估結(jié)果，從表中可以看出，最好的計(jì)算結(jié)果是通過(guò)條件前向融合和條件后向融合算法獲得的。條件前向融合算法可以分別得到熵值6.7110、均值0.3303、標(biāo)準(zhǔn)差0.1295的客觀評(píng)價(jià)參數(shù)，稍次之的數(shù)據(jù)6.6798、0.3311、0.1293是由條件后向?yàn)V波算法得到的。因此，條件前向融合算法具有較好的融合效果。

表1 四種融合方法的客觀評(píng)價(jià)

4 結(jié)束語(yǔ)

經(jīng)過(guò)對(duì)平均前向融合、平均后向融合、條件前向融合、條件后向融合四種多源圖像融合技術(shù)的對(duì)比研究，可以得出：它們都能夠通過(guò)雙邊濾波融合紅外圖像和可見(jiàn)光圖像，從而用于尋找圖像中的隱藏目標(biāo)。這也使從具有煙霧、低可見(jiàn)度、惡劣氣候條件等復(fù)雜背景中找出隱藏目標(biāo)變成了可能。圖像融合從紅外圖像和可見(jiàn)光圖像中提取的必要信息，為探測(cè)提供必要條件。四種圖像融合算法中，條件雙邊前向融合算法可以得到理想的效果。在復(fù)雜光線條件下執(zhí)行偵察、探測(cè)任務(wù)時(shí)，可以采用條件雙邊前向融合算法對(duì)任務(wù)地域現(xiàn)場(chǎng)獲取的同源圖像信息進(jìn)行處理，以便獲取順利完成任務(wù)所必需的現(xiàn)場(chǎng)信息。

圖1 算法效果

［1］R L Lagendijk，JBiemond，D EBoekee.Regularized iterative image restoration with ringing reduction［J］.IEEE Trans.Acoust.Speech，Signal Processing，1988，36（12）：1874－1887.

［2］萬(wàn)力，易昂，傅明.一種基于Canny算法的邊緣提取改善方法［J］.計(jì)算技術(shù)與自動(dòng)化，2003，22（1）：24－26.

［3］Broggi，P Cerri，S Ghidoni，P Grisleri，H Gi.A new approach to urban pedestrian detection for automatic braking［J］.IEEE Trans.Intell.Transp，2009：594－605.

［4］Zhang Qiang，Wang Long，Li Huijuan，et a1.Similaritybased multimodality image fusion wim shiftable complex directional pyramid［J］.Pattern Recognition Letters，2011，32（13）：1544－1553.

［5］Fleishman S，Drori I，Cohen－Or D.Bilateral mesh denoising［J］.ACM Transactions On Graphics.2003，22（3）：950－953.

［6］吳艷，劉重陽(yáng).一種新的像素級(jí)多聚焦圖像融合算法［J］.電子與信息學(xué)報(bào)，2007，29（12）：2800－2804.

［7］Pham T Q，Van Vliet L J.Separable bilateral filtering for fast video preprocessing［C］.IEEE International Conference on Multimedia and Expo，2005：6－8.

［8］胡良梅，高雋，安良，等.基于D－S證據(jù)理論的模糊聚類圖像融合分割［J］.合肥工業(yè)大學(xué)學(xué)報(bào)，2004，27（7）：721－724.

［9］Tomasi C，Manduchi R.Bilateral fltering for gray and color images［C］.Intematioual Conference On Computer Vision，1998：7－9.

［10］Elad M.On the origin of the bilateral filter and ways to improve it［J］.IEEE Transactions On Image Procession，2002，11（10）：1141－1151.

［11］Zhang Ming.Bilateral filter in image processing［D］.BatonRouge：Louisiana State University，2009.

Algorithm s of Image Enhancement Based on Fusion and Bilateral Filter

WU Yuan－sheng1，2，YANGWei－ping1，ZHANG Sheng－h(huán)ui1，LV Yun－bo1
（1.College of Electronic Science and Engineering，National Defense Technology University，Changsha 410073，China；2.Diqing City Team，Yunnan Corps，The Armed Police，Diqing 674400，China）

This paper proposes an algorithm of image fusion for detecting the hidden targets in the visible light images.In order to smooth the edge of the image targetwhile detecting the hidden image，the bilateral filer is used to remove the noise and the image fusion is performed accordingly to get its integrated information.The edge of the image is degraded by the noise，and the typical bilateral filtering method is used to save the image and remove the noise，then bilateral filtering fusion is performed for the noise removed image.Combined with the two kinds of processing technology，four algorithms are used to verify the strong functions of the bilateral filtering and image fusion in the application ofmulti－source images.The algorithms，for detection performance for the body target hidden by the different factors，are tested.The experiments show that the algorithm can effectively improve the probability of detection or identification of the target from images background.

Bilateral filter；Image fusion；Object detection；Hidden objects

10.3969／j.issn.1002－2279.2014.06.015

TP391.4

：A

：1002－2279（2014）06－0050－05

武院生（1978－），男，山東省東明縣人，工程碩士，主研方向：光學(xué)成像與自動(dòng)目標(biāo)識(shí)別技術(shù)。

2014－05－06