基于雙邊濾波的多尺度圖像融合

吳 川

1.中國(guó)科學(xué)院 航空光學(xué)成像與測(cè)量重點(diǎn)實(shí)驗(yàn)室，長(zhǎng)春 130033

2.中國(guó)科學(xué)院 長(zhǎng)春光學(xué)精密機(jī)械與物理研究所 圖像室，長(zhǎng)春 130033

1 引言

圖像融合技術(shù)就是把多個(gè)傳感器得到的圖像信息按照一定規(guī)則結(jié)合起來，得到信息互補(bǔ)的圖像。圖像融合技術(shù)廣泛應(yīng)用于偽裝偵察、戰(zhàn)場(chǎng)感知、遙感、醫(yī)學(xué)圖像處理當(dāng)中。圖像融合方法可分為基于像素級(jí)的融合方法、基于特征級(jí)的融合方法、基于決策級(jí)的融合方法，其中基于像素級(jí)的融合方法已經(jīng)得到廣泛的研究。如趙鵬等[1]介紹了一種采用形態(tài)學(xué)算子、Top-hat變換及Bottom-hat變換相結(jié)合的方法把圖像分解成不同尺度的圖像，分別進(jìn)行不同尺度的圖像融合，最后再重構(gòu)出融合圖像，該方法適用于多聚焦圖像及具有高噪聲圖像。Zhang等人[2]采用選擇性融合和加權(quán)平均融合方法把不同尺度的圖像融合在一起，計(jì)算比較簡(jiǎn)單，但融合圖像失真和對(duì)比度信息損失的缺點(diǎn)比較明顯。類似的把圖像分解成不同尺度的圖像分別進(jìn)行融合的方法，還有李燕等人提出的采用梅花采樣方向?yàn)V波器組的多光譜圖像融合方法[3]。近年來小波變換的方法也被引入圖像融合中[4-8]，如宗思光等提出的利用多尺度形態(tài)學(xué)濾波器對(duì)源圖像進(jìn)行分解，對(duì)分解后的圖像采用樹狀小波變換進(jìn)行融合，該類方法在艦載紅外目標(biāo)的檢測(cè)中得到很好的應(yīng)用，但其融合過程較為復(fù)雜；楊建惠等利用átrous小波-NSCT變換對(duì)遙感圖像進(jìn)行處理，得到的圖像在光譜扭曲以及與原始圖像相似度方面都取得了較好的效果，但該方法涉及到時(shí)域與頻域間的變換與反變換同樣過程較為復(fù)雜；此外趙澄東等利用一種概率方法進(jìn)行圖像融合，胡燕翔等利用不同曝光圖像中融合目標(biāo)灰度分布的不同進(jìn)行圖像融合[9-10]，在圖像融合方面也都取得了一定進(jìn)展。

Tomasi等人提出了一種雙邊濾波的低通濾波器[11-12]，該方法在保留圖像邊緣及圖像的大尺度信息的前提下，能夠有效濾掉圖像噪聲點(diǎn)。鑒于雙邊濾波器在圖像濾波方面的良好表現(xiàn)，Eric、Durand分別把雙邊濾波思想應(yīng)用到圖像融合當(dāng)中，并獲得信噪比高，圖像細(xì)節(jié)豐富的彩色圖像[13-14]。但應(yīng)用雙邊濾波進(jìn)行圖像融合的不足之處在于采用的雙邊濾波核函數(shù)復(fù)雜，人為設(shè)計(jì)參數(shù)過多，處理時(shí)間較長(zhǎng)。針對(duì)雙邊濾波方法存在的問題，本文對(duì)雙邊濾波器的核函數(shù)進(jìn)行改進(jìn)，改進(jìn)后的核函數(shù)計(jì)算復(fù)雜度降低，設(shè)計(jì)參數(shù)減少。本文將改進(jìn)后的雙邊濾波器和高斯濾波器結(jié)合起來，對(duì)彩色圖像和近紅外進(jìn)行濾波，得到多個(gè)尺度的圖像，然后把不同尺度的圖像按不同權(quán)重重構(gòu)出融合圖像，通過該方法可獲得成像細(xì)節(jié)比原彩色圖像更為清晰的融合圖像。這里在權(quán)重的選擇上提出一種基于融合像素鄰域均值相似度的權(quán)值選擇方法。

2 雙邊濾波圖像濾波器

本章首先對(duì)雙邊濾波算法的原理進(jìn)行介紹，針對(duì)其不足之處，對(duì)現(xiàn)有濾波器的核函數(shù)進(jìn)行改進(jìn)，提出一種計(jì)算簡(jiǎn)單，設(shè)計(jì)參數(shù)少的核函數(shù)。

2.1 雙邊濾波算法

雙邊濾波算法最早由Tomasi等人在1998年提出，應(yīng)用在圖像濾波中，具有保留圖像邊緣，減少圖像噪聲的優(yōu)點(diǎn)，如式（1）所示。式中h(s)表示濾波后s點(diǎn)的像素值，s表示要濾波點(diǎn)的位置，p表示濾波點(diǎn)的鄰域像素值位置，D(p，s)表示要濾波點(diǎn)和其鄰域像素點(diǎn)的差，Ip表示p點(diǎn)像素值，Is表示s點(diǎn)像素值，Ω表示濾波子窗口。濾波函數(shù)g稱為濾波器的核函數(shù)，多采用高斯函數(shù)形式如式（3）所示，式中σ為設(shè)計(jì)參數(shù)，選取不同σ可得到不同尺度的濾波圖像。從公式（1）可以看出，雙邊濾波器同高斯濾波器相比采用了兩個(gè)高斯核函數(shù)，因此有兩個(gè)設(shè)計(jì)參數(shù)σ，為了區(qū)分兩個(gè)設(shè)計(jì)參數(shù)，這里分別采用下標(biāo)h和i相區(qū)分。其中g(shù)(‖‖p-s，σh)反映了p點(diǎn)像素和s點(diǎn)像素之間距離對(duì)s的影響，隨著p點(diǎn)像素離s點(diǎn)像素越遠(yuǎn)，其對(duì)s點(diǎn)像素的影響越小，即p點(diǎn)在對(duì)s點(diǎn)濾波中所占的權(quán)重較小。g(D(p，s)，σi)反映了p點(diǎn)和s點(diǎn)像素之間的相似程度對(duì)s的影響，當(dāng)p點(diǎn)和s點(diǎn)像素差值較小時(shí)即二者較為相似，則該項(xiàng)可提高p點(diǎn)在對(duì)s點(diǎn)濾波中所占的權(quán)重。p點(diǎn)像素值對(duì)s點(diǎn)像素值的作用受二者距離及相似度的綜合影響，在對(duì)圖像濾波時(shí)可有效保持圖像邊緣。而高斯濾波器在濾波時(shí)只考慮到像素間的距離，它在濾波時(shí)不僅對(duì)噪聲進(jìn)行濾除，對(duì)邊緣也做了平滑。

2.2 雙邊濾波核函數(shù)的改進(jìn)

雙邊濾波器的核函數(shù)為高斯函數(shù)，在計(jì)算過程中涉及到指數(shù)運(yùn)算、乘方運(yùn)算、除法運(yùn)算、加法運(yùn)算、減法運(yùn)算，而且濾波過程中存在迭代過程，因此計(jì)算量較大，此外應(yīng)用高斯函數(shù)不可避免的要人為設(shè)計(jì)一些參數(shù)。針對(duì)雙邊濾波器上述特點(diǎn)，本文對(duì)其核函數(shù)進(jìn)行改進(jìn)，改進(jìn)后公式如式（4）～（7）所示。從公式中可以看出，用公式（7）代替公式（3），公式（3）和公式（7）的三維網(wǎng)格圖如圖1所示，圖中x軸表示中心點(diǎn)到濾波像素X方向距離，單位為像素個(gè)數(shù)，y軸表示中心點(diǎn)到濾波像素Y方向距離，單位為像素個(gè)數(shù)，z軸表示核函數(shù)輸出值。從圖中可以看出二者變化趨勢(shì)一致，只是公式（7）的下降趨勢(shì)要緩一些，因此可以利用公式（7）近似取代公式（3）。

圖1 兩種核函數(shù)的網(wǎng)格圖

從公式（5）、（7）可以看出，隨著p點(diǎn)和s點(diǎn)的相似度減小g(D(p，s))值減小，反之增大，當(dāng)Ip=Is時(shí)，即p點(diǎn)和s點(diǎn)像素值相同，這時(shí)g(D(p，s))值為1，即認(rèn)為p點(diǎn)像素在濾波過程中起的作用與s點(diǎn)相同。從公式（6）和（7）可以看出，隨著p點(diǎn)像素離s點(diǎn)像素越遠(yuǎn)，g(‖‖p-s)值減小，反之增大，當(dāng)p=s時(shí)，g(‖‖p-s)表示s點(diǎn)本身在濾波中所占權(quán)重，這時(shí)認(rèn)為它的權(quán)重應(yīng)在參與濾波的所有像素中最大的，因此設(shè)為1。由此可見改進(jìn)的雙邊濾波方法能起到公式（1）相同的作用，但其計(jì)算形式要簡(jiǎn)單得多。

3 基于雙邊濾波的多尺度圖像融合

3.1 基于雙邊濾波的多尺度圖像的獲得

雙邊濾波器在平滑圖像的同時(shí)具有保留圖像邊緣的特性，因此這里可以利用雙邊濾波器結(jié)合高斯濾波器得到彩色圖像和近紅外圖像的不同尺度圖像。

針對(duì)彩色圖像分別采用高斯濾波器和雙邊濾波器對(duì)圖像進(jìn)行濾波，濾波后的圖像分別定義為IG和ID。IG為高斯濾波后圖像，它保留了圖像的大尺度信息，即低頻信息，這里稱為低頻圖像；ID為雙邊濾波后的圖像，它同高斯濾波圖像相比除了保留了圖像的大尺度信息外還保留了圖像的邊緣特征。用ID減去IG得到只含有邊緣信息的圖像用IEdge表示，定義如式（8）所示：

近紅外圖像同可見光圖像相比由于其成像波段較寬，既包括可見光部分又包括近紅外部分，因此其圖像中包含的圖像細(xì)節(jié)較可見光圖像更為豐富。這里可通過對(duì)近紅外圖像進(jìn)行雙邊濾波，然后同原近紅外圖像進(jìn)行相減得到尺度相對(duì)較小的細(xì)節(jié)圖像。為了敘述方便用IR代表近紅外圖像，IRD代表近紅外圖像進(jìn)行雙邊濾波后的圖像，IRDetail代表細(xì)節(jié)圖像，如式（9）所示：

則融合圖像可用公式（10）表示：

這里α、β為權(quán)重參數(shù)。

3.2 融合圖像權(quán)值的選取

這里，權(quán)重的選擇沒有只考慮需要融合的像素，而是以需要融合像素的鄰域均值作為權(quán)重取值的參考因素，好處在于可以削弱噪點(diǎn)對(duì)融合圖像的影響，使融合圖像在保持圖像邊緣、細(xì)節(jié)比原彩色圖像豐富的同時(shí)，極大地抑制了噪聲點(diǎn)對(duì)圖像的影響。

3.3 參與融合的圖像分量選取

在彩色圖像和灰度圖像融合的算法中，主要有兩種方式：一種是彩色圖像的RGB分量分別與灰度圖像進(jìn)行融合，融合后即得到新的彩色圖像，這種方法需要RGB三個(gè)分量都參與計(jì)算，因此計(jì)算量大；另一種方式對(duì)RGB圖像進(jìn)行顏色空間轉(zhuǎn)換把彩色圖像的顏色分量和亮度分量分開，用亮度分量和灰度圖像進(jìn)行融合，然后把融合后的圖像同顏色分量重構(gòu)出彩色圖像。這種方式計(jì)算量較小，因此這里采用這種方式。

此外由于彩色相機(jī)和近紅外相機(jī)的成像原理、傳感器敏感度、成像波段不同，如果直接把近紅外圖像作用于彩色圖像亮度分量上，將導(dǎo)致色彩嚴(yán)重失真。因此在把兩者融合之前，需要把近紅外圖像映射到彩色圖像亮度分量上，稱映射后的近紅外圖像為標(biāo)準(zhǔn)化圖像，其計(jì)算公式參考文獻(xiàn)[8]表示如下，式中IR′(x，y)為標(biāo)準(zhǔn)化圖像：

IR源(x，y)為近紅外源圖像，IR源D(x，y)表示對(duì)IR源(x，y)進(jìn)行雙邊濾波后的圖像；ID(x，y)表示對(duì)彩色圖像亮度分量進(jìn)行雙邊濾波后的圖像。在融和算法中所用的近紅外圖像均為標(biāo)準(zhǔn)化后的圖像。

4 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

圖2 使用幾種融合方法得到的效果圖

圖3 針對(duì)低對(duì)比度圖像融合效果圖

本文針對(duì)不同源圖像進(jìn)行算法驗(yàn)證。使用的計(jì)算機(jī)CPU為雙核的P8700，主頻為2.53 GHz，采用的編程環(huán)境為VC++2008。為了驗(yàn)證算法的有效性，選取兩組可見光彩色圖像和近紅外圖像進(jìn)行融合實(shí)驗(yàn)，其中第一組圖像尺寸為1 392像素×1 040像素，第二組圖像尺寸為1 024像素×768像素。它們的共同特點(diǎn)是可見光圖像為彩色圖像，由R、G、B三個(gè)色帶組成，三個(gè)色帶具有分光作用，因此圖像細(xì)節(jié)信息同近紅外圖像相比較少；不同點(diǎn)在于第二組圖像的可見光圖像對(duì)比度更低。采用主分量變換法、相關(guān)系數(shù)法、Eric的方法[13]、本文方法進(jìn)行融合實(shí)驗(yàn)，融合效果如圖2和圖3所示。由于圖像尺寸過大，只給出了局部圖像的融合效果圖。為了確定算法優(yōu)劣，引入了平均梯度這一客觀指標(biāo)對(duì)圖像效果進(jìn)行評(píng)價(jià)[15]。該指標(biāo)描述了圖像的清晰度，它的值越大表明圖像越清晰，其公式如式（16），式中ΔIx和ΔIy分別表示圖像在x和y方向的差分。

表1給出應(yīng)用不同算法進(jìn)行圖像質(zhì)量評(píng)價(jià)的結(jié)果；表2給出了不同算法計(jì)算時(shí)間對(duì)比結(jié)果。

表1 不同融合算法結(jié)果評(píng)價(jià)

表2 不同算法計(jì)算時(shí)間對(duì)比結(jié)果

從結(jié)果可以看出，Eric方法和本文提出的方法融合效果要優(yōu)于主分量變換法和相關(guān)系數(shù)法。通過人眼觀察也可以看出，圖2中采用Eric的融合方法和本文方法的兩幅圖像融合效果近似，而從色彩和圖像細(xì)節(jié)上均優(yōu)于主分量變換法和相關(guān)系數(shù)法；圖像3中采用主分量變換法和相關(guān)系數(shù)法得到的融合圖像色彩失真較大，而Eric的方法局部有飽和現(xiàn)象，本文提出的方法得到的圖像效果要優(yōu)于上述三種方法得到的圖像。該觀察結(jié)果同客觀評(píng)價(jià)方法得出的結(jié)論相同，因此可以看出本文提出的方法具有一定的實(shí)用價(jià)值。

5 結(jié)論

為了實(shí)現(xiàn)彩色圖像和近紅外圖像的融合，得到成像更為清晰的彩色圖像，提出一種基于雙邊濾波的多尺度圖像融合算法。本文算法同Eric采用的雙邊濾波融合算法相比，簡(jiǎn)化了核函數(shù)的形式，在融合過程中，采用了一種自適應(yīng)的融合系數(shù)選擇法；在融合系數(shù)選擇上沒有單純的對(duì)某一對(duì)參與融合的像素進(jìn)行考慮，而是把采用融合的像素對(duì)的鄰域進(jìn)行綜合考慮，選取融合系數(shù)，有效地避免把噪聲帶人融合圖像。

實(shí)驗(yàn)結(jié)果表明，本文提出的融合方法能夠提高彩色圖像的清晰度，且運(yùn)算時(shí)間要少于Eric的方法，有一定應(yīng)用價(jià)值。

[1]趙鵬，王霓虹，浦昭邦.基于多尺度形態(tài)學(xué)濾波器的圖像融合新方法[J].光學(xué)技術(shù)，2006，32（S）：207-211.

[2]Zhang Z，Blum R S.A categorization of multiscale-decomposition-based image fusion schemes[J].Proc of the IEEE，1999，87（8）：1315-1326.

[3]李燕，劉斌.采用梅花采樣方向?yàn)V波器組的多光譜圖像融合[J].計(jì)算機(jī)工程與應(yīng)用，2012，48（5）：183-185.

[4]彭啟民，賈云得.基于小波變換的全向圖像分辨率增強(qiáng)方法[J].電子學(xué)報(bào)，2004，32（11）：1875-1879.

[5]晁銳，張科，李言俊.一種基于小波變換的圖像融合算法[J].電子學(xué)報(bào)，2004，32（5）：157-159.

[6]Candes E J，Donoho D L.Curvelets and curvilinear integrals[J].Joural of Approximation Theory，2001，113：59-62.

[7]楊建惠，白超.átrous小波-NSCT遙感圖像融合[J].計(jì)算機(jī)工程與應(yīng)用，2013，49（5）：170-173.

[8]許開宇，李雙一.基于小波變換的圖像融合算法的實(shí)現(xiàn)[J].紅外技術(shù)，2007，29（8）：455-458.

[9]趙澄東，王旭輝，楊靜宇.一種基于改進(jìn)的概率圖像融合方法[J].計(jì)算機(jī)工程與應(yīng)用，2012，48（8）：182-184.

[10]胡燕翔，萬莉.大動(dòng)態(tài)范圍多曝光圖像融合方法[J].計(jì)算機(jī)工程與應(yīng)用，2014，50（1）：153-155.

[11]Tomasi C，Manduchi R.Bilateral filtering for gray and color image[C/OL].（1998）[2012-12-01].http：//ieeexplore.ieee.org/stamp/.

[12]Petschnigg G，Agrawala M.Digital photography with flash and no-flash pairs[J].ACM Trans on Graph，2004，23（3）：661-669.

[13]Eric P，John L，Leonard M.Multispectral bilateral video fusion[J].IEEE Trans on Image Proc，2007，16（5）：1185-1194.

[14]Durand F，Dorsey J.Fast bilateral filtering for the display of high-dynamic range images[J].ACM Trans on Graph，2002，21（3）：257-266.

[15]郭雷，李暉暉，鮑永生.圖像融合[M].北京：中國(guó)電子工業(yè)出版社，2008：53-54.