基于動態(tài)引導濾波的多尺度圖像融合算法

洪 銘 柳培忠 汪鴻翔

?

基于動態(tài)引導濾波的多尺度圖像融合算法

洪 銘 柳培忠 汪鴻翔

華僑大學工學院

該文基于動態(tài)引導濾波器（RGF）提出了一種新的圖像多尺度表示方法，并將其應用到圖像融合技術中。首先，使用RGF將輸入圖像用多種尺度的子圖表示；然后，基于顯著性檢測獲得輸入圖像的權重映射；最后使用基于遞歸濾波的加權融合方法得到最后的融合圖像。多組圖像融合實驗的比較結果表明，相比于其它基于多尺度分解的融合算法，本文提出的融合算法更好地保持了輸入圖像的細節(jié)信息，融合圖像的視覺效果更好。

RGF 顯著性檢測 遞歸濾波

1 概述

圖像融合是指將相同場景下的不同圖像合成一幅圖，圖像融合技術在計算機視覺、醫(yī)學圖像處理、遙感圖像、特征提取等領域都有廣泛應用[1]。融合后的圖像通常能提供更充分的場景信息，并且更有利于人眼和機器識別[2]。

多尺度變換理論被廣泛應用到各種圖像融合技術中?；诙喑叨茸儞Q的圖像融合技術主要步驟包括：一是將輸入圖像分解成多種尺度的子圖，二是根據給定的融合策略對分解子圖進行加權融合，三是使用逆變換重構融合圖像。其中圖像分解過程通常使用各種金字塔技術，包括拉普拉斯金字塔（LP）[3]、低通濾波金字塔（RP）[4]和梯度金字塔（GP）[5]。除此之外，小波變換[6]和曲波變換[7]也經常用于圖像融合領域。但是，由于這些多尺度變換方法通常會使用到上采樣或下采樣處理，從而使得融合后的圖像丟失掉部分細節(jié)信息[8,9]，并且在變換時也會引入噪聲，使得融合圖像的邊緣處產生圓暈效應。

本文基于動態(tài)引導濾波（RGF）提出了一種新的圖像多尺度分析方法。其中，RGF是最近提出的一種邊緣保持類平滑濾波器，也是一種尺度濾波器。通過改變RGF的參數可以得到各種尺度的平滑圖像和細節(jié)圖像，而且這種邊緣保持類分解過程不會損失圖像的細節(jié)信息。同時本文基于顯著性檢測獲得輸入圖像的權重映射，然后使用基于遞歸濾波的加權融合方法得到融合圖像。

2 動態(tài)引導濾波器

Zhang等[10]提出了一種新的基于尺度測量的邊緣保持類濾波器——RGF（rolling guidance filter）。相比于其它邊緣保持濾波器，RGF是基于迭代實現并且有著更快收斂的屬性，簡單、快速并且容易理解。RGF主要包含小結構移除和邊緣恢復兩個過程，能自動保存圖像中的大尺度結構。

首先，使用高斯濾波器移除小結構。用表示輸入圖像，表示輸出圖像，為高斯濾波器的標準差，和是像素下標。高斯濾波器如式（1）所示：

最后，將上述兩個步驟結合起來，即從輸入圖像I開始進行動態(tài)引導濾波。如果為常量C，那么有=C，則式（2）變?yōu)?，其形式與式（1）一樣。

由圖1可知，可以使用RGF移除圖像中紋理、細節(jié)和噪聲等小尺度結構，并且在移除這些結構時保存其它內容。同時由圖1可知，當改變參數時，可以移除圖像中各種尺度結構。圖1是取不同值時RGF的濾波結果，最左邊為輸入圖像，其它圖從左到右的值依次為4、8、32；值都為0.05，迭代4次。

3 圖像融合

將基于RGF的多尺度分解應用到圖像融合過程中，主要包括多尺度子圖獲取、融合權重估計和加權融合3個過程。其中多尺度子圖獲取主要通過改變來移除不同的尺度結構；權重估計和加權融合使用的是一種基于遞歸濾波的加權融合方法，該過程先通過顯著性計算分別獲取各子圖的權重，然后細化權重矩陣，最后加權融合各子圖獲得最終的融合圖像。本文提出的圖像融合流程如圖2所示。

圖2 圖像融合流程圖

3.1 獲取多尺度子圖

（4）

3.2 權重估計

由于人眼對于邊、角和不平滑區(qū)域更加敏感，本文將文獻[12]和[13]的3D采樣方法應用到2D圖像，得到顯著性映射如下所示：

（6）

（8）

3.3 權重細化和加權融合

由圖2可知，本文3.2小節(jié)中的權重估計充滿了噪聲和0、1權值。因此，本文采用一種基于遞歸濾波[14]的加權融合方法細化權重矩陣。遞歸濾波器是一種實時的邊緣保持平滑濾波器。這里將輸入圖像作為參考圖像，對權重映射進行遞歸濾波，得到基礎層權重映射和細節(jié)層權重映射：

（10）

4 結果與分析

4.1 評估機制

為了客觀評價圖像的融合質量，本文采用歸一化互信息QAB/F[11]和（MI）[13]兩種評估機制來衡量算法的有效性。

MI表示融合圖像從原圖像獲得的信息量的大小，具有對圖像間重疊塊大小不敏感的特征。設原圖像為I1和I2，融合圖像為F，則歸一化互信息MI可由文獻[13]中定義表示為：

其中，()、()和()分別表示A、B和F的邊緣熵，而()表示A和F的互信息，且(,)=()+()-()，其中()表示A和F的聯合熵。()的定義與MI(A,F)相似。

QAB/F表示融合圖像對于原圖像A、B的整體邊緣信息保存量，其值可表示為：

4.2 參數分析

在本文的所有實驗中，設置多尺度分解的層數L=5。同時，RGF濾波器的初始=3，=0.05，然后逐級增大，步長step=2。引導濾波器的兩個參數和對于本文算法有著一定的影響，當對基礎層進行融合時，需要大尺度的和模糊度；當對細節(jié)層進行融合時，和不易太大和太小。因此本文采用默認設置，即：=25,=15,=0.01。

4.3 與其它基于多尺度變換算法的比較

為了驗證本文算法的優(yōu)越性和有效性，將其與其它基于多尺度變換的算法，如拉普拉斯金字塔（LP）、低通濾波金字塔（RP）、梯度金字塔（GP）、小波變換和曲波變換進行比較。比較算法的參數與文獻[8]、[9]的設置一致。具體融合結果如圖3～圖5所示，表1為這幾種算法的MI和QAB/F值。

表1 本文算法（RGF_based）與其它基于多尺度變換的圖像融合算法性能比較

圖3是對Medical圖像融合效果的比較，其中兩輸入圖像具有互補的特征?？梢钥闯?，本文算法不僅能將兩幅圖中的重要信息保留下來，而且能保持比較好的對比度和清晰度。從表1也可以看出，本文算法取得了較高的MI值，表明本文算法能從原圖像獲得較多的信息量；同時本文算法的QAB/F值也比其他算法高，表明本文算法在融合過程中能有效保持輸入圖像的邊界。

依次為輸入圖像1，輸入圖像2，LP，RP，DWT，DTCWT，CVT和本文算法的融合結果。

圖4為Multifocus圖像融合效果的比較，即兩幅圖像的聚焦不同?？梢钥闯觯瑑奢斎雸D像的特征和清晰度在融合圖像中得到了保持，同時本文算法的對比度要稍好于其它算法。從表1的MI和QAB/F值可以看出差別，即本文算法較好地將源圖像中的清晰部分保留下來了。

依次為輸入圖像1，輸入圖像2，LP，RP，DWT，DTCWT，CVT和本文算法的融合結果。

圖5為可見光圖像與紅外圖像的融合?？梢姽鈭D像能夠更好反映物體的細節(jié)，而紅外圖像能夠有效捕捉發(fā)熱目標，因而在融合圖像中既有細節(jié)又有發(fā)熱目標。可以看出，本文算法得到的融合圖像對比度高，背景信息豐富，同時融合圖像中的草叢相比于其它算法要更加清晰。從表1也可看出，本文算法的MI和QAB/F值都較高。

依次為輸入圖像1，輸入圖像2，LP，RP，DWT，DTCWT，CVT和本文算法的融合結果。

5 結論

本文基于RGF提出了一種新的圖像多尺度表示方法，并將其應用到圖像融合技術中。首先，使用RGF將輸入圖像用多種尺度的子圖表示，再基于顯著性檢測獲得輸入圖像的權重映射，最后使用基于遞歸濾波的加權融合方法得到最后的融合圖像。多組圖像融合實驗的比較分析結果表明，相比于其它基于多尺度分解的融合算法，本文提出的融合算法更好地保持了輸入圖像的細節(jié)信息，融合圖像的視覺效果更好。

參考文獻：

[1] Goshtasby AA, Nikolov S.. Image fusion: Advances in the state of the art[J]. Information Fusion, 2007, 8(2): 114–118.

[2] Hall D L, Llinas J. An introduction to multisensor data fusion[J]. Proceedings of the IEEE, 1997, 85(1): 6?23.

[3] Burt P., Adelson E.. The laplacian pyramid as a compact image code[J]. IEEE Transcations on Communications, 1983, 31(4): 532–540.

[4] Petrovic V., Xydeas C.. Gradient-based multiresolution image fusion[J]. IEEE Transactions on Image Processing,2004, 13(2): 228–237.

[5] LI H., Manjunath B., Mitra S.. Multisensor image fusion using the wavelet transform[J]. Graphical Models and Image Processing, 1995, 57(3): 235–245.

[6] Lewis J., O’ Callaghan R., Nikolov S., et al.. Pixel- and region-based image fusion with complex wavelets[J]. Information Fusion, 2007, 8(2): 119–130.

[7] Nencini F., Garzelli A., Baronti S., et al.. Remote sensing image fusion using the curvelet transform[J]. Information Fusion, 2007, 8(2): 143–156.

[8] Piella G.. A general framework for multiresolution image fusion: from pixels to regions[J]. Information Fusion, 2003, 4(4): 259–280.

[9] LI S., YANG B., HU J.. Performance comparison of different multi-resolution transforms for image fusion[J]. Information Fusion, 2011, 12(2): 74–84.

[10] ZHANG Q., SHEN X., XU L., et al.. Rolling guidance fiter[C]//Computer Vision—ECCV 2014, 2014: 815–830.

[11] ZHAO Y., LIU Y., SONG R., et al.. A saliency detection based method for 3d surface simpli fication[C]//IEEE Conf. Acoustics, Speech and Signal Process., 2012, 889–892.

[12] LIU Y, LIU S, WANG Z. A general framework for image fusion based on multi-scale transform and sparse representation[J].Information Fusion, 2015, 24:147-164.

[13] LIU S., HE D., LIANG X.. An improved hybrid model for automatic salient region detection[J]. IEEE Signal Process, Lett., 2012, 19(4): 207–210.

[14] Eduardo S. L. Gastal, Manuel M. Oliveira. Domain Transform for Edge-Aware Image and Video Processing[J]. ACM Transactions on Graphics, 2011, 30(4): 193–202.