基于快速非抽樣小波變換的巖屑多聚焦圖像融合

張 影，王正勇，王 林，何小海

ZHANG Ying,WANG Zhengyong,WANG Lin,HE Xiaohai

四川大學(xué) 電子信息學(xué)院，成都 610064

College of Electronics and Information,Sichuan University,Chengdu 610064,China

1 引言

在高分辨率巖屑圖像采集中，由于相機(jī)景深的限制和巖屑大小不一且表面凹凸不平，因此需要聚焦到不同平面采集多次，并通過多聚焦圖像融合[1-2]處理才能得到一幅目標(biāo)聚焦都清晰的巖屑圖像。近年來，人們使用較多的是基于非抽樣小波變換[3-4]的多聚焦圖像融合。20世紀(jì)90年代后，人們將小波變換技術(shù)用于圖像融合，取得了較好的融合質(zhì)量。Liuetal在融合過程中增加了方向?yàn)V波器[5]，在進(jìn)行小波變換時(shí)，分別對(duì)圖像的行和列進(jìn)行下采樣。Nunezetal[6]提出非抽樣小波變換方法，在進(jìn)行小波分解的過程中去除了下采樣。由于非抽樣小波變換的平移不變性，且有效地抑制了振鈴效應(yīng)和Gibbs現(xiàn)象，融合過程可以逐層跟蹤圖像中的重要特征，有效避免了虛假信息的引入，因此受到了人們?cè)絹碓蕉嗟那嗖A。然而，非抽樣小波變換算法非常復(fù)雜，極大地延長了圖像處理的時(shí)間，尤其對(duì)巖屑高分辨率圖像的處理實(shí)時(shí)性非常差。

本文提出了一種基于快速非抽樣小波變換的多聚焦圖像融合算法，該算法仍然采用非抽樣小波變換將圖像轉(zhuǎn)換到頻域進(jìn)行處理，同時(shí)針對(duì)空域直接對(duì)單個(gè)像素點(diǎn)處理上簡潔、直觀的特點(diǎn)，再將圖像轉(zhuǎn)換到空域上處理，非常有效地提高了圖像處理的實(shí)時(shí)性，也一定程度上改善了圖像的融合效果。

2 非抽樣小波變換

非抽樣小波變換是以抽樣小波變換為基礎(chǔ)，但是在每次分解時(shí)不進(jìn)行下采樣，因此每層變換后的高、低頻圖像與源圖像大小相等。它利用小波系數(shù)之間的冗余性尋找與鄰域系數(shù)之間的相關(guān)性，通過小波系數(shù)與鄰域系數(shù)之間的關(guān)系來確定包含圖像細(xì)節(jié)信息的非抽樣小波系數(shù)[7]。目前最常用的非抽樣小波正變換公式為[7]：

這里，A-1(x，y)為源圖像對(duì)應(yīng)的函數(shù)。式中的h(·)、g(·)分別對(duì)應(yīng)于非抽樣小波變換的低、高通分解濾波器系數(shù)，hi(·)、gi(·)分別對(duì)應(yīng)于非抽樣小波變換的低、高通重構(gòu)濾波器系數(shù)，Aj(x，y)、Dj(x，y)為尺度 2j，位置(x，y)處非抽樣尺度函數(shù)系數(shù)和非抽樣小波系數(shù)，分別對(duì)應(yīng)于非抽樣小波的概貌子帶、水平細(xì)節(jié)子帶、垂直細(xì)節(jié)子帶和對(duì)角細(xì)節(jié)子帶。

顯然，傳統(tǒng)的非抽樣小波變換的正、反變換算法都十分復(fù)雜，并且正、反變換的運(yùn)算量也非常大。假如在非抽樣小波變換融合過程中取消其反變換運(yùn)算，那么將極大地提高圖像處理的實(shí)時(shí)性。

由于非抽樣小波變換沒有抽樣和插值的過程，且依次對(duì)圖像像素點(diǎn)進(jìn)行處理，因此對(duì)一幅圖像進(jìn)行非抽樣小波變換后，每一層分解得到的一幅低頻概貌圖像、三幅高頻細(xì)節(jié)圖像都與源圖像大小一樣。所以，進(jìn)行非抽樣小波變換后的小波系數(shù)，不僅包含了源圖像的所有特征信息，而且還存在一些冗余信息，而這些冗余信息便有利于尋找這些小波系數(shù)之間的依賴關(guān)系。假如對(duì)一幅二維圖像進(jìn)行N層非抽樣小波分解，將得到(3N+1)個(gè)與源圖像大小相同的小波系數(shù)圖像，尤其對(duì)于本文處理的高分辨率巖屑圖像，需要很大的內(nèi)存空間，即對(duì)電腦的配置要求很高。然而經(jīng)過深入研究，進(jìn)行一層非抽樣小波變換后得到的小波系數(shù)所包含的圖像信息，足以滿足后續(xù)圖像融合的需求，因此本文算法采用非抽樣小波一層分解。

3 快速非抽樣小波融合算法

3.1 傳統(tǒng)非抽樣小波融合算法

基于非抽樣小波變換的多聚焦圖像融合算法主要是對(duì)不同分解層、不同頻帶的小波系數(shù)采用相應(yīng)融合規(guī)則分別進(jìn)行融合處理，然后再作非抽樣小波反變換，即得到所需要的融合圖像，如圖1示。

圖1 傳統(tǒng)非抽樣小波融合算法

基于非抽樣小波變換的圖像融合過程中，決定融合結(jié)果質(zhì)量的關(guān)鍵因素是處理高低頻小波系數(shù)時(shí)采用的融合算法[8]。根據(jù)人眼對(duì)局部對(duì)比度變化較敏感的特點(diǎn)，在參與融合的源圖像中選擇顯著邊緣和線段等的清晰特征，并將這些特征保留到最后的融合圖像中。因此，選擇一種好的融合算法，對(duì)于圖像融合的處理效果十分必要。

3.2 快速非抽樣小波融合算法

多聚焦圖像融合主要有基于空域和變換域兩種方法?；诳沼虻亩嗑劢箞D像融合方法，不對(duì)參與融合的各源圖像進(jìn)行任何圖像變換或分解，也就不存在因變換或分解而產(chǎn)生的信息損失，其原理簡單易懂、計(jì)算量小。非抽樣小波變換在每個(gè)分解層數(shù)據(jù)量保持不變，在逐層跟蹤圖像中的重要特征方面性能更強(qiáng)，并且具有線性相伴特性和空間坐標(biāo)一致性，也使得按像素級(jí)[9]進(jìn)行分析成為可能。因此，本文結(jié)合空域和變換域兩種融合方法的優(yōu)點(diǎn)，提出了一種基于快速非抽樣小波變換的多聚焦圖像融合算法。該算法從頻、空域結(jié)合的角度對(duì)圖像進(jìn)行融合處理，基本思想是：設(shè)待融合圖像分別為圖像A和圖像B，融合結(jié)果為圖像F。首先對(duì)圖像A和B分別作非抽樣小波正變換，然后將得到的三個(gè)高頻小波系數(shù)絕對(duì)值和作為融合規(guī)則，即：若圖像A的高頻系數(shù)絕對(duì)值和最大，則選取圖像A對(duì)應(yīng)空間位置的像素值作為融合圖像F對(duì)應(yīng)位置的像素值，否則，選取圖像B對(duì)應(yīng)空間位置的像素值作為融合圖像F對(duì)應(yīng)位置的像素值，如圖2示。

圖2 本文算法流程框圖

具體步驟如下：

（1）分別對(duì)圖像A和B進(jìn)行非抽樣小波一層分解，得到概貌子帶 A0(x，y)、水平細(xì)節(jié)子帶、垂直細(xì)節(jié)子帶和對(duì)角細(xì)節(jié)子帶

（2）分別計(jì)算待融合圖像A和B對(duì)應(yīng)像素點(diǎn)的高頻系數(shù)絕對(duì)值和：

其中，K取為A、B。

（3）得到的融合圖像F可表示為：

其中C為常數(shù)，一般取值為4.00～15.00，最優(yōu)值取決于待融合圖像。

針對(duì)人眼的視覺敏感特性，高頻小波系數(shù)絕對(duì)值和越高，表明對(duì)應(yīng)的邊緣細(xì)節(jié)特征越明顯，給人的視覺反映越直觀。該融合規(guī)則能夠識(shí)別源圖像的特征，提取出不同源圖像的清晰部分，獲得一幅目標(biāo)聚焦都清晰的融合圖像。在理論上，傳統(tǒng)的非抽樣小波變換在進(jìn)行正變換將圖像由空域變換到頻域上后，必須進(jìn)行反變換再將圖像變換回空域，顯然，在反變換過程中必然造成一定的信息損失，又由于反變換算法十分復(fù)雜，這樣不僅延長了圖像的處理時(shí)間，而且也增加了圖像的計(jì)算誤差。本文算法取消了反變換，將融合后的結(jié)果直接應(yīng)用于源圖像，減少了處理過程中噪聲等的影響，極大地提高了圖像處理的實(shí)時(shí)性。它將頻域與空域進(jìn)行了完美的結(jié)合，取其各自的優(yōu)點(diǎn)，提取出待融合圖像的清晰部分，獲得了一幅完全清晰的融合圖像。

由于該融合規(guī)則是針對(duì)像素級(jí)融合，因此，在進(jìn)行非抽樣小波變換之前，待融合圖像需要進(jìn)行精確的配準(zhǔn)。由于本文算法在獲得融合結(jié)果后，直接對(duì)待融合圖像進(jìn)行處理，因此很大程度上減少了處理過程中噪聲干擾產(chǎn)生的影響，增強(qiáng)了圖像處理的魯棒性。

另外，融合后的圖像，有時(shí)會(huì)出現(xiàn)某像素點(diǎn)與周圍相鄰像素點(diǎn)來自不同源圖像的情況，即融合圖像的像素是不連續(xù)的，則需要對(duì)融合圖像F進(jìn)行一致性校驗(yàn)。即：選取3×3窗口，如果融合圖像F中心像素點(diǎn)來自源圖像A，而其周圍8個(gè)鄰域內(nèi)來自源圖像B的像素點(diǎn)個(gè)數(shù)大于或等于6，則將中心像素值置換成源圖像B對(duì)應(yīng)的像素值。該方法有效地提高了融合圖像的連續(xù)性和抗噪能力。

其中，CA為以F(x，y)為中心的的3×3窗口內(nèi)取自圖像A的像素點(diǎn)個(gè)數(shù)，CB為以F(x，y)為中心的的3×3窗口內(nèi)取自圖像B的像素點(diǎn)個(gè)數(shù)。

4 實(shí)驗(yàn)結(jié)果及分析

非抽樣小波變換將圖像由空域轉(zhuǎn)換到頻域，提取出圖像的概貌特征和邊緣細(xì)節(jié)特征。融合規(guī)則是圖像融合的核心部分，其算法的優(yōu)劣將直接影響最終圖像融合的效果。高頻分量對(duì)應(yīng)圖像的細(xì)節(jié)信息，針對(duì)視覺敏感性，它能直接反映出圖像的清晰度。

本文的實(shí)驗(yàn)環(huán)境：32位x86操作系統(tǒng)，Intel?CoreTMCPU i5-2400 3.09 GHz，3.23 GB的內(nèi)存。

4.1 融合算法對(duì)比

在非抽樣小波變換的基礎(chǔ)上，將本文提出的多聚焦圖像融合算法與幾種基于非抽樣小波變換的多聚焦圖像融合算法進(jìn)行對(duì)比實(shí)驗(yàn)。其中較常用的基于非抽樣小波變換的多聚焦圖像融合算法使用了以下5種融合規(guī)則，分別是：（1）三個(gè)高頻絕對(duì)值和取大、低頻取平均；（2）高低頻分別取大；（3）三個(gè)高頻絕對(duì)值和取大、低頻依據(jù)梯度；（4）三個(gè)高頻絕對(duì)值和取大、低頻對(duì)比度取大；（5）三個(gè)高頻絕對(duì)值和取大、低頻在高頻基礎(chǔ)上判斷。目前一種較新的多聚焦圖像融合算法[1]：高、低頻分別依據(jù)標(biāo)準(zhǔn)差、向量模值。

圖3 原圖及融合結(jié)果圖

圖3（a）～3（c）為依次由低到高聚焦的三幅巖屑圖像，圖像像素大小都為5 184×3 456，圖3（d）為本文提出的基于非抽樣小波變換的多聚焦圖像融合算法的融合圖像，采用的是一層非抽樣小波正反變換。圖3（e）～3（j）為以上提出的六種基于傳統(tǒng)非抽樣小波變換的多聚焦融合算法的融合圖像（通過大量測(cè)試證明，當(dāng)進(jìn)行非抽樣小波三層分解時(shí)，基于傳統(tǒng)非抽樣小波變換的多聚焦圖像融合的融合效果相對(duì)較優(yōu)，因此圖3（e）～3（j）采用的是非抽樣小波三層分解）。圖3顯示了截取的待融合圖像和融合圖像的小部分圖像，表1為這些圖像的融合質(zhì)量評(píng)估。

表1 本文算法（非抽樣）與幾種常用非抽樣小波融合算法質(zhì)量比較

從圖3和表1可以看出，不僅在直觀視覺效果上，而且在平均梯度、信息熵、空間頻域的客觀數(shù)值評(píng)估上，本文提出的融合算法都優(yōu)于其他幾種非抽樣小波融合算法。

4.2 融合時(shí)間對(duì)比

采用本文提出的多聚焦圖像融合算法，對(duì)上述三幅待融合圖像分別進(jìn)行快速非抽樣和非抽樣小波變換，對(duì)比得到的融合圖像及其融合時(shí)間。

圖4（a）為本文提出的基于快速非抽樣小波變換的多聚焦圖像融合算法的融合圖像。圖4（b）為采用本文提出的融合算法的非抽樣小波變換的融合圖像（其中進(jìn)行了一層非抽樣小波正反變換）。圖4為截取它們的小部分圖像，表2為這兩幅圖像的融合質(zhì)量評(píng)估。

圖4 快速非抽樣小波與非抽樣小波融合結(jié)果圖

表2 快速非抽樣小波融合與非抽樣小波融合圖像質(zhì)量比較

從圖4和表2中可以看出，在直觀視覺效果和平均梯度、信息熵、空間頻域的客觀數(shù)值評(píng)估上，這兩幅融合圖像的融合效果差別很小。然而，在融合時(shí)間上，基于快速非抽樣小波變換的多聚焦圖像融合遠(yuǎn)遠(yuǎn)快于基于非抽樣小波變換的多聚焦圖像融合，尤其對(duì)于高分辨率的的巖屑圖像，快速非抽樣小波變換具有非常明顯的優(yōu)勢(shì)，很大程度上提高了圖像融合處理的實(shí)時(shí)性。因此，在圖像融合處理時(shí)間要求比較高的情況下，快速非抽樣小波融合算法具有較強(qiáng)的實(shí)用性。

5 結(jié)論

本文分析研究了傳統(tǒng)非抽樣小波的正反變換算法，針對(duì)其對(duì)巖屑這樣的高分辨率圖像，處理實(shí)時(shí)性很差的缺點(diǎn)，結(jié)合頻、空域的處理方法，提出了基于快速非抽樣小波變換的多聚焦圖像融合。文中比較了該融合算法與六種非抽樣小波變換融合算法，并且對(duì)比了快速非抽樣小波變換與非抽樣小波變換的融合時(shí)間，實(shí)驗(yàn)結(jié)果表明，基于快速非抽樣小波變換的多聚焦圖像融合算法獲得了比較好的圖像融合效果，并極大地提高了實(shí)時(shí)性，具有較好的應(yīng)用前景。

[1]Zhang Qiang，Guo Bao-long.Multifocus image fusion using the nonsubsampled contourlet transform[J].Signal Processing，2009，89（7）：1334-1346.

[2]Yang Shu-yuan，Wang Min，Lu Yan-xiong，et al.Fusion of multiparametric SAR images based on SW-nonsubsampled contourlet and PCNN[J].Signal Processing，2009，89（12）：2596-2608.

[3]Balster E J，Zheng Y F，Ewing R L.Feature-based wavelet shrinkage algorithm for image denoising[J].IEEE Trans on Image Processing，2005，14（12）：2024-2039.

[4]矯媛，黃斌文.基于上下文模型的非抽樣小波圖像去噪[J].科技信息，2010（19）：52-54.

[5]Kie B.Fusion of multiple images with robust random field models[J].IEEE，2003：335-338.

[6]Nunezetal J，Otazu X，F(xiàn)ors O.Multiresolution-based image fusion with additive wavelet decomposition[J].IEEE Transactions on Geoscience and Remote Sensing，1999，37（3）：1204-1211.

[7]靳士利，趙志剛.基于非抽樣小波的多閾值去噪[J].青島大學(xué)學(xué)報(bào)，2009，22（4）：77-81.

[8]李光鑫，王珂，張立保.加權(quán)多分辨率圖像融合的快速算法[J].中國圖象圖形學(xué)報(bào)，2005，12（10）：1529-1536.

[9]李暉暉.多傳感器圖像融合算法研究[D].西安：西北工業(yè)大學(xué)，2006.