使用代數(shù)多重網(wǎng)格進(jìn)行多聚焦圖像融合

黃 穎，解 梅，李偉生，高靖淞

?

使用代數(shù)多重網(wǎng)格進(jìn)行多聚焦圖像融合

黃 穎1，解 梅2，李偉生3，高靖淞3

(1. 重慶郵電大學(xué)軟件工程學(xué)院 重慶南岸區(qū) 400065；2. 電子科技大學(xué)電子工程學(xué)院 成都 611731；3. 重慶郵電大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院 重慶南岸區(qū) 400065)

針對將代數(shù)多重網(wǎng)格對圖像結(jié)構(gòu)信息的提取能力應(yīng)用到圖像的融合方面進(jìn)行了研究，提出了一種基于代數(shù)多重網(wǎng)格的自適應(yīng)多聚焦圖像融合算法。首先提取圖像的粗網(wǎng)格數(shù)據(jù)，然后進(jìn)行分塊重建，根據(jù)分塊重建結(jié)果與原始圖像的均方差選擇合適的源圖像分塊進(jìn)入融合圖像。為了避免分塊之間的不連續(xù)性，采用了自適應(yīng)的策略。實(shí)驗(yàn)結(jié)果表明，自適應(yīng)圖像融合的結(jié)果沒有丟失有效信息，能夠最大程度地將清晰物體保留在融合圖像之中。

自適應(yīng)算法; 代數(shù)多重網(wǎng)格; 圖像融合; 圖像重構(gòu); 多聚焦圖像

在獲取具有不同深度的多個(gè)物體的圖像時(shí)，由于光學(xué)聚焦的因素，導(dǎo)致無法對不同深度的物體都獲得比較清晰的結(jié)果。一種解決辦法是對于不同深度的物體使用不同的焦距進(jìn)行采集，然后在后期的處理中將其融合成各個(gè)物體都比較清晰的一幅圖像，融合的結(jié)果能夠比輸入圖片提供更多更為準(zhǔn)確的信息，為后續(xù)的圖像分割、物體識別等高層次的任務(wù)提供更為有效的信息。圖像融合是數(shù)字圖像處理的一個(gè)重要分支，可以分為空間域和變換域的圖像融合方法。加權(quán)平均融合、主成分分析(PCA)融合、獨(dú)立成分分析(ICA)融合方法等都可以歸為空間域方法，其缺點(diǎn)是在融合結(jié)果圖中產(chǎn)生了空間變形。變換域的方法主要有小波方法[1]、Contourlet方法[2]等。隨著多分辨率分析理論的成熟，多分辨率變換域的方法得到了較大的應(yīng)用，如Laplacian金字塔方法[3]、比率金字塔方法[4]、小波金字塔方法等。這些方法比傳統(tǒng)的空間域方法有更好的效果。其他的方法，如神經(jīng)網(wǎng)絡(luò)、模糊理論、支持向量機(jī)、基于非負(fù)矩陣分解、核Fisher判別分析和粒子群優(yōu)化算法等也被應(yīng)用到多聚焦圖像融合領(lǐng)域，取得了較好的結(jié)果。

代數(shù)多重網(wǎng)格(AMG)方法的概念最先由文獻(xiàn)[5]提出，基本思想是引進(jìn)一種粗網(wǎng)格系列加速細(xì)網(wǎng)格修正量的傳播以得到快速消除擾動(dòng)的結(jié)果。AMG方法與幾何多重網(wǎng)格法相比，它不依賴于求解問題的幾何特性，在松弛步驟上采取自適應(yīng)粗化，使之在很多問題上能夠取得穩(wěn)健高效的效果[6]。AMG方法僅利用方程組本身的信息求解代數(shù)方程組，允許在無結(jié)構(gòu)的網(wǎng)格上進(jìn)行求解，因此更容易擴(kuò)展到圖像處理等領(lǐng)域。AMG方法在圖像中的應(yīng)用主要是將圖像重構(gòu)、圖像二值化和圖像去噪[7-8]等通過差分方程(PDE)表示，并使用AMG方法來進(jìn)行快速求解。

本文對AMG方法應(yīng)用于圖像融合進(jìn)行了一些初步的研究。根據(jù)分析可知，AMG方法重建后的圖像與原始圖像之間的均方差能夠較好地反映圖像的清晰度，因此可以用來指導(dǎo)多聚焦圖像的融合。像素層融合方法中需要采取較為復(fù)雜的機(jī)制來保證融合結(jié)果的連續(xù)性，否則容易出現(xiàn)一些塊狀模糊的結(jié)果。為了避免出現(xiàn)這一結(jié)果，本文采用了自適應(yīng)分塊的方法來進(jìn)行處理。

1 圖像融合算法和AMG重建方法

1.1 圖像融合算法簡介

本文主要借鑒了加權(quán)平均法和金字塔分解融合法的一些思想，是一種多尺度的融合方法。

加權(quán)平均融合是最簡單的融合方法，將每幅圖像中相同位置的像素值進(jìn)行加權(quán)平均構(gòu)成最終的融合圖像，表達(dá)式為：

小波方法的主要優(yōu)勢在于完善的重構(gòu)能力，對于圖像的近似信息和細(xì)節(jié)信息具有較好的提取能力等。在一幅圖像的小波分解中，絕對值較大的小波高頻系數(shù)對應(yīng)著圖像中對比度變換較大的邊緣特征，如邊界、亮線及區(qū)域輪廓。通過對不同的源圖像的小波系數(shù)進(jìn)行融合，可以將其中顯著的目標(biāo)保留，表達(dá)式為：

1.2 AMG算法及其重建算法

AMG方法直接針對方程組，它的組元構(gòu)造僅利用方程組本身的信息，如系數(shù)矩陣元素之間的相對大小關(guān)系、強(qiáng)連接點(diǎn)的性質(zhì)等。AMG方法的求解對象是滿足一定條件的線性問題。首先，定義最細(xì)的網(wǎng)格為，構(gòu)造一個(gè)網(wǎng)格序列使得：

AMG方法分為兩步：平滑和粗網(wǎng)格修正過程。平滑過程可以迅速將高頻分量去掉，而粗網(wǎng)格修正過程則可以幫助修正被光滑的低頻分量，通過不斷迭代快速精確地處理問題。AMG方法的具體思路是先在細(xì)網(wǎng)格上做松弛迭代，然后將誤差投影到粗一層網(wǎng)格上，在粗網(wǎng)格上又做松弛迭代，繼續(xù)平滑相應(yīng)的高頻部分。依次類推，直到最粗的一層。在最粗一層用直接法求解，然后用插值算子將所求得的誤差返回到細(xì)網(wǎng)格上，用以修正原有結(jié)果，直到最細(xì)的一層。

對AMG方法得到的粗層數(shù)據(jù)進(jìn)行分析，粗網(wǎng)格中會保留強(qiáng)連接部分而去掉弱連接部分，將這種機(jī)制應(yīng)用到圖像處理，可以發(fā)現(xiàn)AMG方法粗化的網(wǎng)格可以提供較為豐富的輪廓信息。在AMG方法粗化的各層數(shù)據(jù)中，變化劇烈的細(xì)節(jié)部分點(diǎn)分布聚集，而平滑模糊部分點(diǎn)分布較稀疏均勻。AMG方法在計(jì)算粗網(wǎng)格時(shí)，網(wǎng)格密度會根據(jù)圖像中的變化情況而改變。初始化時(shí)原始圖層中網(wǎng)格是等密度的，但在粗網(wǎng)格中，圖像灰度變化平滑區(qū)，網(wǎng)格密度較為稀疏和比較規(guī)則，而當(dāng)灰度變化急劇時(shí)，網(wǎng)格密度則很稠密而且不規(guī)則，這種現(xiàn)象在一定程度上反映了AMG算法中自適應(yīng)網(wǎng)格的作用。根據(jù)這種特性，在粗網(wǎng)格上插值進(jìn)行圖像的重構(gòu)，因粗網(wǎng)格較好保持了圖像的結(jié)構(gòu)，理論上可以得到較好的重構(gòu)結(jié)果。考慮AMG的粗網(wǎng)格序列的點(diǎn)集合是按照網(wǎng)格的代數(shù)信息(這里認(rèn)為是圖像的灰度信息)選取的，所以粗網(wǎng)格的點(diǎn)不規(guī)則，應(yīng)該將每層網(wǎng)格中的點(diǎn)對應(yīng)到原始圖像中的相應(yīng)位置，這樣才能得到較好的插值效果。

根據(jù)以上的討論，使用AMG方法進(jìn)行圖像重構(gòu)算法的過程為：

2) 針對每一層粗網(wǎng)絡(luò)，初始化一個(gè)原始圖像相同大小的空圖像，對應(yīng)中為1的位置用原始圖像對應(yīng)位置的像素值表示，其他位置用0表示；

2 圖像融合算法的步驟

采用AMG方法提取圖像的粗層數(shù)據(jù)，并進(jìn)行重建，將原始圖像與重建圖像之間的關(guān)系用均方差(MSE)表示。對圖像進(jìn)行分塊，對分塊計(jì)算MSE指導(dǎo)圖像融合。當(dāng)重建結(jié)果與兩個(gè)源圖像之間的MSE的差大于某個(gè)閾值時(shí)，可以確定其中只包含了某個(gè)清晰模塊，如圖1a所示，直接選取清晰塊進(jìn)入融合結(jié)果。而當(dāng)與兩個(gè)源圖像的差小于某個(gè)閾值的時(shí)候，這時(shí)可能出現(xiàn)兩種情況：一種情況是該分塊中只包含了某個(gè)清晰物體，但是該清晰物體在兩個(gè)源圖像中使用AMG方法提取的強(qiáng)連接點(diǎn)都較少，因此導(dǎo)致重建后與兩個(gè)源圖像的差值較小，如圖1b所示；另一種情況是該分塊包含了清晰和模糊兩個(gè)部分，如圖1c所示。

a. 分塊中只包含清晰塊

b. 分塊中包含區(qū)別較小的清晰塊

c. 分塊中包含清晰塊和模糊塊

針對這些分塊分成4個(gè)子分塊進(jìn)行重建，如果重建后4個(gè)子分塊的結(jié)果一致，且與上一級分塊的結(jié)果一致，則認(rèn)為是第一種情況，直接根據(jù)結(jié)果選擇合適的源圖像進(jìn)入融合結(jié)果即可；否則認(rèn)為是第二種情況，這時(shí)需要確定清晰塊和模糊塊的邊界，有：

針對分塊中有清晰塊和模糊塊的情況，采用自適應(yīng)分塊的方法進(jìn)行處理。通過檢查該分塊與周邊分塊的連續(xù)性，這可以通過在多個(gè)方向上檢測相鄰邊緣像素的梯度和來進(jìn)行判定。如果分塊在某個(gè)方向上梯度和大于給定的閾值時(shí)，則進(jìn)行標(biāo)記，需要進(jìn)一步處理。如果有兩個(gè)相鄰的邊緣梯度和大于閾值，如圖2a所示(大于閾值的邊用粗黑線表示)，則需要將其進(jìn)一步分塊，對其中3個(gè)子塊(圖中用灰色區(qū)域表示)進(jìn)行進(jìn)一步的比較；如果有相鄰3邊及以上都具有上述情況，如圖2b所示，則直接用另一個(gè)圖像源塊來替代。

a. 兩個(gè)相鄰邊梯度和大于閾值的情況

b. 3個(gè)相鄰邊梯度和大于閾值的情況

根據(jù)上述分析，本文融合算法的主要步驟為：

3 實(shí)驗(yàn)結(jié)果及其分析

本文使用的重建和融合的源圖像如圖3所示。圖4為針對clockA提取的粗網(wǎng)格圖。從粗網(wǎng)格的結(jié)果中可以看出，AMG方法提取的邊緣特征較為明顯。圖中較好地保留了兩個(gè)鐘表的邊緣和表盤的指針和數(shù)字，圖4c是圖4a中右側(cè)鐘表的局部放大，能夠更清晰的看到其中的幾個(gè)數(shù)字。

在粗網(wǎng)格的數(shù)據(jù)基礎(chǔ)上進(jìn)行重建的結(jié)果如圖5所示。隨著層數(shù)的遞增，仍然可以看出重構(gòu)的圖像中能較好地保持細(xì)節(jié)部分。圖3中部分圖像的重構(gòu)結(jié)果與原始圖像的比較如表1所示。從表1中可以看出，針對一些簡單的結(jié)構(gòu)，如meningg圖，第3層粗網(wǎng)格都能得到十分精確的重建。針對比較復(fù)雜的結(jié)構(gòu)，如combine圖，在第一層中能得到較好的結(jié)果，說明AMG方法對于紋理結(jié)構(gòu)的提取也比較有效。圖6是對clockA和clockB進(jìn)行融合后并與其他算法進(jìn)行比較的結(jié)果。PCA、Select minimal、Laplacian、Wavelet等方法使用Imagefuse工具實(shí)現(xiàn)。

a. clockA

b. clockB

c. diskA

d. diskB

e. face

f. eggplane

g. combine

h. meningg

圖3 文中使用的源圖像

a. 第一層粗化圖像

b. 第二層粗化圖像

從圖6中可以看出，均值融合方法能夠提高模糊部分的清晰度，但其代價(jià)是丟棄了局部信息和部分邊緣的信息。Select minimal方法選擇兩副圖像中像素灰度值小的圖像進(jìn)行融合，減小了圖像的對比度。PCA方法和均值融合方法都是對兩幅原始圖像進(jìn)行線性組合，只是權(quán)值的設(shè)置有所不同，其結(jié)果是丟失了部分原始信息。Laplacian方法和小波融合方法在變換域進(jìn)行融合，其設(shè)計(jì)的關(guān)鍵是融合規(guī)則的設(shè)計(jì)，但是都存在變換域丟失信息的情況，如小波方法會丟失圖像的高頻信號。本文方法的實(shí)質(zhì)是通過AMG方法精確地將清晰塊提取，使用原始圖像進(jìn)行替換，沒有使原始圖像損失，同時(shí)對圖像分塊之間進(jìn)行梯度檢測，做到梯度最小化，保證了塊之間的連續(xù)性，避免了大塊模糊的結(jié)果。

a. 第一層插值的圖像

b. 第二層插值的圖像

圖5 利用第一和第二層粗網(wǎng)格數(shù)據(jù)進(jìn)行插值的結(jié)果 (源圖像:clockA)

表1 利用1～3層粗網(wǎng)格進(jìn)行重建的結(jié)果(使用MSE表示)

圖7是diskA和diskB的融合結(jié)果并與其他方法進(jìn)行了比較。從圖7的結(jié)果中可以看出，本文方法在大塊圖片特征檢測時(shí)具有較好的效果，但是當(dāng)清晰和模糊的邊緣不在分塊的邊界時(shí)，會產(chǎn)生一些局部的小塊模糊，這也是分塊融合方法的缺點(diǎn)。但是本文方法能將圖中絕大部分的清晰部分保留在融合結(jié)果中。鐘表的左邊輪廓在模糊過程中產(chǎn)生了偏移，導(dǎo)致在兩個(gè)源圖像中鐘表輪廓的位置不一致，這是本文圖片融合的一個(gè)難點(diǎn)。使用小波、Laplacian等方法會出現(xiàn)兩個(gè)邊緣之間的明顯界限，而均值融合方法雖然沒有明顯的界限，但是結(jié)果相對很模糊。本文算法能夠較好地得到鐘表清晰的邊緣部分，顯示了該算法的較好融合能力。

a. 均值融合方法????b. PCA方法

c. Select minimal方法????d. Laplacian方法

a. 均值融合方法????b. pca方法

c. select minimal方法????d. Laplacian方法

為了進(jìn)一步測試該方法的優(yōu)越性，根據(jù)近幾年相關(guān)的研究論文中獲得的數(shù)據(jù)來進(jìn)行對比測試，測試對象為clock圖像。本文中用到的主要指標(biāo)[9]有熵、峰值信噪比PSNR、互信息、均方誤差MSE和交叉熵等。表2為與其他方法的對比結(jié)果，從表2中可以看出，本文方法中PSNR和互信息最大，交叉熵和MSE最小，與標(biāo)準(zhǔn)圖像的熵最為接近，沒有丟失也沒有增加額外的信息量，也可以從一定程度上說明本文方法的優(yōu)越性。

表2 與最近文獻(xiàn)結(jié)果的比較

4 結(jié)束語

本文提出了一種基于AMG方法的自適應(yīng)圖像融合算法。實(shí)驗(yàn)結(jié)果表明本文算法沒有丟失有效信息，能夠最大程度地將清晰物體保留在融合圖像之中。傳統(tǒng)的AMG的應(yīng)用一般強(qiáng)調(diào)AMG方法在解決PDE方面的優(yōu)勢，而本文則著重在代數(shù)多重網(wǎng)格方法提取圖像結(jié)構(gòu)方面的能力，這在一定程度上擴(kuò)展了代數(shù)多重網(wǎng)格方法的應(yīng)用領(lǐng)域。

[1] SHAH P, MERCHANT S N, DESAI U B. An efficient adaptive fusion scheme for multi-focus images in wavelet domain using statistical properties of neighborhood[C]//Proc 14th Int Information Fusion (FUSION) Conf. [S.l.]: [s.n.], 2011: 1-7.

[2] WANG M, PENG D, LIU Z, et al. Image fusion using a contourlet HMT model[C]//Proc Int Symp Intelligent Signal Processing and Communication Systems ISPACS. [S.l.]: [s.n.], 2007: 678-681.

[3] SCOTT J, PUSATERI M A. Laplacian based image fusion[C]//Proc IEEE 39th Applied Imagery Pattern Recognition Workshop (AIPR). [S.l.]: IEEE, 2010: 1-7.

[4] SADJADI F. Comparative image fusion analysais[C]// Proc CVPR Workshops Computer Vision and Pattern Recognition Workshops IEEE Computer Society Conf. [S.l.]: IEEE, 2005.

[5] BRANDT A, MCCORMICK S, RUGE J. Algebraic multigrid (AMG) for automatic multigrid solution with application to geodetic computations[R]. Fort Collins, Colorado, USA: Institute for Computational Studies, 1982.

[6] WATANABE K, IGARASHI H, HONMA T. Comparison of geometric and algebraic multigrid methods in edge-based finite-element analysis[J]. IEEE Transactions on Magnetics, 2005, 41(5): 1672-1675.

[7] TORRES-MADRONERO M C, VELEZ-REYES M. Integrating spatial information in unsupervised unmixing of hyperspectral imagery using multiscale representation[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2014, 7(6): 1985-1993.

[8] DENG Juan, BAN Yi-fang, LIU Jin-shuo, et al. Hierarchical segmentation of multitemporal Radarsat-2 SAR data using stationary wavelet transform and algebraic multigrid method[J]. IEEE Transactions on Geoscience and Remote Sensing, 2014, 52(7): 4353-4363.

[9] 何貴青, 陳世浩, 田沄, 等. 多傳感器圖像融合效果綜合評價(jià)研究[J]. 計(jì)算機(jī)學(xué)報(bào), 2008, 31(3): 486-492.

HE Gui-qing, CHEN Shi-hao, TIAN Yun, et al. Synthesis performance evauluation of multi-sensor image fusion[J]. Chinese Journal of Computers, 2008, 31(3): 486-492.

[10] VEKKOT S, SHUKLA P. A novel architercture for wavelet based image fusion[J]. World Academy of Science, Engineering and Technology, 2009(57): 372-377.

[11] LI X, HE M, ROUX M. Multifocus image fusion based on redundant wavelet transform[J]. Image Processing, IET, 2010, 4(4): 283-293.

[12] ADU J, WANG M. Multi-focus image fusion based on WNMF and focal point analysis[J]. Journal of Convergence Information Technology, 2011, 6(7): 109-117.

[13] 郭雷, 程塨, 趙天云. 基于小波變換和鄰域特征的多聚焦圖像融合算法[J]. 西北工業(yè)大學(xué)學(xué)報(bào), 2011, 29(3): 454-459.

GUO Lei, CHENG Gong, ZHAO Tian-yun, A new and effective mult-focus image fusion algorithm based on wavelet transforms and neighborhood features[J]. Journal of Northwestern Polytechnical University, 2011, 29(3): 454-459.

編 輯 漆 蓉

Research on Multi-Focus Image Fusion Algorithm Based on Algebraic Multigrid Method

HUANG Ying1, XIE Mei2, LI Wei-sheng3, and GAO Jing-song3

(1. School of Software Engineering, Chongqing University of Posts and Telecommunications Nan’an Chongqing 400065; 2. School of Electronic Engineering, University of Electronic Science and Technology of China Chengdu 611731; 3. Institute of Computer Science and Technology, Chongqing University of Posts and Telecommunications Nan’an Chongqing 400065)

An adaptive multi-focus image fusion algorithm based on algebraic multigrid (AMG) method is proposed for the capability to extract structural information of an image. The data of the coarse level is extracted to reconstruct the image block, appropriate source image block is selected into the fusion result according to the mean square error between the reconstructed image block and the original image block. For smoothing the fused result, an adaptive strategy is used. Experimentalresults show that most of the clear objects can be retained in the fused image with the proposed algorithm without loss of effective information.

adaptive algorithm; algebraic multigrid (AMG); image fusion; image reconstruction; multi-focus image

TP391.4

A

10.3969/j.issn.1001-0548.2015.02.019

2012-02-06；

2014-11-13

重慶市教委科學(xué)技術(shù)研究項(xiàng)目(kJ1400408)；重慶市基礎(chǔ)與前沿研究計(jì)劃(cstc2014jcyjA40043)

黃穎(1978-)，男，博士，副教授，主要從事數(shù)字圖像處理、模式識別和人工智能方面的研究.