非負(fù)矩陣分解和新輪廓波變換的圖像融合

王 斐，梁曉庚，2，崔彥凱，武曉軍

1.西北工業(yè)大學(xué) 自動化學(xué)院，西安 7100722.洛陽光電技術(shù)發(fā)展中心，河南 洛陽 471009 3.洛陽電光設(shè)備研究所，河南 洛陽 471009

非負(fù)矩陣分解和新輪廓波變換的圖像融合

王 斐1，梁曉庚1，2，崔彥凱1，武曉軍3

1.西北工業(yè)大學(xué) 自動化學(xué)院，西安 710072
2.洛陽光電技術(shù)發(fā)展中心，河南 洛陽 471009 3.洛陽電光設(shè)備研究所，河南 洛陽 471009

1 引言

圖像融合是目前軍事、醫(yī)學(xué)、交通監(jiān)測等領(lǐng)域研究的熱點。如何提高融合圖像所保留源圖像的信息量和邊緣特征是圖像融合中的重要問題，另外，多幅源圖像中常含有冗余信息，如何去除冗余信息，減小運(yùn)算量也是圖像融合需要考慮的問題。

現(xiàn)有的圖像融合方法有空域法和變換域法?？沼蚍ê唵危菀讓崿F(xiàn)，但融合精度不高。變換域法主要是各種多分辨率融合方法，如：各種金字塔分解方法、小波變換方法以及近年來發(fā)展起來的Contourlet變換法等，小波變換無法有效表示二維圖像信息，Contourlet變換是一種真正意義上的圖像二維表示方法，具有良好的多分辨率、局部化和方向性等優(yōu)良特性[1]，目前的圖像融合多采用該方法。但它存在以下問題：（1）算法在圖像嶺脊處產(chǎn)生模糊偽影，融合后圖像容易出現(xiàn)信息丟失、邊緣模糊或丟失等現(xiàn)象；（2）算法本質(zhì)上是一種冗余變換，單獨使用無法有效去除冗余信息。

本文針對上述問題，將能有效去除冗余信息的非負(fù)矩陣分解和具有頻率局部尖銳化特征的新Contourlet變換相結(jié)合，將融合過程分為變換域分解和變換域融合兩步，提出了一種基于非負(fù)矩陣分解和新Contourlet變換的圖像融合新方法。圖像融合實驗以及與其他方法的對比實驗表

CNKI出版日期：2012-04-25 http://www.cnki.net/kcms/detail/11.2127.TP.20120425.1718.013.html明，本文算法提高了融合圖像的質(zhì)量，保留了更多的信息量和邊緣細(xì)節(jié)特征，應(yīng)用效果較好。

2 圖像的變換域分解

考慮到待融合的源圖像變換域分解后缺乏頻率尖銳局部化從而導(dǎo)致邊緣模糊的問題，以及尖銳頻率局部化Contourlet變換（CT-SFL）所具有的頻率局部尖銳化特點，本文將CT-SFL引入到圖像融合中，對源圖像進(jìn)行分解。

采用Contourlet變換進(jìn)行圖像融合時，缺乏頻率域的尖銳局部化是導(dǎo)致融合圖像信息丟失、邊緣模糊或丟失等現(xiàn)象的主要原因。而Yue Lu提出的尖銳頻率局部化Contourlet域變換可以有效地實現(xiàn)頻率局部尖銳化，消除Contourlet變換圖像嶺脊處產(chǎn)生的模糊偽影[2]。

CT-SFL變換采用了一種新的多尺度金字塔結(jié)構(gòu)實現(xiàn)多尺度分解，并在不同尺度上應(yīng)用不同的高低通濾波器組合，降低了DFB的頻率域混疊，大大減輕了非局部化問題，性能獲得了極大提升。

CT-SFL結(jié)構(gòu)圖如圖1所示。

圖1 CT-SFL結(jié)構(gòu)圖

CT-SFL頻域基圖像和空域基圖像分別如圖2（a）和圖2（b）所示。

圖2 CT-SFL頻率域基圖像和空域基圖像

由圖2可知，CT-SFL的頻率局域化現(xiàn)象非常好，空域正則性也較好。

由于CT-SFL變換的DFB中存在上采樣和下采樣，這使其缺乏平移不變性，因此，為了克服CT-SFL的這一缺陷，參考文獻(xiàn)[3]消除Contourlet變換平移非不變性的思路，本文將循環(huán)平移方法引入到CT-SFL中，以有效地抑制偽吉布斯現(xiàn)象，提高變換對平移的敏感性。

將源圖像進(jìn)行循環(huán)平移并變換域分解后，可以得到能夠有效去除邊緣模糊現(xiàn)象、具有尖銳頻率局部化特征的低頻圖像和帶通圖像。

3 圖像的變換域融合

為了保留源圖像更多的信息量并有效減少冗余信息，本文依據(jù)變換域分解后源圖像的低通和帶通子帶特點，分別設(shè)計了新的融合規(guī)則。

3.1 基于非負(fù)矩陣分解的低通子帶系數(shù)融合

低通子帶系數(shù)包含圖像主要信息，引入非負(fù)矩陣分解可以有效去除圖像中冗余信息，其主要思路是把一個秩較大的非負(fù)矩陣分解為兩個秩較小的非負(fù)矩陣的乘積，并且這種非負(fù)性的分解結(jié)果能更直接的表達(dá)一定的物理意義[4]。非負(fù)矩陣分解在圖像融合、人臉識別等領(lǐng)域有很大的利用價值[5-6]。

非負(fù)矩陣分解時需要給定一個n×m的非負(fù)矩陣V，并預(yù)先定義一個正整數(shù)r，通常r＜min(n，m)，尋找一個n×r的非負(fù)矩陣W和r×m的非負(fù)矩陣H，使得：

非負(fù)矩陣的求解過程就是通過迭代使V和WH之間的重構(gòu)誤差最小，其求解過程本質(zhì)上是求解如下的優(yōu)化函數(shù)[7]：

本文提出的低通子帶系數(shù)融合過程如下。

將待融合圖像V組成原始圖像集如下：

其中Ii為待融合的圖像，假設(shè)共有m副，M、N為每一副待融合圖像的的行數(shù)和列數(shù)，并令n=M×N，則有V∈Rn×m。V可近似分解為非負(fù)矩陣Wn×r和非負(fù)矩陣Hr×m的乘積，其中W可以看作對所有待融合圖像V進(jìn)行線性逼近的一組基，H是V在基W上的非負(fù)投影。通過選擇較小的r，就可以用相對較少的基向量表示V的大部分特征信息，本文選取灰度圖像基向量的維數(shù)為n×1，可從觀測圖像V中重構(gòu)恢復(fù)標(biāo)準(zhǔn)圖像W。

3.2 帶通子帶系數(shù)融合

由于帶通子帶系數(shù)對應(yīng)源圖像的細(xì)節(jié)信息，人類視覺系統(tǒng)對單個像素灰度值并不敏感，而對鄰域內(nèi)灰度的變化較為敏感。鄰域內(nèi)灰度變化較大的區(qū)域常對于邊緣細(xì)節(jié)信息，鄰域灰度方差的大小對應(yīng)邊緣細(xì)節(jié)信息的豐富程度和清晰度，鄰域內(nèi)能量的大小則對應(yīng)細(xì)節(jié)的整體亮度，綜合考慮二者因素，本文提出一種新的帶通系數(shù)融合規(guī)則。

假設(shè)Cl， k(i，j)表示l尺度k方向子帶(i，j)位置處的變換系數(shù)，則定義鄰域能量為：其中，El， k(i，j)表示l尺度k方向子帶以(i，j)為中心的窗口鄰域能量；P和Q表示窗口大小，此處為矩形窗，窗口尺寸為(2P+1)×(2Q+1);w(p，q)表示窗口權(quán)函數(shù)，距離窗口中心位置越近，則權(quán)值越大。

定義源圖像A和B的鄰域能量匹配度為：

其中，MEl， k(i，j)表示圖像A和B的l尺度k方向子帶(i，j)位置處的鄰域能量匹配度，一般有 MEl， k(i，j)∈[0，1]。若定義能量匹配度閾值T1，則ME＞T1表明源圖像A和B的鄰域能量相關(guān)程度較高，考慮能量融合因素時，需要對二者加權(quán)考慮，否則，取鄰域能量較大者即可。

定義鄰域方差為：

其中，Vl， k(i，j)表示l尺度k方向子帶以(i，j)為中心的窗口鄰域方差；(i，j)表示l尺度k方向子帶以(i，j)為中心的窗口鄰域平均值；P和Q表示窗口大小，此處為矩形窗，窗口尺寸為(2P+1)×(2Q+1);w(p，q)表示窗口權(quán)函數(shù)，距離窗口中心位置越近，則權(quán)值越大。

定義源圖像A和B的鄰域方差匹配度為：

其中：

式（7）中，MVl， k(i，j)表示圖像A和B的l尺度k方向子帶(i，j)位置處的鄰域方差匹配度，一般有MVl， k(i，j)∈[0，1]。若定義方差匹配度閾值T2，則MV＞T2表明源圖像A和B的鄰域方差相關(guān)程度較高，考慮方差融合因素時，需要對二者加權(quán)考慮，否則，取鄰域方差較大者即可。

設(shè)源圖像A和B的鄰域能量分別為EAN、EBN，鄰域方差分別為VAN、VBN，鄰域能量相對系數(shù) ρ1=EAN/EBN，鄰域方差相對系數(shù) ρ2=VAN/VBN，鄰域能量方差聯(lián)合相對系數(shù)ρ=ρ1·ρ2，定義鄰域能量方差聯(lián)合相對系數(shù)閾值Tρ（本文取Tρ=2），并設(shè)圖像A、B以及融合圖像F的l尺度k方向子帶(i，j)位置處系數(shù)簡記為CA、CB、CF，則有如下融合規(guī)則：

（2）若源圖像A和B的鄰域能量匹配度ME≥T1（本文取T1=0.95），且鄰域方差匹配度MV＜T2（本文取T2=0.75），則有：

3.3 算法步驟

本文算法步驟總結(jié)如下：

（1）對已配準(zhǔn)的兩幅圖像A和B進(jìn)行循環(huán)平移并進(jìn)行CT-SLF分解，得到低通子帶系數(shù)和帶通子帶系數(shù)。

（2）根據(jù)低通子帶系數(shù)和式（3）構(gòu)造矩陣V，對V進(jìn)行非負(fù)矩陣分解得W，以W作為融合圖像F的低通子帶系數(shù)。

（3）根據(jù)帶通子帶系數(shù)和帶通系數(shù)融合規(guī)則，得到融合圖像F的帶通子帶系數(shù)。

對上述結(jié)果進(jìn)行逆CT-SLF，并進(jìn)行逆循環(huán)平移，得到最終融合圖像F。

4 實驗結(jié)果與分析

為驗證本文算法，采用多組圖像進(jìn)行融合實驗。為驗證實驗結(jié)果的有效性，本文選擇空域和變換域中的典型有效算法和本文算法作對比?？沼蛑械牡湫退惴镻CA （Principal Component Analysis）法，變換域中有各種金字塔分解法（如性能較好的LP法）、小波法以及近幾年占據(jù)主流的Contourlet變換法。本文選擇PCA法、LP法以及Contourlet變換法作為參考。設(shè)低頻系數(shù)采用平均值融合、高頻系數(shù)采用最大值融合的融合規(guī)則為AVE-MAX融合，其中算法1為PCA法，算法2為LP法（AVE-MAX融合），算法3為CT法（AVE-MAX融合），本文算法為改進(jìn)CS-SFLCT法（低頻系數(shù)采用NMF法，高頻系數(shù)采用EngVar法），實驗時CT-SLF進(jìn)行5級分解。

紅外與可見光圖像以及基于上述不同算法的融合圖像如圖3。

從主觀效果上看，圖3中算法1得到的融合圖像整體視覺較暗，圖像邊緣不清晰，模糊有陰影；算法2得到的融合圖像邊緣模糊，且部分區(qū)域出現(xiàn)不連續(xù)；算法3得到的融合圖像雖然亮度和邊緣有改進(jìn)，但背景區(qū)域出現(xiàn)噪聲；本文算法較好地保留了源圖像的亮度特性和主要信息，有效抑制了背景區(qū)域噪聲，且融合圖像具有更好的邊緣保持效果，視覺效果較好。

引入客觀評價標(biāo)準(zhǔn)進(jìn)行定量分析，以精確評價融合結(jié)果。本文采用標(biāo)準(zhǔn)差、平均梯度、信息熵、互信息、邊緣信息保持值QABF對圖3中融合算法性能進(jìn)行比較，比較結(jié)果見表1。

圖3 紅外與可見光圖像以及不同算法融合圖像

表1 紅外與可見光圖像融合性能比較

為進(jìn)一步說明本文提出算法的有效性和實用性，本文選擇多聚焦圖像進(jìn)行融合實驗。實驗參數(shù)及融合算法的選擇與第一組實驗相同，融合圖像如圖4，采用客觀評價標(biāo)準(zhǔn)定量分析的結(jié)果如表2。

圖4 多聚焦圖像以及不同算法融合圖像

表2 多聚焦圖像融合性能比較

從圖4實驗結(jié)果可以直觀地看出，四種算法中本文算法融合結(jié)果的綜合效果最優(yōu)。圖4中算法1得到的融合圖像整體視覺較暗，圖像邊緣不清晰，模糊有陰影；算法2得到的融合圖像邊緣模糊，且部分區(qū)域出現(xiàn)不連續(xù)，如左聚焦鐘表的右邊緣中部區(qū)域不連續(xù)；算法3得到的融合圖像雖然整體效果比算法1要好很多，也比算法2清晰，但亮度比源圖像低，背景出現(xiàn)噪聲，部分邊緣區(qū)域出現(xiàn)模糊，如左聚焦鐘表的右邊緣中部區(qū)域出現(xiàn)模糊，表盤數(shù)字刻度有輕微的虛影；本文算法較好地保留了源圖像各自聚焦部分的亮度特性和主要信息，且融合圖像具有更好的邊緣保持效果。

比較表1數(shù)據(jù)可知，本文算法的標(biāo)準(zhǔn)差、平均梯度、信息熵、互信息、邊緣信息保持值QABF均高于其他算法。比較表2數(shù)據(jù)可知，本文算法也優(yōu)于其他算法。

實驗表明針對不同的源圖像本文算法較其他算法得到的融合圖像對比度較大，細(xì)節(jié)較清晰，信息量豐富，從原始圖像提取的信息較多，邊緣信息保持較好。

5 結(jié)束語

本文針對融合圖像保留源圖像信息量少和易邊緣模糊或丟失的問題，提出了一種非負(fù)矩陣分解和新輪廓波變換相結(jié)合的新圖像融合算法，該算法能有效提高圖像融合的質(zhì)量。仿真結(jié)果表明：利用本文提出的算法所得到的融合圖像，可以保留更多的信息量和邊緣細(xì)節(jié)特征，圖像亮度和對比度較好，具有較好的視覺效果，該算法可以應(yīng)用到其他多源圖像融合。

[1]Do M N，Vetterli M.The contourlet transform：an efficient directional multiresolution image representation[J].IEEE Trans on Image Processing，2005，14（12）：1-16.

[2]Lu Y，Do M N.A new contourlet transform with sharp frequency localization[C]//IEEE International Conference on Image Processing.Atlanta，GA：[s.n.]，2006，8（11）：1629-1632.

[3]Eslami R，Radha H.Translation-invariant contourlet transform and its application to image denoising[J].IEEE Transactions on Image Processing，2006，15（11）：3362-3374.

[4]Xu L，Dong J Y，Cai C B，et al.Multi-focus image fusing based on non-negative matrix factorization[C]//Proceedings of Mechatronics and Machine Vision in Practice.Xiamen，China：IEEE，2007：108-111.

[5]周浦城，韓裕生，薛模根，等.基于非負(fù)矩陣分解和HIS顏色模型的偏振圖像融合方法[J].光子學(xué)報，2010，39（9）：1682-1686.

[6]牛佳.基于CVX和非負(fù)矩陣分解的圖像融合研究[J].計算機(jī)工程與設(shè)計，2008，29（20）：5311-5313.

[7]LeeD D，SeungH S.Learning thepartsofobjectsby non-negative matrix factorization[J].Nature，1999，401（6755）：788-791.

WANG Fei1,LIANG Xiaogeng1，2,CUI Yankai1,WU Xiaojun3

1.School of Automation,Northwestern Polytechnical University,Xi'an 710072,China
2.Luoyang Photoelectric Technology Development Center,Luoyang,Henan 471009,China 3.Luoyang Institute of Electro-Optical Equipment,Luoyang,Henan 471009,China

In order to improve the information and edge details of fused image which come from the original images,fusing algorithm of Non-negative Matrix Factorization（NMF）combined new contourlet transform is proposed.The source images are employed with cycle spinning and the coefficients in different scales and directions are obtained by image decomposition using the new contourlet transform with sharp frequency localization.The fusion results of low pass coefficients are obtained by utilizing NMF and the fusion results of band pass coefficients are got by introducing into the energy-variance measure function as well as matching function.The fused image can be acquired through inverse contourlet transform and inverse cycle spinning. Experimental analysis and results show that the fusion algorithm can retain more information and edge details.

Non-negative Matrix Factorization（NMF）;sharp frequency localization;image fusion;energy-variance measure function

為提高融合圖像保留源圖像的信息量和邊緣特征，提出了非負(fù)矩陣分解和新輪廓波變換的圖像融合算法。以具有尖銳頻率局部化特征的新輪廓波對循環(huán)平移后的源圖像進(jìn)行分解；運(yùn)用非負(fù)矩陣分解實現(xiàn)低通子帶融合，采用能量方差測度函數(shù)和匹配度函數(shù)實現(xiàn)帶通子帶融合；對各子帶信號重構(gòu)并逆循環(huán)平移，得到融合圖像。實驗結(jié)果分析表明，該方法保留了更多的信息量和邊緣細(xì)節(jié)特征，應(yīng)用效果較好。

非負(fù)矩陣分解；尖銳頻率局部化；圖像融合；能量方差測度函數(shù)

A

TP391.41

10.3778/j.issn.1002-8331.1111-0555

WANG Fei,LIANG Xiaogeng,CUI Yankai,et al.Image fusion combined with NMF and new contourlet transform.Computer Engineering and Applications,2013,49（5）：150-153.

王斐（1976—），男，博士研究生，講師，研究領(lǐng)域：圖像處理、圖像融合、智能控制；梁曉庚（1960—），男，研究員，副總設(shè)計師，博士生導(dǎo)師，研究領(lǐng)域：導(dǎo)航制導(dǎo)與控制、圖像處理；崔彥凱（1980—），男，博士研究生，研究領(lǐng)域：圖像處理；武曉軍（1960—），男，工程師，研究領(lǐng)域：機(jī)載視頻系統(tǒng)研制。E-mail：feiwangnpu@163.com

2011-11-29

2012-02-03

1002-8331（2013）05-0150-04