基于多小波的高分辨率與多光譜圖像融合

劉佳，段先華，孫慶國

（江蘇科技大學(xué) 計算機(jī)科學(xué)與工程學(xué)院，江蘇 鎮(zhèn)江 212003）

圖像以特定的空間分辨率和波譜段記錄地面上的一切客體和地面以下的部分地理信息。高空間分辨率全色圖像反映了空間結(jié)構(gòu)信息，能夠詳盡地表達(dá)地物的細(xì)節(jié)特征；低空間分辨率多光譜圖像的光譜信息豐富，有利于對地物的識別與解釋。將高分辨率的全色圖像與含有豐富光譜信息的多光譜圖像進(jìn)行有效地融合，得到一幅既保持豐富光譜信息又有較高分辨率的圖像。

感圖像融合中，較成熟的像素級融合方法主要有線性加權(quán)平均算法，HIS變換法，PCA變換法，小波變換法以及這幾種不同方法結(jié)合的方法[1-3]。線性加權(quán)平均算法雖然簡單運算量小，但是每幅原圖像特征被極大的削弱了，融合效果欠佳。而HIS變換直接替換融合法由于高分辨率圖像和多光譜圖像的成像原理等條件存在很大差異，造成這兩種圖像之間相關(guān)性弱，因此會降低圖像的光譜信息。而直接小波變換會丟失原始圖像一些邊緣信息，造成細(xì)節(jié)不夠清晰，紋理比較粗糙[1]，另外小波變換是依賴于小波基可以用較少的非零小波系數(shù)去逼近實際函數(shù)，因此選擇小波基應(yīng)該是以盡量產(chǎn)生接近于零的小波系數(shù)為最優(yōu)，但是這需要小波基的一些特性為前提，正交性確保圖像分解系數(shù)不具有冗余性；緊致性保證濾波器的有限響應(yīng)；對稱性適合于人眼的視覺系統(tǒng)；但是Duabechies等人證明在實數(shù)域中除Harr小波外，對稱、正交、緊支集非平凡單小波基是不存在的，這限制了單小波的應(yīng)用。而多小波卻克服了這些，具有這些特性。1994年，Geronimo等人應(yīng)用分形插值方法構(gòu)造出了具有緊支撐，正交性，對稱性和二階消失矩的多小波中兩尺度函數(shù)。1996年，Geronimo等人再次應(yīng)用分形插值方法構(gòu)造出了GHM多小波系統(tǒng)，該系統(tǒng)由兩個尺度函數(shù)和兩個小波組成[4]。所以本文采用結(jié)合HIS變換與GHM多小波變換的變換方法。

變換方法之外，不同的融合規(guī)則的選擇對融合效果有重要的影響。第三代人工神經(jīng)網(wǎng)絡(luò)脈沖耦合神經(jīng)網(wǎng)絡(luò)（Pulse Coupled Neural Network，PCNN），是一種不同于傳統(tǒng)人工神經(jīng)網(wǎng)絡(luò)的新型神經(jīng)網(wǎng)絡(luò)。1989年，ReinhardEckhorn和Charles M.Gray研究了貓的大腦視覺皮層，提出了具有脈沖同步發(fā)放特性的網(wǎng)絡(luò)模型。1990年，ReinhardEckhorn根據(jù)貓的大腦皮層同步脈沖發(fā)放現(xiàn)象，提出了展示脈沖發(fā)放現(xiàn)象的連接模型。1994年，Johnson發(fā)表論文，闡述了PCNN的周期波動現(xiàn)象及在圖像處理中具有旋轉(zhuǎn)、可伸縮、扭曲、強(qiáng)度不變性，通過對Eckhorn提出的模型進(jìn)行改進(jìn)，就形成脈沖耦合神經(jīng)網(wǎng)絡(luò)（PCNN）模型。Li等人[5]提出了一種基于小波包分解與PCNN相結(jié)合的圖像融合方法，它將PCNN網(wǎng)絡(luò)的脈沖輸出量作為圖像融合的準(zhǔn)則，由于采用小波包對圖像進(jìn)行處理，實驗結(jié)果表明該方法融合圖像后易出現(xiàn)邊緣移位的現(xiàn)象；武治國等人設(shè)計實現(xiàn)了一種基于自適應(yīng)PCNN和小波變換的融合技術(shù)[6]，效果不錯?；谏鲜觯疚牟捎昧艘环N將HIS變換，多小波變換及PCNN神經(jīng)網(wǎng)絡(luò)相結(jié)合的圖像融合算法。

1 相關(guān)圖像融合方法介紹

1.1 HIS變換及逆變換

人眼不能直接感覺紅、綠、藍(lán)三色的比例，而只能通過感知顏色的亮度、色調(diào)以及飽和度來區(qū)分物體，而色調(diào)和飽和度與紅、綠、藍(lán)的關(guān)系是非線性的。IHS模型是另一種表色系統(tǒng)，它是基于視覺原理的一個系統(tǒng)，定義了3個互不相關(guān)，相互獨立的屬性：明度（I），色調(diào)（H）和飽和度（S），可分別對它們進(jìn)行控制來獲得不同的顯示效果。明度是指彩色光所引起的人眼對明暗程度的感覺，明度和照射光的強(qiáng)度有關(guān)。色調(diào)是指光的顏色，改變色光的光譜成分，就會引起色調(diào)的變化。色的飽和度是指色的顏色的深淺程度。HIS變換方法，將一幅彩色圖像的R、G、B成分分離成代表空間信息的明度（I）與代表光譜信息的色調(diào)（H）和飽和度（S）3個成分。變換方法有很多[3]，三角形法，圓柱體法，六棱錐法。本文采用圓柱體法。

1.2 多小波變換原理

小波變換是信號分析發(fā)展史上的里程碑。與單小波相比較，多小波同時具備諸如緊支性、正交性、對稱性等諸多在信號處理中非常重要的良好性質(zhì)，決定了多小波是一種優(yōu)于單小波的信號處理技術(shù)。在小波分析中，一個多分辨率分析是由一個小波函數(shù)平移與伸縮構(gòu)成L2（R）空間的基。多分辨率分析多小波變換，則是多個小波函數(shù)平移與伸縮構(gòu)成L2（R）空間的基，這些小波函數(shù)被稱為多小波。

方程（1）和（2）成為二尺度方程。r×r階矩陣序列{Hk}k∈Z和分別為低通濾波器和高通濾波器滿足其平移和伸縮形成正交補(bǔ)子空間的正交基，即Vj在Vj+1中的補(bǔ)子空間。

圖1為r=2的多小波的進(jìn)行2層分解，當(dāng)多小波分解進(jìn)行到第L層，會生成一個包含3L+1塊矩陣的結(jié)共有（3L+1）r2個子圖像。

圖1 多小波的進(jìn)行2層分解Fig.1 2 layer of multiwavelet decomposition

用離散的小波系數(shù)進(jìn)行分解和重構(gòu)的Mallat算法對于多小波同樣適用，多小波基于矢量濾波器對信號進(jìn)行分解、重構(gòu)。濾波對象必須是滿足一定要求的矢量信號。因此在進(jìn)行多小波分解前必須通過前置濾波器對原始信號進(jìn)行預(yù)處理得到初始矢量，預(yù)濾波方法有多種，常用的預(yù)濾波方法有：odd/even法，Haar法，標(biāo)Haar法，平滑法[7]。然后在進(jìn)行多小波變換，重構(gòu)后的信號也要進(jìn)行后處理才能得到最終結(jié)果。

本文以GHM多小波進(jìn)行分解與重構(gòu)，其中低通濾波器系數(shù)矩陣如下：

由于多小波變換具有矢量性，其變換系數(shù)表現(xiàn)出矢量性，所以在低頻分量采用矢量融合策略，綜合矢量的分量之間的關(guān)系[7]。

1.3 PCNN模型

PCNN是由若干個神經(jīng)元互相連接而成的反饋型網(wǎng)絡(luò)，其每一個神經(jīng)元由3各部分組成：接收部分、調(diào)制部分和脈沖產(chǎn)生部分，PCNN用于圖像處理時，是一個單層二維的局部連接的網(wǎng)絡(luò)，神經(jīng)元的個數(shù)等于輸入圖像中的像素點的個數(shù)，神經(jīng)元與像素點一一對應(yīng)，人們并提出了很多模型，本文采用其中的一種簡化模型[8－9]，如圖2所示。

圖2 神經(jīng)元簡化模型Fig.2 A simplified model of neuron

其數(shù)學(xué)方程描述

其中，i，j是神經(jīng)元標(biāo)號，F(xiàn)ij（n）是（i，j）神經(jīng)元在第 n 次迭代時的反饋輸入。Iij（n）為外部輸入刺激信號，圖像中的像素值；Lij（n）是神經(jīng)元的鏈接輸入，β 是鏈接強(qiáng)度，Yij（n）則是第次迭代時（i，j）神經(jīng)元的輸出；Wij，pq為神經(jīng)元之間的連接權(quán)系數(shù)矩陣，VL是連接輸入的放大系數(shù)；θij和Vθ是變閾值函數(shù)輸出和閾值放大的放大系數(shù)，αL和αθ分別為鏈接輸入和變閾值函數(shù)的時間常數(shù)，表示迭代次數(shù)。 若 Uij（n）＞θij（n），脈沖發(fā)生器打開則神經(jīng)元產(chǎn)生一個脈沖，稱該神經(jīng)元一次點火，輸出為1，之后θij在閾值信號發(fā)生器中通過反饋而迅速得到提高，當(dāng)其提高到大于Uij時，脈沖發(fā)生器關(guān)閉，輸出為0，從而形成脈沖信號。

2 HIS變換，多小波變換及PCNN神經(jīng)網(wǎng)絡(luò)相結(jié)合的圖像融合算法

2.1 基于HIS變換，多小波變換及PCNN相結(jié)合的圖像融合方法步驟

第1步：多光譜圖像空間配準(zhǔn)。因為采用像素級融合，所以采用的圖像必須進(jìn)行嚴(yán)格的配準(zhǔn)。否則會嚴(yán)重影響融合結(jié)果。

第2步：多光譜圖像進(jìn)行HIS變換。得到3個分量I、H、S。

第3步：將第2步得到的I分量與高分辨率圖像分別進(jìn)行GHM多小波變換1級分解，預(yù)濾波采用”O(jiān)dd/even”方法。

第4步：對上步分解后的子塊高低頻分別進(jìn)行融合。

第5步：將融合后的F進(jìn)行反GHM變換，然后在進(jìn)行后處理濾波得到I′。

第6步：將I′與第2步得到H、S分量進(jìn)行HIS逆變換得到融合結(jié)果。

2.2 低頻融合方法

低頻采用矢量加權(quán)平均[7]。令A(yù)，B為將待融合圖像多小波變換后的矢量，F(xiàn)為多小波變換域融合圖像矢量，即

式中 α，β 為加權(quán)系數(shù)（α，β 非負(fù)，α+β=1）。 采取。

2.3 高頻融合方法

在選擇高頻系數(shù)時，采用了PCNN方法。由于傳統(tǒng)的基于PCNN的圖像融合中，所有神經(jīng)元鏈接強(qiáng)度取相同數(shù)值，但是單個神經(jīng)元的點火會對其鏈接的鄰近神經(jīng)元做出貢獻(xiàn)，鏈接強(qiáng)度β與圖像該像素處的特征信息有一定的關(guān)系，應(yīng)該隨著圖像特征變化進(jìn)行自適應(yīng)地調(diào)整，這樣才可以有效地提取圖像細(xì)節(jié)信息。所以本文采用方向性信息來自適應(yīng)鏈接強(qiáng)度[8]。高頻系數(shù)采用點火次數(shù)取大者作為融合后的圖像像素點。

3 實驗結(jié)果及分析

實驗環(huán)境：win7 64位系統(tǒng)，matlab R2010b

為了測試本文融合算法的有效性，用兩組IKONOS衛(wèi)星圖像進(jìn)行仿真實驗，采用IKNOS 1 m高分辨率圖像和4 m的多光譜數(shù)據(jù)。并與HIS變換直接替換I分量方法（簡稱方法1），HIS變換與單小波變換結(jié)合的方法（Daubechies小波系中‘db4’，n=3）（簡稱方法 2）， 基于多小波極大方差－極大能量的矢量方法（MV－ME）[7]（簡稱方法 3），參考文獻(xiàn)[8]中的方法（簡稱方法4）從平均梯度，偏差指數(shù)，信息熵3個方面進(jìn)行融合結(jié)果比較。兩組實驗相應(yīng)融合結(jié)果見圖3和圖4，相應(yīng)數(shù)據(jù)結(jié)果比較見表1和表2。

本文所采用的方法中PCNN神經(jīng)元的參數(shù)選擇[8]迭代次數(shù)選擇n=200

結(jié)果分析：

1）視覺方面：方法1，2的融合效果更清晰，其次清晰的是方法4和本文方法，方法3在這幾個方法中最不清晰，但是方法1和方法2光譜失真較其它方法嚴(yán)重。所以從視覺上綜合看方法4以及本文方法會令人滿意些，在提高空間分辨率的同時最大的保持了光譜特性。

2）客觀評價方面，本文從信息熵，平均梯度，偏差指數(shù)3個指標(biāo)進(jìn)行評價。熵是圖像信息豐富程度的一個指標(biāo)。融合圖像的熵越大，則融合圖像的信息量越大。平均梯度可敏感的反映圖像對微小細(xì)節(jié)反差表達(dá)的能力，可以用來衡量圖像的清晰度，其越大越清晰。偏差系數(shù)反映了融合圖像與源圖像的光譜信息上的匹配程度，偏差系數(shù)越小，表明圖像融合效果越好。

圖3 5種方法融合結(jié)果Fig.3 Five results of fusion

圖4 5種方法融合結(jié)果圖像Fig.4 Five results of fusion image

表1 5種方法融合結(jié)果表格Tab.1 Table of fusion results

表2 5種方法融合結(jié)果表格Tab.2 Table of fusion results

①熵：方法2的熵最大，然后依次是本文方法＞方法3＞方法 1＞方法 4

②平均梯度：方法2＞方法1＞本文方法＞方法4＞方法3

③偏差指數(shù)：方法3<本文方法<方法4<方法2<方法1

方法1的3個指標(biāo)都沒有方法2好。方法2偏差指數(shù)很大，說明光譜失真很嚴(yán)重。方法3清晰度很差。所以從以上數(shù)據(jù)顯示方法4和本文方法綜合起來效果比較好，但是時間上看方法4在多小波分解之后融合花費102.542秒而本方法花費46.094秒。綜上所述本文方法取得的結(jié)果綜合比較起來比其他方法好。

4 結(jié) 論

由于PCNN方法[10]計算有些復(fù)雜又有不斷的迭代計算，運行時間較作比較的方法有點長，所以低頻系數(shù)融合采用矢量加權(quán)，減少了PCNN方法計算次數(shù)，縮短了時間，實驗結(jié)果表明，本文方法在實驗效果綜合起來由于前3種方法，時間上優(yōu)于第4種方法并保持了其效果。空間信息得到了提高，光譜信息失真也可容許。但是在高頻系數(shù)融合時采用的PCNN自適應(yīng)鏈接強(qiáng)度β的選擇沒有進(jìn)行更明確的比較研究，什么樣的方案更合適，而只是采用參考文獻(xiàn)中一種根據(jù)的方向信息決定的β，這點是應(yīng)該做進(jìn)一步研究的。

[1]朱福珍，李金宗，李冬冬.HIS變換與小波變換相結(jié)合的圖像融合新方法[J].計算機(jī)應(yīng)用研究，2009，26（2）:784－786.ZHU Fu-zhen，LI Jin-zong，LI Dong-dong.New image fusion method based on combination of HIS and wavelet transform[J].Application Research of Computers，2009，26 （2）:784－786.

[2]張桂銘，朱小麗，張興明.基于HIS變換融合IKONOS不同分辨率影像[J].科技資訊，2009（20）：4－6 ZHANG Gui-ming，ZHU Xiao-li，ZHANG Xing-ming.Image fusion of IKONOS different resolution based on HIS[J].Science&Technology Information，2009（20）:4－6.

[3]王仁禮，戚銘堯.用于圖像融合的IHS變換方法的比較[J].測繪學(xué)院學(xué)報，2000，17（4）:269－272 WANG Ren-li，QI Ming-yao，WANG Hui.Comparative study on the method of HIS transformation for image fusion[J].Journal of Institute of Surveying and Mapping.，2000，17（4）:269－272.

[4]Geronimo J，Hardin D P，Massopust P.Fractal functions and wavelet expansions based on several scaling funxtions[J].J Approx Theory，1994（78）:373－401.

[5]LI W，ZHU X F.A new image fusion algorithmbased on wavelet packet analysis and PCNN[C]//Proceedings of the Fourth International Conference on Machine Learning and Cybernetics，2005:5297－5301.

[6]武治國，王延杰，李桂菊.應(yīng)用小波變換的自適應(yīng)脈沖耦合神經(jīng)網(wǎng)絡(luò)在圖像融合中的應(yīng)用 [J].光學(xué)精密工程，2010，18（3）:708－715.WU Zhi-guo，WANG Yan-jie，LI Gui-ju.Application of adaptive PCNN based on wavelet transform to image fusion[J].Optics and Precision Engineering，2010，18（3）:708－715.

[7]吳曉蓉，何明一.基于多小波分解的多光譜圖像矢量融合[J]. 電子與信息學(xué)報，2007，29（4）:789－794.WU Xiao-rong，HE Ming-yi.Vector fusion of multispectral images based on multiwavelet decomposition[J].Journal of Electronics&Information Technology，2007，29（4）:789－794.

[8]夏加星.醫(yī)學(xué)圖像融合方法研究[D].鎮(zhèn)江：江蘇科技大學(xué)，2012.

[9]王志慧，趙保軍，沈庭芝.基于MMPN和可調(diào)節(jié)鏈接強(qiáng)度的圖像融合[J].電子學(xué)校，2010（5）:1162－1166.WANG Zhi-hui，ZHAO Bao-jun，SHEN Ting-zhi.Image fusion based on MMPN and adjustable linking strength[J].ACTA Electronica Sinica，2010（5）:1162－1166.

[10]胡玉成，王創(chuàng)新.基于區(qū)域方向的NSCT與PCNN圖像融合算法[J].電子科技，2014（4）:30－33.HU Yu-cheng，WANG Chuang-xin.The NSCT and PCNN image fusion algorithm based on regional direction[J].Electronic Science and Technology，2014（4）:30－33.