多源影像融合及優(yōu)化方法研究

宋亞萍，劉長(zhǎng)征，錢(qián)立鵬，易佳昕

(石河子大學(xué)信息科學(xué)與技術(shù)學(xué)院,新疆 石河子832003)

有效利用和處理多源遙感影像數(shù)據(jù)是當(dāng)前遙感應(yīng)用領(lǐng)域的重要課題之一[1]。由于衛(wèi)星傳感器硬件技術(shù)及衛(wèi)星發(fā)射成本等客觀(guān)因素的限制，生成不同研究和應(yīng)用所需的高時(shí)空分辨率衛(wèi)星影像最便捷高效、低成本的可行手段是將分別具有高時(shí)間和高空間分辨率的多源遙感影像進(jìn)行時(shí)空影像融合[2]。

POHL C等[3]在1998年系統(tǒng)地闡述了多光譜影像融合的基本概念，從此，對(duì)影像融合技術(shù)的理論與應(yīng)用成為研究熱點(diǎn)。安萍等[4]以資源一號(hào)02C與Landsat8衛(wèi)星遙感影像作為數(shù)據(jù)源，采用主成分分析、Brovery、色彩變化法、HPF和超分辨率貝葉斯算法進(jìn)行對(duì)比研究，通過(guò)3組數(shù)據(jù)實(shí)驗(yàn)及其統(tǒng)計(jì)指標(biāo)得出HPF和超分辨率貝葉斯算法對(duì)影像融合效果較好；李欣騰等[5]將Landsat8衛(wèi)星影像與高分一號(hào)衛(wèi)星全色影像應(yīng)用色彩變化融合、PCA融合、比值變換融合、GS融合、DWT融合和Atrous小波融合6種融合方法進(jìn)行圖像融合試驗(yàn)，通過(guò)目視解譯和定量評(píng)價(jià)得出最佳融合方法和各個(gè)融合方法的優(yōu)勢(shì)性；楊帆分別進(jìn)行同源、異源影像融合比較分析，得出同源融合優(yōu)于異源融合、不同融合算法在異源和同源傳感器影像中的融合表現(xiàn)不盡相同[6]；紀(jì)峰等[7]研究表明遙感圖像融合可以提高多光譜圖像空間分辨率,同時(shí)可以保留其多光譜性，最終達(dá)到優(yōu)勢(shì)互補(bǔ)的目的。另外，李霖等[8]研究表明不同遙感衛(wèi)星傳感器具有不同參數(shù)和特性，針對(duì)相同的地物要素不同傳感器的影像數(shù)據(jù)有不完全一致的細(xì)節(jié)表現(xiàn)結(jié)果，且融合方法不同會(huì)產(chǎn)生融合結(jié)果差異。適合于現(xiàn)有衛(wèi)星的融合方法，不一定適用于資源三號(hào)(ZY-3)衛(wèi)星的異源融合，因此，本文研究選用目前主流的融合算法探討適合ZY-3衛(wèi)星影像的多源融合方法，可為資源三號(hào)影像數(shù)據(jù)的應(yīng)用提供進(jìn)一步的參考依據(jù)。

影像融合的效果直接影響數(shù)據(jù)使用的精確度，為了探討適合ZY-3多光譜影像和快舟一號(hào)(KZ-1)全色影像的多源數(shù)據(jù)融合方法，本文采用當(dāng)前主流的5種不同融合方法進(jìn)行融合實(shí)驗(yàn)，利用目視解譯、光譜保真度及空間融入度等相關(guān)評(píng)價(jià)指標(biāo)的計(jì)算，對(duì)比分析出最適合資源三號(hào)多光譜影像的多源融合方法，通過(guò)波段重組及歸一化植被指數(shù)(Normalized Difference Vegetation Index，NDVI)特性對(duì)融合結(jié)果進(jìn)一步優(yōu)化處理，在保持光譜信息的同時(shí)，進(jìn)一步提高空間信息融入度，提高融合后影像的質(zhì)量。

1 數(shù)據(jù)及預(yù)處理

資源三號(hào)衛(wèi)星發(fā)射于2012年1月9日，是我國(guó)自主研發(fā)的第一顆民用高分辨率立體測(cè)圖衛(wèi)星。該衛(wèi)星搭載了4臺(tái)光學(xué)相機(jī)，包括2臺(tái)分辨率為3.5 m×3.7 m的前、后視TDI CCD相機(jī)，1臺(tái)分辨率為2.1 m的正視全色相機(jī)和1臺(tái)分辨率5.8 m多光譜相機(jī)。前、后視相機(jī)與正視相機(jī)夾角為±22°對(duì)應(yīng)的基高比為0.85～0.95，幅寬為52 km，重訪(fǎng)周期為5天[9]?？熘垡惶?hào)衛(wèi)星于2013年9月25日成功發(fā)射，是我國(guó)研制的主要用于各類(lèi)災(zāi)害應(yīng)急監(jiān)測(cè)和搶險(xiǎn)救災(zāi)信息支持的小衛(wèi)星，可獲取更高空間分辨率的全色遙感影像[10]。

研究區(qū)位于新疆維吾爾自治區(qū)北部烏蘇縣境內(nèi)，是新疆生產(chǎn)建設(shè)兵團(tuán)第七師125團(tuán)，地勢(shì)平坦，水資源充足，土地資源豐富，宜種多種作物。所選研究區(qū)含有各種典型的地物要素類(lèi)型城鎮(zhèn)居民區(qū)、農(nóng)作區(qū)、道路、林地、水流、裸地等。本文以資源三號(hào)多光譜影像與快舟一號(hào)全色影像作為試驗(yàn)數(shù)據(jù)源，在研究區(qū)選取建筑區(qū)、農(nóng)田區(qū)及水域三塊不同地物類(lèi)型的試驗(yàn)區(qū)進(jìn)行數(shù)據(jù)融合試驗(yàn)。

由于影像配準(zhǔn)的精度會(huì)影響融合結(jié)果的質(zhì)量[11]，因此，本文研究在進(jìn)行數(shù)據(jù)融合前對(duì)資源三號(hào)多光譜影像進(jìn)行圖像配準(zhǔn)等預(yù)處理，利用ENVI處理軟件將快舟一號(hào)全色影像作為基準(zhǔn)影像，手動(dòng)選擇明顯地物點(diǎn)作為控制點(diǎn)(GCPs)，盡可能使控制點(diǎn)均勻分布在影像中，通過(guò)show list了解控制點(diǎn)具體信息，移動(dòng)或刪除誤差較大的控制點(diǎn)，調(diào)整控制點(diǎn)誤差小于1后，輸出幾何校正圖像，完成影像到影像的配準(zhǔn)，保證原始影像之間對(duì)應(yīng)像元的一致性。

2 影像融合

2.1 影像融合方法

Gram-Schmidt方法是對(duì)多維影像進(jìn)行正交變換，消除波段之間的相關(guān)性。變換后各分量分別正交，所包含的信息量相近，改進(jìn)了PCA中信息過(guò)分集中的問(wèn)題，且不受波段數(shù)的限制。G-S法能保持融合前后影像波譜信息的一致性，是一種高保真的遙感影像融合方法[12]。

高通濾波融合法是將高分辨率影像通過(guò)一個(gè)高通濾波器，抑制其低頻信息，增強(qiáng)其高頻空間信息。再將濾波后的高分辨率影像與多光譜影像疊加，以實(shí)現(xiàn)高分辨率影像的空間信息與較低分辨率影像的光譜信息的融合，實(shí)現(xiàn)分辨率的提高[13]。

NND融合算法將全色影像采樣到多光譜影像大小，通過(guò)線(xiàn)性回歸計(jì)算光譜波段貢獻(xiàn)向量,從而得出原始全色影像中每個(gè)像素的最鄰近超像素的差異因子，最后運(yùn)用線(xiàn)性混合模型來(lái)得到融合后的影像[11]。該算法既降低了色彩扭曲，又保留了光譜完整性，可以在不同場(chǎng)景尺度下達(dá)到一致的效果[14]。

Pansharp算法基于最小二乘法擬合原始多光譜影像、全色影像與融合后多光譜影像、全色影像之間的灰度值，并采用統(tǒng)計(jì)的方法解決融合過(guò)程標(biāo)準(zhǔn)化和自動(dòng)化的問(wèn)題，使得融合影像在獲得高空間分辨率的同時(shí)，還具備良好的光譜保真度。該算法不受波段限制，光譜和空間特征保真度高，是目前公認(rèn)較好的高分影像融合算法之一[15]。

Pansharp2算法是針對(duì)Pansharp部分算法的改進(jìn)，利用先驗(yàn)知識(shí)估計(jì)高分辨率多光譜影像的期望值，使用線(xiàn)性合并的方法將高分辨率多波段影像在全波段影像中重建信息，每個(gè)高分辨率波段強(qiáng)制保留了相關(guān)低分辨率觀(guān)測(cè)波的光譜保真信息。其優(yōu)點(diǎn)是能夠克服圖像系統(tǒng)內(nèi)在的分辨率限制，提高被處理圖像的分辨率[16]。

上述5種融合算法不受波段限制，所以采取所有波段融合進(jìn)行實(shí)驗(yàn)，其中GS融合、NND融合由ENVI軟件實(shí)現(xiàn)，HPF融合由ERDAS IMAGINE9.2完成，PIE Basic進(jìn)行Pansharp融合，PCI完成Pansharp2算法融合。

2.2 影像融合質(zhì)量的評(píng)價(jià)方法

融合算法既要最大程度保持原有多光譜影像的光譜信息，又要融入很高的全色影像的空間信息[17]。為了比較不同方法的融合效果，本文使用相關(guān)系數(shù)[18]、偏差指數(shù)[19]、平均梯度[20]和信息熵[21]分別從光譜信息保真度和空間信息融入度二個(gè)度量標(biāo)準(zhǔn)進(jìn)行評(píng)價(jià),因?yàn)橛醒芯勘砻骼孟嚓P(guān)系數(shù)與偏差指數(shù)可衡量融合圖像光譜失真和扭曲程度[22]，采用平均梯度和信息熵代表圖像空間解析特性的指標(biāo)來(lái)判斷影像空間信息是否有所改善[23]。本文研究中相關(guān)系數(shù)、偏差指數(shù)、平均梯度及信息熵等所有參數(shù)的計(jì)算由Matlab實(shí)現(xiàn)。

2.3 影像融合結(jié)果與分析

2.3.1 目視效果

本文試驗(yàn)通過(guò)5種融合方法對(duì)原始多光譜和全色影像進(jìn)行融合，選取建筑區(qū)、農(nóng)田區(qū)和水域3種不同的地物類(lèi)型進(jìn)行融合效果評(píng)價(jià)。原始影像研究區(qū)如圖1所示，其融合效果如圖2～4。

圖1 原始衛(wèi)星影像

圖2 建筑區(qū)5種融合方法影像結(jié)果

圖4 水域5種融合方法影像結(jié)果

建筑區(qū)融合結(jié)果(圖2)顯示：5種融合方法對(duì)于空間細(xì)節(jié)信息均有所增強(qiáng)，除NND融合方法外，其余4種融合后影像結(jié)果細(xì)節(jié)特征明顯，光譜信息豐富，較原多光譜影像的光譜信息保真度更高。其中，GS、HPF和Pansharp融合方法整體亮度有所提升，空間細(xì)節(jié)信息更豐富；HPF影像紋理清晰但銳化程度較高；NND融合影像色彩嚴(yán)重失真，細(xì)節(jié)信息增強(qiáng)的力度不夠，建筑及道路邊緣存在擴(kuò)散現(xiàn)象。

農(nóng)田區(qū)融合結(jié)果(圖3)顯示：5種融合方法對(duì)道路邊緣細(xì)節(jié)和紋理清晰度方面都有所增強(qiáng)；在光譜信息保持度方面，HPF圖像對(duì)比清晰，融合效果最好，其它4種融合方法在光譜保真度上均略有偏差。

水域融合結(jié)果(圖4)顯示：從色彩上來(lái)看，HPF和Pansharp2融合影像光譜保持度較好，整體色調(diào)保持相當(dāng)，信息豐富、細(xì)節(jié)辨識(shí)度高；GS和Pansharp融合影像效果最次之；NND融合影像色調(diào)保真度較差，紋理信息損失嚴(yán)重。

2.3.2 光譜保真

相關(guān)系數(shù)和偏差指數(shù)是光譜保真度的重要評(píng)價(jià)指標(biāo)。從圖4a可以看出：

(1)在建筑區(qū)，GS融合的相關(guān)系數(shù)最高，NND融合相關(guān)系數(shù)最低，Pansharp2融合影像的相關(guān)系數(shù)高于HPF及Pansharp融合。

(2)在農(nóng)田區(qū)及水域，各融合方法的相關(guān)系數(shù)除了第4波段略有變動(dòng)外，其余3個(gè)波段HPF方法相關(guān)系數(shù)最高，其次是Pansharp2融合方法，GS融合和Pansharp融合相對(duì)較低。

(3)NND融合整體相關(guān)系數(shù)最低，尤其在建筑區(qū)和水域可以看出，其它4種融合方法是NND融合的3～4倍，表明其與原始圖像偏離程度較大。

由圖4b可知：

(1)3塊試驗(yàn)研究區(qū)NND融合的偏差指數(shù)最大，其偏差值遠(yuǎn)大于其它4種融合方法，說(shuō)明其光譜保真度最差；NND融合的光譜扭曲程度最大，可能是對(duì)全色影像進(jìn)行重采樣造成的結(jié)果。

(2)3塊試驗(yàn)研究區(qū)GS融合方法的偏差指數(shù)最小，其次是Pansharp2融合方法，Pansharp和HPF融合影像的偏差指數(shù)較大。

圖5 光譜保真評(píng)價(jià)指標(biāo)

2.3.3 空間融入

用平均梯度和信息熵對(duì)圖像進(jìn)行空間信息融入度分析，結(jié)果圖6a顯示：

(1)在農(nóng)田區(qū)，HPF融合的平均梯度最高，說(shuō)明其空間細(xì)節(jié)增強(qiáng)效果最好；其它4種融合方法的平均梯度均小于原始多光譜影像。

(2)在建筑區(qū)和水域，NND融合的平均梯度最高；除了HPF和NND融合方法外，其它融合方法的平均梯度均小于原始多光譜的平均梯度，Pansharp融合的平均梯度大于Pansharp2融合，GS影像的平均梯度最低。

由圖6b可知：

(1)在建筑區(qū)、農(nóng)田區(qū)，NND融合方法的信息熵最大，Pansharp2融合的信息熵大于GS融合，但略低于其它2種融合方法，HPF和Pansharp融合圖像信息量相當(dāng)。

(2)在水域，融合后影像的信息熵均約為原始影像的3～4倍，表明融合后的影像空間信息豐富；除NND融合外，Pansharp融合方法信息熵最高，對(duì)空間細(xì)節(jié)信息的融入度更好；NND融合影像在水域的平均梯度極高，可能是對(duì)原始全色影像重采樣致使像元變化產(chǎn)生的結(jié)果。

結(jié)合目視效果分析與各評(píng)價(jià)指標(biāo)綜合分析，融合后的圖像與原始多光譜影像相比，其在光譜信息和空間紋理特征方面均有所改善：

(1)在建筑區(qū)，Pansharp2融合影像效果最好，GS法次之；HPF融合影像平均梯度及信息熵高于原始影像，但光譜銳化程度過(guò)高；Pansharp融合影像整體融合效果次于HPF融合影像；NND融合影像整體邊緣細(xì)節(jié)模糊，圖像不清晰，信息損失嚴(yán)重。

(2)在農(nóng)田區(qū)、水域，HPF和Pansharp2融合方法基本保持了原多光譜影像的光譜信息及清晰度，HPF融合影像的相關(guān)系數(shù)及平均梯度最大，說(shuō)明其空間細(xì)節(jié)信息融入較好，包含信息量更高；Pansharp融合影像信息熵高，細(xì)節(jié)特征保持能力較好，但光譜保真程度一般；GS融合影像整體效果一般，NND融合影像偏差指數(shù)最大，整體融合影像效果最差，光譜扭曲現(xiàn)象嚴(yán)重。

圖6 空間融入評(píng)價(jià)指標(biāo)

3 影像融合方法優(yōu)化及驗(yàn)證

本文試驗(yàn)通過(guò)3種不同地物類(lèi)型研究區(qū)的融合影像結(jié)果可知：建筑區(qū)和水域影像細(xì)節(jié)表征更加明顯，光譜信息保持度也較為良好，而農(nóng)田區(qū)的融合效果則差異明顯，整體影像色調(diào)偏暗，影像辨識(shí)環(huán)境較差，不利于影像的進(jìn)一步目標(biāo)識(shí)別。為了使研究區(qū)具有更好的表現(xiàn)特征，本文選取HPF融合影像通過(guò)波段重組的方式進(jìn)行優(yōu)化處理，以期達(dá)到理想的融合效果。

(1)近紅外波段空間融入的各項(xiàng)評(píng)價(jià)指標(biāo)均高于可見(jiàn)光波段(圖6)，說(shuō)明近紅外波段在影像細(xì)節(jié)增強(qiáng)方面具有良好優(yōu)勢(shì)。結(jié)合近紅外波段的特點(diǎn)與綠波段進(jìn)行波段重組實(shí)驗(yàn)，在保證紅、藍(lán)波段不變的情況下，將近紅外波段以10%的比例依次遞增的方式與綠波段進(jìn)行波段重組實(shí)驗(yàn)，進(jìn)一步優(yōu)化融合影像。

(2)歸一化植被指數(shù)對(duì)土壤背景的變化較為敏感，對(duì)植被檢測(cè)靈敏度較高。本文試驗(yàn)通過(guò)計(jì)算歸一化植被指數(shù)，再將其加入到綠波段中進(jìn)行組合試驗(yàn)，以期通過(guò)NDVI對(duì)土壤的變化的敏銳性來(lái)增強(qiáng)融合效果。首先利用HPF融合影像的band3、band4計(jì)算歸一化植被指數(shù)，其次將其以10%加入到綠波段中進(jìn)行重組實(shí)驗(yàn)，最后將HPF融合影像的band1、band3和加入10%NDVI值的綠波段進(jìn)行波段疊加輸出。

選取HPF的融合結(jié)果進(jìn)行波段重組試驗(yàn)，波段重組后融合結(jié)果(圖7)顯示：

(1)研究區(qū)整體顏色亮度增強(qiáng)，將NDVI加入到綠波段中，農(nóng)田區(qū)植被亮度有所改善，道路紋理細(xì)節(jié)更為明顯；建筑區(qū)及水域整體色調(diào)呈現(xiàn)紫色，細(xì)節(jié)信息模糊，紋理信息丟失嚴(yán)重。

(2)隨著近紅外波段信息的不斷增加，研究區(qū)整體色調(diào)明顯提升。在建筑區(qū)、水域，除了部分植被隨著近紅外波段比例的增加變化明顯外，整體色彩明亮，紋理清晰；農(nóng)田區(qū)綠色亮度逐漸增強(qiáng)，當(dāng)所加入近紅外波段超過(guò)20%時(shí)，周邊道路等逐漸呈現(xiàn)紫色，部分陰影區(qū)逐漸不明顯，整體色彩有些失真。

因此當(dāng)綠波段與近紅外波段比例為9∶1和8∶2時(shí)，對(duì)研究區(qū)影像整體視覺(jué)效果更好，但對(duì)于影像空間信息保持能力還需進(jìn)一步證明。本文分別選擇這2組影像及加入NDVI值影像進(jìn)行空間信息融入度定量統(tǒng)計(jì)，因?yàn)樵诓ǘ沃亟M過(guò)程中，僅對(duì)綠波段進(jìn)行波段重組，而紅藍(lán)波段未發(fā)生變化，所以?xún)H對(duì)變動(dòng)的第2波段進(jìn)行統(tǒng)計(jì)分析，其統(tǒng)計(jì)結(jié)果見(jiàn)表1，具體變化趨勢(shì)如圖8所示。通過(guò)兩項(xiàng)指標(biāo)變化趨勢(shì)對(duì)比(圖8)可知，經(jīng)HPF法融合及波段重組的各影像指標(biāo)參數(shù)都大于原始影像。

表1 優(yōu)化影像評(píng)價(jià)參數(shù)統(tǒng)計(jì)

圖8 重組波段空間融入評(píng)價(jià)指標(biāo)的變化趨勢(shì)

(1)在建筑區(qū)和水域，綠波段加入NDVI值的平均梯度和信息熵最高；其中，建筑區(qū)與水域綠波段和NDVI疊加影像的平均梯度高于其它指標(biāo)的3倍左右，可能是NDVI疊加使綠波段信息量冗余的結(jié)果。

(2)在農(nóng)田區(qū)，當(dāng)綠波段與近紅外波段比例為8∶2時(shí)，農(nóng)田區(qū)各項(xiàng)評(píng)價(jià)指標(biāo)均高于其比例為9∶1時(shí)的指標(biāo)。

(3)綜合來(lái)看，當(dāng)綠波段與近紅外波段重組比例為8∶2時(shí)，影像空間信息更加豐富，細(xì)節(jié)表達(dá)能力更強(qiáng)，證明其優(yōu)化效果更好。

4 結(jié)論

本文選取目前主流的5種融合算法對(duì)資源三號(hào)多光譜影像和快舟一號(hào)全色影像進(jìn)行圖像融合,通過(guò)目視解譯、光譜保真度和空間融入度綜合評(píng)價(jià)分析，選取HPF融合影像進(jìn)行影像優(yōu)化處理，得出以下結(jié)論：

(1)HPF和Pansharp2融合方法對(duì)處理資源三號(hào)衛(wèi)星影像效果較好，其中Pansharp2算法對(duì)建筑區(qū)融合影像效果最好，HPF算法對(duì)農(nóng)田區(qū)及水域融合效果更佳。

(2)通過(guò)波段重組可進(jìn)一步優(yōu)化HPF融合影像結(jié)果，NDVI疊加波段空間融入評(píng)價(jià)指標(biāo)最高，但建筑區(qū)及水域光譜扭曲嚴(yán)重，近紅外波段與綠波段重組比例為8∶2時(shí)融合效果增強(qiáng)最佳。

(3)不同的融合算法其融合效果各有側(cè)重，需根據(jù)實(shí)際研究選取適合的融合算法并進(jìn)行優(yōu)化處理。