基于Pansharp模型色彩高保真優(yōu)化的高分遙感影像融合方法

常學(xué)立，郭鑫軼，嚴(yán) 盟

(湖北工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院，湖北 武漢430068)

0 引言

在遙感數(shù)據(jù)應(yīng)用領(lǐng)域中，道路檢測(cè)、水體提取、路徑規(guī)劃等多個(gè)方面的應(yīng)用都要求圖像既有高空間分辨率又兼有高光譜分辨率的特性，而遙感影像的空間分辨率與光譜分辨率是一對(duì)“矛盾”，若要獲得高空間分辨率影像，則該影像的光譜信息保真度就不會(huì)很高；相反，若要獲得高光譜分辨率影像，則該影像的空間信息融入度就不夠。當(dāng)前大多對(duì)地觀(guān)測(cè)遙感衛(wèi)星同時(shí)搭載全色載荷和多光譜載荷，其中全色載荷具有高空間分辨率的特點(diǎn)，多光譜載荷具有高光譜成像獲取的能力，在后期數(shù)據(jù)處理中將全色載荷獲得的高空間分辨率全色影像和多光譜載荷獲得的高光譜分辨率多光譜影像進(jìn)行融合，可以兼顧高空間分辨率與高光譜保真度的特點(diǎn)，從而提高遙感數(shù)據(jù)應(yīng)用效能。

傳統(tǒng)遙感影像融合算法中基于空間域的方法較多，基于空間域的遙感影像融合方法是直接在像素級(jí)別上進(jìn)行運(yùn)算，常用的算法有Pansharp算法[1]、IHS算法[2-3]、Brovey算法[4-5]和SFIM算法[6-7]等。Pansharp算法是根據(jù)全色影像與多光譜影像之間的關(guān)系，利用最小二乘法求出調(diào)制解調(diào)系數(shù)，該方法具有良好的空間信息保持度但存在局部光譜畸變的問(wèn)題；Wei等[8]利用Pansharp模型的特性，將該融合算法巧妙地運(yùn)用在醫(yī)學(xué)圖像處理方面，對(duì)PET/CT圖像進(jìn)行融合，達(dá)到了很好的效果；IHS算法是將影像從RGB色彩空間轉(zhuǎn)換到IHS色彩空間，然后用全色影像替換I分量，逆變換到RGB空間，該方法同樣存在光譜畸變的問(wèn)題；王瀛等[9]將IHS、PCA、小波變換3種融合算法相結(jié)合，利用各個(gè)算法的優(yōu)勢(shì)，最大程度地減少替換成分相關(guān)性不高造成的光譜扭曲問(wèn)題，取得了較好的融合效果；SFIM算法是將全色影像鄰域?yàn)V波結(jié)果作為模擬全色影像，然后再根據(jù)融合模型進(jìn)行融合，該方法存在空間信息融入度不足的問(wèn)題；王密等[10]提出了一種自適應(yīng)高斯濾波與SFIM模型相結(jié)合的全色多光譜影像融合方法，通過(guò)高斯濾波得到的模擬全色影像來(lái)替換鄰域?yàn)V波得到的模擬全色影像，彌補(bǔ)了SFIM算法空間信息融入度不足的缺點(diǎn)；Brovey算法是一種將全色影像波段與低分辨率彩色影像各波段相乘得到融合影像的方法，該方法存在嚴(yán)重的光譜畸變；林志壘等[11]提出了一種改進(jìn)的Brovey變換方法，針對(duì)傳統(tǒng)Brovey變換融合存在的光譜信息丟失及光譜扭曲等問(wèn)題，引入自適應(yīng)加權(quán)平均對(duì)其進(jìn)行改進(jìn)，能有效地減少融合過(guò)程中光譜信息的損失和畸變。

通過(guò)以上闡述和分析，可以發(fā)現(xiàn)傳統(tǒng)融合方法只能在光譜保真度或空間信息融入度中的某個(gè)方面有較好的效果，針對(duì)此現(xiàn)象，不同學(xué)者對(duì)傳統(tǒng)融合算法進(jìn)行了改進(jìn)，使其兼顧高空間信息融入度與高光譜信息保真度的特點(diǎn)。本文也是從這個(gè)角度出發(fā)，提出了一種基于Pansharp模型，利用IHS變換計(jì)算模擬全色影像的遙感影像融合方法，通過(guò)IHS變換可提高圖像的色彩保真度，解決了融合結(jié)果出現(xiàn)光譜畸變的問(wèn)題，從而可以使圖像在光譜保真度和空間信息融入度2個(gè)方面都有很好的表現(xiàn)，以下將對(duì)本文方法進(jìn)行詳細(xì)介紹。

1 基于Pansharp模型色彩高保真優(yōu)化的高分遙感影像融合方法

1.1 Pansharp算法分析

Pansharp融合算法是基于最小二乘法對(duì)參與融合的原始多光譜影像、全色影像與融合后的多光譜影像、全色影像之間的灰度值關(guān)系進(jìn)行最佳匹配的方法，是采用統(tǒng)計(jì)的方法來(lái)解決融合過(guò)程標(biāo)準(zhǔn)化和自動(dòng)化問(wèn)題的方法[12]。Pansharp模型為：

(1)

式中，x,y為圖像像素的坐標(biāo)點(diǎn)；FusedBandi為融合后圖像的第i波段；Multii為多光譜圖像的第i波段；PanOrig為原始的全色影像；PanSyn為全色影像和多光譜影像根據(jù)最小二乘法計(jì)算出的模擬全色影像，用于消除多光譜影像的空間信息以及全色影像的光譜信息。

Pansharp融合算法有很好的空間信息融入度，但計(jì)算出的模擬全色影像不足以消除全色影像的光譜信息，從而導(dǎo)致融合影像產(chǎn)生光譜畸變的問(wèn)題，因此本文提出了一種可有效地消除全色影像光譜信息的方法，將新計(jì)算出的模擬全色影像代入Pansharp融合模型中，可以得到具有高空間分辨率與高光譜保真度的融合影像，解決了Pansharp算法導(dǎo)致的光譜畸變問(wèn)題。

1.2 改進(jìn)策略

Pansharp模型的特點(diǎn)在于：如果模擬全色影像具有與多光譜影像相似的空間分辨率，且具有與全色影像相似的光譜分辨率，則利用該模型計(jì)算出的融合影像將具有多光譜影像光譜信息以及全色影像空間信息的特點(diǎn)，因此在模擬全色影像計(jì)算方法上加以改進(jìn)，使其在消除多光譜影像空間信息的同時(shí)還可進(jìn)一步地消除全色影像的光譜信息是本文方法改進(jìn)的重要方向。本文算法流程如圖1所示。

首先以全色影像為參考影像，對(duì)同區(qū)域內(nèi)的多光譜影像進(jìn)行配準(zhǔn)，使得兩圖中同一空間位置的點(diǎn)對(duì)應(yīng)起來(lái)；然后將多光譜影像通過(guò)IHS正變換計(jì)算出的I分量歸一化得到模擬全色影像，用于消除多光譜影像的空間信息以及全色影像的光譜信息；最后依照Pansharp模型對(duì)全色影像、多光譜影像以及計(jì)算出的模擬全色影像進(jìn)行融合即可獲得高分辨率多光譜影像。

1.3 本文方法

1.3.1 影像配準(zhǔn)

對(duì)遙感影像進(jìn)行配準(zhǔn)，主要目的是將不同時(shí)間、不同視角或不同傳感器下捕獲到的相同場(chǎng)景中的2幅或多幅影像(參考影像和待配準(zhǔn)影像)對(duì)準(zhǔn)到共同空間軸[13]。在遙感領(lǐng)域，全色載荷獲取的影像相較于多光譜載荷獲取的影像有著較高的空間分辨率，并且由于傳感器以及視點(diǎn)的不同導(dǎo)致獲取的影像存在點(diǎn)對(duì)點(diǎn)之間的差異，如果不進(jìn)行配準(zhǔn)，則全色影像與多光譜影像在相同坐標(biāo)空間下信息的不一致會(huì)導(dǎo)致融合影像融合了不同坐標(biāo)下的空間信息，因此在影像融合前需要進(jìn)行影像配準(zhǔn)，使得全色影像與多光譜影像對(duì)應(yīng)于空間同一位置的點(diǎn)一一對(duì)應(yīng)起來(lái)，從而達(dá)到增強(qiáng)信息融合的目的。本文采用SIFT[14-15]算法以全色影像為參考影像對(duì)多光譜影像進(jìn)行配準(zhǔn)，首先利用雙線(xiàn)性插值算法對(duì)多光譜影像上采樣，使其具有與全色影像相同的空間分辨率；然后通過(guò)特征點(diǎn)提取與特征點(diǎn)匹配確定圖像變換模型；最后根據(jù)圖像變換模型對(duì)圖像進(jìn)行變換插值計(jì)算出配準(zhǔn)后的多光譜影像。整體流程如圖2所示。

1.3.2 模擬全色影像計(jì)算

在實(shí)際條件下，Pansharp模型很難獲得理想的模擬全色影像，導(dǎo)致多光譜影像與全色影像的融合結(jié)果存在光譜畸變的問(wèn)題。本文提出的新模擬全色影像計(jì)算方法可極大程度上避免融合影像光譜信息丟失，達(dá)到色彩高保真的效果。

IHS變換用全色影像作為新的I分量替換IHS坐標(biāo)系下原始I分量，然后再逆變換至RGB坐標(biāo)系中得到融合影像，該方法具有良好的空間信息融入度。只替換I分量就可以使影像融入全色影像的空間信息，由此可見(jiàn)，I分量可以用來(lái)表示全色影像的空間信息，因此本文采用IHS正變換獲得模擬全色影像以此提高融合影像的光譜保真度。模擬全色影像計(jì)算步驟如下：

① 取得以全色影像為參考影像配準(zhǔn)后的多光譜影像。

② 對(duì)配準(zhǔn)后的多光譜影像進(jìn)行正變換獲取I分量，計(jì)算公式如式(2)所示，其中R，G，B分別為3個(gè)通道的像素值組成的向量，I為IHS坐標(biāo)系下I分量組成的向量，V1,V2為中間變量：

(2)

③ 利用式(3)對(duì)I分量進(jìn)行歸一化，計(jì)算出模擬全色影像Inew，其中g(shù)ray為目標(biāo)圖像的最大灰度值，Imax，Imin分別為原I分量中的最大最小值，此時(shí)，模擬全色影像就有著與原始多光譜影像相似的空間分辨率和全色影像相似的光譜分辨率：

(3)

根據(jù)上述步驟計(jì)算出模擬全色影像，如圖3所示。

由圖3可以看出，一方面，模擬全色影像的空間分辨率明顯低于全色影像的空間分辨率且與多光譜影像的空間分辨率基本相同；另一方面，模擬全色影像的光譜分辨率與全色影像保持一致。因此本文方法獲得的模擬全色影像非常適合Pansharp模型，它可以很好地消除多光譜影像空間分辨率和全色影像光譜分辨率，讓融合影像能夠兼顧高空間分辨率和高光譜保真度的特性。

(a) 原始多光譜影像

1.3.3 影像融合

影像融合是按一定規(guī)則將多光譜影像和全色影像進(jìn)行融合從而獲得高空間分辨率多光譜影像的過(guò)程。本文采用的是Pansharp融合模型，該模型主要利用模擬全色影像保留全色影像的空間信息以及多光譜影像的光譜信息，以此獲得高空間分辨率和高光譜保真度的融合影像。在上述步驟中已經(jīng)計(jì)算獲得了配準(zhǔn)后的多光譜影像以及全色影像，并且根據(jù)本文方法計(jì)算出了新模擬全色影像，因此通過(guò)式(4)即可計(jì)算融合影像每個(gè)波段的像素值，最終按照多光譜影像波段的排列順序?qū)γ總€(gè)波段的計(jì)算結(jié)果進(jìn)行組合即可得到融合影像：

(4)

式(4)在式(1)的基礎(chǔ)上替換了模擬全色影像的計(jì)算方法，其中x,y為圖像像素的坐標(biāo)點(diǎn)；i表示當(dāng)前為第i波段；FusedBandi為融合后影像的第i波段；Multi為配準(zhǔn)后的多光譜影像；Panorig為原始全色影像；PanSyn_new為本文方法計(jì)算出的新模擬全色影像。

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)

本文采用高分辨率多模成像衛(wèi)星(高分多模衛(wèi)星)數(shù)據(jù)作為實(shí)驗(yàn)驗(yàn)證數(shù)據(jù)，高分多模衛(wèi)星是《國(guó)家民用空間基礎(chǔ)設(shè)施中長(zhǎng)期發(fā)展規(guī)劃(2015—2025年)》中分辨率最高的光學(xué)遙感衛(wèi)星，也是我國(guó)第一顆優(yōu)于0.5 m分辨率敏捷智能遙感衛(wèi)星，該衛(wèi)星搭載了1臺(tái)分辨率全色0.5 m/多光譜2 m的高分辨率光學(xué)相機(jī)。高分多模衛(wèi)星傳感器參數(shù)如表1所示。

表1 高分多模衛(wèi)星傳感器參數(shù)

2.2 算法比較與分析

本文方法在Pansharp算法以及IHS算法的基礎(chǔ)上提出改進(jìn)策略，為了證明該方法的有效性，實(shí)驗(yàn)選取Pansharp算法、IHS算法與本文方法進(jìn)行比較，地物為山時(shí)不同融合方法與本文融合方法融合效果的對(duì)比結(jié)果如圖4所示，地物為房屋時(shí)的不同融合方法與本文融合方法融合效果的對(duì)比結(jié)果如圖5所示。

(a) 原始多光譜影像

(a) 原始多光譜影像

圖像融合質(zhì)量評(píng)價(jià)包括空間質(zhì)量、多光譜圖像色彩保真度2個(gè)方面，評(píng)價(jià)方法分為主觀(guān)評(píng)價(jià)和客觀(guān)評(píng)價(jià)[16-17]兩大類(lèi)。從主觀(guān)上看，3種算法的融合效果與原始多光譜影像相比空間分辨率均得到了改善，提高了影像輪廓信息并且保留了影像的光譜特性?？陀^(guān)上選取6個(gè)評(píng)價(jià)指標(biāo)對(duì)融合結(jié)果進(jìn)行質(zhì)量評(píng)價(jià)，分別是平均梯度(Average Gradient，AG)、相關(guān)系數(shù)(Correlation Coefficient，CC)、信息熵(Information Entropy，IE)、光譜保真度指數(shù)(Spectral Fidelity，SF)、結(jié)構(gòu)相似性指數(shù)(Structure Similarity，SS)以及通用像質(zhì)計(jì)(Universal Image Quality Indicator，UIQI)[18-19]。平均梯度可以反映圖像的清晰度，平均梯度越大影像越清晰；相關(guān)系數(shù)反映2幅影像之間光譜特征的相似程度，相關(guān)系數(shù)越高，光譜的保真度越高，相關(guān)系數(shù)的理想值為1；信息熵是一種基于信息量的評(píng)價(jià)指標(biāo)，信息熵值越大，表明影像攜帶的信息量越大，影像輪廓越清晰；光譜保真度指數(shù)是一種基于光譜信息保真度的評(píng)價(jià)指標(biāo)，光譜保真度越大說(shuō)明影像的光譜信息保持的越好；結(jié)構(gòu)相似性指數(shù)是指融合后的影像與原始多光譜影像的相似度，指數(shù)越大，相似性越高；通用像質(zhì)計(jì)是對(duì)影像綜合質(zhì)量的評(píng)價(jià)，指數(shù)越大表明影像融合效果越好。針對(duì)不同融合算法的評(píng)價(jià)指標(biāo)如表2和表3所示，表2對(duì)應(yīng)圖4中的融合結(jié)果，表3對(duì)應(yīng)圖5中的融合結(jié)果。

表2 地物為山時(shí)不同融合算法質(zhì)量評(píng)價(jià)表

表3 地物為房屋時(shí)不同融合算法質(zhì)量評(píng)價(jià)表

平均梯度和信息熵可以很好地表示空間信息的融入度。就平均梯度而言，Pansharp融合算法的平均梯度不管地物是山還是房屋時(shí)都處于最高位置，效果最好，本文方法次之，效果居中；就信息熵而言，在地物為山時(shí)，本文方法信息熵最大，比Pansharp融合算法稍高，效果最好，IHS算法效果較好。因此Pansharp算法和本文算法的空間信息融入度最高，效果最好，而在地物為房屋時(shí)，Pansharp融合算法的信息熵最高，效果最好，本文方法與IHS算法相差不大，效果居中。

相關(guān)系數(shù)和光譜保真度指數(shù)可以很好地表示光譜信息的保真度。就相關(guān)系數(shù)而言，各種算法相差不大；就光譜保真度指數(shù)而言，地物為山時(shí)，本文方法效果最好，Pansharp算法居中，IHS算法效果較差，地物為房屋時(shí)，IHS算法效果最好、本文算法效果居中，Pansharp算法效果最差。

結(jié)構(gòu)相似性指數(shù)可以用來(lái)表示融合結(jié)果與原始多光譜影像結(jié)構(gòu)之間的相似度，通用像質(zhì)計(jì)可以用來(lái)評(píng)價(jià)融合影像的總體質(zhì)量。地物為山時(shí)，結(jié)構(gòu)相似性指數(shù)和通用像質(zhì)計(jì)表現(xiàn)為相同的結(jié)果，IHS算法效果最好，本文算法效果居中，Pansharp算法效果最差，而地物為房屋時(shí)，本文方法效果最好，Pansharp算法效果居中，IHS算法效果最差。

2.3 實(shí)驗(yàn)結(jié)論

本文對(duì)IHS正變換獲得的I分量進(jìn)行歸一化處理來(lái)獲得模擬全色影像；然后根據(jù)Pansharp模型特性將得到的模擬全色影像代入求得融合影像。不論從主觀(guān)還是客觀(guān)評(píng)價(jià)2個(gè)方面都可以看到本文方法在多個(gè)方面表現(xiàn)出的融合效果都要優(yōu)于傳統(tǒng)融合算法，能夠很好地解決IHS算法和Pansharp算法出現(xiàn)的光譜畸變問(wèn)題，并合理利用Pansharp模型的特性，在保證融合結(jié)果有良好光譜信息保真度的同時(shí)還能夠融入全色影像的空間信息，得到具有高空間分辨率和高光譜分辨率的融合影像。

3 結(jié)束語(yǔ)

本文首先介紹了Pansharp算法基本原理，指出了Pansharp算法計(jì)算出的模擬全色影像不足以消除全色影像光譜信息導(dǎo)致的光譜畸變問(wèn)題，并就如何提高光譜保真度來(lái)解決光譜畸變的問(wèn)題提出了改進(jìn)方向。然后，提出了一種基于Pansharp模型的改進(jìn)高分遙感影像融合方法，該方法通過(guò)利用IHS變換計(jì)算新的模擬全色影像，達(dá)到了提高融合圖像色彩高保真度的目的，優(yōu)化了空間信息融入度不夠與光譜畸變的問(wèn)題。最后，通過(guò)高分多模衛(wèi)星全色和多光譜影像數(shù)據(jù)對(duì)本文方法進(jìn)行了實(shí)驗(yàn)驗(yàn)證，并從主觀(guān)和客觀(guān)2個(gè)方面對(duì)融合結(jié)果進(jìn)行了評(píng)價(jià)，實(shí)驗(yàn)結(jié)果表明本文方法除了在色彩保真度方面具有較好的效果外，還能很好地融入全色影像的空間信息，達(dá)到了較好的融合效果。