一種多光譜遙感影像與航拍影像融合算法

李小軍，閆浩文，楊樹文，牛麗峰

(1.蘭州交通大學(xué) 測繪與地理信息學(xué)院，蘭州 730070；2.甘肅省地理國情監(jiān)測工程實驗室，蘭州 730070)

0 引言

無人機技術(shù)的快速發(fā)展，使得無人機遙感影像的獲取更加快捷和方便。無人機航拍簡便快捷，空域要求低，時效性更好，在工業(yè)和軍事領(lǐng)域均得到了廣泛應(yīng)用[1]。由于無人機一般在云層以下飛行，獲取的遙感影像分辨率更高，受遮擋影響更小。但小型無人機受載重限制，一般獲取的航拍影像缺乏多光譜信息，影響了后續(xù)遙感影像光譜分析與解譯。為此，需要采用多光譜融合技術(shù)，提高無人機航拍影像的光譜分辨率。

過去的20年間，多分辨率分析的融合方法作為有效解決多光譜融合問題的主要手段之一獲得了大量學(xué)者的關(guān)注。多分辨率分析方法主要通過多分辨率分解提取高分辨影像的空間紋理細節(jié)信息，將其注入到低分辨多光譜影像中，獲取兼有空間分辨率和光譜分辨率的融合影像?？臻g細節(jié)信息的提取，主要包含降采樣小波變換[2]、非抽樣小波方法[3]、孔小波變換[4-5]、拉普拉斯金字塔方法[6]、輪廓波方法[7]、和曲小波方法[8]等。多分辨率分析方法在計算注射權(quán)重時，一般采用全局或局部的統(tǒng)計方法。其中，采用局部的統(tǒng)計方法明顯優(yōu)于全局的統(tǒng)計方法。但在對局部進行聚類統(tǒng)計時，學(xué)者大多采用固定的矩形框，而沒有考慮像素間的相關(guān)性，這將導(dǎo)致注入信息增益的方塊效應(yīng)，特別是高分影像的邊緣更易出現(xiàn)光譜扭曲。另外，由于多光譜影像和航片影像分辨率差異較大，單次的融合處理也難以直接對其進行融合。

為此，本文提出了一種基于脈沖耦合神經(jīng)網(wǎng)絡(luò)(pulse-coupled neural network，PCNN)的遙感衛(wèi)星多光譜影像與無人機航拍影像融合算法。該算法通過二次融合方案逐級提高多光譜影像的分辨率，同時在融合中利用PCNN符合人眼視覺特性的非規(guī)則區(qū)域分割特性進行注射權(quán)重的計算，最后將細節(jié)信息注入到多光譜影像獲得融合影像。實驗結(jié)果表明，本方法在較好保持無人機遙感影像亞米級分辨率同時，獲得了多光譜影像的光譜信息。

1 PCNN遙感影像分割

PCNN最初是基于哺乳動物視覺皮層神經(jīng)元脈沖發(fā)放現(xiàn)象建立的，它對圖像的理解符合人眼視覺特性。標準PCNN是一種由脈沖耦合神經(jīng)元橫向連接的反饋網(wǎng)絡(luò)。每個神經(jīng)元由3個部分組成，分別為接收輸入域、連接調(diào)制域及脈沖產(chǎn)生域[9]。其數(shù)學(xué)描述如下：

(1)

(2)

Uij[n]=Fij[n]1+βLij[n]

(3)

(4)

Eij[n+1]=e-αEEij[n]+VEYij[n]

(5)

PCNN模型應(yīng)用于遙感影像處理時，一個像素就是一個神經(jīng)元(i，j)，(k，l)是(i，j)鄰域神經(jīng)元。I為輸入的遙感影像。參數(shù)αF、αL和αE是時間常量，VF、VL和VE為標準化常量，β為連接權(quán)重，F(xiàn)和L分別為反饋輸入和連接輸入。當(dāng)內(nèi)部活動項U大于活動閾值E時，神經(jīng)元在當(dāng)前迭代n被激發(fā)，產(chǎn)生輸出脈沖Y。

遙感影像融合中，主要利用PCNN的分割特性。在這里，如果神經(jīng)元在第n次迭代中被激發(fā)，則將活動閾值E相應(yīng)設(shè)為無窮大，以保證每個神經(jīng)元屬于唯一的分割區(qū)域。利用PCNN進行遙感影像分割的部分分割結(jié)果如圖1所示，其中圖1(a)為原始輸入遙感圖像，圖1(b)～圖1(h)為不同迭代n下的分割結(jié)果。通過PCNN分割，整個遙感影像被分割為具有一定相關(guān)性的非規(guī)則區(qū)域。如圖2(a)所示為傳統(tǒng)進行局部注射權(quán)重統(tǒng)計所采用的矩形區(qū)域統(tǒng)計方法，本文采用的非規(guī)則統(tǒng)計區(qū)域如圖2(b)和圖2(c)所示。顯而易見，非規(guī)則統(tǒng)計區(qū)域更容易統(tǒng)計到具有相似特征和鄰域關(guān)系的相關(guān)像素特征。

圖1 PCNN遙感影像分割示例

2 多光譜影像與無人機航拍影像融合算法

本文提出的衛(wèi)星多光譜影像和無人機航拍影像融合算法如圖3所示。算法具體執(zhí)行步驟如下：

圖3 本文算法流程示意圖

①對多光譜遙感影像采用三次非線性插值到全色分辨率，得到全色尺寸多光譜影像Imsk，其中k表示多光譜影像不同的光譜通道，K為光譜通道總數(shù)；

②對全色影像執(zhí)行“trous”小波分解，提取全色影像細節(jié)Psd[4]；

③對多光譜影像執(zhí)行PCNN神經(jīng)網(wǎng)絡(luò)，將其分割為非規(guī)則區(qū)域，進行統(tǒng)計特征計算，并通過公式(6)計算增益權(quán)重Gk1；

④對全色分辨率的多光譜影像繼續(xù)進行PCNN處理，獲得Y矩陣，并利用公式(6)計算增益權(quán)重Gk2；

⑤對航拍影像執(zhí)行HSV顏色空間變換，對其中的V分量執(zhí)行“à trous”小波分解，提取航拍影像細節(jié)Pud；

⑥根據(jù)公式(7)計算獲得具有航片亞米級分辨率的多光譜影像Ismsk。

(6)

Ismsk=Imsk+Gk1×Psd+Gk2×Pud， k=1，…，K

(7)

3 實驗結(jié)果分析及評價

3.1 實驗數(shù)據(jù)源

用于實驗的無人機影像數(shù)據(jù)，是課題組采用八旋翼無人機攜帶航拍相機于2017年11月25日于蘭州交通大學(xué)八教廣場拍攝，采用的無人機如圖4所示，拍攝的八教廣場航拍影像如圖5(a)所示。無人機航拍影像的分辨率為0.2 m。多光譜和全色影像采集于高分二號遙感衛(wèi)星于2017年8月4日的成像結(jié)果。多光譜圖像具有藍色、綠色、紅色和近紅外4個波段。多光譜影像的分辨率為3.5 m，全色影像的分辨率為0.875 m。相應(yīng)的八教廣場全色影像和多光譜影像分別如圖5(b)和圖5(c)所示。

圖4 航拍無人機

圖5 遙感原始影像數(shù)據(jù)

3.2 PCNN參數(shù)設(shè)置

PCNN參數(shù)設(shè)置中除了αE參數(shù)采用1.9，VE設(shè)置為無窮大值，其他PCNN參數(shù)均采用經(jīng)典值[10]。其中，輸入遙感影像I歸一化到0～1之間。迭代次數(shù)初始值n=1。F=YF=YU=0，E=1。連接權(quán)重矩陣W和M為[0.5，1，0.5；1，0，1；0.5，1，0.5]。其余參數(shù)如表1所示。

表1 PCNN模型參數(shù)設(shè)置值

3.3 融合質(zhì)量評價標準

實驗主要采用通用的遙感影像融合評價指標進行定量評價，主要包括光譜扭曲度、空間信息失真度、光譜映射角和融合質(zhì)量評價索引4個指標[11]。其中，光譜扭曲度是對融合后的遙感影像光譜失真的描述，其值越小融合效果越好；空間信息失真度描述融合影像與原始高分辨率影像紋理細節(jié)的相似性，同樣值越小融合效果越好；光譜映射角通過計算融合影像與多光譜影像的差異角來獲得光譜扭曲程度，其值越小融合效果越好；融合質(zhì)量評價索引是對融合影像光譜扭曲和空間細節(jié)保持的綜合評價，值越大融合質(zhì)量越好，融合質(zhì)量評價索引的最大值為1。公式(8)～公式(11)分別給出了4種指標的數(shù)學(xué)描述[11]。其中，Dλ表示光譜扭曲度、Ds表示空間信息失真度、SAM表示光譜映射角、QR表示融合質(zhì)量評價索引。

(8)

(9)

(10)

QR=(1-Dλ)α(1-Ds)β

(11)

3.4 對比實驗

為了評價本文算法的有效性，本節(jié)將本文算法與其他5種方法做了對比實驗。包括基于形態(tài)學(xué)算子的融合算法(morphological operators based fusion method，MOF)[12]、基于小波分解的融合算法(additive à trous wavelet transform with unitary injection model，ATWT)[4]、GS(gram-schmidt)變換融合方法[13]、IHS分解的融合方法[14]及主成分分析(principal component analysis，PCA)融合方法[15]。對比算法中均采用2次融合的方法，即先將全色影像與多光譜影像融合，再將融合結(jié)果與無人機航片影像融合。圖6(a)為本文算法融合結(jié)果，圖6(b)～圖6(f)分別為對比算法融合結(jié)果。從主觀上觀察發(fā)現(xiàn)，相比圖5原始遙感影像，本文方法、MOF方法和ATWT方法光譜保持較好，紋理細節(jié)也獲得了較大提升，而Gram-Schmidt變換方法、IHS融合方法和PCA融合方法在紋理細節(jié)上得到了較好提升，但它們的光譜信息均發(fā)生較大扭曲，特別是大理石地面和廣場均出現(xiàn)不同程度的其他波段光譜成分，樹木的光譜也出現(xiàn)了較大失真。

圖6 對比結(jié)果圖

對幾種方法的融合定量指標分析見表2所示。由表2可見，本文方法的融合結(jié)果在光譜扭曲度、空間信息失真度、光譜映射角和融合質(zhì)量評價索引等4個指標均優(yōu)于其他方法。因此，本文融合方法所得的融合影像光譜失真更少、空間紋理信息更加豐富，驗證了本文衛(wèi)星多光譜遙感影像與無人機航拍影像融合算法的有效性。

表2 定量對比評價結(jié)果

4 結(jié)束語

針對無人機航拍影像缺乏多光譜信息問題，提出了一種基于PCNN模型的衛(wèi)星遙感多光譜影像與無人機航拍高分影像的融合算法。由于PCNN模型符合人眼視覺特性，將其引入遙感影像融合，獲得的融合影像光譜扭曲更小，空間紋理細節(jié)保持更好。通過采用高分二號遙感影像和無人機影像融合的對比實驗，驗證了本文方法的有效性。