一種GF-2全色多光譜影像融合方法

摘 要：高分2號衛(wèi)星影像的應(yīng)用日益多樣化，如何獲取高質(zhì)量融合影像成為需要研究的重要問題。為了從原始的全色影像和多光譜影像中獲取高空間分辨率和高光譜分辨率的影像，結(jié)合方向信息和脈沖耦合神經(jīng)網(wǎng)絡(luò)對非下采樣輪廓波變換算法進行改進。以甘肅省蘭州市的GF-2全色影像和多光譜影像作為數(shù)據(jù)源，提出了一種結(jié)合PCNN和NSCT的遙感影像融合方法，通過定性評估和定量評估，與IHS方法、BT方法、PCA方法和GS方法相比，改進后的方法在改善空間細節(jié)和保留光譜信息方面具有更好的效果。

關(guān)鍵詞：高分2號影像；遙感影像融合；脈沖耦合神經(jīng)網(wǎng)絡(luò)；非下采樣輪廓波變換；方向信息

中圖分類號：TP751 文獻標識碼：A 文章編號：2096-4706（2024）20-0107-05

A Fusion Method for GF-2 Panchromatic Multispectral Images

WANG Xiaoyu1， YANG Jun2

（1.School of Science and Technology， Xinyang University， Xinyang 464000， China;

2.Faculty of Geomatics， Lanzhou Jiaotong University， Lanzhou 730070， China）

Abstract： The application of GF-2 satellite images is becoming increasingly diversified， and how to obtain high-quality fusion images has become an important issue that needs to be studied. In order to obtain high spatial resolution and high spectral resolution images from the original panchromatic images and multispectral images， the Nonsubsampled Contourlet Transform algorithm is improved by combining orientation information and Pulse Coupled Neural Network. Based on the GF-2 panchromatic images and multispectral images of Lanzhou， Gansu Province as the data source， a remote sensing image fusion method combining PCNN and NSCT is proposed. Through qualitative evaluation and quantitative evaluation， compared with IHS method， BT method， PCA method and GS method， the improved method has better effect in improving spatial details and preserving spectral information.

Keywords： GF-2 image; remote sensing image fusion; Pulse Coupled Neural Network; Nonsubsampled Contourlet Transform; orientation information

0 引 言

遙感數(shù)據(jù)獲取來源包括衛(wèi)星和無人機等系統(tǒng)的拍攝，遙感技術(shù)在獲取這些數(shù)據(jù)以用于地球科學(xué)，自然科學(xué)，民事和軍事等領(lǐng)域的各種應(yīng)用中都起著至關(guān)重要的作用[1]。例如對地觀測衛(wèi)星高分2號能夠在同一覆蓋區(qū)域內(nèi)同時拍攝高空間分辨率的全色影像和高光譜分辨率的多光譜影像。融合的意義在于將全色影像和多光譜影像相結(jié)合獲得包含高質(zhì)量空間細節(jié)和豐富多樣光譜特征的影像。早期的全色與多光譜融合是基于成分替換的方法，一般分為正變換、替換、逆變換三步完成融合。此類方法簡單且有效，但是在融合過程中光譜信息或空間信息丟失較為嚴重，通過對成分替換分量和全色影像進行多分辨率分析并融合可以有效地減少丟失的影像空間特征或光譜特征。但是目前的融合算法在融合過程中信息丟失問題不能完全解決，設(shè)計算法必須在空間信息和光譜信息中做出權(quán)衡，合理的系數(shù)融合規(guī)則能有效提高融合影像的質(zhì)量。

1 結(jié)合PCNN的NSCT遙感影像融合算法

1.1 非下采樣輪廓波變換

非下采樣輪廓波（Nonsubsampled Contourlet Transform， NSCT）變換相較于輪廓波變換，增加了平移不變性。NSCT變換是由非下采樣金字塔（Nonsubsampled Pyramid， NSP）和非下采樣方向濾波器組（Nonsubsampled Directional Filter Bank， NSDFB）組成。其中NSP減小了濾波器的采樣失真，NSDFB提供了多方向分解的屬性[2]。NSCT變換的流程如圖1所示。

首先將原始影像進行NSP分解，得到了一幅低通子帶影像和一幅帶通子帶影像，然后對帶通子帶影像通過NSFDB分解為多方向的影像，最后對低通子帶重復(fù)以上的兩個步驟，獲取原始影像多尺度多方向的分解影像。NSP分解可以讓NSCT具有平移不變性，通過雙通道二維塔形濾波組實現(xiàn)，NSFDB是一個雙通道下采樣扇形方向濾波器組，可以完成影像的分解與重構(gòu)工作。

1.2 脈沖耦合神經(jīng)網(wǎng)絡(luò)

PCNN是一個反饋網(wǎng)絡(luò)，每個PCNN神經(jīng)元由三部分組成：感受野、調(diào)制場和脈沖發(fā)生器[3]。在圖像處理中，PCNN是具有二維連接的單層反饋型網(wǎng)絡(luò)，并且PCNN方法在影像融合領(lǐng)域有很好的效果。PCNN神經(jīng)元的數(shù)學(xué)表達式如式（1）所示：

（1）

式中，F(xiàn)ij表示反饋輸入，Sij表示外部輸入，Lij表示連接輸入，Wijab表示權(quán)值矩陣，Uij表示內(nèi)部活動項，Eij表示動態(tài)閾值，Yij表示脈沖輸出，和表示衰減參數(shù)，β表示鏈接系數(shù)，VE表示閾值放大系數(shù)，Tij表示神經(jīng)元點火次數(shù)。

在傳統(tǒng)的PCNN方法中，單個影像灰度值用于激勵一個神經(jīng)元，像素和神經(jīng)元之間的關(guān)系是一一對應(yīng)的。實踐證明PCNN在圖像處理領(lǐng)域是能夠適用的，但是有時候得到的結(jié)果并不理想[4]。由于人類視覺系統(tǒng)對方向信息十分敏感，因此本研究利用影像方向信息來刺激神經(jīng)元。文獻[5]詳細介紹了如何獲取影像方向信息，它的數(shù)學(xué)表達式如式（2）所示：

（2）

式中，X（i，j）表示圖塊的中心（i，j），AL和AR表示塊中的左右區(qū)域，如圖2所示。計算塊中每個像素的角度方向，這些方向信息能夠有效地表示圖像的平滑性。

1.3 影像融合規(guī)則

1.3.1 低頻分量融合規(guī)則

影像的低頻分量包含了影像的紋理特征和形狀輪廓以及光譜信息，這些信息在融合的過程中容易受噪聲影響導(dǎo)致融合影像邊緣出現(xiàn)模糊現(xiàn)象。所以需要設(shè)計合理的融合規(guī)則對低頻分量進行融合。而高斯隸屬度函數(shù)對于低頻分量的信息能夠較好地描述[6]，函數(shù)表達式如下：

（3）

式中，x表示研究對象集合中的元素，μ表示函數(shù)曲線的中心，σ表示控制函數(shù)曲線的寬度。為了融合結(jié)果能夠更好地對影像特征進行表達，使用該函數(shù)作為加權(quán)系數(shù)用于低頻分量的融合。低頻子帶系數(shù)計算式如下：

（4）

式中，D（i，j）表示低頻系數(shù)，α表示原始影像低頻分量的像素均值，β表示原始影像低頻分量中像素的方差，k表示用于調(diào)整高斯函數(shù)的參數(shù)，按照經(jīng)驗設(shè)置k=0.8。低頻分量融合規(guī)則表示如下：

（5）

式中，Df（i，j）表示融合后的低頻系數(shù)，Dp（i，j）和Dm（i，j）表示全色影像和多光譜影像的低頻系數(shù)。

1.3.2 高頻分量融合規(guī)則

高頻分量能夠反映影像的空間細節(jié)信息，使用絕對值最大、梯度、區(qū)域能量等傳統(tǒng)融合規(guī)則時會損失部分細節(jié)信息。為了更好的融合高頻分量，結(jié)合方向信息和PCNN選擇高頻系數(shù)。PCNN和人眼視覺相似，對單個像素不敏感但是對邊緣紋理信息較為敏感，所以使用邊緣紋理信息作為PCNN的外部刺激。邊緣紋理信息計算式如下：

（6）

式中，S（i，j）表示高頻分量的邊緣紋理信息， 表示原始影像的高頻子帶系數(shù)，（i，j）表示高頻子帶系數(shù)的位置。Z1、Z2和Z3表示卷積核：

Z1=，Z2=，

Z3=

傳統(tǒng)的PCNN結(jié)構(gòu)中鏈接強度的作用十分重要，它可以控制神經(jīng)元的活動，為了更好地保留融合影像的空間細節(jié)，根據(jù)方向信息設(shè)置鏈接強度值。將每個像素點和鄰域內(nèi)的方向信息作為鏈接強度的輸入：

（7）

式中，表示鏈接強度，φ表示用于限定大小的系數(shù)，Iij表示方向信息，的值會隨著I值的變化而變化。

所以高頻分量融合規(guī)則是：首先將原始影像進行NSCT分解得到高頻分量和，利用公式計算高頻分量的邊緣紋理信息S，然后利用方向信息計算PCNN模型中鏈接強度β的值，利用β確定點火次數(shù)，從而得到和得融合結(jié)果。

1.4 算法設(shè)計

首先將GF-2多光譜影像轉(zhuǎn)換到IHS顏色空間，并對GF-2全色影像與多光譜影像的亮度分量I進行直方圖匹配。然后通過NSCT變換將全色影像和I分量分解成高頻系數(shù)和低頻系數(shù)。由于影像灰度值直接輸入PCNN模型的融合效果不夠理想，因此將影像的方向信息應(yīng)用到PCNN模型中來處理高頻系數(shù)，并使用高斯隸屬度函數(shù)作為加權(quán)系數(shù)融合低頻分量。通過逆NSCT變換后得到新的Inew分量，最后將Inew分量、H分量、S分量IHS逆變換生成融合影像。

結(jié)合PCNN的NSCT遙感影像融合算法的流程圖如圖3所示。

結(jié)合PCNN的NSCT遙感影像融合算法步驟為：

1）將多光譜影像轉(zhuǎn)換到IHS空間。

2）使用NSCT分解全色影像和多光譜影像的I分量。

3）采用方向信息結(jié)合PCNN方法融合NSCT分解的高頻分量，使用高斯隸屬度函數(shù)作為加權(quán)系數(shù)融合NSCT分解的低頻分量。

4）通過逆NSCT重建Inew分量。

5）將融合后的多光譜影像轉(zhuǎn)換回RGB空間。

1.5 數(shù)據(jù)來源

GF-2衛(wèi)星影像是中國自主研發(fā)的商業(yè)遙感衛(wèi)星，傳感器的空間分辨率達到了亞米級，能夠提供1米分辨率的全色影像和4米分辨率的多光譜影像，在城市規(guī)劃、國土檢測、環(huán)境反演等領(lǐng)域應(yīng)用十分廣泛。本文實驗數(shù)據(jù)為2017年8月4日的甘肅地區(qū)影像，數(shù)據(jù)來源與蘭州交通大學(xué)測繪與地理信息學(xué)院。

2 融合效果評價指標

2.1 主觀定性評價

主觀定性評價是將人作為評價的載體，通過人眼視覺系統(tǒng)的直接觀測，對影像融合的效果進行評估，通過自身的先驗知識對融合影像的優(yōu)劣進行主觀定性評價[7]。通過與IHS方法，BT方法PCA方法和GS方法融合結(jié)果對比，從兩個方面進行評價：

1）通過觀察融合前后影像清晰度、邊緣信息、紋理特征及空間細節(jié)的變化，對融合影像的空間分辨率進行評價[8]。

2）通過觀察融合前后影像的亮度、對比度、地物顏色、局部光譜信息的變化，對融合影像的光譜分辨率進行評價[9]。

具體融合效果如圖4所示，通過目視解譯，發(fā)現(xiàn)在整體清晰度方面，空間信息保持較好的是本文方法，其次是GS方法和IHS方法，PCA方法和BT方法稍遜一籌。從紋理特征觀察，表現(xiàn)最好的是本文算法，無論是河岸線還是建筑本文方法的融合影像都能清楚地反映出它們的紋理細節(jié)，IHS方法建筑物邊緣出現(xiàn)了模糊現(xiàn)象，BT方法，PCA方法和GS方法在道路和綠地部分出現(xiàn)部分偽影現(xiàn)象。從光譜特征來看，IHS方法和BT方法出現(xiàn)了明顯的顏色失真，綠地部分IHS融合結(jié)果偏綠，BT融合結(jié)果偏青，PCA方法和GS方法綠地顏色相較于原始影像顏色偏淡，本文方法綠地顏色與原始影像幾乎一致。

2.2 客觀定性評價

影像融合質(zhì)量的定量評價主要依據(jù)融合后影像能否具備較好的光譜保真度和能夠提高空間細節(jié)信息。具體的定量評價指標有很多，本文通過客觀分析影像的特點，選取信息熵、均值、相關(guān)系數(shù)、平均梯度、偏差度和光譜扭曲度六個指標評價影像融合算法[10]。通過MATLAB 2016b計算不同方法的融合結(jié)果的評價指標，結(jié)果如表1所示。

信息熵的值越大表示影像包含信息越豐富，均值變化越小表示影像空間信息保留越好，相關(guān)系數(shù)和偏差度能夠間接反映融合影像與原始影像的空間信息與光譜信息的匹配程度，評價梯度對影像地物的細節(jié)紋理特征十分敏感，能夠客觀的評價影像紋理變換的特點，光譜扭曲度能直接表示融合影像對比原始影像的光譜退化程度。由表2可知，本文方法融合影像的信息熵達到了1.62，GS方法、PCA方法和IHS方法數(shù)值較為接近，BT方法信息熵值最小只有0.81。均值變化GS方法，PCA方法和本文方法幾乎一致，IHS方法和BT方法變化較大，說明本文方法的融合影像質(zhì)量最高，GS方法和PCA方法的融合影像質(zhì)量接近，IHS方法和BT方法的融合影像質(zhì)量最低，丟失了較多信息。相關(guān)系數(shù)，偏差度和光譜扭曲度本文方法表現(xiàn)最好，分別有0.91，0.08和20.05，GS方法和PCA方法的融合效果相似，PCA方法對光譜信息的保留優(yōu)于GS方法，而對空間信息的保留略低于GS方法，IHS方法和BT方法光譜扭曲度都很高，說明這兩種方法的融合影像有明顯的顏色失真現(xiàn)象。結(jié)果表明本文方法融合影像與原始影像有較高的結(jié)構(gòu)相似度同時有效保留了光譜信息，本文方法的融合影像無論是空間分辨率還是光譜分辨率均高于其余4種方法，能夠有效地保留原始影像的空間細節(jié)和光譜特征。

3 結(jié) 論

本文以甘肅省蘭州市的GF-2全色影像和多光譜影像作為數(shù)據(jù)源，提出了一種結(jié)合PCNN和NSCT的遙感影像融合方法，通過與IHS方法、BT方法、GS方法和PCA方法融合結(jié)果進行主觀定性客觀定量評價分析，本文的方法在目視解譯和客觀定量評價的表現(xiàn)上總體優(yōu)于對比的4種融合方法，能夠清晰地表現(xiàn)地物的邊緣紋理特征，同時還有效保留了原始影像的多光譜信息。

參考文獻：

[1] 王淑香，金飛，林雨準，等.考慮局部方差互信息和梯度一致性的改進SFIM遙感圖像融合方法 [J].地球信息科學(xué)學(xué)報，2024，26（3）：693-708.

[2] 徐欣鈺，李小軍，趙鶴婷，等.NSCT和PCNN相結(jié)合的遙感圖像全色銳化算法 [J].自然資源遙感，2023，35（3）：64-70.

[3] 王艷.基于PCNN的紅外與可見光圖像融合算法 [D].蘭州：蘭州交通大學(xué)，2020.

[4] 邸敬，任莉，劉冀釗，等.基于NSST域混合濾波與改進邊緣檢測PCNN的醫(yī)學(xué)圖像融合 [J].光電子·激光，2023，34（9）：997-1008.

[5] WANG X N，LIANG D Q. Orientation Information Measure based Image Restoration [C]//Proceedings of the 2003 International Conference on Machine Learning and Cybernetics.Xi'an：IEEE，2003：2925-2930.

[6] 馬雪景，王文煥，劉國巍.人工神經(jīng)網(wǎng)絡(luò)在含噪圖像邊緣檢測算法中的應(yīng)用 [J].西安工程大學(xué)學(xué)報，2021，35（2）：79-84.

[7] 楊迎港，張合兵.遙感影像融合方法對GF-2影像土地利用分類的影響 [J].測繪與空間地理信息，2023，46（12）：49-52.

[8] 成飛飛，付志濤，牛寶勝，等.基于非下采樣剪切波變換的國產(chǎn)高分遙感影像融合 [J].激光與光電子學(xué)進展，2022，59（12）：449-457.

[9] 付鴻鵬.高分七號衛(wèi)星數(shù)據(jù)質(zhì)量評價及處理方法研究 [J].測繪與空間地理信息，2022，45（12）：143-145+149.

[10] 李景文，陳文達，姜建武.融合邊緣特征和對抗網(wǎng)絡(luò)的遙感影像超分辨重建方法 [J].計算機應(yīng)用與軟件，2023，40（2）：240-245.

作者簡介：王筱宇（1995—），男，漢族，河南信陽人，碩士研究生在讀，研究方向：遙感影像分析與處理、GIS空間分析。