基于非負最小二乘法的全色與高光譜圖像融合

郝紅勛 何紅艷 張炳先

基于非負最小二乘法的全色與高光譜圖像融合

郝紅勛1何紅艷2,3張炳先2,3

（1 中國民航大學飛行技術學院，天津 300300）（2 北京空間機電研究所，北京 100094）（3 先進光學遙感技術北京市重點實驗室，北京 100094）

現有光學遙感圖像融合方法主要針對全色與多光譜圖像，直接將其用于全色與高光譜圖像融合存在以下問題：高光譜圖像波段數量遠多于多光譜圖像，通過高光譜波段加權合成低分辨率全色圖像，容易出現灰度失真；高光譜圖像與全色圖像的空間分辨率相差很大，采用現有的加性變換融合方法，會導致融合圖像中部分地物出現光譜或細節(jié)失真。為此，文章提出了基于非負最小二乘法的全色與高光譜圖像融合方法。首先對高光譜圖像進行波段壓縮，得到波段壓縮的高光譜圖像；然后對波段壓縮的高光譜圖像及全色圖像進行非負最小二乘擬合，得到低分辨率全色圖像；最后，采用比值變換模型生成融合圖像。試驗表明該方法的光譜與細節(jié)保真效果好，優(yōu)于對比方法。

圖像融合 高光譜圖像 非負最小二乘 遙感圖像 航天遙感

0 引言

目前，越來越多的航天平臺采用全色與高光譜傳感器同時相對地成像，如美國的Earth Observing-1（EO-1）衛(wèi)星，以及我國的“天宮一號”（TG-1）目標飛行器等。對于同時相成像方式，其全色圖像的空間分辨率遠優(yōu)于高光譜圖像，原因在于：全色傳感器探元接收入射光的光譜范圍遠比高光譜傳感器探元寬，若要接收相同能量的入射光，高光譜傳感器探元的物理尺寸遠大于全色傳感器探元[1]；此外，高空間分辨率的高光譜傳感器數據形成率極大，會給星地數據傳輸帶來極大的壓力。但是，實際應用往往需要高空間分辨率的高光譜圖像，因此，遙感圖像融合技術一直以來是遙感圖像預處理的關鍵技術，至今依然是數據融合領域的研究熱點[2]。

光學遙感圖像融合主要針對全色與多光譜圖像，可分為加性變換和比值變換兩大類型[3]。比值變換（Ratio Transformation，RT）融合方法[4-6]，首先計算全色圖像及其對應低分辨率全色圖像的比值圖像，該比值圖像主要表征融合圖像的空間細節(jié)；然后按像素點計算比值圖像與多光譜上采樣圖像的乘積生成融合圖像。加性變換進一步分為分量替換（Component Substitution，CS）、頻率域變換（Frequency Transformation，FT）兩類。分量替換法[7-11]首先對多光譜圖像進行矩陣變換，得到保留分量和替換分量；然后對全色圖像與保留分量進行矩陣逆變換生成融合圖像。頻率域變換融合方法[12-13]首先分別對全色與多光譜圖像進行頻率分解；然后通過全色圖像的高頻分量及多光譜圖像的低頻分量的逆變換生成融合圖像。總體而言，加性變換融合方法難以克服多光譜圖像過飽和引起的光譜和細節(jié)失真[3, 5]，且計算復雜度高于比值變換融合方法，因此這類方法研究較多但實用性較差。

迄今為止，針對高光譜圖像的融合方法研究相對較少，其中，文獻[14-15]主要采用加性變換實現多光譜與高光譜圖像融合，該類方法不適用于全色與高光譜圖像融合。文獻[16]采用比值變換實現全色與高光譜圖像融合，其高光譜波段合并與低分辨率全色圖像合成實際應用需要人工調節(jié)參數，否則融合圖像容易出現光譜失真。文獻[17-18]采用加性變換實現全色與高光譜圖像融合，計算復雜度高，且存在光譜與細節(jié)失真問題。全色與高光譜圖像融合與全色與多光譜圖像融合存在較大差異，主要表現在：1）高光譜圖像波段數量多，而多光譜圖像波段數量相對較少，二者甚至相差幾十倍，導致利用高光譜波段合成低分辨率全色圖像更容易出現灰度失真；2）一般而言，全色與高光譜圖像的空間分辨率差異遠大于全色與多光譜圖像的空間分辨率差異，導致融合圖像容易出現細節(jié)失真。因此，將全色與多光譜圖像的融合方法直接應用于全色與高光譜圖像，容易產生光譜與細節(jié)失真問題。針對上述問題，本文提出了波段合并策略和基于非負最小二乘法的低分辨率全色圖像合成策略，從而實現全色與高光譜圖像的高保真融合。

1 全色與高光譜圖像的高保真融合

高光譜圖像波段數量多，直接利用高光譜波段合成低分辨率全色圖像容易產生灰度失真，因此利用自適應均值加權技術將相鄰的多個高光譜波段加權合成為一個波段，得到合并波段圖像，可有效減少低分辨率全色圖像合成所使用的高光譜波段數量；另外，不同地物反射光譜差異較大，且無約束最小二乘擬合未考慮高光譜波段對合成低分辨率全色圖像權值的非負性，也導致合成的低分辨率全色圖像出現灰度失真，需要對全色與合并波段圖像的像元進行自適應聚類，并對不同類別像元采用非負最小二乘擬合低分辨率全色圖像；最后，采用比值變換法，生成光譜與細節(jié)高保真的全色與高光譜融合圖像?？傮w技術路線見圖1。

圖1 總體技術路線

1.1 高光譜圖像波段合并

高光譜圖像波段合并的主要原因在于：1）利用最小二乘擬合低分辨率全色圖像時，使用的高光譜圖像波段越多，生成的低分辨率全色圖像越容易產生光譜失真；2）高光譜圖像波段數量多，直接利用高光譜圖像的所有波段擬合生成低分辨率全色圖像計算耗時多。因此，本文設計了自適應均值加權策略，將全色波段所涵蓋的高光譜波段歸并為少量的合并波段，可有效避免文獻[16]中的人為指定波段合并步長對不同類型高光譜圖像適應性差的問題。

令全色波段所涵蓋的高光譜波段為b，表示波段；，分別表示像元的行與列，則高光譜波段合并算法步驟如下：

1）波段合并初始步長=3；

2）將b中每相鄰的個波段采用均值加權合并為一個波段，即

3）計算合并波段與高光譜圖像波段的偏差

式中，分別為高光譜圖像的每個波段總行數與列數；為高光譜圖像總的波段數。

在步驟1）中，由于高光譜相鄰波段中各像元的取值差異較小，為減小計算耗時，因此將初始步長設置為3。

1.2 低分辨率全色圖像合成

低分辨率全色圖像合成是全色與高光譜圖像融合的關鍵環(huán)節(jié)，其生成的低分辨率全色圖像直接影響融合圖像的光譜和細節(jié)保真度。由于不同地物反射光譜差異較大，直接將所有地物視為一個整體擬合低分辨率全色圖像時，部分地物容易出現灰度失真，進而導致其在融合圖像中出現光譜失真，因此本文根據全色圖像與合并波段的像元值相關性差異，將所有像元自適應聚類為不同類別；同時，無約束最小二乘擬合未考慮高光譜波段對合成低分辨率全色圖像權值的非負性，可導致合成的低分辨率全色圖像出現灰度失真，需要對不同類別像元進行非負最小二乘擬合，生成灰度高保真的低分辨率全色圖像。

1.3 比值變換融合模型

加性變換法通過將全色圖像的空間細節(jié)信息疊加至高光譜圖像來生成融合圖像，因此，當高光譜地物過飽和時，疊加空間細節(jié)信息產生飽和溢出，導致過飽和地物產生細節(jié)失真。為了避免該問題，采用比值變換融合模型生成全色與高光譜融合圖像。

2 融合試驗與分析

2.1 試驗數據與評價指標

2.2 試驗結果分析

文獻[16-18]分別采用比值變換、頻率變換、分量替換三種方法實現全色與高光譜圖像融合，是當前最新發(fā)表的圖像融合方法。將這三種方法與本文方法進行對比分析，試驗結果如圖2和圖3所示。

（a）高光譜圖像（a）Hyperspectral image（b）全色圖像（b）Panchromatic image（c）分量替換法（c）CS method （d）頻率變換法（d）FT method（e）比值變換法（e）RT method（f）本文方法（f）Our Method

（a）高光譜圖像（a）Hyperspectral image（b）全色圖像（b）Panchromatic image（c）分量替換法（c）CS method （d）頻率變換法（d）FT method（e）比值變換法（e）RT method（f）本文方法（f）Our Method

通過對比高光譜圖像與融合圖像的色彩可發(fā)現，分量替換法、頻率變換法、比值變換法生成的融合圖像存在一定程度的光譜失真，而本文方法融合圖像的光譜與細節(jié)保真效果均較好。表1給出了融合圖像的客觀評價值，可知本文方法在光譜保真、細節(jié)保真，以及綜合保真三個方法均優(yōu)于對比方法。

>

表1 圖像融合質量定量評價

Tab.1 Quantitative evaluation of image fusion quality

3 結束語

本文提出了基于非負最小二乘法的全色與高光譜圖像融合方法，其采用波段自適應合并、像元自適應分類以及非負最小二乘法準確合成低分辨率全色圖像，提高了融合方法對不同類型地物、不同類型高光譜圖像的適應性。美國EO-1衛(wèi)星和我國TG-1目標飛行器的全色與高光譜圖像融合試驗表明，本方法的光譜與細節(jié)保真效果好，優(yōu)于其他對比方法。需要指出的是，本文在合成低分辨率全色圖像時，僅加入了非負約束，后續(xù)將進一步引入權值之和等于1的更強約束，以進一步提高融合圖像的光譜與細節(jié)保真度。

)

[1] POHL C, GENDEREN V J L. Multisensor Image Fusion in Remote Sensing: Concepts, Methods, and Applications[J]. Remote Sensing, 1998, 19(5): 823-854.

[2] ZHANG J. Multi-source Remote Sensing Data Fusion: Status and Trends[J]. Image and Data Fusion, 2010, 1(1): 5-24.

[3] XU Q, ZHANG Y, LI B. Recent Advances in Pansharpening and Key Problems in Applications[J]. Image Data Fusion, 2014, 5(3): 175-195.

[4] ZHANG Y. System and Method for Image Fusion[P]: US7340099B2. 2008.

[5] XU Q, ZHANG Y, LI B, et al. Pansharpening Using Regression of Classified MS and Pan Images to Reduce Color Distortion[J]. IEEE Geoscience and Remote Sensing Letters, 2015, 12(1): 28-32.

[6] 徐其志, 高峰. 基于比值變換的全色與多光譜圖像高保真融合方法[J]. 計算機科學, 2014, 41(10): 19-22. XU Qizhi, GAO Feng. Panchromatic and Hyperspectral Image High-fidelity Fusion Method Based on Ratio Transformation[J]. Computer Science, 2014, 41(10): 19-22. (in Chinese)

[7] XU Q, LI B, ZHANG Y, et al. High-fidelity Component Substitution Pansharpening by the Fitting of Substitution Data[J]. IEEE Transaction on Geoscience and Remote Sensing, 2014, 52(11): 7380-7392.

[8] 潘瑜, 徐麗燕, 王靜, 等. 基于多重集典型相關分析的圖像融合方法[J]. 航天返回與遙感, 2011, 32(3): 69-76. PAN Yu, XU Liyan, WANG Jing, et al. A Image Fusion Method Based on Multi-set Canonical Correlation Analysis[J]. Spacecraft Recovery & Remote Sensing, 2011, 32(3): 69-76. (in Chinese)

[9] SHAHDOOSTI HR, GHASSEMIAN H. Combining the Spectral PCA and Spatial PCA Fusion Methods by an Optimal Filter[J]. Information Fusion, 2016, 27(1): 150-160.

[10] YANG Y, WU L, HUANG S, et al. Compensation Details-based Injection Model for Remote Sensing Image Fusion[J]. IEEE Geoscience and Remote Sensing Letters, 2018, 15(5): 734-738.

[11] KHADEMI G, GHASSEMIAN H. Incorporating an Adaptive Image Prior Model into Bayesian Fusion of Multispectral and Panchromatic Images[J]. IEEE Geoscience and Remote Sensing Letters, 2018, 15(6): 917-921.

[12] YANG Y, WAN W, HUANG S, et al. Remote Sensing Image Fusion Based on Adaptive IHS and Multiscale Guided Filter[J]. IEEE Access, 2016, 4: 4573-4582.

[13] JIN B, KIM G, CHO N. Wavelet-domain Satellite Image Fusion Based on A Generalized Fusion Equation[J]. Applied Remote Sensing. 2014, 8(1): 080599.

[14] NEZHAD Z D, KARAMI A, HEYLEN R, et al. Fusion of Hyperspectral and Multispectral Images Using Spectral Unmixing and Sparse Coding[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2016, 9(6): 2377-2389.

[15] ZHOU Y, FENG L, HOU C, et al. Hyperspectral and Multispectral Image Fusion Based on Local Low Rank and Coupled Spectral Unmixing[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 55(10): 5997-6009.

[16] XU Q, QIU W, LI B, et al. Hyperspectral and Panchromatic Image Fusion Through an Improved Ratio Enhancement[J]. Journal of Applied Remote Sensing, 2017, 11(1): 1-14.

[17] AN Z, SHI Z. Hyperspectral Image Fusion by Multiplication of Spectral Constraint and NMF[J]. Optik-international Journal for Light and Electron Optics, 2014, 125(13): 3150-3158.

[18] LICCIARDI G A. Fusion of Hyperspectral and Panchromatic Images Using Multiresolution Analysis and Nonlinear PCA band reduction[J]. EURASIP Journal of Advance Signal Process, 2012(1): 1-17.

[19] ALEX R, ALESSANDRO L. Clustering by Fast Search and Find of Density Peaks[J]. Science, 2014, 344(6191): 1492-1496.

[20] 常璐, 廖安平. 基于罰函數的非負最小二乘問題的數值方法[EB/OL]. 北京: 中國科技論文在線[2018-05-21]. http://www.paper.edu.cn/releasepaper/content/201805-178. CHANG Lu, LIAO Anping. An Algorithm for Non-negative Least Squares Problem Based on Penalty Function [EB/OL]. Beijing: China Science Paper Online [2018-05-21]. http://www.paper.edu.cn/releasepaper/content/201805-178. (in Chinese)

[21] ALPARONE L. Multispectral and Panchromatic Data Fusion Assessment without Reference[J]. Photogrammetric Engineering & Remote Sensing, 2008, 74(2): 193-200.

Panchromatic and Hyperspectral Images Fusion Based on Non-negative Least Squares Algorithm

HAO Hongxun1HE Hongyan2,3ZHANG Bingxian2,3

（1 The Flight Technology College, Civil Aviation University of China, Tianjin 300300, China）（2 Beijing Institute of Space Mechanics & Electricity, Beijing 100094, China）（3 Key Laboratory for Advanced Optical Remote Sensing Technology of Beijing, Beijing 100094, China）

The existing optical remote sensing image fusion methods focus on panchromatic and multispectral images. There will be the following problems while directly using these methods to deal with panchromatic and hyperspectral images. Due to the fact that hyperspectral bands are far more than multispectral bands, the existing methods are prone to grayscale distortion while synthesizing low-resolution panchromatic images by the weighted summation of hyperspectral bands. On the other hand, the existing optical remote sensing image fusion methods mainly use additive transformation, which can cause spectral or detail distortion in some ground objects because there are great spatial resolution difference between hyperspectral and panchromatic images. To solve the problems, this paper proposes the non-negative least squares algorithm based panchromatic and hyperspectral images fusion method. Firstly, this method reduces the bands of hyperspectral images by band compression. Then the low-resolution panchromatic images are generated by orthogonal least squares algorithm from the reduced bands and the panchromatic images. Finally, the fusion images are obtained by a ratio transformation model. The experiments demonstrated that the proposed method had a good performance on fusion quality, and was superior to the existed methods.

image fusion; hyperspectral image; non-negative least squares; remote sensing image; space remote sensing

TP79

A

1009-8518(2019)04-0105-07

10.3969/j.issn.1009-8518.2019.04.012

郝紅勛，男，1977年生，2017年獲中國礦業(yè)大學（北京）安全技術及工程專業(yè)工學博士學位，講師。研究領域為航空航天新技術、飛行技術與航空安全、人機與環(huán)境工程。E-mail：hxhao8946 @aliyun.com。

2019-05-16

（編輯：王麗霞）