改進的基于稀疏表示的全色銳化算法

吳宗駿 吳煒 楊曉敏

摘 要：為了更有效地結合高分辨率全色（PAN）圖像細節(jié)信息和低分辨率多光譜（MS）圖像光譜信息，提出了一種改進的全色銳化算法。首先，對低分辨率MS圖像的強度通道進行下采樣再上采樣獲取其低頻成分;其次，用強度通道減去低頻成分獲取其高頻成分，在獲取到的高低頻成分中進行隨機采樣來構建字典;然后，用構建好的過完備字典對高分辨率PAN圖像進行分塊分解以獲取高頻信息;最后，將分解出的高頻信息注入到低分辨率MS圖像中以重建高分辨率MS圖像。經多組實驗后發(fā)現(xiàn)，所提出的算法在主觀上保留了光譜信息，并注入了大量的空間細節(jié)信息。對比結果表明，相比其他諸如基于成分替換算法、基于多分辨率分析算法、基于稀疏表示算法，所提算法重建出來的高分辨率MS圖像更加清晰，且在相關系數(shù)等多種客觀評價指標上優(yōu)于對比算法。

關鍵詞：高分辨率全色圖像;低分辨率多光譜圖像;遙感圖像融合; 稀疏表示; 字典構建

中圖分類號： TP751.1

文獻標志碼：A

Abstract： In order to more effectively combine the detail information of high resolution PANchromatic （PAN） image and the spectral information of low resolution MultiSpectral （MS） image， an improved panchromatic sharpening algorithm based on sparse representation was proposed. Firstly， the intensity channel of an MS image was down-sampled and then up-sampled to get its low-frequency components. Secondly， the MS image intensity channel minus low-frequency components to obtain its high-frequency components. Random sampling was performed in the acquired high and low frequency components to construct a dictionary. Thirdly， the PAN image was decomposed to get the high-frequency components by using the constructed overcomplete dictionary. Finally， the high-frequency components of the PAN image were injected into the MS image to obtain the desired high-resolution MS image. After a number of experiments， it was found that the proposed algorithm subjectively retains the spectral information and injects a large amount of spatial details. Compared with component substitution method， multiresolution analysis method and sparse representation method， the reconstructed high resolution MS image by the proposed algorithm is more clear， and the correlation coefficient and other objective evaluation indicators of the proposed algorithm are also better.

Key words： high resolution PANchromatic （PAN） image; low resolution MultiSpectral （MS） image; remote sensing image fusion; sparse representation; dictionary construction

0 引言

目前，大量衛(wèi)星獲取了地球的地表圖像信息，通常包含多光譜（MultiSpectral， MS）圖像和全色（PANchromatic， PAN）圖像，這兩種圖像優(yōu)缺點互補。由于技術的限制，想要獲取高空間分辨率多光譜（High spatial resolution MultiSpectral， HMS）圖像是一件十分困難且成本高昂的事，所以人們通常將MS圖像和PAN圖像兩者融合起來以便獲取想要的HMS圖像。HMS圖像不僅具有大量的細節(jié)信息，而且還包含了豐富的光譜信息，對于人類理解地球，進行地表測繪、軍事偵查、城市規(guī)劃等具有重要幫助，所以對遙感圖像進行融合是一項十分重要且有意義的課題。

對于MS圖像和PAN圖像的融合，國內外的研究者已經提出了很多行之有效的算法，這些融合算法大體上可以分為三類：一類是比較傳統(tǒng)的基于成分替換的算法;一類是基于多分辨率分析的算法;還有一類是近年來新興的基于稀疏表示的算法。

基于成分替換的算法比較經典，比較有代表性的是基于IHS（Intensity， Hue， Saturation）顏色空間變換的全色銳化算法[1-6]，此類算法主要的做法是先將MS圖像從RBG（Red， Blue， Green）顏色空間變換到IHS顏色空間，然后用PAN圖像替換通道，最后通過相應的反變換來得到HMS圖像。此類算法簡單且高效，但在取得良好的銳化效果的同時也會帶來嚴重的光譜混疊從而引起顏色失真，具有一定的局限性。

此類算法的代表算法有：改進的自適應強度色調飽和度遙感影像融合算法（Improved Adaptive Intensity-Hue-Saturation method for the fusion of remote sensing images， IAIHS） [5]、用摳圖模型進行銳化（Pansharpening with Matting Model， PMM） [7]的算法。

基于多分辨率分析的算法則是利用小波變換[8-12]、拉普拉斯金字塔[14-15]、雙邊濾波器[16]等來提取PAN圖像的高頻部分，并將其融入到MS圖像中去構建出HMS圖像。不同于成分替換的算法，基于多分辨率的算法可以較好地減少融合圖像的光譜失真，但該算法僅僅能提取出一種結構的空間細節(jié)信息，故該算法的銳化結果有時會出現(xiàn)空間畸變。此類算法的代表算法有：基于àtrous小波變換的銳化算法（àtrous WaveLet transform-based Pan-sharpening， AWLP）[9]和基于多尺度映射LS-SVM的遙感圖像融合（remote sensing image fusion using multiscale mapped LS-SVM， SVT）[13]。

近年來，稀疏表示理論的完善使基于稀疏表示的方法得到良好的發(fā)展。Li等[17]首次應用了稀疏表示技術來解決全色銳化問題，但由于需要用到HMS圖像進行字典的構建，而HMS圖像在現(xiàn)實生活中是不存在的，所以算法并不具有可行性。

此類算法的代表算法有： 基于壓縮感知的遙感圖像融合算法（new PAN-sharpening method using Compressed Sensing， CS） [17]和基于稀疏表示的細節(jié)注入銳化（Sparse Representation Based Pansharpening with details injection model， SRBP）算法[18]。

綜上所述，本文的研究有以下三個核心點：1）在取得良好銳化效果的同時避免引起顏色失真;

2）在取得良好銳化效果的同時避免出現(xiàn)空間畸變;

3）充分利用已有的信息去構建相關字典。

在前人基于稀疏表示的圖像融合算法基礎上，本文提出了一種改進的基于稀疏表示的圖像全色銳化算法。該算法采用MS圖像來構建一對高低頻字典，并用該字典對PAN圖像進行分解得到高頻成分，將分解出來的高頻成分融入到MS圖像中進而重建得到HMS圖像。相比前面介紹的三類圖像融合算法，本文算法在主觀上保留了光譜信息，同時還注入了大量的空間細節(jié)信息，重建出的高分辨率多光譜圖像更加清晰，而且在客觀評價指標上也優(yōu)于對比算法。

1 本文方法

1.1 技術框架

為了使本文算法理解起來更加直觀，首先給出本文算法的技術框架如圖1所示。

算法的主要步驟為：1）獲取MS圖像訓練集的圖像強度（Intensity， I）通道;2）對圖像I通道進行下采樣后上采樣獲取圖像I通道的低頻成分;3）利用原始的圖像I通道減去圖像I通道的低頻成分獲得圖像I通道的高頻成分;4）對圖像I通道的高低頻成分進行隨機采樣構建高低頻字典;5）利用高低頻字典對PAN圖像進行分解以獲得PAN圖像的高頻成分;6）將PAN圖像的高頻成分與MS圖像相融合重建出HMS圖像。

3 結語

本文在圖像融合這一領域，針對以往的全色銳化算法所引起的顏色失真、空間畸變以及不能充分利用已有信息去構建相關字典的問題，提出了一種改進的基于稀疏表示的全色銳化算法。本文算法首先利用已有的MS圖像構建高低頻字典，并對PAN圖像進行分解，在分解完畢后考慮到分解出來的低頻成分中仍會有高頻成分的殘留，又再度對第一次分解出來的低頻成分進行二次分解得到了新的高頻成分，最后將這兩種分解出來的高頻成分融入到MS圖像中去，進而構建出所需要的HMS圖像。本文驗證了用MS圖像來構建高低頻字典的實用性，以及使用MS圖像所構建的字典來分解PAN圖像可以獲得更加符合MS圖像光譜特性的空間細節(jié)信息，進一步減少銳化結果的光譜失真。

通過實驗結果發(fā)現(xiàn)，本文算法所構建出來的融合圖像主觀上比其他算法所構建出來的圖像在光譜（也就是顏色）上不會有較大的失真，并且可以很好地還原HMS圖像的細節(jié)信息;而在客觀上各項評價指標相比其他算法均是最優(yōu)或次優(yōu)。這說明本文算法所構建出來的融合圖像在顏色和細節(jié)信息上更加清晰且與參考的HMS圖像契合度更高。

不過仍有很多需要改進的地方，比如本文算法雖然在融合結果上取得了很好的效果，但速度顯得過慢，實時性難以達到要求，因此如何在保證效果的前提下提高融合的速度將是未來研究的方向。除此之外，本文算法需要大量的訓練圖像進行支撐，如何在小數(shù)據(jù)集上也取得很好的訓練效果也是一個十分值得研究的問題。

參考文獻：

[1] CHOI M. A new intensity-hue-saturation fusion approach to image fusion with a tradeoff parameter [J]. IEEE Transactions on Geoscience and Remote Sensing， 2006， 44（6）： 1672-1682.

[2] RAHMANI S， STRAIT M， MERKURJEV D， et al. An adaptive IHS pan-sharpening method [J]. IEEE Geoscience and Remote Sensing Letters， 2010， 7（4）： 746-750.

[3] CHOI J， YU K， KIM Y. A new adaptive component-substitution-based satellite image fusion by using partial replacement [J]. IEEE Transactions on Geoscience and Remote Sensing， 2011， 49（1）： 295-309.

[4] EL-MEZOUAR M C， TALEB N， KPALMA K， et al. An IHS-based fusion for color distortion reduction and vegetation enhancement in IKONOS imagery [J]. IEEE Transactions on Geoscience and Remote Sensing， 2011， 49（5）： 1590-1602.

[5] LEUNG Y， LIU J， ZHANG J. An improved adaptive intensity-hue-saturation method for the fusion of remote sensing images [J]. IEEE Geoscience and Remote Sensing Letters， 2014， 11（5）： 985-989.

[6] 王曉艷，劉勇，蔣志勇.一種基于結構相似度的IHS變換融合算法[J].遙感技術與應用，2011，26（5）：670-676.（WANG X Y， LIU Y， JIANG Z Y. An HIS fusion method based on structural similarity [J]. Remote Sensing Technology and Application， 2011， 26（5）： 670-676.）

[7] KANG X， LI S， BENEDIKTSSON J A. Pansharpening with matting model [J]. IEEE Transactions on Geoscience and Remote Sensing， 2014， 52（8）： 5088-5099.

[8] NUNEZ J， OTAZU X， FORS O， et al. Multiresolution-based image fusion with additive wavelet decomposition [J]. IEEE Transactions on Geoscience and Remote Sensing， 1999， 37（3）： 1204-1211.

[9] OTAZU X， GONZALEZ-AUDICANA M， FORS O， et al. Introduction of sensor spectral response into image fusion methods. Application to wavelet-based methods [J]. IEEE Transactions on Geoscience and Remote Sensing， 2005， 43（10）： 2376-2385.

[10] LI S， KWOK J. T， WANG Y. Using the discrete wavelet frame transform to merge Landsat TM and SPOT panchromatic images [J]. Information Fusion， 2002， 3（1）： 17-23.

[11] JIN B， KIM G， CHO N I. Wavelet-domain satellite image fusion based on a generalized fusion equation [J]. Journal of Applied Remote Sensing， 2014， 8（1）： 080599.

[12] 曾宇燕，何建農.基于區(qū)域小波統(tǒng)計特征的遙感圖像融合方法[J].計算機工程，2011，37（19）：198-200. （ZENG Y Y， HE J N. Remote sensing image fusion method based on regional wavelet statistical features [J]. Computer Engineering， 2011， 37（19）： 198-200.）

[13] ZHENG S， SHI W-Z， LIU J， et al. Remote sensing image fusion using multiscale mapped LS-SVM [J]. IEEE Transactions on Geoscience and Remote Sensing， 2008， 46（5）： 1313-1322.

[14] LEE J， LEE C. Fast and efficient panchromatic sharpening [J]. IEEE Transactions on Geoscience and Remote Sensing， 2010， 48（1）： 155-163.

[15] AIAZZI B， ALPARONE L， BARONTI S， et al. MTF-tailored multiscale fusion of high-resolution MS and Pan imagery [J]. Photogrammetric Engineering and Remote Sensing， 2006， 72（5）： 591-596.

[16] KAPLAN N H， ERER I. Bilateral filtering-based enhanced pansharpening of multispectral satellite images [J]. IEEE Geoscience and Remote Sensing Letters， 2014， 11（11）： 1941-1945.

[17] LI S， YANG B. A new PAN-sharpening method using a compressed sensing technique [J]. IEEE Transactions on Geoscience and Remote Sensing， 2011， 49（2）： 738-746.

[18] YIN H. Sparse representation based pansharpening with details injection model [J]. Signal Processing， 2015， 113： 218-227.

[19] ZHU X X， BAMLER R. A sparse image fusion algorithm with application to pan-sharpening [J]. IEEE Transactions on Geoscience and Remote Sensing， 2013， 51（5）： 2827-2836.

[20] GUO M， ZHANG H， LI J， et al. An online coupled dictionary learning approach for remote sensing image fusion [J]. IEEE Transactions on Geoscience and Remote Sensing， 2014， 7（4）： 1284-1294.

[21] WALD L， WALD L， CHANUSSOT J， et al. Comparison of pansharpening algorithms： Outcome of the 2006 GRS-S data-fusion contest [J]. IEEE Transactions on Geoscience and Remote Sensing， 2007， 45（10）： 3012-3021.

[22] WALD L. Quality of high resolution synthesized images： is there a simple criterion？ [C]// Proceedings of the 2000 International Conference Fusion Earth Data. Piscataway， NJ： IEEE， 2000： 99-105.

[23] WANG Z， BOVIK A C. A universal image quality index [J]. IEEE Signal Process Letters， 2002， 9（3）： 81-84.

[24] YUHAS R H， GOETZ A F H， BOARDMAN J W. Discrimination among semi-arid landscape endmembers using the Spectral Angle Mapper （SAM） algorithm [C]// Proceedings of the 1992 Summaries of the Third Annual JPL Airborne Geoscience Workshop. Pasadena： JPL， 1992： 147-149.