基于分類字典學習的遙感圖像超分辨率方法

王超 孫權(quán)森 劉佶鑫 賀金平 張從梅

（1 南京理工大學圖像工程實驗室，南京 210094）

（2 南京郵電大學寬帶無線通信技術(shù)教育部工程研究中心，南京 210094）

（3 北京空間機電研究所，北京 100094）

0 引言

隨著航天技術(shù)的發(fā)展以及遙感器性能的不斷改進，衛(wèi)星遙感圖像的空間分辨率[1]已發(fā)展到一個嶄新水平。然而，在遙感圖像獲取過程中，有很多因素會造成分辨率的下降，例如大氣擾動、頻率混疊，以及成像、傳輸過程中引入的噪聲等[2]。由于硬件方法受到制造工藝和生產(chǎn)成本的限制，因此利用數(shù)字信號處理技術(shù)提高圖像分辨率的方法近年來受到廣泛關(guān)注，相關(guān)的方法被稱為超分辨率（super resolution，SR）圖像重構(gòu)[3-4]。

現(xiàn)有的超分辨率方法大致分為三個主要研究方向：基于插值的方法、基于重建的方法和基于學習的方法。其中，基于學習的超分辨率方法由于其良好的重構(gòu)結(jié)果，成為目前的研究熱點。比較典型的有基于樣本（example-based）的方法[5]、鄰域嵌入（neighbor embedding）的方法[6]、支持向量回歸方法（support vector regression，SVR）[7]和稀疏表示的方法?；谙∈璞硎镜某直媛手亟ǚ椒ㄗ钤缬蒠ang等在2008年提出[8]，此方法具有一定的自適應性，取得了引人矚目的結(jié)果。Yang等又在2010年對此方法進行了改進，加入了字典訓練的過程[9]，確保了高低分辨率圖像塊表示系數(shù)的一致性，并降低了重建的復雜度。但其缺點在于重構(gòu)圖像邊緣相對光滑，一些細微的圖像結(jié)構(gòu)沒有得到恢復，重構(gòu)過程中稀疏系數(shù)獲取速度過慢。

Elad等在Yang提出方法的基礎上，在字典訓練過程中采取了K-奇異值分解（K-singular value decomposition，K-SVD，其中K表示最近鄰個數(shù)）算法[10]，并采用主成分分析法（principal component analysis，PCA）降低了字典的維數(shù)，重構(gòu)過程中采取正交匹配追蹤（orthogonal matching pursuit，OMP）的方法等，提高了超分辨率重建算法的速度和重構(gòu)圖像的質(zhì)量（quality，以下同）。

然而遙感圖像的觀測范圍大，紋理信息豐富，不同地物類型都有非常豐富的地貌特征。從目前稀疏編碼在遙感圖像重構(gòu)中的應用效果來看，盡管通過一些措施（如選擇度量性能較好的目標函數(shù)）能夠在一定程度上提高成像質(zhì)量，但由于遙感圖像尺寸不斷增加導致的數(shù)據(jù)海量化，以及需要引入過完備字典導致運算開銷大幅增加等問題，大大降低了遙感圖像稀疏重構(gòu)方法的實用性。因此，如何利用現(xiàn)有的條件提高重構(gòu)運算的效率是具有重要研究價值的課題。

本文根據(jù)遙感圖像地貌特征差異的特點，在字典學習的過程中，根據(jù)地物類型的不同，訓練多個字典；在重構(gòu)過程中，我們先對原始圖像的紋理特征進行分類，再使用維數(shù)較小的對應類別字典進行重構(gòu)。這樣可以在保證恢復圖像質(zhì)量的同時，大幅提高重構(gòu)運算效率。

1 基于稀疏表示的圖像超分辨率重建算法

在本節(jié)中，首先要介紹遙感圖像的退化過程，然后介紹已有的基于稀疏表示的遙感圖像超分辨率重建算法。

1.1 遙感圖像的退化模型

低分辨率遙感圖像的獲取過程可表示為

式中 yL∈RNL為獲取的低分辨率遙感圖像，NL為低分辨率圖像的維度； yH∈RNH為原始高分辨率圖像，NH為高分辨率圖像的維度； H:RNH→RNH為低通濾波器； S:RNH→RNL為下采樣算子；v~N（ 0，σ2I）為高斯白噪聲。

由此可知低分辨率遙感圖像從理想高分辨率遙感圖像獲取的過程。根據(jù)公式（1）中的成像模型，超分辨率的問題可描述為

式中 y?H為高分辨率圖像的估計。

1.2 稀疏表示模型

設A ∈RM×τ表示過完備字典，其中M表示字典中原子的維度，τ表示字典中基原子數(shù)目，則圖像塊x ∈Rm（m表示圖像塊向量的維度）的稀疏表示模型為：

式中 α為x關(guān)于字典A的稀疏表示系數(shù)，α含有T個非零項，且滿足T ＜ M ? τ，即α中的大部分系數(shù)等于或接近零，只有少數(shù)不等于零的大系數(shù)。

根據(jù)流行理論，圖像塊的局部特征在投影后基本不變，因此在α充分稀疏的條件下，高分辨率圖像塊可由其對應的低分辨率圖像塊的稀疏表示以較高的概率恢復[11]。

1.3 聯(lián)合字典訓練

為了保證稀疏系數(shù)的一致性，Yang提出了采用聯(lián)合字典訓練的方法[9]：

Elad等針對Yang的方法的缺點，提出了改進的超分辨率方法[10]。在聯(lián)合字典訓練過程中，對低分辨率圖像塊采用PCA進行降維得到低分辨率圖像塊集，其中nL表示低分辨率圖像塊的維度。然后使用K-SVD[12]對低分辨率圖像塊進行訓練，這樣可以得到對應的訓練圖像塊集的稀疏表示系數(shù)向量｛αi｝和低分辨率字典DL，其中i表示圖像塊在圖像中的位置。

得到低分辨率圖像塊稀疏表示系數(shù)向量后，我們可以得到高分辨率字典DH：

式中 PH由高分辨率訓練圖像塊集組成； Φ =[α1,α2,…αi]為稀疏系數(shù)矩陣；αi為高分辨率圖像塊的稀疏表示向量。這里Φ是行滿秩的，所以這里可以使用廣義逆求解

這樣由低分辨率圖像塊和高分辨率圖像塊位置對應的關(guān)系即可得到高分辨率字典DH。在重構(gòu)過程中使用了貪婪算法中的OMP算法[14]，構(gòu)建稀疏系數(shù)表示向量｛αi｝，從而得到高分辨率圖像。Elad提出的方法在重構(gòu)的速度及重構(gòu)圖像的質(zhì)量方面都有了一定程度的提升。

2 基于LBP特征的分類字典學習和遙感圖像超分辨率重構(gòu)

遙感圖像重構(gòu)運算效率低的原因，主要有兩方面。一方面，對于本身已經(jīng)維度很高的遙感圖像信號而言，引入字典雖然能解決信號稀疏性的問題，但是由于需要對整個字典進行全面遍歷，這就使得運算量大幅增加。事實上，如果能夠有效利用遙感圖像所包含的不同地物類型的先驗知識，來進一步減小字典的規(guī)模，理論上是可以大幅降低稀疏表示這一環(huán)節(jié)的運算開銷的。

另一方面，遙感圖像尺寸較大造成的數(shù)據(jù)海量化也是阻礙稀疏重構(gòu)的一個重要因素。上面的分析也提到，作為高維信號的遙感圖像，將直接導致稀疏字典規(guī)模的增長。而在稀疏編碼的框架下，如果對圖像數(shù)據(jù)先進行識別處理，不僅能有效獲取信號的先驗信息，而且其運算開銷也不會對整個過程造成太大負擔。

結(jié)合上述兩方面，本文將遙感圖像的不同地物類型作為先驗類別信息，利用圖像的局部二值模式（local binary pattern，LBP）特征得到分類字典，在保證重構(gòu)質(zhì)量的同時極大地優(yōu)化了稀疏編碼的搜索過程，從而達到降低運算開銷的目的。

2.1 基于地物類型的遙感圖像分類

進行超分辨率重構(gòu)之前，需要先對所要重構(gòu)的遙感圖像進行分類，確定它的類別，然后使用對應類別的分類聯(lián)合字典進行重構(gòu)。針對遙感圖像紋理信息豐富，不同地物類型的紋理信息差異大的特點，我們選擇LBP特征進行分類[14]。

每個像素與鄰近像素點比較灰度值大小，如果大于則置于1，如果小于則置于0，然后從確定的起始位置按照順時針讀出1或0。這樣，3×3鄰域內(nèi)的8個點經(jīng)比較可產(chǎn)生8位二進制數(shù)。將得到的二進制數(shù)轉(zhuǎn)換為十進制數(shù)即為該像素點的LBP特征。將一幅圖片劃分為若干的子區(qū)域，對每個子區(qū)域內(nèi)的每個像素提取LBP特征，然后，在每個子區(qū)域內(nèi)建立LBP特征的統(tǒng)計直方圖。對該直方圖進行歸一化處理，并將每個子區(qū)域的統(tǒng)計直方圖進行連接成為LBP紋理特征向量。

為了對遙感圖像的LBP特征進行分類，選取支持向量機（support vector machines，SVM）方法來進行分類器訓練[15-16]。

使用LBP編碼規(guī)則提取遙感圖像的LBP紋理特征向量后，使用SVM根據(jù)遙感圖像的不同類別，訓練多個分類器。本文將遙感地物分為五類，經(jīng)過測試，得出每一類典型地物的識別準確率，見表 1。在實際應用中，典型遙感地物的類別可以根據(jù)不同的應用需求進行確定。

表1 遙感圖像LBP特征分類測試結(jié)果Tab.1 LBP features of remote sensing image classification test results

2.2 分類字典學習及超分辨率重構(gòu)

根據(jù)不同的地物類型對構(gòu)建的遙感圖像訓練庫進行分類，得到多個類別的遙感圖像訓練庫，在每個訓練庫上使用K-SVD的字典學習方法，訓練得到分類聯(lián)合字典｛D,HDL｝ω，其中ω為字典類別。

對于低分辨率遙感圖像yL，首先對其進行分類，確定它的類別ω后，即可確定重構(gòu)過程中需要使用的分類聯(lián)合字典。然后使用雙立方插值方法得出插值圖像，按照字典學習過程中的方法，經(jīng)過特征提取和降維后，提取出圖像塊集，其中i表示圖像塊的位置。

接下來，使用貪婪算法中的 OMP算法，構(gòu)建稀疏系數(shù)表示向量｛αi｝。這樣可得出高分辨率圖像塊估計

式中 Ri為選取圖像塊的線性算子。

由式（7）得出的高分辨率圖像的估計與Elad方法中對高分辨率圖像的估計相近。如果將高分辨率塊置于適當位置，對于重疊區(qū)域取平均，然后疊加z，這樣得到的結(jié)果是與Elad方法中對高分辨率L圖像的估計等價的。

3 試驗與評價

為了驗證本文方法的超分辨率重構(gòu)效果以及時間效率，使用衛(wèi)星獲取的遙感圖像，形成了五類地形的遙感圖像測試集，包括農(nóng)田、城市、河流、機場、山脈，并從中選出部分圖像進行測試。首先進行分類聯(lián)合字典學習；然后對測試集中的部分真實遙感圖像進行超分辨率重構(gòu)；最后將重構(gòu)的結(jié)果與不同方法進行對比，并使用客觀評價指標定量分析[17]。

試驗中，通過降采樣后得到低分辨率遙感圖像，然后使用本文提出的方法對低分辨率遙感圖像進行超分辨率重構(gòu)。

本文采用了峰值信噪比（peak singal to noise ratio，PSNR）和結(jié)構(gòu)相似度索引（structural similarity index measurement，SSIM）為超分辨率重構(gòu)結(jié)果的定量質(zhì)量評價指標。PSNR值越大，SSIM值越大（最大為1），則重構(gòu)圖像與參考圖像就越逼近，說明算法效果越好。

試驗中，超分辨率重構(gòu)比例為3︰1，塊的大小為9×9，特征采樣因子為3，字典學習過程中使用K-SVD算法，迭代次數(shù)為40次。

為了直觀地比較試驗結(jié)果，本文從測試集中選取了一幅城市圖像展示了試驗效果。圖1（a）為輸入的待處理低分辨率圖像，圖1（b）為原始的高分辨率圖像。

圖1 輸入的低分辨率圖像及原始高分辨率圖像Fig.1 Input of the low resolution image and the original high-resolution image

圖2為分別使用雙三次插值、基于稀疏的方法和本文方法的超分辨率重構(gòu)圖像截取左下角區(qū)域放大后的結(jié)果，從中可以更加清楚的對比重構(gòu)算法的效果。

圖2 超分辨重構(gòu)圖像左下角放大區(qū)域效果比較Fig.2 The super-resolution image magnification of the lower left corner area

本文還測試了使用維數(shù)更大的通用字典的方法，其中試驗選取的五個類別（城市、河流、農(nóng)田、機場、山脈）圖像各兩張，對應的對比分析結(jié)果如下（樣本1和2是城市，樣本3和4是河流，樣本5和6是機場，樣本7和8是農(nóng)田，樣本9和10是山脈）：

圖3給出了各種方法的PSNR值、SSIM值和重構(gòu)時間。對比可以看出，相對于Yang的方法，本文提出的方法在重構(gòu)階段與使用通用字典的方法無論是PSNR值還是SSIM值，都要較高一些，同時運行時間大大的縮短。原因是重構(gòu)時使用OMP算法，而不是Yang使用的最小絕對收縮選擇算子（least absolute shrinkage and selection operator，LASSO），從而有效提高了運算速度；字典訓練時使用K-SVD算法學習低分辨率字典，使用廣義逆的方法學習高分辨率字典，有效提取了遙感地物的特征信息，從而使得字典更適合表示高頻細節(jié)信息，最終有效提高了重構(gòu)質(zhì)量。與使用通用字典相比，PSNR值和 SSIM值十分接近。由圖3可以看出，在保證了重構(gòu)圖像質(zhì)量的同時，由于使用的分類字典維數(shù)比通用字典小很多，運行時間也相對縮短了很多，效率上大大提升。

圖3 三種重構(gòu)方法比較Fig.3 Comparison of three reconstruction methods

4 結(jié)束語

基于稀疏表示理論，本文提出了一種新的遙感圖像超分辨率方法。該方法在聯(lián)合字典學習的基礎上引入了分類字典的概念。在超分辨率重構(gòu)的過程中，首先通過插值的方法獲得準高分辨率圖像。然后，利用LBP特征對遙感圖像進行分類識別，從而確定圖像的類別。最后，使用對應的分類字典在稀疏表示的框架下完成超分辨率重構(gòu)?；谡鎸嵾b感圖像的對比試驗表明，該方法提高了字典有效原子的比例，大大降低了字典的維數(shù)，在保證超分辨率重構(gòu)效果的同時，在運行時間方面表現(xiàn)出了較大的優(yōu)勢。

References)

[1] 徐青, 遙感圖像融合與分辨率增強技術(shù)[M]. 北京: 科學出版社, 2007. XU Qing. Remote Sensing Images Fusion and Resolution Enhancement Technology[M], Beijing: Science Press, 2007. (in Chinese)

[2] FARSIUS S, ROBINSON M, ELAD M. Fast and Robust Multiframe Super Resolution[J]. IEEE Trans. on Image Processing, 2004, 13(10): 327-134.

[3] HARRIS J L. Diffraction and Resolving Power[J]. JOSA, 1964, 54(7): 931-933.

[4] HUNT B R. Super-resolution of Imagery: Understanding the Basis for Recovery of Spatial Frequencies Beyond the Dif-fraction Limit[C].Proceedings of Information and Control, Adelaide, Australia, 1999: 243-248.

[5] FREEMAN W T, PASZTOR E C, CARMICHAEL O T. Learning Low-level Vision[J]. International Journal of Computer Vision, 2000, 40(1): 25-47.

[6] CHANG H, YEUNG D Y, XIONG Y, Super-resolution Through Neighbor Embedding[J]. IEEE Conference on Computer Vision and Pattern Recognition, 2004, 1(1): 275-282.

[7] LI D, SIMSKE S, MERSEREAU R M. Single Image Super-Resolution Based on Support Vector Regression[C]. IEEE International Joint Conference on, 2007:2898-2901.

[8] YANG J, WRIGHT J, HUANG T, et al. Image Super-resolution as Sparse Representation of Raw Image Patches[C]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2008: 1-8.

[9] YANG J, WRIGHT J, HUANG T S, et al. Image Super-resolution Via Sparse Representation[J]. IEEE Transactions on Image Processing, 2010, 19(11): 2861-2873.

[10] ELAD M. Sparse and Redundant Representations: from Theory to Applications in Signal and Image Processing[M]. Springer, 2010: 231-237.

[11] HE Xiaofei, NIYOGI P. Locality Preserving Projections[C]. Advances in Neural Information Processing Systems. Vancouver, Canada, 2003:153-160.

[12] AHARON M, ELAD M, BRUCKSTEIN A. The K-SVD: An Algorithm for Designing of Overcomplete Dictionaries for Sparse Representation[J], IEEE Trans. on Signal Processing, 2006, 54(11): 4311-4322.

[13] TROPP J, GILBERT A. Signal Recovery from Random Measurements Via Orthogonal Matching Pursuit[J]. Theory, 2007, 53(12): 4655-4666.

[14] 宋本欽, 李培軍. 加入改進LBP紋理的高分辨率遙感圖像分類[J]. 國土資源遙感, 2010, 22(4): 40-45. SONG Benqin, LI Peijun. High Resolution Remote Sensing Image Classification Based on Improved LBP Texture[J]. Land and Resources Remote Sensing, 2010, 22(4): 40-45. (in Chinese)

[15] 駱劍承, 周成虎, 梁怡, 等. 支撐向量機及其遙感影像空間特征提取和分類的應用研究[J]. 遙感學報, 2002, 6(1): 50-55. LUO Jiancheng, ZHOU Chenghu, LIANG Yi, et al. Support Vector Machine for spatial Feature and Classification of Remotely Sensed Imagery[J]. Journal of Remote Sensing, 2002, 6(1): 50-55. (in Chinese)

[16] 劉佶鑫, 孫權(quán)森, 曹國. 壓縮感知稀疏識別用于多視角圖像目標分類[J]. 應用科學學報, 2013, 31(2): 177-182. LIU Jixin, SUN Quansen, CAO Guo. Compressed Sparse Perception Recognition for Perspective Image Target Classification[J]. Journal of Applied Sciences, 2013, 31(2): 177-182. (in Chinese)

[17] 賀金平, 阮寧娟, 何紅艷. 基于EMD的無參考圖像清晰度評價方法[J]. 航天返回與遙感, 2013, 34(5): 78-84. HE Jinping, RUAN Ningjuan, HE Hongyan. No Reference Image Sharpness Evaluation Method Based on EMD [J], Spacecraft Recovery & Remote Sensing, 2013, 34(5): 78-84.( in Chinese)