遙感影像超分辨率重建的字典學(xué)習(xí)類算法

楊振胤，隋立春，2，李 麗，康軍梅,丁明濤

(1. 長安大學(xué)地質(zhì)工程與測繪學(xué)院，陜西 西安 710054； 2. 地理國情監(jiān)測國家測繪地理信息局工程技術(shù)研究中心，陜西 西安 710054)

?

遙感影像超分辨率重建的字典學(xué)習(xí)類算法

楊振胤1，隋立春1，2，李 麗1，康軍梅1,丁明濤1

(1. 長安大學(xué)地質(zhì)工程與測繪學(xué)院，陜西 西安 710054； 2. 地理國情監(jiān)測國家測繪地理信息局工程技術(shù)研究中心，陜西 西安 710054)

近年來基于字典學(xué)習(xí)的超分辨率重建技術(shù)已成為圖像處理領(lǐng)域的研究熱點，相比基于重建的超分辨率方法，基于學(xué)習(xí)的方法充分利用了先驗知識，在放大倍數(shù)較高時，仍可取得較好的效果，因此被公認(rèn)為一種非常有前途的方法。本文對國內(nèi)外已有的基于字典學(xué)習(xí)的超分辨率重建方法進行了系統(tǒng)研究，梳理了3種基于字典學(xué)習(xí)超分重建算法的基本原理及優(yōu)缺點。此外，本文根據(jù)遙感影像的特點，使用同一數(shù)據(jù)源進行字典學(xué)習(xí)，利用不同字典學(xué)習(xí)算法分別生成高、低聯(lián)合字典對，采用不同尺寸大小及縮放倍數(shù)的測試圖像，進行超分辨率重建，對各種算法的重建性能、魯棒性和復(fù)雜度進行綜合分析，進一步研究了各種算法對遙感影像不同應(yīng)用需求的適用性。

超分辨率重建；稀疏表示；遙感影像；字典學(xué)習(xí)

在圖像數(shù)據(jù)采集過程中，由于圖像傳感器、光學(xué)儀器設(shè)備及拍攝條件的限制，圖像的空間分辨率在采集階段提高漸難，但在眾多圖像應(yīng)用領(lǐng)域，對圖像空間分辨率的要求仍在提高。航空航天遙感正向高空間分辨率、高光譜分辨率、高時間分辨率、多極化、多角度的方向迅猛發(fā)展，為提高遙感影像空間分辨率，影像超分辨率重建技術(shù)成為一個頗具潛力的研究方向[1]。超分辨率重建技術(shù)(super resolution reconstruction,SRR)可通過對一幅或多幅低分辨率(low resolution,LR)的圖像進行學(xué)習(xí)得到一幅高分辨率(high resolution,HR)的圖像，并且該方法成本低廉，重建后空間分辨率提升效果明顯[2]。隨著壓縮感知和機器學(xué)習(xí)技術(shù)的不斷提高，基于學(xué)習(xí)的超分辨率重建方法已成為研究熱點。此類方法主要是通過訓(xùn)練學(xué)習(xí)與輸入影像相似的影像構(gòu)成的訓(xùn)練樣本數(shù)據(jù)，得到高低分辨率影像之間的關(guān)系，由先驗知識推廣用于類似的低分辨率影像的超分辨率重建。Freeman等[3]最早提出了基于樣例學(xué)習(xí)的超分辨率算法，其基本思想是利用馬爾可夫隨機場描述輸入圖像中的圖像塊與示例樣本塊之間的匹配條件，最終生成高分辨率圖像。Bishop等[4]對Freeman提出的方法作了一些改進，在圖像塊合并方面提出了新方法，提高了對應(yīng)圖像塊的匹配速度。Jeong等[5]設(shè)計了K-means聚類字典，實現(xiàn)了快速的學(xué)習(xí)類SRR。Kim等[6]采用自適應(yīng)的殘差信息和圖像塊可信度提升了基于學(xué)習(xí)的SRR。Pu和Zhang等[7]提出了交互式領(lǐng)域嵌入(K-nearest neighbor,K-NN)的SR方法。近年來，隨著壓縮感知理論和稀疏表示模型的技術(shù)發(fā)展，Yang等[8-9]提出了一種基于稀疏表示的超分辨率算法(super-resolution via sparse representation,ScSR)，通過聯(lián)合訓(xùn)練兩個高低分辨率圖像塊的過完備字典，利用L1正則優(yōu)化進行稀疏編碼，獲得了較好的重建效果。Zeyde等[10]對Yang的方法作了改進，對訓(xùn)練樣本集作了主成分分析(principal component analysis，PCA)以降低數(shù)據(jù)維度，有效地提高了運算效率。Mairal等[11]提出了在線字典學(xué)習(xí)的稀疏表示算法，該方法允許樣本進行分批處理，顯著降低了樣本集的數(shù)量，自適應(yīng)輸入圖像，且及時引入圖像退化信息并更新字典原子，對基于超完備字典的應(yīng)用有重要意義。

隨著稀疏編碼理論的發(fā)展，字典學(xué)習(xí)方法的研究成為稀疏表示理論的重要組成部分。目前，主要的字典學(xué)習(xí)方法有：Engan等[12]最早提出的最優(yōu)方向方法(method of optimal directions,MOD)、Aharon等[13]提出的快速奇異值分解方法(K-SVD)、Lee等[14]提出的FSS(the feature sign search)方法、Mairal等[15]提出的在線字典更新方法(online dictionary learning,ODL)等。本文針對地物特征復(fù)雜、數(shù)據(jù)量巨大的遙感影像，深入研究了基于字典學(xué)習(xí)類算法的基本原理及優(yōu)缺點。此外，本文根據(jù)遙感影像的特點，使用同一數(shù)據(jù)源進行字典學(xué)習(xí)，利用不同字典學(xué)習(xí)算法分別生成高、低聯(lián)合字典對，采用不同尺寸大小及不同縮放倍數(shù)的測試圖像，進行超分辨率重建，依據(jù)重建圖像綜合分析各種算法的重建性能、魯棒性和復(fù)雜度，進一步研究針對遙感影像數(shù)據(jù)不同應(yīng)用需求各種算法的適用性。

1 字典學(xué)習(xí)基本理論

通常對于圖像信號x∈RN，可以由過完備字典D=[d1d2…dM]∈RN×M(M>N)稀疏表示為

(1)

式中，α=[α1α2…αM]T∈RM，為稀疏表示系數(shù)。

對于圖像SRR過程來說，關(guān)鍵是字典的構(gòu)建。理想的字典使得稀疏系數(shù)求解過程更加快捷，并能簡潔準(zhǔn)確地表達圖像。基于學(xué)習(xí)的過完備字典構(gòu)建方法主要采用了機器學(xué)習(xí)的思想，通過對樣本學(xué)習(xí)，構(gòu)造出具有某種針對性的學(xué)習(xí)字典，從而更加準(zhǔn)確地對圖像進行稀疏表示[16]。設(shè)X=[x1x2…xM]為樣本組成的矩陣，A=[α1α2…αM]為稀疏表示系數(shù)矩陣，其中M為樣本個數(shù)。若T表示預(yù)設(shè)的非零元素的最大值，即可以容忍稀疏度的最小值，則學(xué)習(xí)字典的優(yōu)化更新問題可采用下式進行求解

(2)

由式(2)可知，字典學(xué)習(xí)就是已知X求解D與A的過程。而D和A為兩個需要更新的變量，因而此問題屬于非凸問題。對于此類問題，通?？刹扇〗惶鎯?yōu)化的方法進行求解。該方法分為兩步：第一步初始化一個過完備字典，通過稀疏表示優(yōu)化算法對稀疏系數(shù)進行求解；第二步根據(jù)得到的稀疏表示系數(shù)，對初始字典的原子進行更新。交替迭代上述兩步驟，得到優(yōu)化解。其中第一步的稀疏表示優(yōu)化算法有基追蹤算法、匹配追蹤算法等，由于正交匹配追蹤算法(OMP)及其擴展算法收斂性較好，成為求解此類問題的首選[17]。OMP算法是通過每次迭代選擇一個局部最優(yōu)解來逐步逼近原始信號，首先采用相關(guān)性原則搜索字典中與殘差量最相關(guān)的一列原子，然后將已選的原子進行Gram-Schmidt正交化處理，計算出最優(yōu)稀疏系數(shù)，并更新殘差，經(jīng)逐次迭代求解得到字典的最優(yōu)稀疏表示系數(shù)。第二步采用字典更新算法來更新優(yōu)化字典原子，現(xiàn)階段常用的更新算法有：MOD算法、K-SVD算法、ODL算法、主分量分析算法(PCA)及廣義PCA(generalized PCA,GPCA)[18]等。其中GPCA是通過降維字典空間進行逼近求解，適用于與其他稀疏表示方法結(jié)合使用，本文不作詳細介紹。

2 字典學(xué)習(xí)類算法

2.1 MOD算法

MOD算法是通過對樣本圖像塊的字典表示進行求解，并判斷誤差大小迭代更新字典，獲得最優(yōu)字典。數(shù)學(xué)定義的目標(biāo)函數(shù)如式(2)所示，實現(xiàn)過程首先是隨機生成初始字典D0，迭代次數(shù)k初始值為1，每次迭代完成后增加1。迭代開始首先固定字典D，利用基匹配追蹤算法求稀疏系數(shù)的逼近解

(3)

式中，αi為樣本圖像塊關(guān)于字典的稀疏表示系數(shù)，即A=[α1α2…αi…αM]。將上式求得的A用于下式，更新字典原子

2.2 K-SVD算法

K-SVD算法本質(zhì)與MOD算法相近，均采用交替迭代，先求解稀疏系數(shù)再更新字典。與MOD算法的不同之處在于更新字典時，采用奇異值分解方法逐個更新字典中的原子，完成更新需要進行k次分解。具體流程如下所述。

訓(xùn)練樣本優(yōu)化更新字典問題是求解式(2)的問題，首先初始化字典D0，但對D0的每個原子作歸一化；其次，固定字典D，采用基追蹤算法求解稀疏分解因子αi；最后利用稀疏分解因子依次修正字典原子，定義樣本集為Ωj0，字典原子為dj0，其中Ωj0={i|1≤i≤M，Ak[dj0,i]≠0}。

由式(2)可得誤差矩陣Ej0

(5)

2.3 ODL算法

針對訓(xùn)練樣本集大而導(dǎo)致字典學(xué)習(xí)效率不高的問題，Mairal等提出了在線字典學(xué)習(xí)算法。該算法基于隨機逼近理論，可擴展實現(xiàn)不確定和大型數(shù)據(jù)集訓(xùn)練樣本的學(xué)習(xí)，提高了字典訓(xùn)練的精度。其具體過程如下：

在初始化階段，待訓(xùn)練的圖像塊為X，隨機設(shè)置初始字典為D0，同時對At、Bt進行初始化設(shè)置：A0←0、B0←0。利用LARS稀疏編碼計算稀疏系數(shù)

(6)

其次，對At、Bt進行更新，為了算法的加速收斂，每次迭代選擇η>1個信號，則第t次迭代包含的信號可表示為xt,1,…,xt,η，利用下式迭代更新At、Bt：

(7)

通過Dt-1，利用式(2)計算并更新Dt

(8)

式中，c為字典D的約束條件

(9)

為滿足約束條件D∈c，必須對字典D逐列進行更新，采用牛頓迭代法對每列字典元素進行更新，共迭代t次，生成字典D，其重建所需的高低分辨率字典Dh、Dl均按照上述過程聯(lián)合生成。該算法在聯(lián)合字典的學(xué)習(xí)過程中，同時訓(xùn)練Dh、Dl可保證其在誤差條件的約束下，生成最優(yōu)的聯(lián)合字典。同時將重建過程與字典學(xué)習(xí)階段的正則化參數(shù)看作獨立量，分別進行設(shè)置，這樣可靈活調(diào)整字典學(xué)習(xí)階段和重建階段的稀疏表示誤差，以獲得最佳的超分重建效果。

3 試驗結(jié)果及分析

針對上述3種字典學(xué)習(xí)方法的分析，為驗證其在不同圖像大小下的重建性能差異，訓(xùn)練樣本為100幅不同大小的遙感影像，采用5×5的低分辨率圖像塊和相應(yīng)的10×10的高分辨率圖像塊提取特征，其中字典大小均設(shè)為2048，重疊像素設(shè)置為4。對于同一訓(xùn)練樣本字典學(xué)習(xí)過程，ODL算法運行時間最短，500次迭代用時1 618.7 s，K-SVD算法50次迭代用時2 750.2 s，MOD算法最慢，50次迭代用時8 475.9 s。文中學(xué)習(xí)得到的字典均采用稀疏表示方法，利用L1范數(shù)求解得到稀疏系數(shù)，并與高分辨率字典結(jié)合重構(gòu)得到高分辨率圖像。

試驗選取5幅不同像素大小同類地物的資源三號正射影像作為測試影像，比較不同算法的字典學(xué)習(xí)時間，并選取其中一幅影像進行不同縮放倍數(shù)的重建，比較3種算法的重建結(jié)果。為對各種算法的重建效果進行定量評價，測試影像由高分辨率影像降采樣得到。以高分辨率影像作為參考影像，采用峰值信噪比PSNR作為定量評價指標(biāo)。

5幅測試圖像均為正方形，邊長分別為240、360、480、600、720像素，地物類型均為建筑物。試驗結(jié)果如圖1所示，隨著測試圖像尺寸的增大，3種基于學(xué)習(xí)的超分辨率重建算法其重建結(jié)果的定量評價值相比于插值方法，其差值在逐漸增大，證明了在圖像尺寸增大后，基于學(xué)習(xí)的方法重建效果遠優(yōu)于插值方法。在3種基于學(xué)習(xí)的超分辨率算法中，K-SVD算法的平均PSNR值僅比MOD算法高0.02 dB，而對于不同大小的圖像，ODL算法的PSNR值時高時低，圖像大小為480時，ODL算法的比MOD低0.36 dB，但隨著圖像尺寸的增大，ODL算法重建圖像的PSNR值與K-SVD和MOD算法的值相近，且有高于兩者的趨勢。

圖2顯示了在不同的超分辨率重建放大倍數(shù)下，3種算法重建圖像的PSNR值折線圖，圖3顯示了邊長為600像素的測試圖像進行3倍重建時幾種算法的重建結(jié)果。由圖2顯示，3種算法重建結(jié)果均優(yōu)于插值方法，K-SVD與MOD算法重建圖像PSNR值幾乎一致，ODL算法重建圖像PSNR值均高于K-SVD和MOD算法，平均PSNR高約0.36 dB左右，且在3倍放大時，ODL算法的PSNR值比MOD算法高1.08 dB。隨著放大倍數(shù)的不斷增大，基于學(xué)習(xí)的重建圖像質(zhì)量與插值圖像質(zhì)量無較明顯的差別，其原因是放大倍數(shù)較大時，將字典用于稀疏重建，其稀疏表示誤差增大，高頻細節(jié)信息丟失過多，致使重建質(zhì)量下降；可通過調(diào)節(jié)重建時的正則化參數(shù)，或融入殘差高頻信息進行重建，以提高遙感影像的重建質(zhì)量[19-20]。由圖3顯示，3倍重建時不同算法在建筑物及道路邊緣清晰度不同，而ODL算法恢復(fù)了更多的細節(jié)信息，重建效果相對最優(yōu)，其重建影像更加清晰，紋理邊緣明顯，總體來看各算法的重建視覺效果與PSNR指標(biāo)評價值相一致。

圖1 不同圖像大小各算法PSNR值

圖2 不同放大倍數(shù)各算法PSNR值

圖3 同一測試影像3倍重建結(jié)果

4 結(jié)論與展望

本文對基于學(xué)習(xí)的3種超分辨率算法即MOD、K-SVD、ODL字典學(xué)習(xí)算法進行了梳理，介紹了各種算法的原理及優(yōu)缺點。針對遙感影像的超分辨率重建，選取了PSNR值與運行時間作為3種字典學(xué)習(xí)方法重建質(zhì)量的評價指標(biāo)，通過對比試驗發(fā)現(xiàn)，對于數(shù)據(jù)信息量較大的遙感影像，選擇ODL在線字典學(xué)習(xí)的超分辨率重建方法，重建性能稍高于其余兩種方法，但對于不同大小的圖像進行超分辨率重建，ODL算法穩(wěn)定性較差。此外，當(dāng)放大倍數(shù)逐漸增大時，3種方法重建影像的質(zhì)量都在降低，需要進一步改進重建階段的算法，減小稀疏表示誤差，更加有效地進行遙感影像的超分辨率重建。

[1] 李德仁,童慶禧,李榮興,等. 高分辨率對地觀測的若干前沿科學(xué)問題[J]. 中國科學(xué)(地球科學(xué)),2012(6):805-813.

[2] 鐘九生.基于稀疏表示的光學(xué)遙感影像超分辨率重建算法研究[D]. 南京: 南京師范大學(xué)，2013:1-14.

[3] FREEMAN W T,JONES T R,PASZTOR E C. Example-based Super-resolution[J]. IEEE Computer Graphics and Applications,2002, 22(2): 56-65.

[4] BISHOP C M, BLAKE A, MARTHI B. Super-resolution Enhancement of Video[C]∥AISTATS. [S.l.]: [s.n.], 2003.

[5] JEONG S C,SONG B C. Fast Super-resolution Algorithm Based on Dictionary Size Reduction Using k-means Clustering[J]. ETRI Journal, 2010, 32(4): 596-602.

[6] KIM C, CHOI K, RA J B. Improvement on Learning-based Super-resolution by Adopting Residual Information and Patch Reliability[C]∥2009 16th IEEE International Conference on Image Processing (ICIP). [S.l.]：IEEE, 2009: 1197-1200.

[7] PU J, ZHANG J, GUO P, et al. Interactive Super-resolution through Neighbor Embedding[C]∥Asian Conference on Computer Vision. Berlin: Springer Berlin Heidelberg, 2009: 496-505.

[8] YANG J, WRIGHT J, HUANG T, et al. Image Super-resolution as Sparse Representation of Raw Image Patches[C]∥IEEE Conference on CVPR 2008.[S.l.]：IEEE,2008: 1-8.

[9] YANG J, WRIGHT J, HUANG T S, et al. Image Super-resolution via Sparse Representation[J]. IEEE Transactions on Image Processing, 2010, 19(11): 2861-2873.

[10] ZEYDE R, ELAD M, PROTTER M. On Single Image Scale-up Using Sparse-representations[C]∥International Conference on Curves and Surfaces. Berlin：Springer Berlin Heidelberg, 2010: 711-730.

[11] MAIRAL J, BACH F, PONCE J, et al. Online Learning for Matrix Factorization and Sparse Coding[J]. Journal of Machine Learning Research, 2010, 11(1): 19-60.

[12] ENGAN K, AASE S O, HUSOY J H. Method of Optimal Directions for Frame Design[C]∥IEEE International Conference on Acoustics, Speech, and Signal Processing.[S.l.]：IEEE, 1999, 5: 2443-2446.

[13] AHARON M, ELAD M, BRUCKSTEIN A.The K-SVD:An Algorithm for Designing of Overcomplete Dictionaries for Sparse Representation[J]. IEEE Transactions on Signal Processing, 2006, 54(11): 4311-4322.

[14] LEE H, BATTLE A, RAINA R, et al. Efficient Sparse Coding Algorithms[C]∥Advances in Neural Information Processing Systems.[S.l.]:[s.n.]，2006: 801-808.

[15] MAIRAL J,BACH F,PONCE J.Task-driven Dictionary Learning[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(4): 791-804.

[16] 李珅. 基于稀疏表示的圖像去噪和超分辨率重建研究[D].西安:西安光學(xué)精密機械研究所, 2014.

[17] 楊真真,楊震,孫林慧. 信號壓縮重構(gòu)的正交匹配追蹤類算法綜述[J]. 信號處理, 2013, 29(4): 486-496.

[18] VIDAL R, MA Y, SASTRY S. Generalized Principal Component Analysis (GPCA)[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(12): 1945-1959.

[19] 倪浩,阮若林,劉芳華. 基于雙正則化參數(shù)的在線字典學(xué)習(xí)超分辨率重建[J]. 計算機應(yīng)用研究, 2016, 33(3): 277-281.

[20] ZHANG J,ZHAO C, XIONG R, et al. Image Super-resolution via Dual-dictionary Learning and Sparse Representation[C]∥2012 IEEE International Symposium on Circuits and Systems. [S.l.]：IEEE, 2012: 1688-1691.

Super-resolution Methods Based on Dictionary Learning for Remote Sensing Images

YANG Zhenyin1，SUI Lichun1，2，LI Li1，KANG Junmei1，DING Mingtao1

(1. College of Geology Engineering and Geomatics, Chang’an University, Xi’an 710054, China； 2. Engineering Research Center,Geographical Conditions Monitoring National Administration of Surveying, Mapping and Geoinformation, Xi’an 710054, China)

In recent years, super-resolution reconstruction technology based on dictionary learning has obtained much attention and has been intensively studied. Compared with the super-resolution method based on reconstruction, the learning-based method makes full use of prior knowledge. This learning-based method can get better results when magnification is high, which has been recognized as an extremely promising method. The properties of the existed learning-based super-resolution reconstruction algorithms are firstly analyzed systematically. Then this paper reviews the theory of three learning-based algorithms and combs their advantages and disadvantages. Finally, according to characteristics of remote sensing image, the same data sources are used for dictionary learning. We select these three algorithms mentioned to generate high and low resolution joint dictionary and adopt test images of different sizes and zoom and complete reconstruction. The reconstruction performance, robustness and complexity of various algorithms are analyzed comprehensively by experimental results. What’s more, aiming at different application requirements of remote sensing image, the applicability of different algorithms is further studied.

super-resolution reconstruction; sparse representation; remote sensing imagery; dictionary learning

楊振胤，隋立春，李麗，等.遙感影像超分辨率重建的字典學(xué)習(xí)類算法[J].測繪通報，2017(6)：21-25.

10.13474/j.cnki.11-2246.2017.0182.

2017-03-15

國家自然科學(xué)基金(41372330);國家自然科學(xué)基金青年基金(41601345)

楊振胤(1990—)，男，碩士，主要研究方向為遙感影像超分辨率重建。E-mail：yangzy007@chd.edu.cn

P237

A

0494-0911(2017)06-0021-05