楊振胤,隋立春,2,李 麗,康軍梅,丁明濤
(1. 長(zhǎng)安大學(xué)地質(zhì)工程與測(cè)繪學(xué)院,陜西 西安 710054; 2. 地理國(guó)情監(jiān)測(cè)國(guó)家測(cè)繪地理信息局工程技術(shù)研究中心,陜西 西安 710054)
?
遙感影像超分辨率重建的字典學(xué)習(xí)類(lèi)算法
楊振胤1,隋立春1,2,李 麗1,康軍梅1,丁明濤1
(1. 長(zhǎng)安大學(xué)地質(zhì)工程與測(cè)繪學(xué)院,陜西 西安 710054; 2. 地理國(guó)情監(jiān)測(cè)國(guó)家測(cè)繪地理信息局工程技術(shù)研究中心,陜西 西安 710054)
近年來(lái)基于字典學(xué)習(xí)的超分辨率重建技術(shù)已成為圖像處理領(lǐng)域的研究熱點(diǎn),相比基于重建的超分辨率方法,基于學(xué)習(xí)的方法充分利用了先驗(yàn)知識(shí),在放大倍數(shù)較高時(shí),仍可取得較好的效果,因此被公認(rèn)為一種非常有前途的方法。本文對(duì)國(guó)內(nèi)外已有的基于字典學(xué)習(xí)的超分辨率重建方法進(jìn)行了系統(tǒng)研究,梳理了3種基于字典學(xué)習(xí)超分重建算法的基本原理及優(yōu)缺點(diǎn)。此外,本文根據(jù)遙感影像的特點(diǎn),使用同一數(shù)據(jù)源進(jìn)行字典學(xué)習(xí),利用不同字典學(xué)習(xí)算法分別生成高、低聯(lián)合字典對(duì),采用不同尺寸大小及縮放倍數(shù)的測(cè)試圖像,進(jìn)行超分辨率重建,對(duì)各種算法的重建性能、魯棒性和復(fù)雜度進(jìn)行綜合分析,進(jìn)一步研究了各種算法對(duì)遙感影像不同應(yīng)用需求的適用性。
超分辨率重建;稀疏表示;遙感影像;字典學(xué)習(xí)
在圖像數(shù)據(jù)采集過(guò)程中,由于圖像傳感器、光學(xué)儀器設(shè)備及拍攝條件的限制,圖像的空間分辨率在采集階段提高漸難,但在眾多圖像應(yīng)用領(lǐng)域,對(duì)圖像空間分辨率的要求仍在提高。航空航天遙感正向高空間分辨率、高光譜分辨率、高時(shí)間分辨率、多極化、多角度的方向迅猛發(fā)展,為提高遙感影像空間分辨率,影像超分辨率重建技術(shù)成為一個(gè)頗具潛力的研究方向[1]。超分辨率重建技術(shù)(super resolution reconstruction,SRR)可通過(guò)對(duì)一幅或多幅低分辨率(low resolution,LR)的圖像進(jìn)行學(xué)習(xí)得到一幅高分辨率(high resolution,HR)的圖像,并且該方法成本低廉,重建后空間分辨率提升效果明顯[2]。隨著壓縮感知和機(jī)器學(xué)習(xí)技術(shù)的不斷提高,基于學(xué)習(xí)的超分辨率重建方法已成為研究熱點(diǎn)。此類(lèi)方法主要是通過(guò)訓(xùn)練學(xué)習(xí)與輸入影像相似的影像構(gòu)成的訓(xùn)練樣本數(shù)據(jù),得到高低分辨率影像之間的關(guān)系,由先驗(yàn)知識(shí)推廣用于類(lèi)似的低分辨率影像的超分辨率重建。Freeman等[3]最早提出了基于樣例學(xué)習(xí)的超分辨率算法,其基本思想是利用馬爾可夫隨機(jī)場(chǎng)描述輸入圖像中的圖像塊與示例樣本塊之間的匹配條件,最終生成高分辨率圖像。Bishop等[4]對(duì)Freeman提出的方法作了一些改進(jìn),在圖像塊合并方面提出了新方法,提高了對(duì)應(yīng)圖像塊的匹配速度。Jeong等[5]設(shè)計(jì)了K-means聚類(lèi)字典,實(shí)現(xiàn)了快速的學(xué)習(xí)類(lèi)SRR。Kim等[6]采用自適應(yīng)的殘差信息和圖像塊可信度提升了基于學(xué)習(xí)的SRR。Pu和Zhang等[7]提出了交互式領(lǐng)域嵌入(K-nearest neighbor,K-NN)的SR方法。近年來(lái),隨著壓縮感知理論和稀疏表示模型的技術(shù)發(fā)展,Yang等[8-9]提出了一種基于稀疏表示的超分辨率算法(super-resolution via sparse representation,ScSR),通過(guò)聯(lián)合訓(xùn)練兩個(gè)高低分辨率圖像塊的過(guò)完備字典,利用L1正則優(yōu)化進(jìn)行稀疏編碼,獲得了較好的重建效果。Zeyde等[10]對(duì)Yang的方法作了改進(jìn),對(duì)訓(xùn)練樣本集作了主成分分析(principal component analysis,PCA)以降低數(shù)據(jù)維度,有效地提高了運(yùn)算效率。Mairal等[11]提出了在線字典學(xué)習(xí)的稀疏表示算法,該方法允許樣本進(jìn)行分批處理,顯著降低了樣本集的數(shù)量,自適應(yīng)輸入圖像,且及時(shí)引入圖像退化信息并更新字典原子,對(duì)基于超完備字典的應(yīng)用有重要意義。
隨著稀疏編碼理論的發(fā)展,字典學(xué)習(xí)方法的研究成為稀疏表示理論的重要組成部分。目前,主要的字典學(xué)習(xí)方法有:Engan等[12]最早提出的最優(yōu)方向方法(method of optimal directions,MOD)、Aharon等[13]提出的快速奇異值分解方法(K-SVD)、Lee等[14]提出的FSS(the feature sign search)方法、Mairal等[15]提出的在線字典更新方法(online dictionary learning,ODL)等。本文針對(duì)地物特征復(fù)雜、數(shù)據(jù)量巨大的遙感影像,深入研究了基于字典學(xué)習(xí)類(lèi)算法的基本原理及優(yōu)缺點(diǎn)。此外,本文根據(jù)遙感影像的特點(diǎn),使用同一數(shù)據(jù)源進(jìn)行字典學(xué)習(xí),利用不同字典學(xué)習(xí)算法分別生成高、低聯(lián)合字典對(duì),采用不同尺寸大小及不同縮放倍數(shù)的測(cè)試圖像,進(jìn)行超分辨率重建,依據(jù)重建圖像綜合分析各種算法的重建性能、魯棒性和復(fù)雜度,進(jìn)一步研究針對(duì)遙感影像數(shù)據(jù)不同應(yīng)用需求各種算法的適用性。
通常對(duì)于圖像信號(hào)x∈RN,可以由過(guò)完備字典D=[d1d2…dM]∈RN×M(M>N)稀疏表示為
(1)
式中,α=[α1α2…αM]T∈RM,為稀疏表示系數(shù)。
對(duì)于圖像SRR過(guò)程來(lái)說(shuō),關(guān)鍵是字典的構(gòu)建。理想的字典使得稀疏系數(shù)求解過(guò)程更加快捷,并能簡(jiǎn)潔準(zhǔn)確地表達(dá)圖像?;趯W(xué)習(xí)的過(guò)完備字典構(gòu)建方法主要采用了機(jī)器學(xué)習(xí)的思想,通過(guò)對(duì)樣本學(xué)習(xí),構(gòu)造出具有某種針對(duì)性的學(xué)習(xí)字典,從而更加準(zhǔn)確地對(duì)圖像進(jìn)行稀疏表示[16]。設(shè)X=[x1x2…xM]為樣本組成的矩陣,A=[α1α2…αM]為稀疏表示系數(shù)矩陣,其中M為樣本個(gè)數(shù)。若T表示預(yù)設(shè)的非零元素的最大值,即可以容忍稀疏度的最小值,則學(xué)習(xí)字典的優(yōu)化更新問(wèn)題可采用下式進(jìn)行求解
(2)
由式(2)可知,字典學(xué)習(xí)就是已知X求解D與A的過(guò)程。而D和A為兩個(gè)需要更新的變量,因而此問(wèn)題屬于非凸問(wèn)題。對(duì)于此類(lèi)問(wèn)題,通常可采取交替優(yōu)化的方法進(jìn)行求解。該方法分為兩步:第一步初始化一個(gè)過(guò)完備字典,通過(guò)稀疏表示優(yōu)化算法對(duì)稀疏系數(shù)進(jìn)行求解;第二步根據(jù)得到的稀疏表示系數(shù),對(duì)初始字典的原子進(jìn)行更新。交替迭代上述兩步驟,得到優(yōu)化解。其中第一步的稀疏表示優(yōu)化算法有基追蹤算法、匹配追蹤算法等,由于正交匹配追蹤算法(OMP)及其擴(kuò)展算法收斂性較好,成為求解此類(lèi)問(wèn)題的首選[17]。OMP算法是通過(guò)每次迭代選擇一個(gè)局部最優(yōu)解來(lái)逐步逼近原始信號(hào),首先采用相關(guān)性原則搜索字典中與殘差量最相關(guān)的一列原子,然后將已選的原子進(jìn)行Gram-Schmidt正交化處理,計(jì)算出最優(yōu)稀疏系數(shù),并更新殘差,經(jīng)逐次迭代求解得到字典的最優(yōu)稀疏表示系數(shù)。第二步采用字典更新算法來(lái)更新優(yōu)化字典原子,現(xiàn)階段常用的更新算法有:MOD算法、K-SVD算法、ODL算法、主分量分析算法(PCA)及廣義PCA(generalized PCA,GPCA)[18]等。其中GPCA是通過(guò)降維字典空間進(jìn)行逼近求解,適用于與其他稀疏表示方法結(jié)合使用,本文不作詳細(xì)介紹。
2.1 MOD算法
MOD算法是通過(guò)對(duì)樣本圖像塊的字典表示進(jìn)行求解,并判斷誤差大小迭代更新字典,獲得最優(yōu)字典。數(shù)學(xué)定義的目標(biāo)函數(shù)如式(2)所示,實(shí)現(xiàn)過(guò)程首先是隨機(jī)生成初始字典D0,迭代次數(shù)k初始值為1,每次迭代完成后增加1。迭代開(kāi)始首先固定字典D,利用基匹配追蹤算法求稀疏系數(shù)的逼近解
(3)
式中,αi為樣本圖像塊關(guān)于字典的稀疏表示系數(shù),即A=[α1α2…αi…αM]。將上式求得的A用于下式,更新字典原子
2.2 K-SVD算法
K-SVD算法本質(zhì)與MOD算法相近,均采用交替迭代,先求解稀疏系數(shù)再更新字典。與MOD算法的不同之處在于更新字典時(shí),采用奇異值分解方法逐個(gè)更新字典中的原子,完成更新需要進(jìn)行k次分解。具體流程如下所述。
訓(xùn)練樣本優(yōu)化更新字典問(wèn)題是求解式(2)的問(wèn)題,首先初始化字典D0,但對(duì)D0的每個(gè)原子作歸一化;其次,固定字典D,采用基追蹤算法求解稀疏分解因子αi;最后利用稀疏分解因子依次修正字典原子,定義樣本集為Ωj0,字典原子為dj0,其中Ωj0={i|1≤i≤M,Ak[dj0,i]≠0}。
由式(2)可得誤差矩陣Ej0
(5)
2.3 ODL算法
針對(duì)訓(xùn)練樣本集大而導(dǎo)致字典學(xué)習(xí)效率不高的問(wèn)題,Mairal等提出了在線字典學(xué)習(xí)算法。該算法基于隨機(jī)逼近理論,可擴(kuò)展實(shí)現(xiàn)不確定和大型數(shù)據(jù)集訓(xùn)練樣本的學(xué)習(xí),提高了字典訓(xùn)練的精度。其具體過(guò)程如下:
在初始化階段,待訓(xùn)練的圖像塊為X,隨機(jī)設(shè)置初始字典為D0,同時(shí)對(duì)At、Bt進(jìn)行初始化設(shè)置:A0←0、B0←0。利用LARS稀疏編碼計(jì)算稀疏系數(shù)
(6)
其次,對(duì)At、Bt進(jìn)行更新,為了算法的加速收斂,每次迭代選擇η>1個(gè)信號(hào),則第t次迭代包含的信號(hào)可表示為xt,1,…,xt,η,利用下式迭代更新At、Bt:
(7)
通過(guò)Dt-1,利用式(2)計(jì)算并更新Dt
(8)
式中,c為字典D的約束條件
(9)
為滿(mǎn)足約束條件D∈c,必須對(duì)字典D逐列進(jìn)行更新,采用牛頓迭代法對(duì)每列字典元素進(jìn)行更新,共迭代t次,生成字典D,其重建所需的高低分辨率字典Dh、Dl均按照上述過(guò)程聯(lián)合生成。該算法在聯(lián)合字典的學(xué)習(xí)過(guò)程中,同時(shí)訓(xùn)練Dh、Dl可保證其在誤差條件的約束下,生成最優(yōu)的聯(lián)合字典。同時(shí)將重建過(guò)程與字典學(xué)習(xí)階段的正則化參數(shù)看作獨(dú)立量,分別進(jìn)行設(shè)置,這樣可靈活調(diào)整字典學(xué)習(xí)階段和重建階段的稀疏表示誤差,以獲得最佳的超分重建效果。
針對(duì)上述3種字典學(xué)習(xí)方法的分析,為驗(yàn)證其在不同圖像大小下的重建性能差異,訓(xùn)練樣本為100幅不同大小的遙感影像,采用5×5的低分辨率圖像塊和相應(yīng)的10×10的高分辨率圖像塊提取特征,其中字典大小均設(shè)為2048,重疊像素設(shè)置為4。對(duì)于同一訓(xùn)練樣本字典學(xué)習(xí)過(guò)程,ODL算法運(yùn)行時(shí)間最短,500次迭代用時(shí)1 618.7 s,K-SVD算法50次迭代用時(shí)2 750.2 s,MOD算法最慢,50次迭代用時(shí)8 475.9 s。文中學(xué)習(xí)得到的字典均采用稀疏表示方法,利用L1范數(shù)求解得到稀疏系數(shù),并與高分辨率字典結(jié)合重構(gòu)得到高分辨率圖像。
試驗(yàn)選取5幅不同像素大小同類(lèi)地物的資源三號(hào)正射影像作為測(cè)試影像,比較不同算法的字典學(xué)習(xí)時(shí)間,并選取其中一幅影像進(jìn)行不同縮放倍數(shù)的重建,比較3種算法的重建結(jié)果。為對(duì)各種算法的重建效果進(jìn)行定量評(píng)價(jià),測(cè)試影像由高分辨率影像降采樣得到。以高分辨率影像作為參考影像,采用峰值信噪比PSNR作為定量評(píng)價(jià)指標(biāo)。
5幅測(cè)試圖像均為正方形,邊長(zhǎng)分別為240、360、480、600、720像素,地物類(lèi)型均為建筑物。試驗(yàn)結(jié)果如圖1所示,隨著測(cè)試圖像尺寸的增大,3種基于學(xué)習(xí)的超分辨率重建算法其重建結(jié)果的定量評(píng)價(jià)值相比于插值方法,其差值在逐漸增大,證明了在圖像尺寸增大后,基于學(xué)習(xí)的方法重建效果遠(yuǎn)優(yōu)于插值方法。在3種基于學(xué)習(xí)的超分辨率算法中,K-SVD算法的平均PSNR值僅比MOD算法高0.02 dB,而對(duì)于不同大小的圖像,ODL算法的PSNR值時(shí)高時(shí)低,圖像大小為480時(shí),ODL算法的比MOD低0.36 dB,但隨著圖像尺寸的增大,ODL算法重建圖像的PSNR值與K-SVD和MOD算法的值相近,且有高于兩者的趨勢(shì)。
圖2顯示了在不同的超分辨率重建放大倍數(shù)下,3種算法重建圖像的PSNR值折線圖,圖3顯示了邊長(zhǎng)為600像素的測(cè)試圖像進(jìn)行3倍重建時(shí)幾種算法的重建結(jié)果。由圖2顯示,3種算法重建結(jié)果均優(yōu)于插值方法,K-SVD與MOD算法重建圖像PSNR值幾乎一致,ODL算法重建圖像PSNR值均高于K-SVD和MOD算法,平均PSNR高約0.36 dB左右,且在3倍放大時(shí),ODL算法的PSNR值比MOD算法高1.08 dB。隨著放大倍數(shù)的不斷增大,基于學(xué)習(xí)的重建圖像質(zhì)量與插值圖像質(zhì)量無(wú)較明顯的差別,其原因是放大倍數(shù)較大時(shí),將字典用于稀疏重建,其稀疏表示誤差增大,高頻細(xì)節(jié)信息丟失過(guò)多,致使重建質(zhì)量下降;可通過(guò)調(diào)節(jié)重建時(shí)的正則化參數(shù),或融入殘差高頻信息進(jìn)行重建,以提高遙感影像的重建質(zhì)量[19-20]。由圖3顯示,3倍重建時(shí)不同算法在建筑物及道路邊緣清晰度不同,而ODL算法恢復(fù)了更多的細(xì)節(jié)信息,重建效果相對(duì)最優(yōu),其重建影像更加清晰,紋理邊緣明顯,總體來(lái)看各算法的重建視覺(jué)效果與PSNR指標(biāo)評(píng)價(jià)值相一致。
圖1 不同圖像大小各算法PSNR值
圖2 不同放大倍數(shù)各算法PSNR值
圖3 同一測(cè)試影像3倍重建結(jié)果
本文對(duì)基于學(xué)習(xí)的3種超分辨率算法即MOD、K-SVD、ODL字典學(xué)習(xí)算法進(jìn)行了梳理,介紹了各種算法的原理及優(yōu)缺點(diǎn)。針對(duì)遙感影像的超分辨率重建,選取了PSNR值與運(yùn)行時(shí)間作為3種字典學(xué)習(xí)方法重建質(zhì)量的評(píng)價(jià)指標(biāo),通過(guò)對(duì)比試驗(yàn)發(fā)現(xiàn),對(duì)于數(shù)據(jù)信息量較大的遙感影像,選擇ODL在線字典學(xué)習(xí)的超分辨率重建方法,重建性能稍高于其余兩種方法,但對(duì)于不同大小的圖像進(jìn)行超分辨率重建,ODL算法穩(wěn)定性較差。此外,當(dāng)放大倍數(shù)逐漸增大時(shí),3種方法重建影像的質(zhì)量都在降低,需要進(jìn)一步改進(jìn)重建階段的算法,減小稀疏表示誤差,更加有效地進(jìn)行遙感影像的超分辨率重建。
[1] 李德仁,童慶禧,李榮興,等. 高分辨率對(duì)地觀測(cè)的若干前沿科學(xué)問(wèn)題[J]. 中國(guó)科學(xué)(地球科學(xué)),2012(6):805-813.
[2] 鐘九生.基于稀疏表示的光學(xué)遙感影像超分辨率重建算法研究[D]. 南京: 南京師范大學(xué),2013:1-14.
[3] FREEMAN W T,JONES T R,PASZTOR E C. Example-based Super-resolution[J]. IEEE Computer Graphics and Applications,2002, 22(2): 56-65.
[4] BISHOP C M, BLAKE A, MARTHI B. Super-resolution Enhancement of Video[C]∥AISTATS. [S.l.]: [s.n.], 2003.
[5] JEONG S C,SONG B C. Fast Super-resolution Algorithm Based on Dictionary Size Reduction Using k-means Clustering[J]. ETRI Journal, 2010, 32(4): 596-602.
[6] KIM C, CHOI K, RA J B. Improvement on Learning-based Super-resolution by Adopting Residual Information and Patch Reliability[C]∥2009 16th IEEE International Conference on Image Processing (ICIP). [S.l.]:IEEE, 2009: 1197-1200.
[7] PU J, ZHANG J, GUO P, et al. Interactive Super-resolution through Neighbor Embedding[C]∥Asian Conference on Computer Vision. Berlin: Springer Berlin Heidelberg, 2009: 496-505.
[8] YANG J, WRIGHT J, HUANG T, et al. Image Super-resolution as Sparse Representation of Raw Image Patches[C]∥IEEE Conference on CVPR 2008.[S.l.]:IEEE,2008: 1-8.
[9] YANG J, WRIGHT J, HUANG T S, et al. Image Super-resolution via Sparse Representation[J]. IEEE Transactions on Image Processing, 2010, 19(11): 2861-2873.
[10] ZEYDE R, ELAD M, PROTTER M. On Single Image Scale-up Using Sparse-representations[C]∥International Conference on Curves and Surfaces. Berlin:Springer Berlin Heidelberg, 2010: 711-730.
[11] MAIRAL J, BACH F, PONCE J, et al. Online Learning for Matrix Factorization and Sparse Coding[J]. Journal of Machine Learning Research, 2010, 11(1): 19-60.
[12] ENGAN K, AASE S O, HUSOY J H. Method of Optimal Directions for Frame Design[C]∥IEEE International Conference on Acoustics, Speech, and Signal Processing.[S.l.]:IEEE, 1999, 5: 2443-2446.
[13] AHARON M, ELAD M, BRUCKSTEIN A.The K-SVD:An Algorithm for Designing of Overcomplete Dictionaries for Sparse Representation[J]. IEEE Transactions on Signal Processing, 2006, 54(11): 4311-4322.
[14] LEE H, BATTLE A, RAINA R, et al. Efficient Sparse Coding Algorithms[C]∥Advances in Neural Information Processing Systems.[S.l.]:[s.n.],2006: 801-808.
[15] MAIRAL J,BACH F,PONCE J.Task-driven Dictionary Learning[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(4): 791-804.
[16] 李珅. 基于稀疏表示的圖像去噪和超分辨率重建研究[D].西安:西安光學(xué)精密機(jī)械研究所, 2014.
[17] 楊真真,楊震,孫林慧. 信號(hào)壓縮重構(gòu)的正交匹配追蹤類(lèi)算法綜述[J]. 信號(hào)處理, 2013, 29(4): 486-496.
[18] VIDAL R, MA Y, SASTRY S. Generalized Principal Component Analysis (GPCA)[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(12): 1945-1959.
[19] 倪浩,阮若林,劉芳華. 基于雙正則化參數(shù)的在線字典學(xué)習(xí)超分辨率重建[J]. 計(jì)算機(jī)應(yīng)用研究, 2016, 33(3): 277-281.
[20] ZHANG J,ZHAO C, XIONG R, et al. Image Super-resolution via Dual-dictionary Learning and Sparse Representation[C]∥2012 IEEE International Symposium on Circuits and Systems. [S.l.]:IEEE, 2012: 1688-1691.
Super-resolution Methods Based on Dictionary Learning for Remote Sensing Images
YANG Zhenyin1,SUI Lichun1,2,LI Li1,KANG Junmei1,DING Mingtao1
(1. College of Geology Engineering and Geomatics, Chang’an University, Xi’an 710054, China; 2. Engineering Research Center,Geographical Conditions Monitoring National Administration of Surveying, Mapping and Geoinformation, Xi’an 710054, China)
In recent years, super-resolution reconstruction technology based on dictionary learning has obtained much attention and has been intensively studied. Compared with the super-resolution method based on reconstruction, the learning-based method makes full use of prior knowledge. This learning-based method can get better results when magnification is high, which has been recognized as an extremely promising method. The properties of the existed learning-based super-resolution reconstruction algorithms are firstly analyzed systematically. Then this paper reviews the theory of three learning-based algorithms and combs their advantages and disadvantages. Finally, according to characteristics of remote sensing image, the same data sources are used for dictionary learning. We select these three algorithms mentioned to generate high and low resolution joint dictionary and adopt test images of different sizes and zoom and complete reconstruction. The reconstruction performance, robustness and complexity of various algorithms are analyzed comprehensively by experimental results. What’s more, aiming at different application requirements of remote sensing image, the applicability of different algorithms is further studied.
super-resolution reconstruction; sparse representation; remote sensing imagery; dictionary learning
楊振胤,隋立春,李麗,等.遙感影像超分辨率重建的字典學(xué)習(xí)類(lèi)算法[J].測(cè)繪通報(bào),2017(6):21-25.
10.13474/j.cnki.11-2246.2017.0182.
2017-03-15
國(guó)家自然科學(xué)基金(41372330);國(guó)家自然科學(xué)基金青年基金(41601345)
楊振胤(1990—),男,碩士,主要研究方向?yàn)檫b感影像超分辨率重建。E-mail:yangzy007@chd.edu.cn
P237
A
0494-0911(2017)06-0021-05