應(yīng)自爐 商麗娟 徐 穎 劉 健
(五邑大學(xué)信息工程學(xué)院,廣東江門 529020)
圖像超分辨率重構(gòu)(Super-Resolution Reconstruction,SRR)是一種增強(qiáng)成像系統(tǒng)分辨率技術(shù),該技術(shù)是從觀察到的低分辨率圖重建高分辨率圖,為圖像恢復(fù)出更多細(xì)節(jié)信息,提供更好的視覺(jué)效果圖像。由于高分辨率圖像中包含更多細(xì)節(jié)信息,SRR技術(shù)在視頻監(jiān)控、醫(yī)學(xué)圖像、遙感衛(wèi)星、多徑稀疏信道傳輸?shù)雀鱾€(gè)領(lǐng)域具有重要現(xiàn)實(shí)意義和廣泛應(yīng)用價(jià)值[1-4],得到學(xué)術(shù)界高度關(guān)注[5-10]。然而,SRR技術(shù)是一個(gè)典型的病態(tài)逆過(guò)程[11-12],具有非常大的挑戰(zhàn)性。
SRR方法研究經(jīng)歷了從頻域轉(zhuǎn)向空域以及從無(wú)訓(xùn)練樣本到有訓(xùn)練樣本的過(guò)程。最早SRR方法研究在頻域中進(jìn)行圖像重構(gòu),通過(guò)設(shè)置截止頻率方式恢復(fù)信息,但頻域算法存在對(duì)噪聲較為敏感的缺點(diǎn)[13]?;诜蔷鶆虿逯档腟RR方法是最直觀通用的空域超分辨率重構(gòu)方法,該方法通過(guò)在像素之間插入合適的像素值,實(shí)現(xiàn)圖像分辨率提升[14]。然而,簡(jiǎn)單非均勻插值算法傾向于使圖像變得平滑,同時(shí)會(huì)造成塊狀效應(yīng)。后來(lái),研究者通過(guò)在插值過(guò)程中引入圖像先驗(yàn)信息來(lái)克服這一問(wèn)題,但這種方式對(duì)圖像視覺(jué)表現(xiàn)復(fù)雜度較為敏感,對(duì)于許多紋理或陰影圖像,容易出現(xiàn)振鈴效應(yīng)?;谥亟ǖ腟RR方法是對(duì)低分辨率圖像進(jìn)行一致性約束,并結(jié)合自然圖像先驗(yàn)知識(shí)進(jìn)行求解[15],該類算法能在先驗(yàn)信息充足條件下獲得較好重構(gòu)效果,但存在圖像序列數(shù)目不充分導(dǎo)致重構(gòu)效果退化的缺點(diǎn)。因此,傳統(tǒng)SRR方法研究在實(shí)現(xiàn)條件上更加嚴(yán)苛,且對(duì)放大系數(shù)較為敏感,在有限條件下難以實(shí)現(xiàn)高質(zhì)量圖像重構(gòu)[16]?;跈C(jī)器學(xué)習(xí)SRR技術(shù)發(fā)展迅速,尤其是稀疏編碼理論的發(fā)展為SRR方法研究帶來(lái)了許多啟發(fā)[17-22]。Timofte等[23]采用調(diào)整錨點(diǎn)的最近鄰回歸算法實(shí)現(xiàn)高質(zhì)量高效超分辨率重構(gòu),同時(shí)為深度學(xué)習(xí)在超分辨率領(lǐng)域應(yīng)用奠定了堅(jiān)實(shí)的技術(shù)基礎(chǔ)。目前,深度卷積神經(jīng)網(wǎng)絡(luò)(Deep Convolution Neural Network,DCNN)在計(jì)算機(jī)視覺(jué)問(wèn)題中被廣泛使用,Dong等[24]提出利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像進(jìn)行超分辨率重構(gòu)(Super Resolution Using Convolutional Neural Networks, SRCNN),其利用卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)低分辨率到高分辨率的端到端映射關(guān)系,重構(gòu)超分辨率圖像。DCNN可實(shí)現(xiàn)端到端的學(xué)習(xí)架構(gòu),省去特征提取預(yù)處理過(guò)程和后續(xù)高分辨率圖像塊聚合過(guò)程,SRCNN算法的提出奠定了深度學(xué)習(xí)應(yīng)用到超分辨率重構(gòu)領(lǐng)域的基礎(chǔ)。后來(lái),Dong 等[24]在SRCNN方法基礎(chǔ)上提出一種快速超分辨率(Fast Super-Resolution by Convolutional Neural Networks, FSRCNN)方法[25],該方法以低分辨率圖像作為網(wǎng)絡(luò)輸入,通過(guò)減小特征圖維度和卷積核尺寸,可減少網(wǎng)絡(luò)訓(xùn)練參數(shù),提高了網(wǎng)絡(luò)運(yùn)算速度。Shi等[26]提出一種利用亞像素卷積層的超分辨率(Super-Resolution Using Efficient Sub-Pixel CNN, ESPCN)重構(gòu)方法,該方法在最后一層重新對(duì)特征圖進(jìn)行排列,以得到高分辨率圖像,可大幅提高網(wǎng)絡(luò)運(yùn)算速度。He等[27]提出深度殘差網(wǎng)絡(luò)(Residual Network, ResNet),該網(wǎng)絡(luò)采用殘差塊作為網(wǎng)絡(luò)基本組成部分, 通過(guò)順序累加殘差可一定程度上解決DCNN隨著深度增加而帶來(lái)的網(wǎng)絡(luò)退化問(wèn)題,提高網(wǎng)絡(luò)性能。在超分辨率中Kim等[28]引入更深網(wǎng)絡(luò),借鑒 ResNet思想減輕網(wǎng)絡(luò)的學(xué)習(xí)“負(fù)擔(dān)”,加速學(xué)習(xí)率,并構(gòu)造適用于不同圖像放大尺度的網(wǎng)絡(luò)。近年,Lai等[29]提出基于級(jí)聯(lián)卷積神經(jīng)網(wǎng)路的拉普拉斯金字塔超分辨率重構(gòu)方法(Laplacian pyramid super resolution network, LapSRN),該方法采用類似金字塔方式提取不同尺度圖像特征,在每個(gè)子階段利用殘差策略訓(xùn)練網(wǎng)絡(luò),進(jìn)而重構(gòu)超分辨率圖像。Lim等[30]利用深度殘差網(wǎng)絡(luò)進(jìn)行超分辨率重構(gòu)在NTIRE2017超分辨率挑戰(zhàn)賽中拔得頭籌。雖然以上網(wǎng)絡(luò)取得了良好性能,但深層網(wǎng)絡(luò)需要學(xué)習(xí)大量參數(shù)。與緊湊網(wǎng)絡(luò)模型相比之下,深層網(wǎng)絡(luò)需要更多的存儲(chǔ)空間,難以推廣到便攜式設(shè)備中使用。
針對(duì)上述問(wèn)題,本文提出一種可用于便攜式設(shè)備的緊湊型多徑殘差卷積神經(jīng)網(wǎng)絡(luò)。與傳統(tǒng)圖像超分辨率方法不同,本文算法沒(méi)有直接重建出高分辨率圖像,而是通過(guò)網(wǎng)絡(luò)學(xué)習(xí)到圖像高頻細(xì)節(jié)信息,并利用獲得的高頻信息和原始低分辨率圖像重建出高分辨率圖像。同時(shí)引入多徑殘差思想,采用多徑結(jié)構(gòu)及遞歸塊連接方式,共享遞歸殘差塊所有參數(shù),大大減少參數(shù)量。為使網(wǎng)絡(luò)泛化能力更強(qiáng),結(jié)構(gòu)更緊湊,本文采用最大特征圖(Max-Feature-Max, MFM)激活函數(shù)[31],可有效捕捉到緊湊表示及具有競(jìng)爭(zhēng)性特征信息,實(shí)現(xiàn)低分辨率圖像的超分辨率重構(gòu)。
本文內(nèi)容安排如下:第2部分闡述卷積神經(jīng)網(wǎng)絡(luò)基本理論知識(shí);第3部分介紹本文采用的多徑卷積神經(jīng)網(wǎng)絡(luò)以及最大特征圖殘差塊;第4部分介紹實(shí)驗(yàn)結(jié)果;第5部分對(duì)本文進(jìn)行總結(jié)和展望。
卷積神經(jīng)網(wǎng)絡(luò)(Convolution Neural Network, CNN)目前已成為圖像處理領(lǐng)域的研究熱點(diǎn),在計(jì)算機(jī)視覺(jué)領(lǐng)域中被廣泛使用。深度學(xué)習(xí)是一種端到端的學(xué)習(xí)算法,直接將圖像輸入到網(wǎng)絡(luò)來(lái)學(xué)習(xí)目標(biāo)特征,基于原始數(shù)據(jù)的表征學(xué)習(xí)算法,逐層進(jìn)行特征提取和特征融合,隨著網(wǎng)絡(luò)不斷加深,提取到的特征越抽象,越有利于實(shí)現(xiàn)后續(xù)的識(shí)別、重構(gòu)等工作。典型CNN是一個(gè)多層的神經(jīng)網(wǎng)絡(luò),能夠高效高質(zhì)地處理圖像相關(guān)的機(jī)器學(xué)習(xí)問(wèn)題。CNN主要由輸入層、卷積層、池化層、全連接層和輸出層組成,其結(jié)構(gòu)如圖1所示。
CNN權(quán)值共享結(jié)構(gòu)類似于生物神經(jīng)網(wǎng)絡(luò),卷積層中的神經(jīng)元與其輸入層的特征圖進(jìn)行局部連接,將該局部加權(quán)和傳遞給非線性函數(shù),如修正線性單元(Rectified Linear Units, ReLU)函數(shù),獲得卷積層中每個(gè)神經(jīng)元輸出值。在同一個(gè)輸入特征圖和同一個(gè)輸出特征圖中,CNN權(quán)值共享,該網(wǎng)絡(luò)通過(guò)權(quán)值共享減小模型復(fù)雜度,使網(wǎng)絡(luò)更易于訓(xùn)練[32]。由于SRR是一病態(tài)逆問(wèn)題,通常在求解高分辨率圖像時(shí)需加入一個(gè)正則化項(xiàng)作為先驗(yàn)信息進(jìn)行規(guī)范化約束,從而求得最優(yōu)解,實(shí)現(xiàn)超分辨率重構(gòu)。在傳統(tǒng)方法中,該先驗(yàn)信息通過(guò)若干低分辨率和高分辨率圖像對(duì)中學(xué)到,而基于深度學(xué)習(xí)的SRR通過(guò)神經(jīng)網(wǎng)絡(luò)直接學(xué)習(xí)分辨率圖像到高分辨率圖像的映射函數(shù)實(shí)現(xiàn)超分辨率重構(gòu)[33]。本文設(shè)計(jì)了多徑卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),可自主學(xué)習(xí)圖像特征,并引入最大特征圖殘差塊,使網(wǎng)絡(luò)能夠直接學(xué)習(xí)SRR所需圖像細(xì)節(jié)信息,使網(wǎng)絡(luò)輸出盡可能接近本地高分辨率圖像,損失函數(shù)均方誤差最小化。所提網(wǎng)絡(luò)不僅能有效緩解深度網(wǎng)絡(luò)難以訓(xùn)練問(wèn)題,同時(shí)能夠較好解決超分辨率病態(tài)逆問(wèn)題。
超分辨率卷積神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)充分考慮低分辨率圖像與高分辨率圖像間關(guān)系,不僅可直接學(xué)習(xí)高分辨率圖像與低分辨率圖像的非線性映射關(guān)系,也可學(xué)習(xí)到從低分辨率圖像中損失的細(xì)節(jié)信息。本文網(wǎng)絡(luò)是由特征提取模塊、一系列殘差模塊和重構(gòu)模塊構(gòu)成,特征提取模塊是通過(guò)一層卷積層中卷積核與輸入圖像進(jìn)行卷積操作提取輸入圖像特征并輸出特征圖,由于大量圖像細(xì)節(jié)經(jīng)過(guò)多層卷積運(yùn)算后消失,會(huì)導(dǎo)致網(wǎng)絡(luò)訓(xùn)練性能下降的問(wèn)題,此處本文引入多徑結(jié)構(gòu)模式學(xué)習(xí)局部殘差學(xué)習(xí)(Local Residual Learning, LRL)方法緩解深度網(wǎng)絡(luò)訓(xùn)練性能下降問(wèn)題,以及加入全局殘差學(xué)習(xí)(Global residual learning, GRL)方法充分利用低分辨率圖像中的信息,通過(guò)卷積操作將估計(jì)的殘差特征,并結(jié)合低分辨率信息重構(gòu)高分辨率圖像,所提多徑卷積網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。
圖1 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.1 Diagram of convolutional neural network architecture
圖2 多徑深度卷積網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 Architecture of multi-path deep convolutional neural network
由圖2可知,多徑網(wǎng)絡(luò)結(jié)構(gòu)包括GRL和LRL兩部分。本文中高分辨率圖像由網(wǎng)絡(luò)估計(jì)出的殘差圖像通過(guò)GRL分支與輸入圖像求和得到,而網(wǎng)絡(luò)通過(guò)恒等映射分支所攜帶的豐富細(xì)節(jié)信息不斷融合到主路徑中。這種方式不僅可緩解深度網(wǎng)絡(luò)難以訓(xùn)練問(wèn)題,也有助于梯度流動(dòng)。由于圖像超分辨率重構(gòu)是逐像素輸出,相比數(shù)值輸出,本文網(wǎng)絡(luò)結(jié)構(gòu)僅由卷積層構(gòu)成,不考慮容易致使細(xì)節(jié)丟失的池化層。輸入圖像經(jīng)過(guò)卷積層處理,卷積核尺寸為3×3,輸出32張?zhí)卣鲌D,在改進(jìn)殘差塊中進(jìn)行訓(xùn)練。通過(guò)恒等映射分支攜帶的大量細(xì)節(jié)信息,補(bǔ)充到每一個(gè)殘差塊的輸出特征圖上。該遞歸式連接方式,可使每個(gè)殘差塊的權(quán)值共享,從而減小網(wǎng)絡(luò)訓(xùn)練參數(shù),在一定程度上緩解網(wǎng)絡(luò)訓(xùn)練難度。
殘差學(xué)習(xí)在傳統(tǒng)線性網(wǎng)絡(luò)結(jié)構(gòu)基礎(chǔ)上,引入捷徑分支,以繞過(guò)相關(guān)層進(jìn)行連接,經(jīng)過(guò)求和方式融入到主路徑。加入捷徑分支后,訓(xùn)練過(guò)程中底層誤差可通過(guò)捷徑向上一層傳播,減緩因?qū)訑?shù)過(guò)多造成的梯度消失現(xiàn)象,提高訓(xùn)練精度。同時(shí),捷徑引入并沒(méi)有引入額外參數(shù),不影響原始網(wǎng)絡(luò)復(fù)雜度。整個(gè)網(wǎng)絡(luò)仍可使用現(xiàn)有深度學(xué)習(xí)反饋訓(xùn)練求解。
殘差網(wǎng)絡(luò)是在鏈?zhǔn)侥J街卸询B局部殘差單元,每個(gè)殘差單元由幾個(gè)卷積層構(gòu)成。鏈?zhǔn)綒埐钅P腿鐖D3(a)所示,殘差單元輸出表示為:
HU=F(HU-1,WU)+HU-1
(1)
圖像超分辨率重構(gòu)中細(xì)節(jié)信息極為重要,為增強(qiáng)網(wǎng)絡(luò)學(xué)習(xí)細(xì)節(jié)信息能力及有效避免過(guò)擬合現(xiàn)象,本文對(duì)殘差網(wǎng)絡(luò)連接方式進(jìn)行改進(jìn),在殘差網(wǎng)絡(luò)中加入GRL,由于SRR輸出和輸入非常相似,GRL引入減小網(wǎng)絡(luò)計(jì)算復(fù)雜度,顯著提高網(wǎng)絡(luò)訓(xùn)練效率。同時(shí),為了增強(qiáng)每一個(gè)殘差塊輸出的細(xì)節(jié)信息,將第一層卷積層輸出特征補(bǔ)充到每一個(gè)殘差塊中,為與鏈?zhǔn)綒埐罱Y(jié)構(gòu)進(jìn)行區(qū)分,這種改進(jìn)型殘差網(wǎng)絡(luò)命名為多徑殘差結(jié)構(gòu)。其結(jié)構(gòu)示意圖如圖3(b)所示。將殘差單元可定義為:
HU=F(HU-1,W)+H0
(2)
其中F表示殘差單元的激活函數(shù),H0是網(wǎng)絡(luò)第一個(gè)卷積層的結(jié)果。由于殘差單位是以遞歸方式學(xué)習(xí)的,所以權(quán)重設(shè)定W在遞歸塊中的殘差單位之間共享。
圖3 殘差結(jié)構(gòu)示意圖Fig.3 Diagram of residual architecture
為了增強(qiáng)網(wǎng)絡(luò)泛化能力,使網(wǎng)絡(luò)結(jié)構(gòu)更加緊湊,同時(shí)提高激活函數(shù)非線性性能,本文引入基于最大特征圖激活函數(shù),該激活函數(shù)在輸入卷積層中選擇兩張?zhí)卣鲌D,并取相同位置較大的值,并提出一種基于最大特征圖的改進(jìn)殘差塊方法。MFM激活函數(shù)如圖4所示。
圖4 MFM結(jié)構(gòu)示意圖Fig.4 Diagram of MFM architecture
下面將對(duì)MFM和ReLU層的前向計(jì)算和后向梯度求解。
假設(shè)ReLU層的輸入集為X,則輸出集Y為
Y=max(0,X)
(3)
(4)
假設(shè)MFM層輸入集為X,先把X等分成X1和X2兩部分,再計(jì)算輸出集Y,即
Y=max(X1,X2)
(5)
MFM層梯度為
(6)
由公式(6)可看出,MFM激活層有一半梯度值為0,可得到稀疏梯度。MFM激活函數(shù)相比于ReLU函數(shù),后者的特征是稀疏高維的。經(jīng)過(guò)前者處理之后,可得到低維緊實(shí)特征,實(shí)現(xiàn)特征選擇和降維效果。相比ReLU,MFM能使網(wǎng)絡(luò)更緊湊。
殘差塊結(jié)構(gòu)如圖5(a),輸入表示為Xi,恒等映射為H(Xi),殘差映射定義為:
F(Xi+1)=H(Xi)+Xi
(7)
相比直接學(xué)習(xí)恒等映射H(Xi)=Xi,殘差結(jié)構(gòu)使網(wǎng)絡(luò)訓(xùn)練更容易。隨著深度網(wǎng)絡(luò)不斷發(fā)展,增加網(wǎng)絡(luò)深度能夠提升網(wǎng)絡(luò)精度。為防止梯度爆炸或梯度彌散,進(jìn)行規(guī)范初始化并引入批量正則化層(batch normalization, BN)方式,利用隨機(jī)梯度下降(Stochastic Gradient Descent, SGD)方法使得反饋網(wǎng)絡(luò)求解得以收斂,降低了網(wǎng)絡(luò)靈活性。且層數(shù)較多時(shí),梯度在傳播過(guò)程中逐漸消失,反而會(huì)降低識(shí)別率?;谏鲜龃嬖趩?wèn)題,本文提出基于最大特征圖殘差塊,改進(jìn)后殘差塊如下圖5(b)所示。
圖5 基于最大特征圖殘差塊Fig.5 Based on Max-feature-Max residual block
由于BN層會(huì)致使部分細(xì)節(jié)信息丟失有價(jià)值信息,和消耗與卷積層等量?jī)?nèi)存,致使訓(xùn)練速度減慢。因而,本文采用去掉BN層,并采用多徑結(jié)構(gòu)方式,該方式能使網(wǎng)絡(luò)更易收斂,并減輕網(wǎng)絡(luò)深度導(dǎo)致的退化問(wèn)題。卷積網(wǎng)絡(luò)結(jié)構(gòu)中采用ReLU激活函數(shù)時(shí),存在當(dāng)局部加權(quán)和為負(fù)數(shù)時(shí)激活后值為零導(dǎo)致丟失部分信息問(wèn)題,及梯度消失問(wèn)題。本文引入MFM激活函數(shù),可有效克服上述兩點(diǎn)問(wèn)題,并能提高激活函數(shù)非線性性能,增強(qiáng)網(wǎng)絡(luò)泛化能力,使網(wǎng)絡(luò)結(jié)構(gòu)更加緊湊。
本文實(shí)驗(yàn)所用計(jì)算機(jī)配置為Xeon E3 CPU,NVIDIA GeForce GTX 980的GPU,內(nèi)存為32G。實(shí)驗(yàn)平臺(tái)搭載在win 10操作系統(tǒng),Matlab R2015a,CUDA Toolkit 8.0,基于caffe框架[34]實(shí)現(xiàn)的。本實(shí)驗(yàn)初始學(xué)習(xí)率為0.01,學(xué)習(xí)率策略為“step”, 每進(jìn)行20個(gè)epochs學(xué)習(xí)率下降10倍,權(quán)重衰減設(shè)置為0.001,采用SGD方法訓(xùn)練網(wǎng)絡(luò)。
本文在Timofte數(shù)據(jù)集中進(jìn)行超分辨率重構(gòu)。為防止網(wǎng)絡(luò)過(guò)擬合,采用尺度縮放和旋轉(zhuǎn)兩種方式對(duì)訓(xùn)練圖像進(jìn)行增強(qiáng)。具體地,對(duì)在數(shù)據(jù)集中每幅圖像進(jìn)行降采樣,縮放到原圖像尺寸的0.6、0.7、0.8、0.9倍。然后將數(shù)據(jù)集中圖像按順時(shí)針?lè)謩e旋轉(zhuǎn)90°、180°、270°。通過(guò)圖像尺度縮放和旋轉(zhuǎn)處理后,原數(shù)據(jù)庫(kù)擴(kuò)增20倍。
半監(jiān)督學(xué)習(xí)(Semisupervised learning, SSL)方法已經(jīng)被證明對(duì)于解決標(biāo)簽樣本短缺是有效的通過(guò)一起使用大量的未標(biāo)記樣本來(lái)解決問(wèn)題少量標(biāo)記樣本。然而,由于標(biāo)簽數(shù)據(jù)含有噪聲,許多傳統(tǒng)的SSL方法不具有魯棒性。Du等[35]提出了一個(gè)基于最大相關(guān)熵準(zhǔn)則(Maximum Correntropy Criterion, MCC)的魯棒圖形SSL方法去學(xué)習(xí)一個(gè)魯棒而強(qiáng)大的泛化模型。基于圖形的SSL框架通過(guò)實(shí)施,得到改進(jìn)監(jiān)督信息的正規(guī)化,這可以加強(qiáng)對(duì)標(biāo)簽的約束,從而確保預(yù)測(cè)的標(biāo)簽的每個(gè)群集都接近真實(shí)的標(biāo)簽。此外,MCC被引入到SSL框架來(lái)抑制標(biāo)簽噪聲,減少噪聲干擾,有利于后續(xù)超分辨率重構(gòu)工作的順利進(jìn)行。本文超分辨率重構(gòu)算法一種多標(biāo)簽的監(jiān)督任務(wù),異常標(biāo)簽在多標(biāo)簽情況下非常常見(jiàn),并可能導(dǎo)致監(jiān)督信息的偏倚,因此,Du等[36]提出一個(gè)基于MCC的魯棒的多標(biāo)簽主動(dòng)學(xué)習(xí)方法去解決該問(wèn)題。該方法不僅可以構(gòu)建強(qiáng)大查詢模型去估計(jì)樣本測(cè)量不確定性,也很好地表示多標(biāo)簽數(shù)據(jù)的相似性。
為獲取輸入網(wǎng)絡(luò)初始高分辨率圖像塊及相應(yīng)的本地高分辨率圖像塊,增強(qiáng)網(wǎng)絡(luò)在不同尺度低分辨率圖像的超分辨率重構(gòu)效果,提高網(wǎng)絡(luò)泛化能力,本文對(duì)增強(qiáng)后數(shù)據(jù)集進(jìn)行預(yù)處理,過(guò)程如圖6所示;與灰度圖和RGB圖像相比,高光譜圖像(Hyperspectral Image, HSI)的光譜通道包含更豐富的信息,從而可以提供更多觀測(cè)圖像信息,然HSI總是受龐大的數(shù)據(jù)量和大量的冗余信息影響,這阻礙了其在很多方面的應(yīng)用。HSI壓縮是一種簡(jiǎn)單解決方式,但大多數(shù)傳統(tǒng)的圖像編碼算法主要集中在空間維度上,不需要考慮光譜維度中的冗余。Du[37]提出一種基于圖像塊的低秩張量分解的新型HSI壓縮和重構(gòu)算法,該算法利用圖像塊張量間相似度進(jìn)行壓縮,且該方法優(yōu)于傳統(tǒng)的圖像壓縮方法和其他基于張量的方法。
本文圖像預(yù)處理過(guò)程分為三個(gè)步驟,首先,提取原圖像亮度通道圖像,對(duì)圖像亮度分量進(jìn)行裁剪,并對(duì)裁剪后圖像按不同尺度因子進(jìn)行下采樣。然后,將下采樣后圖像按照對(duì)應(yīng)尺度進(jìn)行上采樣并生成初始高分辨率圖像。最后,為匹配網(wǎng)絡(luò)輸入輸出,將生成初始高分辨率圖像及本地高分辨率圖像按照步長(zhǎng)21裁剪為31*31圖像塊。
為驗(yàn)證本文所提圖像超分辨率方法性能,實(shí)驗(yàn)在超分辨率重建領(lǐng)域中通用的測(cè)試集 Set5、Set14、BSD100上進(jìn)行測(cè)試,并將測(cè)試結(jié)果與 Bicubic、A+[23]、SRCNN[24]、FSRCNN[25]、ESPCN[26]等主流方法進(jìn)行對(duì)比。本文采用客觀評(píng)價(jià)指標(biāo)包括峰值信噪比(Peak Signal to Noise Ratio,PSNR)和圖像的結(jié)構(gòu)相似性(Structural Similarity,SSIM)。PSNR是對(duì)經(jīng)過(guò)處理的圖像與原圖像進(jìn)行對(duì)比得到誤差定量計(jì)算,用來(lái)表征圖像失真程度,PSNR越高,表明圖像失真越小。SSIM用來(lái)表征處理后圖像與原圖結(jié)構(gòu)相似性,其值越接近1,表明相似度越高,表明效果越好。表1展示了當(dāng)訓(xùn)練集為91幅圖像時(shí),各方法分別在2倍、3倍、4倍圖像尺度因子下,在Set5測(cè)試集上經(jīng)超分辨率重建后PSNR值及SSIM值。
圖6 圖像預(yù)處理過(guò)程Fig.6 Image pre-processing process
ImageScale指標(biāo)BicubicSCSR[17]SRCNN[24]本文方法Baby234PSNR37.3237.3238.3038.59SSIM0.950.920.970.97PSNR33.9134.0134.9935.38SSIM0.900.910.920.93PSNR31.7931.9432.3933.36SSIM0.860.870.870.88bird234PSNR36.8337.1340.6441.15SSIM0.970.970.980.99PSNR32.5932.8934.8335.86SSIM0.920.930.950.96PSNR30.1830.4831.1232.86SSIM0.870.880.890.92butterfly234PSNR27.4427.6832.2033.45SSIM0.910.920.960.97PSNR24.0424.3527.4528.99SSIM0.820.840.900.93PSNR22.1022.5624.2826.04SSIM0.740.750.790.88head234PSNR34.8935.0235.6335.86SSIM0.860.880.880.89PSNR32.9133.1233.5233.94SSIM0.800.820.820.83PSNR31.6231.9831.9432.49SSIM0.750.770.760.78Woman234PSNR32.1532.6434.9335.52SSIM0.950.950.960.97PSNR28.5728.9630.7231.49SSIM0.890.900.920.93PSNR26.4726.7227.3528.83SSIM0.830.850.850.89
表1將本文方法與SCSR方法和SRCNN方法這兩種具有代表性超分辨率方法進(jìn)行對(duì)比,從表1可看出,本文所提方法相比于傳統(tǒng)基于樣例學(xué)習(xí)方法具有更高的PSNR值和SSIM值,充分表明本文算法能夠重建出與原圖像結(jié)構(gòu)更為相似的視覺(jué)效果圖,處理效果更好,具有更好的圖像超分辨率重構(gòu)性能。
表2展示了當(dāng)訓(xùn)練集為91幅圖像時(shí),各方法分別在2倍、3倍、4倍圖像尺度因子下,在各測(cè)試集上圖像經(jīng)超分辨率重建后PSNR的平均值。
表2 超分辨率算法在Set5、Set14、B100數(shù)據(jù)集上PSNR平均值
從表2可看出,本文方法針對(duì)不同數(shù)據(jù)集進(jìn)行超分辨率重構(gòu)均能獲得較好的實(shí)驗(yàn)效果,表明本文所提網(wǎng)絡(luò)泛化能力較好?,F(xiàn)有主流方法如SRCNN、FSRCNN、ESPCN、LapSRN、EDSR等方法需要分別針對(duì)不同尺度因子訓(xùn)練網(wǎng)絡(luò),網(wǎng)絡(luò)利用率不高,可重用性差,而本文網(wǎng)絡(luò)能夠各數(shù)據(jù)集上超分辨率不同尺度,使網(wǎng)絡(luò)適用多尺度超分辨率重構(gòu),具有可增強(qiáng)網(wǎng)絡(luò)泛化能力的優(yōu)點(diǎn)。此外,淺層網(wǎng)絡(luò)具有參數(shù)少,易訓(xùn)練的優(yōu)點(diǎn),但感受野小,不利用充分利用圖像上下文信息。深層網(wǎng)絡(luò)能夠帶來(lái)更好的重構(gòu)效果,但需要引入更多的訓(xùn)練參數(shù),增大網(wǎng)絡(luò)訓(xùn)練難度,本文方法能夠極大減少參數(shù)量,同時(shí)保持較好的重構(gòu)效果。
同時(shí),在保持網(wǎng)絡(luò)超參數(shù)設(shè)置不變,僅將網(wǎng)絡(luò)結(jié)構(gòu)調(diào)整為如圖3所示的鏈?zhǔn)浇Y(jié)構(gòu)進(jìn)行實(shí)驗(yàn),重構(gòu)效果如圖7所示。
采用鏈?zhǔn)綒埐罹W(wǎng)絡(luò)所重構(gòu)圖像效果很差,產(chǎn)生多重邊緣紋理,在視覺(jué)上產(chǎn)生沖擊,可能是訓(xùn)練方式、網(wǎng)絡(luò)初始化方法、超參數(shù)設(shè)置等原因造成這一現(xiàn)象,后續(xù)工作有待進(jìn)一步探究。
為了更直觀顯示本文方法與其他方法效果對(duì)比,圖8展示了在尺度因子為3時(shí),6幅測(cè)試集中,輸入圖像經(jīng)過(guò)Bicubic、SRCNN與本文所提算法超分辨率重構(gòu)后效果圖,并取局部進(jìn)行3倍放大后圖像進(jìn)行對(duì)比。與SRCNN算法相比,本文算法取得了效果上提升,處理結(jié)果較為清晰,邊緣相對(duì)完整,邊緣效果保持更好,銳度更強(qiáng),恢復(fù)出的紋理信息更豐富,與原圖相比,視覺(jué)效果更接近,這表明通過(guò)多徑卷積神經(jīng)網(wǎng)絡(luò)模型學(xué)習(xí)殘差信息更為有效。
圖7 鏈?zhǔn)浇Y(jié)構(gòu)與多徑結(jié)構(gòu)重構(gòu)效果對(duì)比圖Fig.7 Comparison of chain structure and multipath structure reconstruction effect
圖8 重構(gòu)效果圖Fig.8 Subjective evalution effect
表3 不同激活函數(shù)性能比較
表3列出了采用ReLU激活函數(shù)與MFM激活函數(shù)對(duì)比結(jié)果。實(shí)驗(yàn)表明,采用MFM激活函數(shù)比采用ReLU激活函數(shù)效果要好,與ReLU激活函數(shù)相比,MFM具有擬合任意凸函數(shù)的特點(diǎn),使得網(wǎng)絡(luò)能收斂于更好的全局解。
針對(duì)超分辨率重構(gòu)現(xiàn)有方法存在的問(wèn)題,本文提出可用于便攜式設(shè)備的緊湊型多徑殘差卷積神經(jīng)網(wǎng)絡(luò),并引入多徑殘差思想,增強(qiáng)網(wǎng)絡(luò)細(xì)節(jié)信息。同時(shí),采用遞歸塊連接方式,共享遞歸殘差塊參數(shù),大大了減少參數(shù)量。為使網(wǎng)絡(luò)泛化能力更強(qiáng),結(jié)構(gòu)更緊湊,本文采用MFM激活函數(shù),可有效捕捉到緊湊表示及具有競(jìng)爭(zhēng)性特征信息,實(shí)現(xiàn)低分辨率圖像的超分辨率重構(gòu)。實(shí)驗(yàn)結(jié)果表明,本文方法具有良好的重構(gòu)能力,圖像清晰度和邊緣銳度明顯提高,在客觀評(píng)價(jià)和主觀視覺(jué)效果方面均優(yōu)于當(dāng)前主流的超分辨率重構(gòu)方法,在未來(lái)的工作中,可為便攜式高性能超分辨率重構(gòu)奠定理論基礎(chǔ),以及將多徑模型擴(kuò)展到其他圖像退化領(lǐng)域用于解決實(shí)際問(wèn)題。