基于特征融合注意網(wǎng)絡(luò)的圖像超分辨率重建

周登文 馬路遙 田金月 孫秀秀

近年來,單圖像超分辨率(Single image superresolution,SISR)技術(shù)是圖像處理和計(jì)算機(jī)視覺領(lǐng)域的研究熱點(diǎn),旨在由單幅低分辨率(Low-resolution,LR) 圖像重建出具有更多細(xì)節(jié)的高分辨率(High-resolution,HR)圖像,它在醫(yī)學(xué)成像[1]、遙感衛(wèi)星成像[2]和視頻監(jiān)控[3]等領(lǐng)域有廣泛的應(yīng)用.

超分辨率技術(shù)可大致分為3 類: 基于插值[4-5]、基于重建[6-7]和基于學(xué)習(xí)[8-13]的方法.其中,基于學(xué)習(xí)的超分辨率算法是目前的主流研究方向.2014 年,Dong 等[8]提出了基于深度卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network,CNN)的SISR 算法,稱為SRCNN.不同于傳統(tǒng)的基于學(xué)習(xí)的方法,SRCNN直接學(xué)習(xí)低分辨率(LR)和高分辨率(HR)圖像之間端到端的映射.該網(wǎng)絡(luò)結(jié)構(gòu)雖然簡單(只有3 層),但是,超分辨效果很好.2016 年,Dong 等[9]在SRCNN 的基礎(chǔ)上,進(jìn)一步提出了基于沙漏型結(jié)構(gòu)的FSRCNN 方法.該方法參數(shù)量和計(jì)算量都更小,速度也更快.Kim 等[10]利用殘差網(wǎng)絡(luò)(ResNet)[14],加深了網(wǎng)絡(luò)結(jié)構(gòu)(20 層),提出了使用很深CNN 的SISR方法VDSR (Verp deep super-resolution),取得了更好的效果.Tai 等[11]提出了深度遞歸殘差SISR網(wǎng)絡(luò)DRRN (Deep recursive residual network),采用了更深的網(wǎng)絡(luò)結(jié)構(gòu).受益于參數(shù)共享策略,相比VDSR 方法,參數(shù)量更少,效果更好.2017 年,Lai等[12-13]提出了基于拉普拉斯圖像金字塔的深度殘差網(wǎng)絡(luò)LapSRN (Laplacian super-resolution network).LapSRN 網(wǎng)絡(luò)模型包含多級,每一級完成一次2 倍上采樣操作.通過逐級上采樣和預(yù)測殘差,實(shí)現(xiàn)圖像超分辨率重建.一次訓(xùn)練模型,可以完成多個尺度的超分辨率任務(wù).我們的方法,主要是受到LapSRN 方法的啟發(fā).

VDSR、DRRN 和LapSRN 等方法都表明: 網(wǎng)絡(luò)深度對于超分辨率圖像重建質(zhì)量有著至關(guān)重要的影響.以前基于深度CNN 的超分辨率方法,大多依賴于簡單地疊加卷積層,構(gòu)建更深的網(wǎng)絡(luò),以獲得性能的改進(jìn).但是,這會導(dǎo)致對內(nèi)存和計(jì)算能力需求的快速增加.

隨著網(wǎng)絡(luò)深度的增加,感受野會不斷增大,各網(wǎng)絡(luò)層提取的特征逐步抽象.本文認(rèn)為: 網(wǎng)絡(luò)模型不同深度提取的特征,均包含不同的、有利于超分辨率重建的信息,以前的方法大多忽略了如何充分利用這些信息.此外,超分辨率重建的重點(diǎn)是恢復(fù)圖像邊緣和紋理等高頻細(xì)節(jié),之前的方法通常對提取出來的特征信息同等對待,沒有重點(diǎn)關(guān)注圖像邊緣和紋理等細(xì)節(jié).

近年來,視覺注意機(jī)制[15]在圖像分類和超分辨率等應(yīng)用中取得了成功[16-19],它可以重點(diǎn)關(guān)注感興趣的目標(biāo),抑制無用的信息.為了解決上述問題,本文提出了基于特征融合注意網(wǎng)絡(luò)的超分辨率重建方法,本文的貢獻(xiàn)主要包括: 1) 提出了多級特征融合的網(wǎng)絡(luò)結(jié)構(gòu),能夠更好地利用網(wǎng)絡(luò)不同深度的特征信息,以及增加跨通道的學(xué)習(xí)能力;2) 提出了特征注意網(wǎng)絡(luò)結(jié)構(gòu),能夠增強(qiáng)圖像邊緣和紋理等高頻信息.實(shí)驗(yàn)結(jié)果表明: 本文提出的基于特征融合注意網(wǎng)絡(luò)的圖像超分辨率方法,無論是主觀視覺效果,還是客觀度量,超分辨率性能均超越了其他代表性的方法.

1 本文方法

本文方法主要是受到LapSRN 方法的啟發(fā),為了便于介紹本文方法,首先對LapSRN 方法作一個簡單的介紹.兩級LapSRN 網(wǎng)絡(luò)分為兩級超分辨率子網(wǎng)絡(luò)(每級11 個卷積層),每一級超分辨率子網(wǎng)絡(luò)包含基于CNN 的特征提取和反卷積上采樣2 個部分,以實(shí)現(xiàn)2 倍放大因子的超分辨率重建.LapSRN方法的兩級超分辨率子網(wǎng)絡(luò),可同時重建 ×2 和×4倍超分辨率圖像.

LapSRN 超分辨率子網(wǎng)絡(luò)的結(jié)構(gòu)較為簡單,只是常規(guī)3×3 的卷積層的堆疊.本文特征融合注意網(wǎng)絡(luò)模型的總體架構(gòu)類似于LapSRN,也由超分辨率子網(wǎng)絡(luò)組成,參見圖1.但是,在每一級子網(wǎng)絡(luò)的內(nèi)部,有重要的改進(jìn).本文模型的每一級子網(wǎng)絡(luò)包括3 個部分: 特征融合子網(wǎng)絡(luò)、特征注意子網(wǎng)絡(luò)和圖像重建子網(wǎng)絡(luò)(2 倍反卷積上采樣),參見圖2.特征融合子網(wǎng)絡(luò)由維度轉(zhuǎn)換層、遞歸卷積塊、多通道融合層,以及全局特征融合層4 個部分組成.遞歸卷積塊提取的不同深度特征,通過多通道融合層,傳遞到全局特征融合層,充分利用不同深度的特征信息和跨通道融合,以自適應(yīng)地學(xué)習(xí)跨通道特征信息之間的相互關(guān)系,增強(qiáng)網(wǎng)絡(luò)特征信息的選擇能力.特征注意子網(wǎng)絡(luò)將特征融合子網(wǎng)絡(luò)輸出的特征,進(jìn)行高頻信息的著重處理,以增強(qiáng)特征中邊緣和紋理等細(xì)節(jié)信息.圖像重建子網(wǎng)絡(luò)則使用反卷積上采樣層,生成2 倍超分辨率圖像.本文的特征融合子網(wǎng)絡(luò)中包含8 個遞歸卷積塊,每個卷積塊包含5 個3×3 的卷積層.由于采用了遞歸結(jié)構(gòu),各卷積塊之間參數(shù)共享,以及兩級超分辨率子網(wǎng)絡(luò)之間其他參數(shù)的共享.雖然本文的網(wǎng)絡(luò)模型有80 個卷積層,但參數(shù)總量大約只有LapSRN 方法的3/8.下面對網(wǎng)絡(luò)模型的主要部分進(jìn)行詳細(xì)的介紹.

圖1 網(wǎng)絡(luò)模型的總體結(jié)構(gòu)Fig.1 Overall structure of network model

圖2 超分辨率子網(wǎng)絡(luò)內(nèi)部結(jié)構(gòu)Fig.2 Internal structure of super-resolution subnetwork

1.1 特征融合子網(wǎng)絡(luò)

本文的特征融合子網(wǎng)絡(luò)由維度轉(zhuǎn)換層、遞歸卷積塊、多通道融合層,以及全局特征融合層4 個部分組成.維度轉(zhuǎn)換層為一個3×3 的卷積層,將輸入的LR 圖像轉(zhuǎn)換到高維特征,并過濾掉一部分低頻信息

其中,ILR是輸入的LR 圖像,F0是維度轉(zhuǎn)換層的映射函數(shù),W0是F0的權(quán)重矩陣參數(shù),H0是F0的輸出特征.H0輸入到8 個順序連接的遞歸卷積塊,每個卷積塊包含5 個的卷積層,參見圖3.遞歸卷積塊對H0進(jìn)一步進(jìn)行特征提取

圖3 遞歸卷積塊的結(jié)構(gòu)Fig.3 Structure of recursive convolutional block

其中,Fi是第i個遞歸卷積塊的映射函數(shù),Wi是Fi的權(quán)重矩陣參數(shù),Hi是第i個遞歸卷積塊的輸出.

多通道融合層包含8 個1×1 的卷積層,分別對8 個遞歸卷積塊的輸出特征Hi,i=1,2,···,8,進(jìn)行多通道融合和聯(lián)通

其中,FM,i是第i個多通道融合層的映射函數(shù),WM,i是FM,i的權(quán)重矩陣參數(shù),HM,i是第i個多通道融合層的輸出特征.

全局特征融合層將多通道融合層的輸出特征HM,i進(jìn)行拼接,生成特征HM,再通過2 個1×1 的卷積層,進(jìn)一步融合和降維,以提高不同深度特征的利用率

其中,FG是全局特征融合層的映射函數(shù),WG是FG的權(quán)重矩陣參數(shù),HG是全局特征融合層的輸出.

多通道融合層和全局特征融合層的相互結(jié)合,使得本文的網(wǎng)絡(luò)模型能夠聯(lián)通不同深度、不同通道特征,以更好地學(xué)習(xí)特征之間的相互關(guān)系.

1.2 特征注意子網(wǎng)絡(luò)

注意力機(jī)制旨在將更多的注意力集中在感興趣的信息上.在圖像超分辨率重建中,我們更感興趣圖像的高頻信息,即圖像的邊緣和紋理等信息.合適的網(wǎng)絡(luò)結(jié)構(gòu)是實(shí)現(xiàn)注意機(jī)制的關(guān)鍵.本文的特征注意子網(wǎng)絡(luò)包含一個注意模塊,由7×7 的最大池化層、三個3×3 的卷積層和一個S 形(sigmoid)非線性激活層組成,參見圖4.7×7 的大感受野最大池化層,可以更多地保留特征的紋理信息,過濾一部分平滑的低頻信息.S 形非線性激活函數(shù)的輸出限制在0 到1 之間,減少對特征信息的擾動,并能夠進(jìn)一步抑制不重要的信息.特征注意子網(wǎng)絡(luò)得到一個與輸入特征尺寸相同的增強(qiáng)矩陣A,A與輸入特征(即特征融合子網(wǎng)絡(luò)的輸出)HG逐元素相乘,對HG進(jìn)行信息增強(qiáng)

圖4 特征注意子網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Structure of feature attention network

其中,A是注意模塊的輸出,R是注意模塊中卷積塊待學(xué)習(xí)的映射函數(shù),WR是R的權(quán)重矩陣參數(shù),Pmax是最大池化層函數(shù),HA是增強(qiáng)后的特征,(·)是逐元素相乘運(yùn)算.

1.3 圖像重建子網(wǎng)絡(luò)

我們使用與LapSRN 方法類似的圖像重建子網(wǎng)絡(luò),在每一級超分辨率子網(wǎng)絡(luò)的末端進(jìn)行一次2倍超分辨率重建.將運(yùn)用注意力機(jī)制增強(qiáng)后的特征HA和LR 圖像分別進(jìn)行反卷積上采樣,并逐元素相加,生成重建的2 倍超分辨率圖像

其中,ISR是重建的超分辨率圖像,ILR是輸入的LR圖像,TL是LR 圖像上采樣反卷積層待學(xué)習(xí)的映射函數(shù),WTL是TL的權(quán)重矩陣參數(shù),TH是特征HA上采樣反卷積層待學(xué)習(xí)的映射函數(shù),WTH是TH的權(quán)重矩陣參數(shù),D為降維卷積的映射函數(shù),WD是D的權(quán)重矩陣參數(shù).

1.4 跳躍連接

殘差網(wǎng)絡(luò)在計(jì)算機(jī)視覺任務(wù)中應(yīng)用廣泛,其跳躍連接通常源自前一層的輸出.在特征融合子網(wǎng)絡(luò)中,采用了同源跳躍連接結(jié)構(gòu),如圖5 所示.該結(jié)構(gòu)將維度轉(zhuǎn)換層的輸出H0傳遞到每個遞歸卷積塊的輸入中,每個遞歸卷積塊的輸入是上一個塊的輸出與H0的和.這樣可以向網(wǎng)絡(luò)深層傳遞更多的淺層特征信息,也可以有效地減輕梯度消失和爆炸問題.

圖5 跳躍連接結(jié)構(gòu)Fig.5 Structure of skip link

1.5 損失函數(shù)

本文采用了與LapSRN 相同的L1 損失函數(shù)[13]

其中,N為每個訓(xùn)練批次的圖像數(shù)量,L為整個網(wǎng)絡(luò)包含的子網(wǎng)絡(luò)數(shù).為高分辨率圖像,為對應(yīng)的重建圖像,ε設(shè)置為 1 0-6.

2 實(shí)驗(yàn)結(jié)果

2.1 訓(xùn)練和測試數(shù)據(jù)集

不同的基于學(xué)習(xí)的SISR 方法,使用不同的訓(xùn)練集.SRCNN 方法使用ImageNet 訓(xùn)練集[8],FSRCNN 方法使用General-100 訓(xùn)練集[9],Yang 等[20]使用91 幅訓(xùn)練圖像.LapSRN 方法使用Berkeley Segmentation Dataset[21]中的200 幅圖像,以及Yang 等[20]方法中的 91 幅圖像,共291 幅圖像作為訓(xùn)練集,并通過縮放、旋轉(zhuǎn)等方式,擴(kuò)充了訓(xùn)練集.由于本文的方法與LapSRN 方法的網(wǎng)絡(luò)模型總體架構(gòu)類似,因此也采用了與其相同的訓(xùn)練數(shù)據(jù)集和訓(xùn)練集增擴(kuò)方法.

本文使用了Set5[22]、Set14[23]和BSD100[24]標(biāo)準(zhǔn)測試數(shù)據(jù)集,分別包含5、14 和100 個高分辨率(HR)原圖像.

2.2 訓(xùn)練數(shù)據(jù)集預(yù)處理和訓(xùn)練參數(shù)設(shè)置

本文使用不同的下采樣因子,下采樣原高分辨率(HR)訓(xùn)練圖像,獲得對應(yīng)的低分辨率(LR)圖像,并且通過縮放和旋轉(zhuǎn)增擴(kuò)了訓(xùn)練圖像: 首先,對訓(xùn)練圖像以0.5 和0.7 的比例進(jìn)行縮放;接著,對所有訓(xùn)練圖像進(jìn)行[ 9 0°,1 80°,2 70°]的旋轉(zhuǎn).所有訓(xùn)練圖像都裁剪為96×96 的圖像片(塊),LR 和HR訓(xùn)練圖像片對共123 384 個.本文在DIV2K[25]數(shù)據(jù)集中隨機(jī)選取20 幅圖像,也進(jìn)行了增擴(kuò)處理,獲得2 688 個LR 和HR 圖像片對,作為驗(yàn)證圖像.本文網(wǎng)絡(luò)模型中每一級超分辨率子網(wǎng)絡(luò)參數(shù)設(shè)置可參見表1.其中,H、W是輸入的LR 圖像的高度和寬度,Conv 是卷積層,LReLU 是滲漏、修正的非線性層,MaxPool 是最大池化層,ConvT 是反卷積層.

表1 每一級超分辨率子網(wǎng)絡(luò)的參數(shù)設(shè)置Table 1 Parameter setting of each level of super-resolution sub-network

網(wǎng)絡(luò)模型的其他訓(xùn)練參數(shù)設(shè)置: 每批64 個訓(xùn)練圖像對,全部訓(xùn)練圖像對共1 928 批,作為一個訓(xùn)練周期(Epoch),共訓(xùn)練100 個周期;訓(xùn)練優(yōu)化算法: Adam[26];初始學(xué)習(xí)率: 1 0-4,每迭代20 個周期,學(xué)習(xí)率衰減一半;卷積濾波器初始化采用MSRA算法[27];反卷積濾波器初始化采用均值為0、標(biāo)準(zhǔn)差為0.001 的高斯分布[9].在Intel Core i7-4790K 4.00 GHz CPU,NVIDIA GTX Titan X GPU (12 GB內(nèi)存)上,使用PyTorch 1.0 深度學(xué)習(xí)框架,作為訓(xùn)練平臺.

2.3 模型分析

本文在Set5 和Set14 標(biāo)準(zhǔn)測試數(shù)據(jù)集上進(jìn)行4 倍超分辨率實(shí)驗(yàn).分析特征融合子網(wǎng)絡(luò)和特征注意子網(wǎng)絡(luò)對超分辨率性能的影響,參見表2.我們給出了不同模型變種的平均峰值信噪比(Peak signal to noise ratio,PSNR)[28]和模型參數(shù)量.可以看出:遞歸結(jié)構(gòu)可以在對網(wǎng)絡(luò)性能影響不大(PSNR最大相差0.01dB)的情況下,有效減少參數(shù)量,不使用遞歸結(jié)構(gòu),參數(shù)量將急劇增加(大約增加到7 倍).特征融合子網(wǎng)絡(luò)和特征注意子網(wǎng)絡(luò)均可以提升網(wǎng)絡(luò)的超分辨率性能,兩個子網(wǎng)絡(luò)并用,效果最好.

表2 不同變種的網(wǎng)絡(luò)模型×4 超分辨率,在Set5、Set14數(shù)據(jù)集上的平均峰值信噪比(dB)及參數(shù)量Table 2 Average PSNR (dB) and number of parameters of different super-resolution network models for scale factor ×4,on Set5 and Set14 datasets

本文用NVIDIA Titan X (單卡),訓(xùn)練100 個迭代周期(Epoch),大約需要2 天.網(wǎng)絡(luò)收斂曲線參見圖6,縱坐標(biāo)是損失值,橫坐標(biāo)是訓(xùn)練迭代周期數(shù).“train loss”是訓(xùn)練損失收斂曲線,“val loss”是驗(yàn)證損失曲線.當(dāng)訓(xùn)練損失和驗(yàn)證損失趨向于穩(wěn)定時,停止訓(xùn)練.

圖6 網(wǎng)絡(luò)收斂曲線 (“train loss” 是訓(xùn)練損失收斂曲線,“val loss” 是驗(yàn)證損失曲線)Fig.6 Network convergence curves (“train loss” is the training loss convergence curve;“val loss” is the validation loss curve)

2.4 實(shí)驗(yàn)結(jié)果分析

我們在Set5、Set14 和BSD100 標(biāo)準(zhǔn)測試集上,驗(yàn)證2 倍、4 倍和8 倍超分辨率性能.圖像質(zhì)量客觀度量標(biāo)準(zhǔn)采用共同使用的PSNR 和結(jié)構(gòu)相似度(Structural similarity,SSIM)[28],PSNR 和SSIM值越大,表示圖像質(zhì)量越高.我們也與一些代表性的SISR 方法進(jìn)行了比較,包括經(jīng)典的雙三次插值方法Bicubic[29],Huang 等[30]基于自相似的SISR 方法SelfEx,Dong 等[8]使用深度卷積網(wǎng)絡(luò)的SISR 方法SRCNN,Kim 等[10]使用深度CNN 的SISR 方法VDSR,Tai 等[11]深度遞歸殘差網(wǎng)的SISR 方法DRRN,Lai 等拉普拉斯金字塔網(wǎng)絡(luò)的SISR 方法LapSRN[12]和Ms-LapSRN[13]等.Bicubic 方法使用MATLAB interp2 函數(shù)實(shí)現(xiàn);其他方法的實(shí)現(xiàn)均來自作者公開的源代碼,使用原方法論文中的參數(shù).2 倍、4 倍模型使用原作者預(yù)訓(xùn)練模型,8 倍模型用作者源代碼訓(xùn)練得到.計(jì)算結(jié)果參見表3.

一個已知的事實(shí)是: PSNR 和SSIM 等客觀度量方法與人的主觀視覺并不是完全一致的.本文方法與其他比較的方法,在Set5、Set14 和BSD100測試數(shù)據(jù)集上部分圖像的4 倍超分辨率的視覺效果(參見圖7～ 9),圖10 是8 倍超分辨率的結(jié)果.為了便于觀察,對比的結(jié)果圖像進(jìn)行了局部裁剪和放大.第1 行和第3 行是選擇的裁剪區(qū)域,第2 行和第4行是對紅色方框中重點(diǎn)區(qū)域的放大.各個比較的方法標(biāo)注在圖像的下方.本文方法的超分辨結(jié)果明顯優(yōu)于其他比較的方法,更好地恢復(fù)了圖像的邊緣和紋理等細(xì)節(jié),是清晰可視的.尤其是圖8 中花瓶的紋理和魚的眼睛,圖7 中的文字和馬腿部花紋.

圖7 在Set5 測試數(shù)據(jù)集上,2 個測試圖像×4 超分辨率結(jié)果對比Fig.7 A comparison of super-resolution results of two test images in Set5 for scale factor ×4

圖8 在Set14 測試數(shù)據(jù)集上,2 個測試圖像×4 超分辨率結(jié)果對比Fig.8 A comparison of super-resolution results of two test images in Set14 for scale factor ×4

圖9 在BSD100 測試數(shù)據(jù)集上,2 個測試圖像×4 超分辨率結(jié)果對比Fig.9 A comparison of super-resolution results of two test images in BSD100 for scale factor ×4

圖10 在BSD100 測試數(shù)據(jù)集上,2 個測試圖像×8 超分辨率結(jié)果對比Fig.10 A comparison of super-resolution results of two test images in BSD100 for scale factor ×8

基于深度CNN 的6 個SISR 方法在BSD100測試數(shù)據(jù)集上,4 倍超分辨率的平均PSNR 和參數(shù)量的對比,參見圖11.SRCNN 的網(wǎng)絡(luò)模型只有3 層,故參數(shù)量最小,但是其PSNR 性能最低;本文方法的平均PSNR 最高,參數(shù)量卻大約只有LapSRN的1/3,與DRRN 和Ms-LapSRN 方法,大致相當(dāng).

圖11 6 個基于深度CNN 的方法,在BSD100 數(shù)據(jù)集上×4 超分辨率的平均PSNR 和參數(shù)量對比Fig.11 Number of parameters and average PSNR of six methods based on depth CNN,on the BSD100 for scale factor ×4

基于深度CNN 的6 個SISR 方法在BSD100測試數(shù)據(jù)集上,4 倍超分辨率的平均運(yùn)行時間對比,參見圖12.本文方法的速度略低于LapSRN、Ms-LapSRN 和SRCNN,但明顯快于VDSR 與DRRN方法.LapSRN 方法最快,比本文方法也僅快大約0.06 s,本文方法比VDSR 大約快0.1 s,比DRRN大約快0.8 s.

圖12 6 個基于深度CNN 的方法,在BSD100 數(shù)據(jù)集上×4 超分辨率的平均運(yùn)行時間對比Fig.12 A comparison of running times of six methods based on depth CNN,on the BSD100 for scale factor ×4

3 結(jié)束語

針對之前基于深度CNN 的SISR 方法中參數(shù)量大,圖像邊緣和紋理恢復(fù)效果不好等問題,受基于拉普拉斯圖像金字塔的深度殘差網(wǎng)絡(luò)方法(LapSRN)的啟發(fā),提出了基于特征融合注意網(wǎng)絡(luò)的超分辨率重建方法.我們保留了LapSRN 方法分級重建的優(yōu)點(diǎn),采用了遞歸和其他參數(shù)共享策略,使參數(shù)量急劇下降,大約只有LapSRN 方法的3/8.由于采用了多級特征融合和特征注意機(jī)制,使得本文的網(wǎng)絡(luò)模型,能夠充分融合和利用不同深度、不同通道的特征,重點(diǎn)增強(qiáng)邊緣和紋理等高頻信息,超分辨率效果顯著提升.實(shí)驗(yàn)結(jié)果也證實(shí)了本文方法的良好性能,在進(jìn)行比較的代表性方法中,本文方法更好地平衡了性能、模型的復(fù)雜度和運(yùn)行時間等因素.未來我們將計(jì)劃進(jìn)一步優(yōu)化和改進(jìn)我們的方法.