多分支殘差特征蒸餾網(wǎng)絡(luò)的圖像超分辨重建

李 軒,劉立柱

(沈陽(yáng)航空航天大學(xué) 電子信息工程學(xué)院,沈陽(yáng) 110136)

1 引 言

圖像超分辨是從低分辨率(low-resolution,LR)圖像中恢復(fù)出相應(yīng)的高分辨率(high-resolution,HR)圖像,它是圖像處理和計(jì)算機(jī)視覺(jué)任務(wù)中的一個(gè)重要問(wèn)題.由于硬件設(shè)備限制或者惡劣環(huán)境等原因,通常會(huì)獲取到一些LR圖像.圖像超分辨率技術(shù)可以在不增加硬件成本的前提下提升圖像質(zhì)量,在安防監(jiān)控、衛(wèi)星圖像、顯微成像及醫(yī)學(xué)影像等領(lǐng)域有廣泛應(yīng)用[1].超分辨率可以大致分為兩大類:傳統(tǒng)方法和基于深度學(xué)習(xí)的方法.近年來(lái),得益于深度學(xué)習(xí)方法的強(qiáng)大學(xué)習(xí)能力,基于深度卷積神經(jīng)網(wǎng)絡(luò)的方法在重建超分辨率圖像方面取得了很大進(jìn)展.接下來(lái)簡(jiǎn)要回顧了與卷積神經(jīng)網(wǎng)絡(luò)相關(guān)的圖像超分辨率工作.

Dong等人[2]首次提出一個(gè)三層卷積神經(jīng)網(wǎng)絡(luò)SRCNN,以端到端的方式進(jìn)行圖像重建,呈現(xiàn)出良好的重建效果;受這項(xiàng)工作啟發(fā),Kim等人基于殘差學(xué)習(xí)的方法設(shè)計(jì)了20層的VDSR[3]以提高超分辨率(super-resolution,SR)性能,作者之后結(jié)合遞歸監(jiān)督方法提出了16層遞歸的DRCN[4];Tai等人對(duì)DRCN做出改進(jìn),基于局部殘差連接和殘差單元的遞歸學(xué)習(xí)方法提出了DRRN[5],獲得了更好的性能,之后又提出MemNet[6],該網(wǎng)絡(luò)引入了一個(gè)包含門(mén)控單元和遞歸單元的內(nèi)存塊,以通過(guò)自適應(yīng)學(xué)習(xí)過(guò)程顯式地挖掘持續(xù)記憶;Lai等人[7]提出了拉普拉斯金字塔超分辨率網(wǎng)絡(luò)(LapSRN),將LR圖像作為輸入,逐級(jí)放大,不僅減少了計(jì)算量,還提高了重建性能;為了減少計(jì)算量和提高速度,Shi等人[8]在ESPCN中設(shè)計(jì)了一種有效的亞像素卷積層,用來(lái)在網(wǎng)絡(luò)末端進(jìn)行LR到SR的特征映射,使得大部分計(jì)算在低維特征空間中進(jìn)行;Dong等人[9]提出了快速自適應(yīng)卷積神經(jīng)網(wǎng)絡(luò)(FSRCNN),它采用轉(zhuǎn)置卷積作為上采樣層生成SR圖像;Lim等人[10]提出了EDSR和MDSR,通過(guò)去除殘差網(wǎng)絡(luò)中的批量標(biāo)準(zhǔn)化(Batch Normalization,BN)層顯著提高了性能;Zhang[11]等人通過(guò)在殘差塊中引入密集連接,提出了RDN,進(jìn)一步提高了性能.

在最新研究中,注意機(jī)制在計(jì)算機(jī)視覺(jué)任務(wù)中被廣泛使用,Hu等人[12]提出了壓縮提取網(wǎng)絡(luò)(SENet),實(shí)現(xiàn)了圖像分類的顯著改進(jìn).最近一些學(xué)者將注意力機(jī)制引入超分任務(wù)中用于提升性能,Zhang等人[13]提出了殘差通道注意力網(wǎng)絡(luò)(RCAN),通過(guò)注意力機(jī)制聚焦于邊緣紋理特征;Dai等人[14]提出了一個(gè)二階注意力網(wǎng)絡(luò)(SAN),具有更強(qiáng)大的特征表達(dá)和特征關(guān)系學(xué)習(xí)能力;Liu等人[15]提出一個(gè)殘差特征融合網(wǎng)絡(luò)(RFANet),將連續(xù)殘差塊特征融合,并提出一種空間注意力模塊,結(jié)合兩個(gè)模塊,最終模型的超分速度和精度都優(yōu)于RCAN.盡管上述基于CNN的方法取得了巨大的成功,但大多數(shù)方法參數(shù)量巨大.為了解決這個(gè)問(wèn)題,Tian等人[16]提出非對(duì)稱式卷積神經(jīng)網(wǎng)絡(luò)(ACNet),利用非對(duì)稱式卷積進(jìn)行特征提取,對(duì)高低頻特征分別進(jìn)行上采樣并融合得到SR圖像;Ahn等人[17]通過(guò)級(jí)聯(lián)網(wǎng)絡(luò)架構(gòu)提出了移動(dòng)場(chǎng)景的CARN-M模型;Hui等人[18]提出了信息蒸餾網(wǎng)絡(luò)(IDN),該網(wǎng)絡(luò)采用通道分離的方式提取蒸餾特征,在IDN的基礎(chǔ)上,還提出了快速和輕量級(jí)的信息多重蒸餾網(wǎng)絡(luò)(IMDN)[19].

雖然SISR已經(jīng)取得了相當(dāng)大的進(jìn)步,但現(xiàn)有的基于CNN的模型仍然面臨一些限制.模型計(jì)算量大很難在移動(dòng)端部署;傳統(tǒng)的網(wǎng)絡(luò)結(jié)構(gòu)僅僅通過(guò)3×3的卷積核提取特征,這忽略了局部像素點(diǎn)的影響,且存在大量平坦區(qū)域的特征提取,導(dǎo)致訓(xùn)練效率低;現(xiàn)有的超分模型幾乎都只是將殘差學(xué)習(xí)作為一種策略來(lái)緩解訓(xùn)練難度,沒(méi)有充分利用殘差特征,然而殘差特征對(duì)于超分至關(guān)重要.本文針對(duì)這些問(wèn)題,提出一種多分支殘差特征蒸餾算法,主要貢獻(xiàn)包含以下幾點(diǎn):

1)在特征提取階段,提出一種多分支殘差模塊,通過(guò)多分支結(jié)構(gòu)更好地利用多尺度信息和上下文信息,在此基礎(chǔ)上增加了一個(gè)通道注意力模塊,獲取不同特征層之間的關(guān)聯(lián)信息;同時(shí)添加了殘差連接,利用多分支卷積、注意力機(jī)制及殘差學(xué)習(xí)獲得更加精細(xì)的特征.

2)在特征蒸餾和融合階段,結(jié)合1×1卷積和Meta-Acon(Meta activate or not)自適應(yīng)激活函數(shù)進(jìn)行降維,減少平坦區(qū)域的大量冗余計(jì)算,從而保證性能的同時(shí)降低模型復(fù)雜度.提出瓶頸注意力模塊,該模塊結(jié)合多分支空洞卷積,構(gòu)建出更有效的空間注意力圖,從而更好地提取出邊緣、紋理等特征.

3)與現(xiàn)有輕量化模型相比,本文所提算法模型有更好的超分重建結(jié)果,評(píng)價(jià)指標(biāo)PSNR和SSIM進(jìn)一步提升;在2倍超分實(shí)驗(yàn)中,超分結(jié)果已經(jīng)達(dá)到部分大型模型的水準(zhǔn).

2 多分支殘差特征蒸餾網(wǎng)絡(luò)

為了在SR性能和模型復(fù)雜度之間達(dá)到一個(gè)較好的平衡,為此本文提出了多分支殘差特征蒸餾網(wǎng)絡(luò)(圖1).它主要包含3個(gè)部分,特征提取、特征蒸餾及特征融合、重建.

圖1 多分支殘差特征蒸餾網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Residual feature distillation network via diverse branch convolution

本節(jié)將具體介紹殘差特征蒸餾模塊(Residual feature distillation block,RFDB)、多分支殘差模塊(Diverse branch residual block,DBRB)、瓶頸注意力模塊(Bottleneck Attention Module,BAM)及損失函數(shù).

2.1 殘差特征蒸餾模塊(RFDB)

Hui等人[19]提出了IMDN網(wǎng)絡(luò),該網(wǎng)絡(luò)采用通道分離的方式提取蒸餾特征,但是這種方式不靈活,且采用3×3卷積會(huì)生成很多冗余參數(shù).故本模塊利用1×1卷積進(jìn)行降維,其等價(jià)于通道分離操作,且可以更好地利用通道間的關(guān)聯(lián)信息;利用多分支殘差模塊(見(jiàn)2.2節(jié))進(jìn)行深度特征的提取;在局部殘差特征融合階段,利用瓶頸注意力模塊(見(jiàn)2.3節(jié))聚焦于邊緣紋理特征.三者組成了殘差特征蒸餾模塊,如圖2所示.

圖2 殘差特征蒸餾模塊Fig.2 Residual feature distillation block

對(duì)于圖2中的特征蒸餾操作是通過(guò)卷積以一定比例壓縮特征通道實(shí)現(xiàn),采用1×1的卷積進(jìn)行通道降維,不僅高效,還可以去除大量冗余參數(shù),進(jìn)一步降低參數(shù)量.在完成逐級(jí)特征蒸餾計(jì)算后,利用自適應(yīng)激活函數(shù)和1×1卷積對(duì)所有蒸餾特征進(jìn)行去冗余和降維、融合操作,然后使用瓶頸注意力模塊聚焦于邊緣、紋理特征,最后利用全局殘差連接對(duì)輸入特征進(jìn)行增強(qiáng).

設(shè)輸入圖像為x,特征提取階段可以描述為:

F0=h0(x)

(1)

其中h0表示3×3卷積,F0是提取的特征.

在殘差特征蒸餾階段,將低頻特征F0作為輸入,進(jìn)一步提取特征,該過(guò)程為:

Z0=H0(F0)

(2)

其中Z0表示提取到的特征,H0代表殘差特征蒸餾模塊,然后通過(guò)多個(gè)以鏈?zhǔn)椒椒ǘ询B的殘差特征蒸餾模塊進(jìn)一步提取特征,該過(guò)程為：

Zk=Hk(Zk-1),k=1,2,…,n

(3)

其中Hk表示第k+1個(gè)殘差特征蒸餾模塊,Zk-1表示輸入特征,Zk表示輸出特征.在完成逐級(jí)特征計(jì)算后,然后利用1×1卷積對(duì)所有中間特征進(jìn)行降維、融合,再利用自適應(yīng)激活函數(shù)調(diào)整中間特征圖,減少冗余參數(shù),最后通過(guò)3×3卷積進(jìn)一步提取特征.該過(guò)程為：

(4)

其中F表示融合特征,Acon是自適應(yīng)激活函數(shù),f11×1是1×1卷積,f23×3是3×3卷積.

Meta-Acon是Ningning等人[20]提出的,可以自適應(yīng)的選擇是否激活神經(jīng)元.計(jì)算公式為:

y=(p1x-p2x)*σ(β*(p1x-p2x))+p2x

(5)

其中x是輸入特征圖,σ是sigmoid激活函數(shù),p1和p2是兩個(gè)可學(xué)習(xí)參數(shù),β是一個(gè)自適應(yīng)函數(shù),用來(lái)控制是否激活神經(jīng)元.β的計(jì)算公式為：

β=σ(fc(fc(GAP(x))))

(6)

其中fc表示1×1的卷積,GAP表示全局平均池化.

低分辨率圖像的細(xì)節(jié)主要在邊緣、紋理區(qū)域,平坦區(qū)域缺失較少,但特征提取存在大量平坦區(qū)域的冗余計(jì)算,通過(guò)該自適應(yīng)激活函數(shù),可以減少冗余參數(shù),結(jié)合1×1卷積降維,充分利用通道間信息,可以在保證性能的同時(shí)降低模型復(fù)雜度.

2.2 多分支殘差模塊(DBRB)

Ding等人[21]提出非對(duì)稱式卷積,利用非對(duì)稱編碼思想,采用兩個(gè)一維卷積從水平和垂直方向?qū)?×3卷積進(jìn)行增強(qiáng);Jia等人[22]利用拉普拉斯金字塔結(jié)構(gòu)漸進(jìn)重建SR圖像;Cheng等人[23]利用交叉學(xué)習(xí)機(jī)制,進(jìn)一步提升SR重建性能.本文從提取多尺度特征的角度出發(fā),構(gòu)建了多分支卷積模塊,用于對(duì)3×3卷積進(jìn)行增強(qiáng).

多分支卷積模塊(圖 3)利用空洞率分別為2、4、6及8的多個(gè)空洞卷積分支,可以更好地結(jié)合多尺度信息和上下文信息.這種多分支結(jié)構(gòu)可以更好地提取邊緣、紋理特征,豐富3×3卷積得到的特征,從而提高模型的特征提取能力.

多分支殘差模塊(圖 3)在多分支卷積模塊的基礎(chǔ)上增加了一個(gè)通道注意力模塊,充分利用通道之間的關(guān)系,獲取不同特征之間的關(guān)聯(lián)信息;同時(shí)增加了一個(gè)恒等連接分支,可以在不引入額外參數(shù)的前提下從殘差學(xué)習(xí)中受益,從而充分利用注意力機(jī)制、多分支卷積及殘差學(xué)習(xí)提取精細(xì)特征.

圖3 多分支殘差模塊Fig.3 Diverse branch residual block

2.3 瓶頸注意力模塊(BAM)

注意力機(jī)制會(huì)逐漸聚焦于高層次特征,類似于人類的感知機(jī)制,近年來(lái)在圖像分類、圖像分割及目標(biāo)檢測(cè)等領(lǐng)域廣泛應(yīng)用,常見(jiàn)的注意力機(jī)制:通道注意力和空間注意力.注意力機(jī)制會(huì)讓網(wǎng)絡(luò)更加關(guān)注對(duì)任務(wù)有益特征,抑制無(wú)用的特征(可以理解為在神經(jīng)網(wǎng)絡(luò)隱藏層加權(quán)注意力機(jī)制),從而更合理分配地計(jì)算資源[24].

正如在引言中提到的,在計(jì)算機(jī)視覺(jué)領(lǐng)域,Hu等人提出的SENet,利用全局平均池化特征來(lái)學(xué)習(xí)不同通道特征的重要程度,在圖像分類上任務(wù)上有顯著改進(jìn);Woo等人[25]融合通道注意力和空間注意力提出Convolutional Block AttentionModule(CBAM),與SENet不同,它在通道和空間上同時(shí)做全局最大池化和全局平均池化,用來(lái)獲取更多信息,該模塊相對(duì)于SENet多關(guān)注了空間位置特征,進(jìn)一步提高了模型的特征提取能力.通過(guò)引言介紹可知,RCAN、SAN和RFANet等將注意力機(jī)制引入超分領(lǐng)域,都顯著提高了超分性能.

故本文提出了瓶頸注意力模塊,如圖4所示,其會(huì)增強(qiáng)或抑制不同空間位置的特征,從而消除像背景語(yǔ)義特征這樣的低層次特征,然后逐漸聚焦于邊緣、紋理等高層次特征.因?yàn)橐粋€(gè)大的感受野可以充分利用上下文信息獲取高層次特征,所以采用空洞卷積來(lái)有效的擴(kuò)大感受野.結(jié)合多分支空洞卷積,充分利用上下文信息和多尺度信息,從而有助于構(gòu)建更有效的空間注意力圖.

圖4 瓶頸注意力模塊Fig.4 Bottleneck attention module

空洞卷積:擴(kuò)大感受野和捕獲多尺度上下文信息.池化等降采樣操作可以增大感受野,但是降低了空間分辨率.而空洞卷積可以在不丟失分辨率的情況下,增大感受野,從而更好地提取高層次特征.空洞卷積的空洞率不同,感受野就不同,也就獲取到了多尺度信息.因?yàn)榭斩淳矸e的相鄰像素是通過(guò)不相關(guān)的子集卷積得到的,缺少相關(guān)性.如果使用相同的空洞率,就會(huì)導(dǎo)致明顯的網(wǎng)格效應(yīng).本文結(jié)合分解卷積的思想,首先通過(guò)兩次1×1卷積獲取局部信息,然后采用2、4、6、8的分層空洞率進(jìn)行卷積,不用一個(gè)固定的空洞率,再結(jié)合后續(xù)的1×1卷積,可以緩解網(wǎng)格效應(yīng)問(wèn)題,且大大增加了感受野,從而更好地獲取上下文信息.具體過(guò)程如下:

首先利用1×1的卷積進(jìn)行降維,然后使用4個(gè)不同空洞率的空洞卷積來(lái)有效利用上下文信息和多尺度信息,將拼接后的特征與殘差相加,其次通過(guò)1×1卷積增加通道間的關(guān)聯(lián),再用3×3的卷積進(jìn)一步提取特征,最后使用1×1的卷積升維得到空間注意力圖Y(F)∈C*H*W.空間注意力圖的計(jì)算公式為:

(7)

(8)

(9)

(10)

其中f11×1、f21×1、f71×1和f91×1表示1×1的卷積,f33×3、f43×3、f53×3和f63×3表示卷積核為3×3、空洞率分別為2、4、6和8的空洞卷積,σ是sigmoid激活函數(shù).

對(duì)于給定的特征圖F∈RC*H*W,該模塊可以得到一個(gè)注意力圖Y(F)∈RC*H*W,聚焦后的特征圖為:

F′=F*Y(F)

(11)

其中*表示元素相乘.

2.4 損失函數(shù)

本文采用L1損失函數(shù)來(lái)評(píng)估重建的超分辨率圖像和真實(shí)高分辨率圖像的差異,進(jìn)而調(diào)整網(wǎng)絡(luò)參數(shù)來(lái)優(yōu)化網(wǎng)絡(luò).

損失函數(shù)可以表示為:

(12)

3 實(shí)驗(yàn)和分析

3.1 數(shù)據(jù)集和評(píng)價(jià)指標(biāo)

現(xiàn)有方法大都是使用DIV2K數(shù)據(jù)集作為訓(xùn)練數(shù)據(jù)集,為了實(shí)驗(yàn)公平,本文也選擇該數(shù)據(jù)集來(lái)訓(xùn)練超分模型.該數(shù)據(jù)集由3部分組成,800張訓(xùn)練圖片,100張驗(yàn)證圖片和100張測(cè)試圖片.因?yàn)樵摂?shù)據(jù)集是2K分辨率的,在訓(xùn)練時(shí)往往不需要這么大,預(yù)處理階段將其裁剪為有重疊的480×480的子圖像塊存儲(chǔ)在硬盤(pán)中;在MATLAB中使用雙三次線性插值對(duì)高分辨率圖像分別進(jìn)行2、3、4倍的下采樣得到低分辨率圖像,同理對(duì)于2、3、4倍的下采樣圖片分別裁剪出240×240、160×160、120×120的子圖像塊.

為了客觀評(píng)估本文所提網(wǎng)絡(luò)的超分性能,在測(cè)試階段,使用廣泛使用的基準(zhǔn)數(shù)據(jù)集Set5,Set14,BSD100與當(dāng)前一些先進(jìn)的超分模型進(jìn)行對(duì)比.采用峰值信噪比(peak signal-to-noise ratio,PSNR)和結(jié)構(gòu)相似性(structural similarity,SSIM)去評(píng)估超分辨率圖像的質(zhì)量.所有值是在Ycbcr顏色空間的Y通道上進(jìn)行計(jì)算得到的.

3.2 訓(xùn)練配置和參數(shù)細(xì)節(jié)

網(wǎng)絡(luò)運(yùn)行在Pytorch框架下,Ubuntu系統(tǒng)18.04,顯卡為NVIDIA Tesla V100 GPU(32G).在訓(xùn)練階段從低分辨率子圖像塊中隨機(jī)裁剪出64×64的圖像塊作為輸入,采用隨機(jī)水平翻轉(zhuǎn)和旋轉(zhuǎn)來(lái)進(jìn)一步擴(kuò)充訓(xùn)練數(shù)據(jù)集.采用Adam優(yōu)化器訓(xùn)練模型,參數(shù)為β1=0.9,β2=0.999,ε=1×10-8,初始學(xué)習(xí)率為5×10-4,Batch size為64,訓(xùn)練過(guò)程一共80萬(wàn)次迭代,每20萬(wàn)次迭代學(xué)習(xí)率減小一半.

3.3 模型分析

為了驗(yàn)證本文方法的有效性,用3×3卷積代替多分支殘差模塊(DBRB),用ESA和CBAM模塊代替瓶頸注意力模塊(BAM),去掉Meta-Acon模塊.其中,ESA是在RFANet提出的增強(qiáng)型空間注意力模塊,CBAM是前面提到的一種混合注意力模塊.

由表1可以看出,“3×3卷積+BAM”的組合與“3×3卷積+ESA”和“3×3卷積+CBAM”這兩種組合策略相比,參數(shù)量相差不大,在基準(zhǔn)數(shù)據(jù)集上的2倍超分結(jié)果上,PSNR和SSIM均有提高,充分證明了BAM可以充分利用多尺度信息和上下文信息提取特征;“DBRB+ESA”的組合與“3×3卷積+ESA”的組合相比,參數(shù)量增加了152K,在2倍超分結(jié)果上,PSNR和SSIM有明顯提高,PSNR平均增加0.11dB,SSIM平均增加0.0014,這表明DBRB在適當(dāng)增加計(jì)算量的前提下,更好地提取到精細(xì)特征;“Acon+DBRB+ESA”的組合與“DBRB+ESA”的組合相比,參數(shù)量增加了2K,在2倍超分結(jié)果上,PSNR和SSIM進(jìn)一步提高,PSNR平均增加0.03dB,SSIM平均增加0.0004,這證明了Acon可以很好地關(guān)注“感興趣”特征,提高模型表達(dá)能力;“Acon+DBRB+BAM”的組合與“Acon+DBRB+ESA”的組合相比,參數(shù)量減少了15K,在2倍超分結(jié)果上,PSNR和SSIM進(jìn)一步提高,PSNR平均增加0.07dB,SSIM平均增加0.0007.

表1 不同模塊對(duì)網(wǎng)絡(luò)的影響Table 1 Influence of different modules on the network

通過(guò)分析,證明了本文所提多分支殘差模塊、瓶頸注意力模塊在提取特征上有效性,并且證明了所引用的自適應(yīng)激活函數(shù)的有效性,它們的組合可以獲得更好的超分性能.

3.4 方法對(duì)比

為了驗(yàn)證本文算法的有效性,將其與16個(gè)超分算法進(jìn)行了對(duì)比,包括VDSR、DRCN、DRRN、MemNet、LapSRN、EDSR、RDN、RCAN、SAN、RFANet、ACNet、CARN、IDN、IMDN、SRMDNF[26]、DBPN[27].表2展示了不同算法在基準(zhǔn)數(shù)據(jù)集上分別進(jìn)行2、3、4倍放大后的平均PSNR/SSIM.

表2 不同方法在基準(zhǔn)數(shù)據(jù)集上分別進(jìn)行2、3、4倍上采樣后的平均PSNR/SSIMTable 2 Average PSNR/SSIM for scale factor 2,3 and 4 on benchmark datasets

與輕量化模型相比:由表2可知,在前10行的輕量化模型中,IMDN的PSNR最高.從表3可知,本文算法與IMDN相比,在Set5、Set14、BSD100和Urban100數(shù)據(jù)集上的2倍超分結(jié)果上,PSNR平均提高0.16dB,SSIM平均提高0.0019;3倍超分結(jié)果上,PSNR平均提高0.15dB,SSIM平均提高0.0027;4倍超分結(jié)果上,PSNR平均提高0.12dB,SSIM平均提高0.0044.從定量角度證明了本文算法較現(xiàn)有輕量化超分算法有了一定提高.

表3 本文方法與IMDN的對(duì)比Table 3 Comparison of IMDN and our method

與大型模型相比:由表2可知,EDSR、DBPN、RDN、RCAN、SAN及RFANet的參數(shù)量都在千萬(wàn)級(jí)別,而本文算法,參數(shù)量只有70萬(wàn).本文選取EDSR和DBPN來(lái)對(duì)比,由表4可知,從Set5、Set14、BSD100的2倍超分結(jié)果來(lái)看,DBPN的PSNR分別是38.09dB、33.85dB和32.27dB,本文算法的PSNR分別是38.09dB、33.82dB和32.25dB,PSNR基本相同,SSIM平均提高0.001;與EDSR相比,PSNR分別差0.02dB、0.1dB和0.07dB,SSIM基本相同.但是在Urban100的2倍超分結(jié)果上,本文方法較EDSR差距較大, PSNR差了0.48dB,SSIM差了0.0039,說(shuō)明本文方法在城市這種大范圍景觀下的特征提取能力還有待提高.與新方法RCAN、SAN及RFANet相比,差距正在逐漸減小,而本文方法參數(shù)量卻遠(yuǎn)遠(yuǎn)少于它們.從定量層面證明了本文算法在超分重建上的有效性.

表4 本文方法與DBPN及EDSR的對(duì)比Table 4 Comparison of the method in this paper with DBPN and EDSR

圖5展示了在Set5數(shù)據(jù)集上進(jìn)行4倍上采樣的不同超分方法的參數(shù)量和性能對(duì)比圖,從圖中可以直觀地看出,本文所提算法模型與輕量化模型IMDN、IDN、CARN和ACNet相比,有更高的PSNR;與大型模型DBPN和RDN相比,在性能接近的情況下,參數(shù)量分別只有其1/15和1/30.證明了本文算法在超分重建和特征蒸餾上的有效性.

圖5 在Set5數(shù)據(jù)集上進(jìn)行4倍上采樣的參數(shù)量與PSNR的關(guān)系圖Fig.5 PSNR vs.Parameters on Set5(X4)

除定量分析外,實(shí)驗(yàn)從DIV2K驗(yàn)證集隨機(jī)選取若干下采樣圖片測(cè)試結(jié)果,從視覺(jué)層面對(duì)比不同超分算法的性能.如圖6所示,為了更好地呈現(xiàn)超分圖像細(xì)節(jié)對(duì)比結(jié)果,通過(guò)對(duì)圖像的局部區(qū)域進(jìn)行放大處理,來(lái)對(duì)比不同算法的超分性能.從圖中可以看出,與輕量化算法ACNet、IMDN相比,本文算法在圖像細(xì)節(jié)上有更好的重建效果;與大型算法RCAN相比,雖然還存在極少量細(xì)節(jié)模糊,但是已經(jīng)基本重建出細(xì)節(jié)輪廓.

圖6 在BI退化數(shù)據(jù)集進(jìn)行4倍上采樣效果對(duì)比圖Fig.6 Visual comparison for scale factor 4 on Bicubic(BI)degradation datasets

4 結(jié) 論

為在有限資源的情況下獲得更好的超分性能,本文提出了一種多分支殘差特征蒸餾算法.在特征提取上,該算法提出的多分支殘差模塊,可以充分利用通道間信息、上下文信息和多尺度信息,提取更精細(xì)的特征;在特征蒸餾及融合階段,利用卷積和通道自適應(yīng)激活函數(shù)進(jìn)行降維,保證性能的同時(shí)減少冗余參數(shù),結(jié)合瓶頸注意力模塊,進(jìn)一步聚焦于邊緣、紋理等特征,從而更好地重建出超分辨圖像.實(shí)驗(yàn)結(jié)果表明,本文算法相對(duì)于現(xiàn)有輕量化模型有更好的細(xì)節(jié)特征提取能力,不僅有更高的PSNR和SSIM,還有較好的視覺(jué)效果;相對(duì)于大型模型,以1/15的參數(shù)量達(dá)到相近的重建效果.從定量和可視化層面證明了本文算法在模型性能和復(fù)雜度上達(dá)成了更好的平衡.