輕量化逆可分離殘差信息蒸餾網絡的圖像超分辨率重建

趙小強 李希堯 宋昭漾

單圖像超分辨率(Single Image Super-Resolu-tion, SISR)技術是從低分辨率(Low-Resolution, LR)圖像恢復相應高分辨率(High-Resolution, HR)圖像,該技術在視頻監(jiān)控[1]、醫(yī)學診斷[2]、圖像檢測[3]、遙感成像[4]等領域具有廣泛應用.單圖像超分辨率過程是一個典型病態(tài)逆問題,即一個輸入LR圖像映射輸出的HR圖像有多個,受重建方式的影響,往往會出現(xiàn)邊緣偽影、細節(jié)模糊、像素丟失等問題.為了解決上述問題,學者們提出許多超分辨率(Super-Resolution, SR)方法,主要包括基于插值的方法[5-6]、基于重建模型的方法[7-8]、基于學習的方法[9](如流行學習、稀疏編碼).然而這些方法大多提取圖像底層特征以重建高分辨率圖像,大幅限制圖像的重建效果.

近年來,深度學習技術的進步大幅推進計算機視覺領域的發(fā)展.相比傳統(tǒng)方法,深度學習方法可以通過訓練提取具有表達能力的圖像特征,自適應地調整映射函數(shù),直接學習LR圖像和HR圖像之間端到端的映射關系,表現(xiàn)出解決SISR問題的極大優(yōu)勢.Dong等[10]將卷積神經網絡(Convolutional Neural Networks, CNN)應用到超分辨率重建領域,提出SRCNN(Super-Resolution CNN),利用3層CNN得到比傳統(tǒng)方法更優(yōu)的重建效果,但SRCNN引入額外計算成本,且3層CNN提取的圖像信息有限.針對上述問題,Dong等[11]提出FSRCNN(Fast SRCNN),使用反卷積代替Bicubic進行圖像特征上采樣,并構建8個卷積層的神經網絡.

隨后,在此基礎上,研究者設計更深的或更寬的網絡模型,提高SR方法的性能.雖然更深的網絡會帶來更豐富的上下文信息,但網絡的不斷加深會帶來梯度消失問題,導致網絡難以訓練.為此,Kim等[12]采用殘差網絡,提出VDSR,構建一個20層的深度網絡,增強淺層特征與深層特征之間的信息交流.Lim等[13]提出EDSR(Enhanced Deep Super-Re-solution Network),移除不適應SR方法等低級計算機視覺任務的BN(Batch Norm)層.Li等[14]提出MSRN(Multi-scale Residual Network),采用多尺度特征融合和局部殘差學習,最大限度地利用LR圖像特征.Tai等[15]使用記憶模塊和門控單元,構建MemNet(Very Deep Persistent Memory Network),使用遞歸堆疊和密集連接,增強信息在不同記憶單元間的流動.

盡管上述方法取得較優(yōu)的重建效果,但都是通過增大網絡深度或連接復雜度為代價實現(xiàn)的,這往往會導致網絡參數(shù)量、內存消耗和訓練時間的增加,限制在現(xiàn)實場景的使用.為了減少內存與計算負擔,研究者提出許多更高效的輕量化超分辨率模型.Kim等[16]提出DRCN(Deeply-Recursive Convolutional Network),引入遞歸網絡,使用一個卷積層作為遞歸,用循環(huán)層代替卷積層堆疊,從而在不引入額外參數(shù)的同時實現(xiàn)權值共享.Tai等[17]提出DRRN(Deep Recursive Residual Network),采用遞歸學習,引入局部殘差學習與全局殘差學習,組成遞歸殘差塊,提升重建質量.Zhu等[18]提出CBPN(Compact Back-Projection Network),通過上下采樣層級聯(lián)操作,提取低分辨率圖像與高分辨率圖像之間的特征信息.Ahn 等[19]提出CARN(Cascading Residual Network),構建一個級聯(lián)的殘差網絡,學習多層級的特征,使信息傳遞更高效.Hui等[20]為了提高計算速度,從特征圖通道維度考慮,提出IDN(Information Distillation Network),引入蒸餾塊,將特征映射分為增強單元和壓縮單元,對增強單元進行局部長路徑特征提取后結合壓縮單元,融合局部特征與全局特征,提高網絡表達能力.Hui等[21]又在IDN的基礎上,提出IMDN(Lightweight Information Multi-distillation Network),在一個網絡模塊中多次分層使用蒸餾機制,同時實現(xiàn)性能與實時性,并提出一種基于對比度感知的通道注意力,進一步提升SR方法性能.但是IMDN并未充分考慮身份連接對網絡性能的影響,且忽略輕量化網絡中卷積自身的輕量化對降低參數(shù)的作用.

由于上述蒸餾網絡中的蒸餾機制使用標準卷積作為濾波方式,在輕量化網絡中,為了保持低參數(shù)量與高性能,采用更輕量的卷積方式以及合理高效的全局或局部連接方式尤為重要.針對上述問題,本文提出輕量化逆可分離殘差信息蒸餾網絡(Light-weight Inverse Separable Residual Information Distilla-tion Network, LIRDN).首先,提出一個逆可分離復原淺殘差單元(Inverse Separable Recovery Shallow Residual Cell, IRC),通過交換可分離卷積的前向傳遞與特征融合方式,適應通道分離與維度恢復.再提出一個漸進可分離蒸餾重洗模塊(Progressive Sepa-rable Distillation Shuffle Module, PDSM),采用IRC作為多重漸進蒸餾的主要提取單元,引入通道重洗[22]操作,并通過設計的連接方式有效減少卷積數(shù)量,降低網絡參數(shù)量.然后,提出對比感知坐標注意力模塊(Contrast Perception Coordinate Attention Mo-dule, CPCA),促進對比度通道注意力關注位置信息,增強網絡的特征選擇能力.最后,設計逐步補償殘差連接(Progressive Compensation Residual Connec-tion, PCR),提高淺層特征的利用率,平衡模型復雜度與性能,豐富提取的圖像信息.

1 相關知識

1.1 信息蒸餾機制

當前的大多數(shù)SR模型在提升性能的同時往往會引入大量的計算成本,限制SR模型的實際應用.因此,研究者提出許多高效的輕量模型.大多數(shù)輕量化通過模型剪枝、參數(shù)量化、知識蒸餾等方法實現(xiàn).信息蒸餾機制(Information Distillation Mechanism, IDM)是一種基于蒸餾的模型壓縮方法,自提出以來應用于許多輕量化網絡.該機制對圖像特征采用逐層逐步的方式提取以實現(xiàn)輕量化,將前路提取的特征分為兩部分,一部分保留,另一部分進一步提取細化.經過蒸餾后的短路徑信息如下所示:

其中,GP表示特征信息輸入多卷積層提取的信息,r表示蒸餾率,S(·)表示通道切片操作.長路徑保留的特征信息為:

雖然IDM給網絡結構帶來靈活性,但設計缺乏有效性,未能有效利用蒸餾機制優(yōu)化身份連接.此后Hui等[21]提出IMDN,實現(xiàn)重建質量和推理速度之間較好地平衡.IMDN設計IMDB模塊(Information Multi-distillation Block),優(yōu)化身份連接.

IMDB模塊結構如圖1所示.核心是一個PRM

圖1 IMDB結構圖[25]

(Progressive Refinement Module),包含多個不同層級的信息蒸餾操作,每個層級的信息蒸餾首先使用3×3卷積層提取后續(xù)多個蒸餾的輸入特征.對于層級i(i=1,2,3,4),對傳入的特征采用信道拆分操作,將輸入特征分為2部分:一部分保留特征信息,另一部分傳入下一層計算單元繼續(xù)蒸餾操作.在最后一層采用1×1卷積進行通道濾波.雖然IMDB取得較優(yōu)效果,但還存在結構冗余,以及未使用輕量化卷積導致計算量較大的問題.若可以采用更輕量的卷積方式與更合理的身份連接,仍能進一步提高SR模型性能.

1.2 注意力機制

注意力機制是一種高效的特征選擇機制,通過生成注意力權重函數(shù),使提取圖像信息時能夠重點關注特征顯著區(qū)域,略去冗余特征.該機制由于提升提取特征的準確性且只增加少量參數(shù),因而被廣泛應用于各種視覺任務.Hu等[23]提出SENet(Squeeze-and-Excitation Networks),調整網絡特征信息的通道關注度,使網絡關注有用特征,提高對計算資源的有效利用.在超分辨率重建領域,Zhang等[24]提出RCAN(Very Deep Residual Channel Attention Networks),引入通道注意力,并加入殘差提取,使網絡根據(jù)每個通道的圖像信息學習對應注意力權重.Lu等[25]同時采用空間注意力與通道注意力,對空間維度和通道維度進行注意力學習.Zhao等[26]提取像素注意力(Pixel Attention, PA),生成3個維度注意力特征,并引入較少的附加參數(shù),提高重建性能.

2 輕量化逆可分離殘差信息蒸餾網絡的圖像超分辨率重建算法

基于深度學習的圖像超分辨率重建算法隨著軟硬件的提升得到良好的發(fā)展,通過復雜的結構以及深度網絡,能夠增加圖像的感受野,從而獲得較好的重建效果,但還存在加深堆疊[13]與復雜的殘差跳線連接[27],會造成計算成本較大、網絡參數(shù)較多等問題,無法很好地應用于移動設備.為了在控制運算成本的同時提升網絡性能,近年來學者們提出許多優(yōu)秀的解決方案,主要包括設計高效的模型結構、改進CNN架構、模型壓縮、使用注意力機制等.這些工作表明,通過網絡改進的方法能夠實現(xiàn)模型性能與模型復雜度間的平衡.

2.1 輕量化逆可分離殘差信息蒸餾網絡

為了構建更強大、輕量以及快速的SR模型,本文基于信息蒸餾機制,提出LIRDN的圖像超分辨率重建算法.算法由3部分組成:淺層特征提取、深層特征提取和圖像超分辨率重建,具體結構如圖2所示,圖中ILR和ISR分別表示網絡的輸入和輸出.

圖2 LIRDN的圖像超分辨率重建算法結構圖

給定低分辨率圖像被饋入網絡時,首先通過標準3×3卷積進行淺層特征提取,得到圖像初始特征信息:

F0=f0(ILR),

其中f0(·)表示淺層特征提取操作.

然后,為了獲得深層特征信息,將淺層特征信息傳遞到逆可分離殘差信息蒸餾模塊.在該模塊中,使用4個輕量化逆可分離殘差信息蒸餾組(Lightweight Inverse Separable Residual Information Distillation Groups, LIRDG)模塊與1個輕量化特征降維(Light-

weight Feature Dimension Reduction, LFDR)模塊進行特征提取,采用逐步補償殘差連接(PCR)融合5個模塊的特征信息,用于后續(xù)圖像重建.由此得到深層特征提取的圖像特征:

FLD=NPCR{FIRG1,FIRG2,FIRG3,FIRG4,HFC},

其中,FIRGi(i=1,2,3,4)表示第i個LIRDG模塊進行特征提取,HFC表示特征降維操作,NPCR{·}表示采用PCR連接融合上述5個模塊的操作.再將FLD輸入上采樣模塊,得到期望放大倍數(shù)的SR特征圖像:

FUP=HUP(FLD),

其中HUP(·)表示上采樣模塊.最后,將FUP傳入重建模塊,得到重建獲得的精細SR圖像:

ISR=HRE(FUP),

其中HRE(·)表示重建映射函數(shù).

2.2 輕量化逆可分離殘差信息蒸餾塊

2.2.1 逆可分離復原淺殘差單元

深度可分離卷積是一種非常有效的輕量化卷積,通過對標準卷積步驟的拆解,以一個深度卷積和一個逐點卷積組合的方式實現(xiàn)與標準卷積同等的效果.深度可分離卷積結構如圖3所示,相比標準卷積操作,具有更小的參數(shù)量和更低的計算成本,因此被廣泛應用于各類深度卷積網絡中.

圖3 深度可分離卷積結構圖

雖然深度可分離卷積對網絡輕量化具有一定優(yōu)勢,但對信息蒸餾網絡這類需要信道拆分的網絡,并不能較好地平衡參數(shù)量與重建效果,若采用卷積方式將信道拆分為兩部分,會引入冗余卷積,增加參數(shù)量.通過分解可分離卷積發(fā)現(xiàn),分組卷積要兼顧組數(shù),不能隨意更改輸出特征維度大小,但逐點卷積卻沒有維度限制,因此,考慮信道拆分對蒸餾機制的必要性,本文將深度可分離卷積的逐點卷積提到分組卷積之前,提出逆可分離復原淺殘差單元(IRC),結構如圖4所示.

圖4 IRC結構圖

相比深度可分離卷積采用分組卷積對每個通道卷積,再采用逐點卷積對整個通道維度加權聚合,IRC通過逐點卷積壓縮通道維度,在低通道維度下采用分組卷積對每條輸入通道進行卷積濾波,然后采用通道合并操作對濾波后的信息進行補充,在每個IRC內部實現(xiàn)特征的壓縮與擴充,并且復原的通道維度可以直接參與下層的蒸餾.這種逆向可分離的卷積方式通過逐點卷積將降維特征映射直接傳入PDSM的末端,有效避免引入另一支路卷積帶來的計算量.逐點相加操作促進多通道特征信息的融合,豐富特征圖像的細節(jié)信息.通道降維下的分組卷積運算保證更小的計算量,便于更快速地融合特征.

為了不增加額外的卷積進行通道復原,本文改進深度可分離卷積的特征融合方式,用通道維度拼接操作(concat)代替逐像素相加聚合操作(add)聚合特征,這種代替方式保持輸入輸出通道的一致性.

2.2.2 漸進可分離蒸餾重洗模塊

直接將標準卷積替換為可分離卷積會帶來身份連接不夠高效、蒸餾特性發(fā)揮不夠充分等問題.為了解決上述問題,本文提出逆可分離卷積方式,結合蒸餾機制,設計漸進可分離蒸餾重洗模塊(PDSM),結構如圖5所示.PDSM將IRC作為后續(xù)多層漸進蒸餾過程的主要提取單元,對于每一層漸進蒸餾,IRC對輸入特征采用信道拆分操作,將輸入特征分為兩部分:保留部分保留本層蒸餾獲取的特征信息,漸進蒸餾部分送入下一層繼續(xù)進行蒸餾操作.第i(i=1,2,3,4)個保留部分特征信息如下:

圖5 PDSM結構圖

通道重洗考慮到分組卷積只在組內進行卷積運算,忽略組與組之間的信息交流.利用通道重洗能夠增強特征信息的組間聯(lián)系,在一定的計算量下,允許更多的通道重洗以獲取更豐富的信息.通道重洗模塊主要通過通道分割、通道重洗和通道合并三種操作提高特征提取能力,其將通道分割為不同的通道組,再通過通道重洗將各個通道組打亂,對打亂后的通道組特征在提取后進行通道合并,獲取更多的組間特征.

分組卷積是通過犧牲通道組之間信息傳遞降低計算復雜度的,并不利于深度網絡中通道間的信息交流.相比直接使用可分離卷積,PDSM在每層IRC中的分組卷積末端饋入通道重洗,有效促進通道與通道間的信息流動,而這種流動正是分組卷積缺乏的,因此饋入通道重洗可以實現(xiàn)多樣化的特征融合,提高網絡的表征能力.

最后,將所有提取的特征融合作為PDSM的輸出:

其中concat(·)表示通道維度的合并操作.

2.2.3 對比度感知坐標注意力模塊

近年來,許多基于CNN的SISR,通過引入注意力以提升網絡的表征能力,然而,一種注意力機制只能關注特征圖的某一層面,限制網絡性能.CCA

(Contrast-Aware Channel Attention)是一種用于低級別視覺任務的注意力結構,相比使用每個通道維度平均值獲得注意力權重的通道注意力,CCA通過平均值和標準偏差總和的對比度信息代替全局平均池化,能靈活提取有用的紋理邊緣信息.輸出的第c個元素為:

其中Ggc(xc)表示全局對比度信息評估函數(shù).

文獻[28]和文獻[29]證實CCA的有效性,考慮到位置信息在通道信息提取過程的重要性,為了獲得更廣區(qū)域信息而避免引入過多開銷,本文設計對比度感知坐標注意力模塊(CPCA),結構如圖6所示.坐標注意力[30]將通道注意力沿空間的水平方向和垂直方向分解為兩個一維特征編碼過程,沿空間方向分別聚合特征,其優(yōu)勢在于兩個方向編碼時,可以沿一個方向提取長距離依賴關系,同時沿另一方向保存精確的特征位置信息,從而得到一對對方向感知和位置敏感的注意力圖,使模型更準確地定位識別感興趣特征.將坐標注意力捕獲的特征傳入CCA,對位置敏感信息進行進一步提取,獲得其通道關注信息,并通過殘差連接,聚合雙注意力提取的特征與輸入特征,得到輸出特征.

圖6 CPCA結構圖

2.2.4 輕量化逆可分離殘差信息蒸餾塊

輕量化逆可分離殘差信息蒸餾塊(Lightweight Inverse Separable Residual Information Distillation Blocks, LIRDB)主要包括漸進可分離蒸餾重洗模塊(PDSM)、局部特征融合單元與對比度感知坐標注意力模塊(CPCA)3部分,結構如圖7所示.

圖7 LIRDB結構圖

提取上述3部分的特征,通過端到端連接實現(xiàn)多樣化融合.漸進可分離蒸餾重洗模塊獲得輕量化的特征蒸餾信息后,局部特征融合單元采用1×1卷積,恢復concat擴展的通道維數(shù),將恢復為初始輸入通道維數(shù)的特征圖傳入對比度感知坐標注意力模塊進行交互,以便更精確地對感興趣特征信息融合.局部特征融合單元恢復維度后的特征為:

其中HCPAM(·)表示特征通過對比度感知坐標注意力模塊.

2.3 輕量化逆可分離殘差信息蒸餾組

自殘差網絡提出以來,殘差連接一直作為一種基礎網絡結構應用于各種SR網絡中,本文提出LIRDG.LIRDG由4個LIRDB模塊與1個LFDR模塊使用PCR連接的方式構成,如圖2所示.LFDR模塊采用1×1卷積端到端連接3×3卷積組成,1×1卷積用作LIRDB模塊降維,3×3卷積細化特征.PCR連接是一種高效的連接方式,受DenseNet連接的影響,若對每層的輸入特征信息都考慮之前全部層的映射,則每層都加強對之前層的特征重用,保證網絡最大的信息流通,但當層結構復雜化時,DenseNet連接帶來的計算量和參數(shù)量是都陡增的.考慮LIRDB的特性,本文提出PCR連接,由于初始傳入網絡的特征包含更多的前層信息,將其傳入LIRDG的每層,可以最大程度地保留前層信息,對于第2、3層輸出,不引入自殘差,而通過跨層跳躍連接將第2層的輸入傳入第3層尾端聚合,從而減少殘差跳線次數(shù).這一連接方式具體過程如下,第i(i=1,2,3,4,5)個LIRDB模塊輸出特征如下所示:

2.4 損失函數(shù)

3 實驗及結果分析

3.1 實驗設置

在訓練階段,本文使用DIV2K數(shù)據(jù)集[31]作為訓練數(shù)據(jù)集.DIV2K數(shù)據(jù)集包含1 000幅2 000分辨率的RGB圖像,其中800幅圖像用于訓練.LR圖像由HR圖像的雙三次下采樣得到,對訓練數(shù)據(jù)集進行90°、180°、270°旋轉和隨機水平翻轉以增強數(shù)據(jù).將LR圖像裁剪成尺寸為48×48的圖像塊,將HR圖像裁剪成尺寸為48s×48s的圖像塊,其中s表示放大因子.

本文采用Set5[32]、Set14[33]、BSD100[34]、Urban-

100[35]這4個常用的標準測試數(shù)據(jù)集.

本文所有實驗基于RGB三通道,測試時將圖像色彩空間從RGB轉換到YCbCr,在Y通道上分別評估峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)[36]和結構相似度(Structural Similarity, SSIM)[37].

LIRDN使用Adam(Adaptive Moment Estimation)優(yōu)化,網絡權重更新時,指數(shù)衰減率設為β1=0.9,β2=0.999,數(shù)值穩(wěn)定常數(shù)ε=10-8.使用L1作為損失函數(shù),訓練迭代輪次為1 000,批處理大小為16,學習率為10-4,每200個迭代輪次學習率減半.LIRDB參數(shù)設置如表1所示.

表1 LIRDB參數(shù)設置

實驗網絡框架搭建、訓練和測試都在Ubuntu18.04系統(tǒng)上進行,編程平臺采用Pytorch1.2.實驗GPU為NVIDIA GeForce RTX2080Ti,顯存為11 GB,CPU為Inter(R)Core(TM)i9-9900K,內存為64 GB.

3.2 消融實驗

為了驗證LIRDN的有效性,本文設計多組消融實驗.

3.2.1 不同模塊對重建結果的影響

為了驗證LIRDN各部分性能,將LIRDN按具體功能劃分為通道重洗模塊、對比度感知坐標注意力模塊、逐步補償殘差連接三類.所有實驗均保持400個訓練批次,每個實驗保持相同的蒸餾率和分組卷積分組數(shù),放大倍數(shù)為4,在Set5數(shù)據(jù)集上對比平均PSNR值,結果如表2所示.在表中,√表示使用結構,×表示不使用結構,以不包含通道重洗模塊、對比度感知坐標注意力模塊、逐步補償殘差連接為基準網絡.

表2 放大倍數(shù)為4時各模塊的PSNR值對比

由表2可知,在基準網絡中分別增加三模塊之一,對應的PSNR值均高于基準網絡,表明增加的模塊對提升性能具有一定作用.加入任意2個模塊,對應PSNR值高于加入1個模塊時的PSNR,表明模塊疊加能提升網絡效果.例如,在對比度感知坐標注意力模塊的基礎上增加逐步補償殘差連接,PSNR可以提升0.03 dB,由此可知,逐步補償殘差連接提升淺層特征的利用率,減少圖像低頻信息的損失,對網絡性能提升具有積極作用.最后一行為LIRDN,PSNR進一步提升,比基準網絡增加0.15 dB,表明同時使用3種模塊能提高超分辨率重建的圖像質量.

3.2.2 蒸餾方式的影響

為了探索蒸餾方式對模型重建效果的影響,本文對比IRC與帶殘差的可分離卷積.訓練批次為200,結果如表3所示.由表可以看出,IRC的平均PSNR值都有所提升,并且參數(shù)量更小,說明IRC更有利于挖掘圖像的淺層特征.

表3 蒸餾方式對算法性能的影響

3.2.3 卷積方式的影響

為了分析卷積方式對模型重建效果的影響,將LIRDN與標準卷積網絡、無蒸餾的標準卷積網絡進行對比,訓練批次為500,結果如表4所示,表中黑體數(shù)字表示最優(yōu)值.

表4 卷積方式對算法性能影響

由表4可知,LIRDN與對比網絡的平均PSNR值相近,但所需參數(shù)量較少,說明逆可分離構建的LIRDN既可以實現(xiàn)網絡輕量化,也保持網絡性能.

3.2.4 連接方式的影響

為了驗證不同連接方式對圖像超分辨率重建算法性能的影響,本文以DenseNet密集連接為基礎連接方式,逐層減少殘差連接.由于LIRDB具有殘差結構,本文將跨2個及以上的LIRDB的殘差連接作為基礎殘差結構,同時考慮低頻信息對重建的重要性,更多地保留初始模塊處的殘差連接,將末端模塊的殘差連接逐層刪減,減少的末端殘差連接個數(shù)記為Q,Q=0,1,2,3.平均PSNR結果如表5所示,表中黑體數(shù)字表示最優(yōu)值.

表5 連接方式對算法性能的影響

由表5可以看出,隨著末端殘差跳躍連接的減少,算法性能發(fā)生變化,Q=0時表示全部前端LIRDB模塊跳躍連接引入末端,即跨2個LIRDB的密集連接,Q=3時表示末端不引入跳躍連接,其中Q=3時結果最佳.本文將Q=3時的方式作為LIRDN的連接方式,并將其記為PCR連接.

3.3 對比實驗

為了驗證LIRDN的有效性,在4個標準測試數(shù)據(jù)集上開展大量實驗,進行客觀定量和主觀視覺效果的對比.

主要對比方法包括:Bicubic、SRCNN[10]、FSR-CNN[11]、VDSR[12]、MSRN[14]、DRCN[16]、DRRN[17]、CBPN[18]、CARN[19]、IMDN[21]、LapSRN(Laplacian Pyra-mid Super-Resolution Network)[38]、SMSR(Sparse Mask SR Network)[39]、LCRCA(Lightweight Skip Concatenated Residual Channel Attention Network)[40]、FCCSR(Feature Cheap Convolution SR)[41]、LFFN(Lightweight Feature Fusion Network)[42].

3.3.1 客觀定量對比

放大倍數(shù)為2、3、4時的定量對比結果如表6～表8所示,表中黑體數(shù)字表示最優(yōu)值,斜體數(shù)字表示次優(yōu)值.

表6 放大倍數(shù)為2時各算法在4個數(shù)據(jù)集上的定量評估結果

表7 放大倍數(shù)為3時各算法在4個數(shù)據(jù)集上的定量評估結果

表8 放大倍數(shù)為4時各算法在4個數(shù)據(jù)集上的定量評估結果

由表6～表8可知,LIRDN在放大倍數(shù)為3、4時都得到最優(yōu)或次優(yōu)的結果,特別地,在放大倍數(shù)為4時,LIRDN在Set5、Set14、Urban100、B100數(shù)據(jù)集上平均PSNR分別提升0.11 dB,0.06 dB、0.03 dB,0.13 dB.相比IMDN,LIRDN在Set5數(shù)據(jù)集上,放大倍數(shù)為2,3,4時,PSNR分別提高0.07 dB,0.12 dB,0.12 dB.

放大倍數(shù)為4時各算法在Set5測試集上的平均PSNR值和參數(shù)量的對比如圖8所示.由圖可見,LIRDN的性能和參數(shù)量具有更好的平衡.相比MSRN,LIRDN在保證相近甚至略有提高的平均PSNR值和SSIM值的同時,參數(shù)量只有其1/5.

圖8 放大倍數(shù)為4時,各算法在Set5數(shù)據(jù)集上的參數(shù)量和平均PSNR對比

對比SMSR、IMDN、LCRCA,雖然LIRDN的參數(shù)量有所增加,但是在平均PSNR值上具有顯著差距,這表明LIRDN能夠在保證參數(shù)量較小的同時提升網絡的SR性能,重建出具有更豐富細節(jié)紋理的圖像.

3.3.2 主觀視覺效果對比

在標準測試數(shù)據(jù)集上的主觀視覺效果如圖9所示,LIRDN在重建結果方面顯著最優(yōu).對于具有挑戰(zhàn)性的Image005圖像,SRCNN、DRRN、IMDN重建的SR圖像窗體外框格子模糊不清,條紋存在明顯的偽影,失真嚴重,而LIRDN恢復的圖像細節(jié)清晰、紋理豐富,更忠實于真實高分辨率圖像.對于Image076圖像,DRRN、CARN、LCRCA、IMDN重構的高分辨率圖像外輪廓都有不同程度的模糊、畸變產生,不能準確恢復真實圖像的紋理細節(jié),LIRDN恢復的紋理則更接近真實圖像.特別對于Image024圖像,其它算法重構的護欄邊緣紋理均有不同程度的畸變和扭曲,部分區(qū)域模糊嚴重,而LIRDN重構的護欄筆直清晰,接近真實圖像,沒有嚴重的偽影失真.由此表明LIRDN能夠恢復更多的圖像信息.

圖9 放大倍數(shù)為4時各算法在Urban100測試集上的視覺質量對比

3.4 算法復雜度分析

本節(jié)對比算法的計算復雜度,使用乘加操作和參數(shù)量評估7種算法的計算成本和內存消耗,使用PSNR評價算法的重建性能,具體如表9所示.LIRDN在可靠地重建高質量SR圖像的同時,消耗的乘加操作位于第二.盡管比MemNet、CBPN引入更多的參數(shù),但乘加操作運算較少,說明其計算量更少.因此,在超分辨率重建過程中,LIRDN更好地平衡模型復雜度與重建性能,更具有競爭力.

表9 各算法在Set5測試集上的復雜度與性能對比

4 結 束 語

本文提出輕量化逆可分離殘差信息蒸餾網絡(LIRDN)的圖像超分辨率重建算法,不但能夠充分發(fā)掘低頻信息,還能夠快速、準確地提取各種特征,重建細節(jié)豐富的SR圖像.具體來說,輕量高效的漸進可分離重洗信息蒸餾(PDSM)模塊通過逆可分離復原淺殘差單元(IRC)逐層蒸餾提取特征,重洗單元增加通道間信息流動,在確保結構輕量化的同時獲得更多樣化的特征信息.對比度感知坐標注意力模塊(CPCA)可以有效選擇包含更多紋理細節(jié)的信息,增強網絡的表征能力.逐步補償殘差連接(PCR)可以充分復用淺層特征包含的低頻信息,減少信息損失.實驗表明,LIRDN的主客觀指標都具有一定競爭力,并且能平衡模型復雜度與重建性能.由于LIRDN主要針對深層特征進行提取,因此,在放大倍數(shù)較大時,效果較優(yōu),但在低倍放大情況下,仍能進一步提升重建效果.本文雖使用大量的漸進信息蒸餾壓縮特征提取的參數(shù)量,但還可以考慮更輕量高效的蒸餾方式.以后將主要針對上述兩個問題進行進一步研究.