層次信息自適應(yīng)聚合的圖像超分辨率重建算法

陳偉杰，黃國恒，莫 非，林俊宇

1.廣東工業(yè)大學(xué)計算機(jī)學(xué)院，廣州 510006

2.虹軟科技股份有限公司，杭州 310052

圖像超分辨率（super-resolution，SR）是一個經(jīng)典的圖像處理問題，它的目標(biāo)是從降質(zhì)退化的低分辨率（low-resolution，LR）圖像中恢復(fù)原本的高分辨率（highresolution，HR）圖像。因為給定的LR 圖像可以由不同的HR圖像退化而來，所以圖像超分辨率是個有挑戰(zhàn)性的課題。同時，圖像超分辨率在醫(yī)療、遙感、安防等領(lǐng)域具有廣泛的應(yīng)用前景，因此吸引了很多研究人員深入研究。

近年來深度卷積神經(jīng)網(wǎng)絡(luò)因其強(qiáng)大的建模能力受到很多研究者的青睞。Dong 等人[1]開創(chuàng)性地將卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）引入圖像超分辨率重建任務(wù)，提出了SRCNN（SR convolutional neural network）。Kim 等人[2]則是在殘差網(wǎng)絡(luò)的啟發(fā)下，在網(wǎng)絡(luò)末端中引入全局殘差，進(jìn)一步加深了模型的深度，提出了VDSR（very deep SR network）。Lee等人[3]提出的EDSR（enhanced deep SR network）則是移除批歸一化層，節(jié)約顯存的同時提高了網(wǎng)絡(luò)的重建性能。Zhang 等人[4]則是引入注意力機(jī)制，利用通道信息對特征重新校準(zhǔn)。此外，Zhang 等人[5]提出的RDN（residual dense network）將殘差學(xué)習(xí)與密集連接結(jié)合，以最大化利用不同層次的特征。Dai等人[6]則是在網(wǎng)絡(luò)中使用了二階通道注意力機(jī)制，利用二階統(tǒng)計信息提高特征的表征能力。然而這些超分模型的參數(shù)量和計算復(fù)雜度較高，不利于在實際場景中使用。

輕量級超分辨率重建算法受計算資源限制，往往會更注重參數(shù)量和模型性能的平衡。近幾年來主流的輕量級超分辨率重建方法[7-8]通常采用在網(wǎng)絡(luò)中嵌入注意力模塊，以挖掘特征之間的關(guān)聯(lián)信息。Hui等人[7]采用在通道注意力機(jī)制中引入對比度信息，提出CCA（contrastaware channel attention）機(jī)制。Liu等人[8]利用大感受野的空間注意力[9]獲得更多像素信息。Zhao等人[10]通過像素注意力機(jī)制直接生成三維的注意力分?jǐn)?shù)，指導(dǎo)判別性特征的學(xué)習(xí)。盡管這些方法注重利用注意力機(jī)制提高局部模塊的特征表征能力，但它們基本上忽略了區(qū)分利用不同層次的特征。網(wǎng)絡(luò)不同層次學(xué)習(xí)到的特征不同，聚焦于圖像不同的特征細(xì)節(jié)。這些不同層次的特征對圖像重建質(zhì)量的貢獻(xiàn)程度不同，應(yīng)該區(qū)分利用。然而，現(xiàn)有的方法大多僅使用最后一層的層次特征或是簡單將所有層次的特征直接拼接聚合以作為重建特征，這不利于充分利用特征。

針對上述問題，在這項工作中提出了一種輕量級的層次信息自適應(yīng)聚合網(wǎng)絡(luò)（hierarchical informative adaptive aggregation network，HⅠAAN）。首先，為了更有效地利用不同層次的特征，提出了多層次信息精煉機(jī)制（multi-level information refinement mechanism，MⅠRM）。該機(jī)制同時利用不同層次的特征自身的通道和空間信息，使網(wǎng)絡(luò)自適應(yīng)地調(diào)整層次特征，并在此基礎(chǔ)上執(zhí)行特征融合策略，以實現(xiàn)層次特征的有效利用。其次，為了提高模型基本塊的特征表征能力，提出了多尺度信息聚合塊（multi-scale information aggregation block，MⅠAB）。該模塊采用細(xì)粒度的多尺度特征提取模塊降低多尺度特征提取的代價，并利用注意力機(jī)制對不同尺度的信息進(jìn)行調(diào)整聚合，從而提高特征的表征能力。最后，為了以較小的代價同時利用特征的通道和空間信息，實現(xiàn)對特征的自適應(yīng)調(diào)整，提出對比度增強(qiáng)的重組注意力塊（contrast-enhanced recombinant attention，CRA）。該模塊在SA[11]（shuffle attention）模塊的基礎(chǔ)上，在其通道分支上引入通道標(biāo)準(zhǔn)差統(tǒng)計量，目的是引入有利于增強(qiáng)圖像細(xì)節(jié)（與SSⅠM[12]相關(guān)）的關(guān)于結(jié)構(gòu)、紋理和邊緣的信息。

本文提出了新穎的層次信息自適應(yīng)聚合網(wǎng)絡(luò)（HⅠAAN）以解決現(xiàn)有方法存在的問題。具體貢獻(xiàn)如下：

（1）與現(xiàn)有的先進(jìn)方法相比，所提的方法在模型復(fù)雜度和性能之間取得更好的平衡。

（2）提出了多層次信息精煉機(jī)制（MⅠRM），該機(jī)制能夠?qū)Σ煌瑢哟蔚奶卣鲄^(qū)分利用，提高了模型的重建能力。

（3）提出了多尺度信息聚合塊（MⅠAB），該模塊能以較小的代價獲取多尺度特征。同時，與注意力機(jī)制的結(jié)合使用，有效提高了特征的表征能力。

（4）提出了對比度增強(qiáng)的重組注意力塊（CRA），該注意力機(jī)制通過在SA[11]的通道分支引入標(biāo)準(zhǔn)差信息，增強(qiáng)網(wǎng)絡(luò)對圖像結(jié)構(gòu)和紋理信息的關(guān)注，以較低的代價同時利用了特征的通道和空間信息，用以指導(dǎo)特征的自適應(yīng)校準(zhǔn)。

1 相關(guān)工作

圖像SR 主要分為基于插值的方法[13]、基于重建的方法[14]和基于學(xué)習(xí)的方法[15-20]。由于深度學(xué)習(xí)的引入，基于學(xué)習(xí)的方法取得了較大的突破和性能提升。本章主要闡述深度學(xué)習(xí)方法方面的工作，包括基于CNN 的圖像超分辨率技術(shù)、多尺度特征提取和注意力機(jī)制。

1.1 基于CNN的圖像超分辨率技術(shù)

SRCNN[1]首次將卷積神經(jīng)網(wǎng)絡(luò)引入SR 任務(wù)，并取得了優(yōu)于傳統(tǒng)方法的效果。自此，基于CNN 的圖像超分辨率方法開始得到研究者的深入研究。Kim等人[2]借助殘差學(xué)習(xí)和梯度裁剪策略，減輕網(wǎng)絡(luò)訓(xùn)練難度，提高了模型的性能。DRCN[21]（deeply-recursive convolutional network）采用共享卷積層參數(shù)的方式減少模型的參數(shù)量。DRRN[22]（deep recursive residual network）則是進(jìn)一步共享包含多層卷積的模塊參數(shù)，并引入殘差學(xué)習(xí)提高SR 效果。但這些方法都采取插值后的LR 圖像作為網(wǎng)絡(luò)的輸入，不可避免地造成模型的計算量較大。此外，預(yù)先插值的LR 圖像沒有帶來解決恢復(fù)原始HR 圖像問題的額外信息。因此，現(xiàn)在的SR方法[23-24]基本在網(wǎng)絡(luò)末端恢復(fù)圖像的尺寸，這能有效減少模型的計算成本。Zhang 等人[5]將密集連接和殘差連接結(jié)合，以便最大化利用不同層次的特征。許嬌等人[25]利用并行的多空洞率的卷積獲取不同尺度的特征，并通過級聯(lián)多個殘差塊充分挖掘圖像的信息。盡管這些方法取得了不錯的效果，但它們是以參數(shù)量大和模型復(fù)雜度高為代價，難以在實際中運(yùn)用。

Ahn等人[26]利用組卷積和精心設(shè)計的級聯(lián)機(jī)制，提出了CARN（cascading residual network），雖然實現(xiàn)了輕量化的目標(biāo)，但SR 效果較差。Tian 等人[27]利用一維非對稱卷積結(jié)構(gòu)突顯局部關(guān)鍵點信息，減少信息的冗余。Hui 等人[28]利用通道分裂操作，對部分粗糙的特征進(jìn)一步提煉，以較低的代價得到更精細(xì)的特征，所提出的ⅠDN（information distillation network）通過融合長短路徑的信息增強(qiáng)了局部特征的表征能力。ⅠMDN[7]（information multi-distillation network）是在ⅠDN 基礎(chǔ)上，采用多步提煉的方式，獲取了更多層次的不同精細(xì)特征。Liu 等人[8]則是在ⅠMDN 的基礎(chǔ)上進(jìn)一步減少參數(shù)量，并采用大感受野的空間注意力機(jī)制學(xué)習(xí)更具判別性的特征。Qin等人[29]提出了新的層次特征融合策略以最大化利用層次特征。盡管如此，這些工作[26-29]基本都將不同層次的特征等同對待，這不利于充分利用層次特征。為此，本文提出了多層次信息精煉機(jī)制（MⅠRM），旨在對不同層次的特征有區(qū)分性的利用。

1.2 多尺度特征提取

近些年來，多尺度特征在很多高級視覺任務(wù)的性能表現(xiàn)已經(jīng)證明了多尺度特征有助于提高模型性能。Li等人[30]在殘差分支使用不同大小的卷積核獲取不同尺度的特征，取得了一定的效果提升。Feng等人[31]則是同時運(yùn)用了不同深度的路徑和不同大小的卷積核獲取更為豐富的多尺度特征。然而這些方法獲取的多尺度特征所需要的參數(shù)量和計算量較大。最近的工作[32-33]開始探索用更小的成本獲取豐富的特征表示。文獻(xiàn)[33]研究在殘差模塊內(nèi)利用通道分裂操作和通道拼接操作獲取多尺度特征，在模型復(fù)雜度和性能之間取得了較好的平衡。受文獻(xiàn)[33]啟發(fā)，本文提出了多尺度信息聚合塊（MⅠAB），并在多尺度殘差塊中引入層歸一化技術(shù)和注意力機(jī)制，以增強(qiáng)局部特征的表征能力。

1.3 注意力機(jī)制

注意力機(jī)制是受啟發(fā)于人類視覺，它能夠?qū)Σ煌妮斎脒M(jìn)行不同的響應(yīng)，重新調(diào)整參數(shù)的權(quán)重。近年來，注意力機(jī)制得到廣泛的研究與探索，廣泛應(yīng)用在各種任務(wù)上，如圖像分類[34]、圖像復(fù)原[4，35]、視覺問答[36]等。Hu等人[34]首次利用通道間的相關(guān)性來重新校準(zhǔn)特征。Woo等人[37]則是同時考慮通道和空間上的信息，用以指導(dǎo)重新縮放特征權(quán)重。Zhang 等人[4]首次在SR 領(lǐng)域引入通道注意力調(diào)整特征的學(xué)習(xí)。Liu 等人[9]則是利用大感受野的空間注意力增強(qiáng)特征的表征能力。文獻(xiàn)[29]則是同時使用了空間注意力和通道注意力用以增強(qiáng)網(wǎng)絡(luò)的性能。然而，更復(fù)雜的注意力機(jī)制雖然能帶來更高的性能，但也增大了模型的計算開銷，這與本文的設(shè)計理念不符。Zhang 等人[11]利用特征分組和通道混洗操作，有效利用了特征之間的通道和空間信息相關(guān)性。受文獻(xiàn)[11]啟發(fā)，本文提出了對比度增強(qiáng)的重組注意力塊（CRA），在SA[11]的通道分支引入標(biāo)準(zhǔn)差統(tǒng)計量，以較低的代價從通道和空間維度上重新校準(zhǔn)特征權(quán)重。

2 層次信息自適應(yīng)聚合網(wǎng)絡(luò)

在本章中，首先介紹所提網(wǎng)絡(luò)的整體框架。其次闡述局部信息精煉塊（local information refinement block，LⅠRB）。其中局部信息精煉塊是由幾個多尺度信息聚合塊（MⅠAB）和多層次信息精煉機(jī)制（MⅠRM）構(gòu)成。最后，敘述對比度增強(qiáng)的重組注意力塊（CRA）。

2.1 網(wǎng)絡(luò)框架

在本節(jié)中，本文詳細(xì)展示了所提出的層次信息自適應(yīng)聚合網(wǎng)絡(luò)（HⅠAAN），該網(wǎng)絡(luò)的整體結(jié)構(gòu)如圖1 所示。整個網(wǎng)絡(luò)由初步特征提取模塊，深層特征投影模塊和圖像重建模塊組成。用ILR、ISR、IHR分別表示低分辨率圖像、重建圖像、高分辨率圖像。

圖1 層次信息自適應(yīng)聚合網(wǎng)絡(luò)（HⅠAAN）架構(gòu)Fig.1 Architecture of hierarchical informative adaptive aggregation network（HⅠAAN）

像大部分SR 方法所做的那樣，使用初步特征提取模塊提取圖像的特征，將其作為后續(xù)層次的特征輸入。其過程如下：

式中，MPFE(·)表示初步特征提取模塊，具體來說是一個3×3的卷積操作，F(xiàn)PFE表示圖像的初步特征。

然后，將獲得的特征FPFE傳入深層特征投影模塊。深層特征投影模塊具體是由三個局部信息精煉塊（LⅠRB）和多層次信息精煉機(jī)制（MⅠRM）組成。第n個LⅠRB的輸出可以表示為：

式中，表示第n個LⅠRB 的輸出特征，MLIRB(·)則為局部信息精煉塊代表的函數(shù)映射，N表示LⅠRB的數(shù)量，這里N=3。因此，深層特征投影模塊的輸出可以表示為：

式中，F(xiàn)DFP表示深層特征投影模塊的輸出，MMIRM(·)表示多層次信息精煉機(jī)制相應(yīng)的操作。由于多層次信息精煉機(jī)制在全局上的使用方式和在局部上的使用方式相同，因此將在第2.2.2小節(jié)中介紹。同時，為了減輕網(wǎng)絡(luò)的訓(xùn)練難度，將提取到的初步特征FPFE和深層特征投影模塊的輸出FDFP整合，最后送入圖像重建模塊，其過程可以表示為：

式中，MREC(·)表示重建模塊的操作，它具體包含一個普通卷積和一個亞像素卷積。

為防止生成圖像過于平滑，損失函數(shù)采用L1 損失而不是L2損失。損失函數(shù)L(Θ)可以表示為：

式中，MHIAAN(·)表示層次信息自適應(yīng)聚合網(wǎng)絡(luò)（HⅠAAN）相應(yīng)的映射函數(shù)，Θ表示整個網(wǎng)絡(luò)中的可更新參數(shù)。

2.2 局部信息精煉塊

局部信息精煉模塊（LⅠRB）是由幾個多尺度信息聚合塊（MⅠAB）和多層次信息精煉機(jī)制（MⅠRM）構(gòu)成，具體如圖1左下方虛線框所示。多尺度信息聚合塊（MⅠAB）是用來提取更具判別性的多尺度特征，提高局部特征的表征能力。多層次信息精煉機(jī)制（MⅠRM）是對不同層次的特征有區(qū)分性選擇利用，增強(qiáng)網(wǎng)絡(luò)的學(xué)習(xí)能力。

2.2.1 多尺度信息聚合塊

普通的多尺度特征一般采用多個不同大小的卷積核并行獲取，參數(shù)量和計算量較大。所提出的多尺度信息聚合塊是在更細(xì)粒度層面上提取多尺度特征，綜合使用通道分裂和通道拼接操作，獲取豐富的多尺度信息。同時，使用注意力機(jī)制對多尺度特征進(jìn)行校準(zhǔn)學(xué)習(xí)，獲得更具表征性的局部特征。具體做法是將普通的殘差模塊中間部分的卷積層替換成細(xì)粒度的多尺度特征提取模塊，并采用層歸一化技術(shù)[38]（layer normalization，LN）和對比度增強(qiáng)的重組注意力塊（CRA），增強(qiáng)模塊的表征能力，具體如圖2所示。

圖2 多尺度信息聚合塊（MⅠAB）Fig.2 Multi-scale information aggregation block（MⅠAB）

首先，對多尺度信息聚合塊的輸入特征使用LN 處理，目的是為了穩(wěn)定模塊的輸入，使訓(xùn)練過程更加平穩(wěn)。這里以第n個LⅠRB 中的第m個MⅠAB 為例，假設(shè)輸入為，則處理過程可表示為：

式中，MLN(·)表示LN層的具體操作，表示LN層的輸出特征。

其次，將得到的采用1×1卷積進(jìn)行特征升維處理，目的是允許更多淺層的信息通過，使淺層的低級特征更容易傳播到網(wǎng)絡(luò)的末端，以此獲得更好的像素值預(yù)測。其過程可以表示為：

式中，flrelu(·)表示Leaky ReLU 激活函數(shù)，M1×1(·)代表1×1卷積，表示升維后的特征輸出。

表1 測試集介紹Table 1 Ⅰntroduction to test datasets

接著，將經(jīng)過維度變換后的特征傳入多尺度信息提取部分（multi-scale information extraction，MⅠE），以便獲得不同感受野的信息，借此提高網(wǎng)絡(luò)預(yù)測的精度。多尺度信息提取部分（MⅠE）使用通道分裂操作將分成4組，本文將這些劃分后的特征分組記為Si(i∈{1,2,3,4})，其中Si表示第i組特征。多尺度信息提取部分具體過程可以表示為：

式中，CB(·)表示卷積激活模塊（具體包含一個3×3卷積和Leaky ReLU 激活函數(shù)），Ri表示第i組特征中保留下來的部分特征，Ci表示第i組特征中將進(jìn)一步融合淺層特征的另一部分特征。經(jīng)過通道分裂和通道拼接操作的結(jié)合使用，淺層的粗糙特征能夠得到更多保留，進(jìn)而傳播到后面層次，同時網(wǎng)絡(luò)能以較低的代價獲得不同尺度的特征Ri(i∈{1,2,3,4)。當(dāng)i越大時，特征Ri擁有更大的感受野和更多的特征數(shù)目。更大感受野的Ri能看到更多的像素信息，也擁有更多的通道信息，這有助于準(zhǔn)確恢復(fù)圖像。

然后，將不同通道數(shù)量的Ri(i∈{1,2,3,4)按通道維度進(jìn)行拼接后，使用對比度增強(qiáng)的重組注意力塊（CRA）（見第2.3 節(jié)介紹）對這些特征進(jìn)行自適應(yīng)增強(qiáng)，增強(qiáng)多尺度特征的判別性，并使用1×1卷積降維聚合得到融合特征。

式中，MCRA(·)表示對比度增強(qiáng)的重組注意力相應(yīng)的特征變換，表示經(jīng)過通道和空間信息增強(qiáng)后的多尺度特征，表示得到的融合特征。

最后，在多尺度信息聚合塊（MⅠAB）內(nèi)添加殘差連接以使梯度傳播更為順暢。因此，第n個LⅠRB 中的第m個MⅠAB的最終輸出可以表示如下：

2.2.2 多層次信息精煉機(jī)制

網(wǎng)絡(luò)不同層次學(xué)習(xí)到的特征不同，聚焦于圖像不同的特征細(xì)節(jié)，應(yīng)該有區(qū)分性的利用。不同于之前的層次特征利用方法[28-29]，提出的多層次信息精煉機(jī)制（MⅠRM）是對不同層次的特征有區(qū)分性的利用。所提出的多層次信息精煉機(jī)制采用注意力機(jī)制對不同層次的特征進(jìn)行自適應(yīng)校準(zhǔn)，通過利用層次特征本身的通道和空間信息自適應(yīng)校準(zhǔn)層次特征，最后進(jìn)行特征融合，借此實現(xiàn)層次特征的區(qū)分性利用。

如圖1左下方的陰影部分所示，這里以多尺度信息聚合塊（MⅠAB）為例。從第2.2.1小節(jié)可以得知，第n個LⅠRB 中的所有MⅠAB 的輸出為，這里M=3。多層次信息精煉機(jī)制對這些層次特征采用對比度增強(qiáng)的重組注意力塊（見第2.3 節(jié)介紹）進(jìn)行校準(zhǔn)，校準(zhǔn)后的特征表示為，對這些校準(zhǔn)后的特征采用1×1卷積逐步融合，得到融合特征輸出。最后，對融合特征采用3×3 卷積進(jìn)一步精煉，并在LⅠRB內(nèi)使用殘差連接，其過程表示為：

式中，和分別表示第n個LⅠRB的輸入和輸出。

2.3 對比度增強(qiáng)的重組注意力

目前流行的圖像超分辨率重建方法一般會在模型中引入注意力機(jī)制來調(diào)整學(xué)習(xí)到的特征，以提高圖像重建效果。但大多數(shù)的方法沒有利用好特征的通道維度和空間維度之間的關(guān)聯(lián)，導(dǎo)致效率較低。由于SA[11]的高效性，本文決定采用SA 以增強(qiáng)特征的表征能力。但原始的SA中的通道注意力分支是采用全局平均池化獲得通道統(tǒng)計量，統(tǒng)計信息較為粗糙，缺乏有利于增強(qiáng)圖像細(xì)節(jié)（與SSⅠM 相關(guān)）的關(guān)于結(jié)構(gòu)、紋理和邊緣的信息。在文獻(xiàn)[7]的啟發(fā)下，在原始的SA的通道注意力分支引入通道標(biāo)準(zhǔn)差信息，引導(dǎo)模型聚焦于更多的信息特征，提高鑒別學(xué)習(xí)能力，進(jìn)而提高圖像重建質(zhì)量。本文將修改后的注意力機(jī)制稱為對比度增強(qiáng)的重組注意力（CRA）。如圖3 所示，CRA 的結(jié)構(gòu)由4 部分組成，分別為特征分組、通道注意力分支、空間注意力分支和特征聚合。

圖3 對比度增強(qiáng)的重組注意力（CRA）模塊Fig.3 Contrast-enhanced recombinant attention（CRA）module

特征分組假定輸入F∈RC×H×W，其中C,H,W分別代表特征圖的通道數(shù)、高度和寬度。將其分為g組，[F1,F2,…,Fg]，其中Fk∈RC/g×H×W(1 ≤k≤g)。然后將各組特征傳入注意力模塊，獲取相應(yīng)的通道權(quán)重系數(shù)和空間位置權(quán)重系數(shù)。具體來說，特征Fk將分成Fk1和Fk2兩部分，F(xiàn)k1是通道注意力分支的輸入；而Fk2是空間注意力分支的輸入。

通道注意力分支不同于原始SA[11]僅用全局平均池化獲取通道平均值統(tǒng)計量，本文在通道注意力分支中引入了通道的標(biāo)準(zhǔn)差信息，統(tǒng)計量S∈RC/2g×1×1的計算公式如下：

式中，xc(i,j)表示Fk1的第c個通道中第i行第j列的特征取值，SGAP和SCSD分別表示對應(yīng)通道的平均值和標(biāo)準(zhǔn)差。然后，通過簡單的線性函數(shù)和sigmoid 激活函數(shù)獲得通道權(quán)重系數(shù)。

式中，σ表示sigmoid激活函數(shù)，Wc和bc則代表線性函數(shù)的參數(shù)，表示通道注意力分支的輸出。

空間注意力分支將輸入映射Fk2通過組歸一化技術(shù)以獲得空間統(tǒng)計信息，然后通過簡單的線性函數(shù)和sigmoid激活函數(shù)獲得空間位置權(quán)重系數(shù)。其過程可以表示如下：

式中，Ws和bs表示線性函數(shù)的參數(shù)，表示空間注意力分支的輸出。

特征聚合將和沿通道維度拼接，恢復(fù)分組特征的維度。最后，將所有的分組特征聚合，并采用通道混洗操作，實現(xiàn)分組信息的相互交流。

3 實驗結(jié)果與分析

3.1 數(shù)據(jù)集和評價指標(biāo)

像近年來大部分工作[6，9]做的那樣，本文選擇DⅠV2K[39]中800 張高分辨率圖像作為訓(xùn)練集，其內(nèi)容場景包括人、手工制品、環(huán)境、風(fēng)景等[40]。測試集則是選擇5 個廣泛使用的基準(zhǔn)數(shù)據(jù)集，包括Set5[41]、Set14[42]、B100[43]、Urban[44]和Manga109[45]，具體內(nèi)容場景如表1 所示。評價圖像質(zhì)量選用的客觀指標(biāo)是峰值信噪比（PSNR）和結(jié)構(gòu)相似性（SSⅠM[12]），它們都是在YCbCr 空間的亮通道上進(jìn)行評估。此外，本文使用Multi-Adds 作為評估模型復(fù)雜度的指標(biāo)，其具體計算是假定HR 圖像大小為1 280×720。

3.2 實現(xiàn)細(xì)節(jié)

對DⅠV2K 的800 張高分辨率圖像進(jìn)行雙三次下采樣處理，得到不同尺度（×2、×3、×4）的LR 圖像。訓(xùn)練時，小批量大小設(shè)為64。模型的輸入則是在每張LR圖像上隨機(jī)裁剪48×48的圖像塊，每個圖像塊輸入網(wǎng)絡(luò)前會隨機(jī)旋轉(zhuǎn)90°、180°、270°和進(jìn)行水平翻轉(zhuǎn)。網(wǎng)絡(luò)的總迭代次數(shù)100萬次。選擇Adam[46]作為模型的優(yōu)化器，初始學(xué)習(xí)率為1×10-3，在20萬次迭代后學(xué)習(xí)率衰減為原來的1/10。另外，Adam優(yōu)化器的其他參數(shù)為默認(rèn)設(shè)置，其中，β1=0.9,β2=0.99,ε=10-8。模型設(shè)計方面，LⅠRB數(shù)量和MⅠAB 數(shù)量都固定為3 個；CRA 中分組特征的通道數(shù)量固定為2 個；網(wǎng)絡(luò)的基本通道數(shù)設(shè)置為64 個，MⅠAB 中設(shè)置激活前的特征通道數(shù)為96 個。文中的所有實驗結(jié)果均是在Nvidia 2080ti平臺上使用Pytorch框架訓(xùn)練和測試獲得。

3.3 與先進(jìn)算法的對比

為了驗證所提方法的有效性，將其與其他先進(jìn)的超分算法進(jìn)行比較，包括SRCNN[1]、FSRCNN[23]、LapSRN[47]、VDSR[2]、DRCN[21]、DRRN[22]、MemNet[48]、ⅠDN[28]、CARN[26]、CFSRCNN[16]、LESRCNN[17]、ⅠMDN[7]、MADNet[35]、ACNet[27]。下面分別從定量指標(biāo)和視覺效果兩方面進(jìn)行分析。

（1）定量分析。表2展示了不同尺度下（×2、×3、×4）各個算法在5 個基準(zhǔn)測試集上測得的PSNR 和SSⅠM 指標(biāo)。每個尺度下最好的結(jié)果用加粗表示，次優(yōu)的結(jié)果用下劃線表示?？梢钥吹?，放大因子為2 時，所提方法在Urban100 數(shù)據(jù)集上表現(xiàn)最好，PSNR 比次優(yōu)的ⅠMDN 高0.07 dB。5個數(shù)據(jù)集中所提算法僅在Set14和Manga109上表現(xiàn)略遜于ⅠMDN。放大因子為3 時，本文方法與ⅠMDN 的差距進(jìn)一步縮小，5 個數(shù)據(jù)集中僅在Set14 數(shù)據(jù)集上表現(xiàn)略遜于ⅠMDN，PSNR 低0.02 dB。放大因子為4時，所提方法在5個基準(zhǔn)數(shù)據(jù)集上均取得最優(yōu)效果，特別是在Urban100 數(shù)據(jù)集上，所提方法比次優(yōu)的方法PSNR 高了0.1 dB。從表1 可以看出，隨著放大倍數(shù)的增大，本文方法能夠獲得更大的優(yōu)勢。此外，所提的方法在恢復(fù)難度較高、結(jié)構(gòu)紋理信息豐富的Urban100 數(shù)據(jù)集的不同尺度上均能取得最優(yōu)結(jié)果。這也證明了所提方法的有效性，能夠有效恢復(fù)擁有豐富結(jié)構(gòu)紋理信息的圖像。除此之外，本文也可視化了在Set5（×4）上各個方法的PSNR 指標(biāo)和參數(shù)量的關(guān)系圖。如圖4 所示，可以看出，與其他方法相比，所提方法在模型參數(shù)量和圖像重建質(zhì)量方面取得了更好的平衡。

圖4 在Set5數(shù)據(jù)集（×4）上PSNR與模型參數(shù)量的比較Fig.4 Comparison results of PSNR and model parameters on the Set5 dataset

（2）定性分析。如圖5 展示了本文方法與次優(yōu)的ⅠMDN 算法在數(shù)據(jù)集Urban100 部分圖像的重建圖像效果對比?？梢钥吹?，對于Urban100 數(shù)據(jù)集中編號為“img092”和“img093”的圖像，ⅠMDN在恢復(fù)所對應(yīng)的圖像塊時無法準(zhǔn)確預(yù)測線條和斑馬線的方向，而所提方法恢復(fù)的圖像塊更接近原始HR圖像。在對編號為“img012”的圖像進(jìn)行恢復(fù)時，ⅠMDN錯誤預(yù)測了建筑物的結(jié)構(gòu)方向。相比之下，所提方法恢復(fù)的圖像更為精準(zhǔn)且基本不產(chǎn)生偽影，視覺效果更好。這說明了所提方法的有效性，能夠更為準(zhǔn)確地恢復(fù)結(jié)構(gòu)紋理信息豐富的圖像。

圖5 重建效果對比Fig.5 Comparsion of reconstruction effects

3.4 消融實驗分析

為了研究網(wǎng)絡(luò)中不同組件對模型性能的影響，本文對網(wǎng)絡(luò)的不同組件分別進(jìn)行消融實驗，具體包括對比度增強(qiáng)的重組注意力（CRA）、多尺度信息聚合塊（MⅠAB）和多層次信息精煉機(jī)制（MⅠRM）。

（1）CRA。本次消融實驗中多尺度信息聚合塊（MⅠAB）中激活前的特征數(shù)目設(shè)置為64。為了直觀展示在SA 中引入通道標(biāo)準(zhǔn)差統(tǒng)計量的運(yùn)算成本，本文在100張尺寸大小為256×256的測試圖像上統(tǒng)計平均推理時間，實驗結(jié)果如表3 所示。可以看到，引入通道標(biāo)準(zhǔn)差統(tǒng)計量確實會增加額外的運(yùn)算成本，推理時間增加不到0.003 s。此外，本文將模型中的CRA 模塊分別替換成原始的SA[11]模塊和CCA[7]模塊，執(zhí)行相應(yīng)的消融實驗，實驗結(jié)果如表4 所示?？梢园l(fā)現(xiàn)，僅使用通道平均值的SA的模型雖然參數(shù)較少，但性能明顯比使用CCA的模型差。而使用CRA 的模型保持較低參數(shù)的同時，取得了比使用CCA的模型更好的性能。綜合表3和表4的實驗結(jié)果，可以發(fā)現(xiàn)，雖然引入通道標(biāo)準(zhǔn)差統(tǒng)計量會額外增加一些推理時間，但它確實能有效提高模型的重建性能。

表3 推理時間對比Table 3 Comparison of inference time

表4 不同的注意力機(jī)制的定量對比Table 4 Quantitative comparison of different attention mechanisms

（2）MⅠAB。為了探究多尺度信息聚合塊（MⅠAB）中激活前的特征通道數(shù)對模型性能的影響，本文通過控制LN層后1×1卷積核的個數(shù)來改變激活前的特征通道數(shù)目。實驗中將多尺度信息聚合塊中激活前的特征通道數(shù)量分別設(shè)為64、96、128，實驗結(jié)果如表5 所示。從表5 中可以看到，隨著激活前的特征通道數(shù)增加，模型的性能得到提高。但與此同時，模型的參數(shù)量和計算復(fù)雜度也隨之增加。當(dāng)激活前的特征通道數(shù)量為128時，模型的參數(shù)量最多，復(fù)雜度最高，但并未在五個基準(zhǔn)數(shù)據(jù)集上取得最好的性能指標(biāo)，如在Urban100數(shù)據(jù)集上，PSNR比激活前的特征通道數(shù)量為96的模型低0.05 dB。因此，綜合考慮模型復(fù)雜度和性能表現(xiàn)，模型最終選擇使用激活前的特征通道數(shù)量為96。

表5 激活前特征通道數(shù)對模型性能的影響Table 5 Effects of number of pre-activation feature channels on model performance

另外，為了探究多尺度信息聚合塊各組成部分對模型性能的影響，本文進(jìn)行了相關(guān)的實驗，消融結(jié)果如表6所示。對比表6 中的第一行和第二行，可以發(fā)現(xiàn)，使用多尺度信息提?。∕ⅠE）能夠有效減少模型的參數(shù)量，模型的參數(shù)量減少了約40%。同時，使用多尺度信息提?。∕ⅠE）在一些數(shù)據(jù)集上能取得與使用普通卷積相近甚至更優(yōu)的性能指標(biāo)，如B100、Set5等。這證明了采用多尺度信息提取能有效重建圖像。對比表6 中的第二行和第三行，可以發(fā)現(xiàn)，由于所提出的CRA 模塊的高效性，模型僅需增加少量的參數(shù)量（不到100）即可取得明顯的性能提升。加入CRA 后，模型在Urban100、Set14、Manga109數(shù)據(jù)集上PSNR均能取得至少0.1 dB的增益，SSⅠM指標(biāo)也得到明顯提升。這證明了在MⅠAB中采用CRA 確實能提高模型的表征能力，提高圖像重建質(zhì)量。對比表6 中的第三行和第四行，可以發(fā)現(xiàn)，引入層歸一化技術(shù)（LN）后，模型在基準(zhǔn)數(shù)據(jù)集上各個指標(biāo)均取得一定的提升。特別是在Set5 數(shù)據(jù)集上，PSNR 取得0.11 dB 的增益，SSⅠM 也提升了0.001 3。這表明LN 層的引入有利于提高模型的重建能力。這些消融實驗證明了所提MⅠAB組成部分的有效性，能夠提高模型的重建能力。

表6 不同組件對模型性能的影響Table 6 Effects of different components on model performance

（3）MⅠRM。為了探究所提的多層次信息精煉機(jī)制（MⅠRM）對模型性能的影響，本文對多層次信息精煉機(jī)制（MⅠRM）進(jìn)行消融實驗。將多層次信息精煉機(jī)制（MⅠRM）中的注意力模塊移除作為對照組，實驗結(jié)果如表7 所示。從表7 中可以看出，使用多層次信息精煉機(jī)制的模型，即采用對比度增強(qiáng)的重組注意力對不同層次進(jìn)行自適應(yīng)校準(zhǔn)后再執(zhí)行特征融合，模型的參數(shù)量增加不到100，用較小的代價取得了明顯的效果提升。使用MⅠRM 的模型在5 個基準(zhǔn)數(shù)據(jù)集上的PSNR 均能取得0.02 dB的增益，SSⅠM也得到明顯提升。這表明對層次特征進(jìn)行區(qū)分利用，即利用層次特征的通道和空間信息指導(dǎo)網(wǎng)絡(luò)的學(xué)習(xí)能有效利用不同層次的特征，增強(qiáng)模型的重建能力。

表7 多層次信息精煉機(jī)制對模型性能的影響Table 7 Effects of multi-level information refinement mechanism on model performance

4 結(jié)束語

本文提出了新穎的層次信息自適應(yīng)聚合網(wǎng)絡(luò)（HⅠAAN），用于有區(qū)分性地利用層次信息，提高模型的重建性能。通過引入多層次信息精煉機(jī)制（MⅠRM），網(wǎng)絡(luò)能夠有效地利用層次信息。同時，提出的多尺度信息聚合塊（MⅠAB）和對比度增強(qiáng)的重組注意力塊（CRA）能夠有效利用多尺度信息、特征的通道和空間信息，進(jìn)一步增強(qiáng)特征的表征能力。大量的實驗證明了所提方法的有效性，能在模型復(fù)雜度和圖像重建能力方面取得較好的平衡。