基于藍(lán)圖可分離卷積的輕量級(jí)水下圖像超分辨率重建

李 艷，諶雨章，郭煜瑋，胡世娥

（1.湖北大學(xué) 計(jì)算機(jī)與信息工程學(xué)院，武漢 430062；2.國(guó)電河南新能源有限公司，鄭州 450003）

0 引言

目前，隨著地球人口的增多，在陸地空間和資源壓力日益增加的條件下，對(duì)于水下空間及資源的開(kāi)發(fā)變得十分迫切，因此水下圖像處理領(lǐng)域的研究已引起廣泛關(guān)注。但是由于水中光線的選擇性衰減與水中粒子散射問(wèn)題、水中浮游物以及水體本身的散射和吸收作用，水下圖像會(huì)表現(xiàn)出顏色扭曲、細(xì)節(jié)模糊、對(duì)比度低、明亮的偽影等其他失真的問(wèn)題，這給水下工作帶來(lái)了極大的挑戰(zhàn)和困難，因此近年來(lái)有許多學(xué)者為提高水下圖像的質(zhì)量專(zhuān)注研究水下圖像的處理。

已經(jīng)有許多算法應(yīng)用在水下圖像增強(qiáng)，包括基于暗通道先驗(yàn)知識(shí)［1］、基于Retinex算法［2］等，該類(lèi)方法由于水中成像的特殊性存在局限性，因此近年來(lái)水下圖像超分辨率重建引起了學(xué)者們的廣泛關(guān)注，陳龍彪［3］等人在卷積網(wǎng)絡(luò)中引入改良的密集塊應(yīng)用到水下圖像進(jìn)行重建；宋婭菲等人［4］將殘差密集塊與自適應(yīng)機(jī)制相融合，提出了基于殘差的水下圖像重建方法；袁紅春等人［5］在普通殘差網(wǎng)絡(luò)上引用了信息蒸餾機(jī)制和空間注意力模塊。在圖像超分辨率算法中，深度學(xué)習(xí)已經(jīng)成為圖像處理領(lǐng)域的主流算法，隨著科技與時(shí)代的進(jìn)步以及網(wǎng)絡(luò)重建性能的不斷提升，網(wǎng)絡(luò)結(jié)構(gòu)越來(lái)越復(fù)雜、參數(shù)量顯著增加，這造成了巨大的計(jì)算開(kāi)銷(xiāo)，為此輕量級(jí)網(wǎng)絡(luò)也開(kāi)啟了高飛猛進(jìn)的發(fā)展模式。2017年Lim 等人［6］提出了增強(qiáng)型深度殘差網(wǎng)絡(luò)（enhanced deep super-resolution network），首次在圖像超分辨率重建處理中移除傳統(tǒng)殘差網(wǎng)絡(luò)中的BN 層以簡(jiǎn)化網(wǎng)絡(luò)體系結(jié)構(gòu)，將內(nèi)存需求減少約40%，輕量化思想初步得以實(shí)現(xiàn)；后來(lái)Zhang等人深度殘差通道注意網(wǎng)絡(luò)（RCAN，residual channel attention networks）中提出殘差嵌套（RIR，residual in residual）結(jié)構(gòu)使網(wǎng)絡(luò)繞過(guò)低頻信息來(lái)提高特征處理的效率，同時(shí)引入通道注意力（CA，channel attention）機(jī)制來(lái)提取具有更重要信息的特征，模型性能取得了極大提升［7］。

但是這些方法由于網(wǎng)絡(luò)深度的增加網(wǎng)絡(luò)參數(shù)量也隨之增加，導(dǎo)致了重建速度的降低，并沒(méi)有實(shí)質(zhì)上的實(shí)現(xiàn)輕量級(jí)網(wǎng)絡(luò)的構(gòu)建。為解決此問(wèn)題，Hui等人［8］提出的信息蒸餾網(wǎng)絡(luò)（IDN，information distillation network）利用蒸餾塊和跳躍連接逐步提取豐富有效的特征，減少了濾波器的數(shù)量，在保持更好的重建精度的同時(shí)實(shí)時(shí)速度更快，Hui等人［9］后來(lái)提出的多尺度特征蒸餾網(wǎng)絡(luò)（IMDN，information multi-distillation network）對(duì)IDN 進(jìn)行改進(jìn)，構(gòu)造了級(jí)聯(lián)多蒸餾塊（IMDB，information multi-distillation module）來(lái)提取分層特征，并根據(jù)特征的重要性進(jìn)行聚合；再接著Liu等人［10］提出了基于殘差的特征蒸餾網(wǎng)絡(luò)（RFDN，residual feature disillation network）進(jìn)一步對(duì)IMDN 進(jìn)行了改進(jìn)，提出的特征蒸餾連接使得特征提取塊更加簡(jiǎn)潔。2022年Li等人［11］提出了藍(lán)圖可分離殘差網(wǎng)絡(luò)（BSRN，blueprint separable residual network），通過(guò)引入藍(lán)圖可分離卷積（BSconv，blueprint separable convolution）更是進(jìn)一步減少了參數(shù)、優(yōu)化了卷積操作，同時(shí)引入空間和通道注意力塊來(lái)增強(qiáng)特征，在保證重建質(zhì)量的基礎(chǔ)上，減小了網(wǎng)絡(luò)模型及計(jì)算復(fù)雜度［12］。

為了進(jìn)一步提高其性能并且減少模型參數(shù)、提高重建速度，本文設(shè)計(jì)了一種基于藍(lán)圖可分離卷積的輕量級(jí)超分辨率網(wǎng)絡(luò)，利用藍(lán)圖可分離卷積代替普通卷積進(jìn)行運(yùn)算，減少特征冗余；同時(shí)使用增強(qiáng)空間注意（ESA）和對(duì)比度感知注意（CCA）［9］來(lái)增強(qiáng)模型能力；相比BSRN，去除ESDB模塊中的特征蒸餾連接，簡(jiǎn)化了網(wǎng)絡(luò)模型，同時(shí)更好地利用了剩余的局部特征進(jìn)行特征濃縮細(xì)化。

1 基于藍(lán)圖可分離卷積的超分辨率重建方法

1.1 網(wǎng)絡(luò)概述

本文算法整體網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示，通過(guò)優(yōu)化卷積運(yùn)算、引入有效的注意模塊、僅使用級(jí)聯(lián)的藍(lán)圖卷積＋RELU層［13］進(jìn)行局部特征提取3個(gè)方面來(lái)提高網(wǎng)絡(luò)的效率，減少網(wǎng)絡(luò)的冗余計(jì)算，從而實(shí)現(xiàn)輕量化操作。

圖1 整體網(wǎng)絡(luò)結(jié)構(gòu)

該算法結(jié)構(gòu)整體分為4個(gè)階段：淺層特征提取、深層特征提取、多層特征融合以及圖像重建階段。在特征提取階段，輸入的低分辨率圖像先經(jīng)過(guò)藍(lán)圖可分離卷積BSConv得到淺層特征F0，然后將淺層特征F0輸入到多個(gè)基于藍(lán)圖卷積的特征提取塊中提取出每層特征［F0，F(xiàn)1，…，F(xiàn)n］，再經(jīng)過(guò)1×1卷積和GELU 激活函數(shù)將特征進(jìn)行融合與映射，最后通過(guò)藍(lán)圖卷積BSConv提取深層特征Fj。在圖像重建階段，將淺層特征F0和深層特征Fj相加后輸入到上采樣模塊，完成重建過(guò)程。

1.2 淺層特征提取階段

在淺層特征提取階段，首先將輸入圖像ILR復(fù)制n次并沿通道維度連接至一起得到，再經(jīng)過(guò)BSConv提取到淺層特征F0，該過(guò)程可表示為：

其中：Concat（·）表示沿通道維度的連接操作，n是需要連接的ILR圖像的數(shù)目；HSF（·）表示淺層特征提取塊。

1.2.1 藍(lán)圖可分離卷積

藍(lán)圖可分離卷積［13］BSConv是Daniel受啟發(fā)于預(yù)訓(xùn)練模型所提出，能夠更好地利用核內(nèi)相關(guān)性允許更有效的分離規(guī)則卷積。BSConv的卷積原理如圖2所示，標(biāo)準(zhǔn)卷積［14］每個(gè)卷積核尺寸是M×K×K，可訓(xùn)練參數(shù)為M·N·K2，藍(lán)圖可分離卷積的卷積核將M×K×K分離成M個(gè)K×K尺寸的卷積核，可訓(xùn)練參數(shù)僅需N·K2＋M×N，在輕量級(jí)網(wǎng)絡(luò)中，使用藍(lán)圖可分離卷積相比標(biāo)準(zhǔn)卷積更具優(yōu)勢(shì)，效率更高。

圖2 BSConv卷積原理

本文中BSConv的作用是擴(kuò)展通道至更高維度并進(jìn)行淺層特征提取，其結(jié)構(gòu)如圖3所示。

圖3 藍(lán)圖可分離卷積BSConv模塊

1.3 深層特征提取階段

該階段是由多個(gè)基于藍(lán)圖卷積特征提取模塊組成，采用殘差連接進(jìn)行局部特征學(xué)習(xí)，將淺層特征F0輸入到深層特征模塊逐步細(xì)化提取每層的特征。該過(guò)程可表示為：

其中：Hn（·）表示第n個(gè)特征提取模塊函數(shù)，F(xiàn)n（·）表示第n個(gè)輸出特征映射。

1.3.1 基于藍(lán)圖可分離卷積的特征提取模塊

該模塊是整個(gè)算法的核心部分，相比NTIRE2022挑戰(zhàn)賽中獲得冠軍方案的BSRN 算法，新提出的模塊中去掉了特征蒸餾分支、采用增加通道數(shù)進(jìn)行補(bǔ)償，每個(gè)特征細(xì)化模塊包含藍(lán)圖卷積BSConv層、GeLU 激活函數(shù)、1×1卷積層、增強(qiáng)空間注意層（ESA）［15］、對(duì)比感知通道注意層（CCA）［9］，本文所提模塊如圖4所示。給定輸入特征Fin，整個(gè)結(jié)構(gòu)的描述如下：

圖4 基于藍(lán)圖可分離卷積的特征提取模塊

其中：RMj表示第j個(gè)細(xì)化模塊，F(xiàn)refinedj表示第j個(gè)細(xì)化特征。經(jīng)過(guò)多個(gè)局部特征細(xì)化步驟后，將最后的細(xì)化特征Frefined3和輸入特征Fin相加，得到最終優(yōu)化的輸出特征Frefined。

接下來(lái)將輸出特征Frefined輸入到1×1卷積層以增強(qiáng)模型的表征能力，同時(shí)為了保持重建效率，引入一個(gè)輕量級(jí)增強(qiáng)空間注意力模塊（ESA）和一個(gè)對(duì)比度感知通道注意力模塊（CCA），ESA 模塊和CCA 模塊分別從空間和通道角度增強(qiáng)模型的表達(dá)能力。

其中：Fenhanced為增強(qiáng)功能，HCCA（·）和HESA（·）分別表示CCA 和ESA 模塊，使用注意力模型旨在聚合上下文信息。

1.3.2 增強(qiáng)的空間注意力模塊

增強(qiáng)的空間注意力ESA 模塊［15］的具體架構(gòu)如圖5（a）所示。它首先使用一個(gè)1×1卷積層以減少輸入特征的通道尺寸，從而達(dá)到減少特征冗余的目的，接著為了降低空間尺寸使用步長(zhǎng)為2的卷積和2×2的最大池化層，再使用一組由7×7最大池化層和步長(zhǎng)為3的卷積組成的卷積組提取特征，最后對(duì)上采樣操作得到的特征進(jìn)行1×1卷積操作恢復(fù)信道大小并通過(guò)Sigmoid函數(shù)［16］生成注意矩陣后與輸入進(jìn)行點(diǎn)乘，得到最終的輸出特征。此模塊應(yīng)用了兩個(gè)跳躍連接，具有調(diào)節(jié)激活值的作用，比普通的注意力模塊更加輕巧并且具有更好的性能。

圖5 具體架構(gòu)

1.3.3 對(duì)比度感知通道注意力模塊

通道注意力機(jī)制［17］最初是通過(guò)對(duì)特征的不同通道重新分配權(quán)重，更利于分類(lèi)或檢測(cè)，但是對(duì)于超分辨率重建網(wǎng)絡(luò)缺少如紋理、邊緣等增強(qiáng)圖像細(xì)節(jié)的信息。因此，在ESA 空間注意力模塊后添加CCA 對(duì)比度感知通道注意力模塊，該模塊是利用對(duì)比度信息，包括均值和標(biāo)準(zhǔn)差的總和來(lái)計(jì)算通道注意權(quán)重以增強(qiáng)圖像細(xì)節(jié)信息。對(duì)比度感知通道注意力模塊CCA 具體架構(gòu)如圖5（b）所示，對(duì)比度信息值可通過(guò)以下公式進(jìn)行計(jì)算：

其中：zc是輸出的第c個(gè)元素，HGC（·）表示全局對(duì)比度（GC）信息評(píng)估函數(shù)。

1.4 圖像融合與重建階段

進(jìn)行深層特征提取后，將每一特征模塊的生成特征輸出相加通過(guò)1×1卷積和GELU 激活函數(shù)來(lái)平滑逐漸細(xì)化的深層特征以進(jìn)行融合和映射，再使用BSConv進(jìn)行特征優(yōu)化，最后使用長(zhǎng)跳躍連接通過(guò)上采樣模塊進(jìn)行圖像重建，多層特征融合公式和重建階段的分別如式（10）和（11）表示：

其中：F0～Fn為逐步細(xì)化提取的每層特征，Hfusion（·）表示融合模塊，F(xiàn)fused表示融合特征，Hrec（·）表示重建模塊，該模塊由一個(gè)3×3 標(biāo)準(zhǔn)卷積層和一個(gè)亞像素卷積組成，其結(jié)構(gòu)如圖6表示。

圖6 上采樣操作

亞像素卷積［17］就是通過(guò)卷積和多通道間的重組得到高分辨率圖像，具體過(guò)程如圖7所示，先對(duì)圖像進(jìn)行特征提取生成r＊r個(gè)特征通道圖（r即上采樣倍數(shù)），再按照一定的規(guī)則將這r＊r個(gè)通道的特征圖組合為w＊r、h＊r的上采樣結(jié)果即完成亞像素卷積操作。

圖7 亞像素卷積操作

整個(gè)網(wǎng)絡(luò)模型利用L1損失函數(shù)進(jìn)行優(yōu)化，其公式如下：

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)設(shè)置

本文在由Minnesota University交互式機(jī)器人與視覺(jué)實(shí)驗(yàn)室最新公開(kāi)的水下圖像數(shù)據(jù)集USR-248上進(jìn)行了2倍和4倍的超分辨率重建實(shí)驗(yàn)［18］。該數(shù)據(jù)集包含了大量的水下實(shí)體，包括水母、章魚(yú)、鯨類(lèi)、蝦類(lèi)、蟹類(lèi)、貝類(lèi)等多種生物以及水下航行器殘骸、潛水員等圖片。訓(xùn)練集包含1 060張分辨率為480×640的真實(shí)高清水下圖像及其對(duì)應(yīng)的使用Bicubic下采樣獲得的低分辨率圖像；測(cè)試集包含248張高分辨率圖像與其對(duì)應(yīng)的低分辨率圖像。從USR-248訓(xùn)練集中選取編號(hào)1～1 040作為本文的訓(xùn)練集，從編號(hào)1 041～1 060中選取5張內(nèi)容豐富，紋理清晰的圖像作為本文的驗(yàn)證集，使用USR-248全部的測(cè)試集在Y通道上對(duì)本文提出的模型進(jìn)行測(cè)量評(píng)估［19］。

本實(shí)驗(yàn)的訓(xùn)練平臺(tái)為：操作系統(tǒng)為64位的Windows10，采用單塊GPU 訓(xùn)練網(wǎng)絡(luò)，顯卡為NVIDIA Quadro RTX5000，處理器為Intel（R）Xeon（R）Silver 4210CPU＠2.20GHz。訓(xùn)練測(cè)試 平臺(tái)為CUDA10.2，cuDNN8.0.4，pytorch1.8.1，python3.8。在主要參數(shù)學(xué)習(xí)率的設(shè)置上，為了避免出現(xiàn)過(guò)擬合、欠擬合，訓(xùn)練時(shí)間過(guò)長(zhǎng)，本文采用的是學(xué)習(xí)率衰減的辦法。設(shè)定初始學(xué)習(xí)率為1×10-3，每迭代100 000次學(xué)習(xí)率降為原來(lái)的1／10，同時(shí)采用隨機(jī)梯度下降法（SGD）以及Adam 優(yōu)化器對(duì)網(wǎng)絡(luò)進(jìn)行更新迭代訓(xùn)練。參數(shù)β1＝0.9，β2＝0.999，ε＝10-7，輸入patch大小設(shè)置為64×64，batchsize設(shè)為16，一共訓(xùn)練1 000 000次。

2.2 評(píng)價(jià)指標(biāo)

本文使用峰值信噪比（PSNR，peak signal-to-noise ratio）、結(jié)構(gòu)相似比（SSIM，structure similarity）、UIQM 作為評(píng)價(jià)指標(biāo)。

2.2.1 PSNR

PSNR［20］是一種評(píng)價(jià)圖像的客觀標(biāo)準(zhǔn)，用于衡量?jī)蓮垐D像之間的差異，定義式如下：

PSNR值越大代表失真越小，表示圖像質(zhì)量越好。式中yi表示高分辨率圖像中第i個(gè)位置上的像素值，表示重建后圖像中第i個(gè)位置上的像素值，m表示圖像的總像素，為圖像像素可取到的最大值，例如8位像素為28-1＝255；MSE為兩張圖的均方誤差值，表達(dá)的是兩幅圖在每一個(gè)位置上的像素值的差異的平均，數(shù)值越大，表示兩張圖片在相似度上越低。

2.2.2 SSIM

SSIM［20］比傳統(tǒng)方式更符合人眼視覺(jué)感知，其定義式如下：

其中：μ、σ分別為圖像像素的均值和標(biāo)準(zhǔn)差，σ2、σxy分別表示方差和協(xié)方差，C1＝（k1L）2，C2＝（k2L）2是維持穩(wěn)定的常數(shù)。SSIM≤1，SSIM值越大表示重建圖像質(zhì)量越好。

2.2.3 UIQM［21］

UIQM 是一種基于人類(lèi)視覺(jué)系統(tǒng)（HVS）的無(wú)參考水下圖像評(píng)價(jià)指標(biāo)，由3個(gè)測(cè)量指標(biāo)線性結(jié)合而成，分別是色彩（UICM）、清晰度（UISM）和對(duì)比度（UIConM），UIQM 的值越大，表示圖像質(zhì)量越佳，UIQM 如式（16）所示：

式中，c1、c2、c3為固定常數(shù)，分別設(shè)為0.028 2、0.295 3、3.575 3。

2.3 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證本文所提算法性能，本文算法與近年來(lái)所提出的EDSR、RCAN、BSRN、RFDN、IMDN、SwinIR［22］主流輕量級(jí)圖像超分辨率重建算法在相同的數(shù)據(jù)集上進(jìn)行性能及模型復(fù)雜度的比較。在數(shù)據(jù)集USR-248上，不同輕量級(jí)圖像超分辨率網(wǎng)絡(luò)中放大倍數(shù)分別為2 倍和4 倍的PSNR、SSIM、UIQM 對(duì)比如表1 所示，模型參數(shù)大小、網(wǎng)絡(luò)重建時(shí)間、浮點(diǎn)運(yùn)算量（FLOPs）對(duì)比如表2 所示。其中表中加粗字體為最優(yōu)數(shù)據(jù)。

表2 不同網(wǎng)絡(luò)模型大小、重建時(shí)間、浮點(diǎn)運(yùn)算量對(duì)比

2.3.1 網(wǎng)絡(luò)重建性能對(duì)比

從表1看出，在不考慮模型、參數(shù)的條件下，當(dāng)放大倍數(shù)為2時(shí)，RCAN 網(wǎng)絡(luò)的PSNR 和SSIM 結(jié)果最優(yōu)，EDSR 網(wǎng)絡(luò)的PSNR 和SwinIR 的SSIM 次之，除此之外，本 文與IMDN、RFDN、BSRN 三種輕量級(jí)超分辨率重建網(wǎng)絡(luò)相比，整體性能較優(yōu)，其中UIQM 值優(yōu)于所有網(wǎng)絡(luò)；當(dāng)放大倍數(shù)為4 倍時(shí)，本文方法的PSNR 值優(yōu)于其他所有網(wǎng)絡(luò)，與SwinIR、IMDN、RFDN、BSRN 四種輕量級(jí)網(wǎng)絡(luò)相比，SSIM 和UIQM 值均取得了較好的結(jié)果，其中與取得2022NTIRE挑戰(zhàn)賽冠軍方法的BSRN 網(wǎng)絡(luò)相比，PSNR 值提高了0.022dB。實(shí)驗(yàn)結(jié)果表明，本文算法在提高圖像對(duì)比度、飽和度方面能達(dá)到較好的重建效果。

2.3.2 網(wǎng)絡(luò)參數(shù)量、重建時(shí)間、浮點(diǎn)運(yùn)算量（FLOPs）分析

從表2可以看出，本文網(wǎng)絡(luò)的參數(shù)量、運(yùn)行時(shí)間、浮點(diǎn)運(yùn)算量均為最小，進(jìn)一步從輕量化方面表現(xiàn)出所提方法的優(yōu)越性。從模型參數(shù)量方面，在不同放大倍數(shù)下本文模型參數(shù)量?jī)H230K、250.77K，遠(yuǎn)小于所對(duì)比的其他網(wǎng)絡(luò)模型參數(shù)量，相比BSRN 模型減少了將近31%，相較于RFDN 參數(shù)量減少約45%，相較于IMDN 網(wǎng)絡(luò)參數(shù)量減少約67%，相較于SwinIR 網(wǎng)絡(luò)參數(shù)量減少約74%，相較于EDSR 網(wǎng)絡(luò)參數(shù)量減少約83%，相較于RCAN 網(wǎng)絡(luò)參數(shù)量的減少更是達(dá)到了98%以上。

從重建時(shí)間方面，本文網(wǎng)絡(luò)在不同放大倍數(shù)情況下重建時(shí)間均最短，BSRN 和RFDN 次之。放大倍數(shù)為2時(shí)每迭代一次僅需144 ms，放大倍數(shù)為4 時(shí)每迭代一次僅需277ms，所用時(shí)間不及EDSR 網(wǎng)絡(luò)的1／3，相比SwinIR 縮短了63%，相比IMDN 縮短了20%，相比RCAN 縮短了將近7倍。所有方法重建時(shí)間均是在GPU 顯存有部分占用的情況下測(cè)出，不同設(shè)備所測(cè)結(jié)果不同。

從浮點(diǎn)運(yùn)算量方面，在放大倍數(shù)為2倍和4倍時(shí)本文方法每幀的浮點(diǎn)運(yùn)算量?jī)H為92.2G、99.29G，相比EDSR、SwinIR 網(wǎng)絡(luò)減少了約4／5，相比IMDN 網(wǎng)絡(luò)減少了約3／5，相比AIM2020 冠軍方法RFDN 和NTIRE2022 冠軍方法BSRN 減少了約1／3，相比RCAN 網(wǎng)絡(luò)，本文的浮點(diǎn)運(yùn)算量的減少達(dá)到了97%。

2.3.3 不同通道注意力機(jī)制對(duì)網(wǎng)絡(luò)模型的影響

通道注意力機(jī)制的作用是給每個(gè)通道分配不同的權(quán)重以充分提取圖片中有用的特征信息，本文除了與現(xiàn)有方法進(jìn)行對(duì)比，還對(duì)比了CCA、SE［23］、ECA［24］3種通道注意力機(jī)制對(duì)網(wǎng)絡(luò)模型的影響，結(jié)果如表3所示，表中加粗字體為最優(yōu)數(shù)據(jù)。實(shí)驗(yàn)結(jié)果表明，3種通道注意力模塊的浮點(diǎn)運(yùn)算量相同，在模型參數(shù)方面，本文使用的CCA 模塊參數(shù)量最大，與ECA 模塊相差約5K，與SE模塊相差不到0.5K，在模型參數(shù)大小、浮點(diǎn)運(yùn)算量相差甚小的情況下本文所提方法PSNR、SSIM、UIQM 值都達(dá)到了最優(yōu)，其中在放大倍數(shù)為2 時(shí)，PSNR 值比使用ECA 注意力模塊提高了達(dá)0.9dB，因此本文模型在重建質(zhì)量和模型復(fù)雜度之間取得了更好的平衡。

表3 不同注意力機(jī)制對(duì)網(wǎng)絡(luò)模型的影響

2.3.4 網(wǎng)絡(luò)重建結(jié)果分析

在對(duì)比實(shí)驗(yàn)中，圖像實(shí)際的重建效果除了通過(guò)評(píng)價(jià)指標(biāo)進(jìn)行對(duì)比，還從視覺(jué)效果上與其他算法進(jìn)行比較。本文從USR-248測(cè)試集中選取四張高分辨率圖像，當(dāng)放大倍數(shù)為2時(shí)重建結(jié)果如圖8～9所示，當(dāng)放大倍數(shù)為4時(shí)重建結(jié)果如圖10～11所示，本文網(wǎng)絡(luò)重建效果與RFDN、BSRN網(wǎng)絡(luò)重建效果視覺(jué)上無(wú)明顯差異，效果良好，但是圖片整體存在過(guò)度平滑的情況，細(xì)節(jié)紋理不夠清晰。

圖8 不同算法對(duì)USR-248數(shù)據(jù)集中im＿xb＿22＿進(jìn)行2倍處理的效果

圖9 不同算法對(duì)USR-248數(shù)據(jù)集中im＿xb＿304＿進(jìn)行2倍處理的效果

圖10 不同算法對(duì)USR-248數(shù)據(jù)集中im＿xb＿1115＿進(jìn)行4倍處理的效果

圖11 不同算法對(duì)USR-248數(shù)據(jù)集中im＿xb＿7396＿進(jìn)行4倍處理的效果

綜上通過(guò)重建性能、模型參數(shù)量對(duì)比、重建時(shí)間對(duì)比、浮點(diǎn)運(yùn)算量對(duì)比以及網(wǎng)絡(luò)重建結(jié)果對(duì)比可以得知，在重建性能及視覺(jué)效果方面，所提方法落后于RCAN、EDSR，但是兩者之間差距并不大，PSNR 均值的整體差值不到0.1 dB，在實(shí)現(xiàn)高質(zhì)量重建性能的同時(shí)相比其他主流輕量級(jí)圖像超分辨率重建網(wǎng)絡(luò)，本文的參數(shù)量、重建時(shí)間、浮點(diǎn)運(yùn)算量成倍減少，大大減少了網(wǎng)絡(luò)規(guī)模、計(jì)算量及對(duì)硬件設(shè)備的要求，提升了運(yùn)算效率，綜合對(duì)比可知，本文方法在算法性能和網(wǎng)絡(luò)模型方面實(shí)現(xiàn)了更好的平衡，在實(shí)際應(yīng)用中更加具有競(jìng)爭(zhēng)力。本文網(wǎng)絡(luò)與EDSR、RCAN、SwinIR、IMDN、RFDN、BSRN 網(wǎng)絡(luò)的參數(shù)量、重建時(shí)間及浮點(diǎn)運(yùn)算量對(duì)比如圖12所示。

圖12 不同方法的參數(shù)量、重建時(shí)間及浮點(diǎn)運(yùn)算量對(duì)比

3 結(jié)束語(yǔ)

本文提出了一種基于藍(lán)圖可分離卷積的輕量級(jí)水下圖像超分辨率重建算法，首先使用藍(lán)圖卷積對(duì)圖像提取淺層特征，再通過(guò)級(jí)聯(lián)的特征提取模塊進(jìn)行深層特征提取，該模塊中去除了特征蒸餾分支、采用增加通道數(shù)進(jìn)行補(bǔ)償，同時(shí)利用3個(gè)藍(lán)圖卷積來(lái)進(jìn)行殘差局部特征學(xué)習(xí)以簡(jiǎn)化特征聚合，通過(guò)減少網(wǎng)絡(luò)層的數(shù)量和簡(jiǎn)化層之間的連接實(shí)現(xiàn)輕量化操作，最后進(jìn)行圖像的融合與重建，模型參數(shù)量、運(yùn)行時(shí)間浮點(diǎn)運(yùn)算量方面均優(yōu)于對(duì)比算法，實(shí)現(xiàn)輕量化的同時(shí)重建質(zhì)量也取得了較好的效果。本文方法應(yīng)用于水下領(lǐng)域，所使用的訓(xùn)練集是基于水下圖像，是否能在自然圖像集上取得好的效果即本文算法的泛化性還有待研究。