跨尺度多分支網(wǎng)絡的單幀圖像超分辨率重建

劉南艷，馬圣祥，魏鴻飛

西安科技大學 計算機科學與技術(shù)學院，西安 710699

超分辨率重建是當前計算機視覺領(lǐng)域的重要研究方向之一，受到國內(nèi)外研究者的廣泛關(guān)注。圖像超分辨率（super resolution，SR）重建技術(shù)是將一幅模糊的低分辨率（low resolution，LR）圖像通過一定的算法轉(zhuǎn)換成一幅高分辨率（high resolution，HR）圖像的過程。隨著社會發(fā)展和人們對于獲得高質(zhì)量圖像需求的不斷提高，超分辨率重建技術(shù)在生產(chǎn)生活的各個領(lǐng)域得到廣泛應用，如：醫(yī)學影像[1-4]、人臉識別[5-8]和衛(wèi)星成像[9-12]等領(lǐng)域，其中醫(yī)學影像中有大量相似的小細胞結(jié)構(gòu)，人臉中有許多相同的器官，衛(wèi)星圖像中存在相同的建筑設施，圖像中重復的結(jié)構(gòu)都能使用跨尺度來進行重建。目前超分辨率算法主要分為基于單幀圖像的超分辨率重建算法[13-18]和基于視頻的超分辨率重建算法[19-22]，本文主要研究基于單幀圖像的超分辨率算法。

1 相關(guān)工作

圖像超分辨率重建技術(shù)最早可以追溯到1964年提出的頻譜外推法，隨后由Tsai 和Huang[23]最先提出運用基于重構(gòu)方法中的頻域法來解決超分辨率重建問題，將低分辨率圖像和高分辨圖像進行傅里葉變換，使其在頻域之間建立線性關(guān)系來完成圖像重建，之后此類問題受到研究人員的廣泛關(guān)注。2002年，首次提出基于樣例方法的圖像自相似性超分辨率重建，揭開了樣例方法在超分辨率重建中的應用。然而傳統(tǒng)基于重構(gòu)和樣例學習的方法計算復雜而且不能有效恢復出原始圖像的信息，目前應用最廣的深度學習方法取得了不錯的結(jié)果，與傳統(tǒng)超分辨率重建技術(shù)相比，深度學習方法對于重建出來的圖像具有更好的視覺效果。

2014 年，Chao 等[24]提出了一種超分辨率卷積神經(jīng)網(wǎng)絡（super-resolution convolutional neural network，SRCNN）模型，該方法僅僅使用了三層卷積層，通過9×9的卷積核來提取一組特征映射，1×1的卷積核進行特征非線性映射和5×5 的卷積核結(jié)合空間鄰域內(nèi)預測來生成最終的高分辨率圖像。作為深度學習方法在SR技術(shù)中的開山之作，為圖像超分辨重建技術(shù)在深度學習方面應用奠定了基礎。為了解決之前SRCNN中重建時計算開銷大的問題，Chao 等[25]又在SRCNN 的基礎上進行改進，提出了一種加速超分辨率卷積神經(jīng)網(wǎng)絡（fast superresolution convolutional neural network，F(xiàn)SRCNN），雖然SRCNN 在超分辨率重建中取得了不錯的結(jié)果，但由于其大量的計算開銷阻礙實際應用，為此原來的研究團隊以卷積核大小和映射層數(shù)量互換，用卷積核減小換取映射層增多。這樣相較于之前提出的SRCNN雖然在效果上沒有得到很大提升，但是大幅度節(jié)省了計算開銷，實現(xiàn)超過40 倍的最終加速度，在不損失恢復圖像質(zhì)量的前提下實現(xiàn)模型更高訓練速度。為了解決之前方法重建之后圖像的效果與原圖像存在較大差距，Kim等[26]提出了一種高精度單圖像超分辨率（accurate image super-resolution using very deep convolutional network，VDSR）方法，借助VGG網(wǎng)絡的靈感，將網(wǎng)絡層數(shù)加深到20層，確實也取得了不錯的效果，但是隨著網(wǎng)絡層數(shù)的加深，收斂速度隨之受到制約，為此其引入殘差結(jié)構(gòu)[27]很好地避免了此問題，在計算開銷和視覺效果面均取得了不錯的成績，但是在基準數(shù)據(jù)集上的性能仍有一定的提升空間。隨后，Lim等[28]提出了增強的深度超分辨率網(wǎng)絡（enhanced deep residual network for single image super-resolution，EDSR），去除了SRResNet 中的批量歸一化（batch normalization，BN）層，從而可以通過加大模型結(jié)構(gòu)來提升性能。從SRCNN至今各種基于卷積網(wǎng)絡的重建算法層出不窮，隨著網(wǎng)絡結(jié)構(gòu)向著更深、更寬、更復雜方向發(fā)展，網(wǎng)絡模型對于圖像特征信息提取更加全面、具有更大的感受野，利用更多的特征信息也會得到更好的圖像質(zhì)量和視覺效果，但是正因為當前網(wǎng)絡過于復雜的結(jié)構(gòu)導致其計算開銷較高。

生成對抗網(wǎng)絡（generative adversarial network，GAN）[29-30]提出以后廣泛應用于圖像處理、模式識別等各個領(lǐng)域。該網(wǎng)絡將零和博弈的思想運用到訓練神經(jīng)網(wǎng)絡中，生成器根據(jù)隨機數(shù)來不斷創(chuàng)造出新的數(shù)據(jù)，進而生成一幅圖像去交給鑒別器，鑒別器嘗試去判斷生成器所發(fā)來數(shù)據(jù)的真實性，二者相互博弈，最后不斷優(yōu)化提升達到納什均衡。Ledig 等[31]首次提出將GAN 網(wǎng)絡運用于SR 技術(shù)中，其使用16 塊深度ResNet 針對MSE進行優(yōu)化，通過VGG 網(wǎng)絡特征圖上的計算損失替換MSE 內(nèi)容損失，同時提出了一種平均意見得分（mean opinion score，MOS）評價指標，在MOS 上取得了不錯的成績，為之后的研究者在SR 技術(shù)上開辟了另一條道路，但是對于標準的峰值信噪比（peak signal to noise ratio，PSNR）和結(jié)構(gòu)相似度（structural similarity，SSIM）評價指標，其重建結(jié)果并不如之前模型。為了解決SRGAN網(wǎng)絡在圖像重建過程中產(chǎn)生的偽影問題，Wang等[32]在SRGAN 網(wǎng)絡的基礎上提出了一種增強的超分辨生成對抗網(wǎng)絡（enhanced super-resolution generative adversarial network，ESRGAN），由于殘差密集塊具有易于訓練和更高容量的特點，因此將其引入原始SRGAN 網(wǎng)絡中，同時刪除了原有結(jié)構(gòu)中的BN 層，使得改進的網(wǎng)絡對于重建后的圖像具有更銳利的邊緣和更少的偽影，但是其對于圖像細節(jié)部分的重建質(zhì)量仍然不夠理想。

針對網(wǎng)絡模型計算復雜度高的問題，Ahn等[33]提出了一種級聯(lián)殘差網(wǎng)絡（fast，accurate，and lightweight super-resolution with cascading residual network，CARN）更加輕量化，然而該網(wǎng)絡的重建結(jié)果不夠理想。EDSR網(wǎng)絡因為其深層次的網(wǎng)絡結(jié)構(gòu)重建效果相對理想，然而巨大的計算開銷成為了該網(wǎng)絡的主要問題。為此本文提出了一種跨尺度多分支的超分辨率重建算法，在Urban100和Manga109公共數(shù)據(jù)集上優(yōu)于目前的重建模型，主要工作如下：

（1）構(gòu)建了一種跨尺度模塊，該模塊可以利用圖像中相似區(qū)域的相關(guān)性，通過圖像內(nèi)部的高分辨率區(qū)域來輔助重建圖像中相似的低分辨率區(qū)域，從而加強恢復圖像細節(jié)信息，提高圖像整體質(zhì)量，獲得更好的視覺效果。

（2）構(gòu)建了一個多分支網(wǎng)絡結(jié)構(gòu)，依據(jù)圖像自身具有的結(jié)構(gòu)特性，將不同復雜度的子圖像分別用不同網(wǎng)絡重建，來降低重建時的計算開銷。

（3）在Urban100 和Manga109 測試集上驗證該網(wǎng)絡的有效性。

2 跨尺度多分支網(wǎng)絡

2.1 跨尺度模塊

圖像內(nèi)部包含大量的資源信息，觀察圖像可以發(fā)現(xiàn)每張圖像中都有許多相似的邊角結(jié)構(gòu)。如圖1所示，建筑物圖像上有很多相同的窗戶，雖然這些窗戶在圖像中的遠近高低各不相同，但它們都有著相似的結(jié)構(gòu)。在超分辨率重建時可以考慮圖像中長距離特征的相似性，以加強恢復細小結(jié)構(gòu)的紋理信息。

圖1 圖像相似信息示意圖Fig.1 Information schematic of image similarity

卷積層可以對圖像中的特征進行提取，但是它提取了圖像中的全部特征，這樣大尺度區(qū)域與小尺度區(qū)域以同樣的方式被對待，導致圖像小尺度區(qū)域重建效果不理想，引入該模塊后可以利用提取到的大尺度區(qū)域特征輔助重建小尺度區(qū)域的紋理，為紋理信息分配更多的內(nèi)容，進而使得超分辨率重建之后的高清圖像在細節(jié)方面有更好的視覺效果，如圖2所示能看出卷積只是簡單提取出圖像中的特征信息，跨尺度模塊可以利用這些特征信息中的重復結(jié)構(gòu)來提升重建效果。

圖2 跨尺度模塊和卷積特征圖Fig.2 Feature maps of cross-scale modules and convolutional

非局部相關(guān)性可以通過總結(jié)整個圖像的相關(guān)特征來探索自我范式。在形式上，給定圖像特征映射X，非局部相關(guān)性定義為：

因此本文研究跨尺度相關(guān)性方法，把上面非局部相關(guān)性公式擴展到跨尺度相關(guān)性，首先尋找LR 圖像中小尺度區(qū)域和大尺素區(qū)域之間的相關(guān)性，然后學習大尺度區(qū)域與小尺度區(qū)域的映射關(guān)系來輔助重建圖像中小尺度區(qū)域。圖像重建的上采樣因子為s，給定一個大小為(W,H)的特征圖X，將特征圖X通過雙線性插值方式進行s倍下采樣得到新的特征圖Y，然后將X中p×p的小塊與下采樣后的Y中同樣大小的p×p小塊通過匹配函數(shù)進行匹配。再將所有X中提取到大小為(sp,sp)的特征塊進行加權(quán)相加，得到大小為(sW,sH)的特征塊Z輔助X進行重建，跨尺度重建公式為：

如圖3所示為跨尺度模塊的網(wǎng)絡結(jié)構(gòu)圖，其中藍色的框內(nèi)主要用于跨尺度相似性匹配，藍色框上面的分支是從LR 圖像中提取原始的大尺度特征塊，由于空間維度的差異性，使用特征相似性的度量方式是不可行的，需要將X進行下采樣得到對應的低分辨率圖像Y，在Y中搜尋多個與X特征相似的特征塊，利用該特征的信息就能找到需要輔助重建的大尺度特征塊。

圖3 跨尺度模塊結(jié)構(gòu)Fig.3 Module structure of cross-scale

圖像通過跨尺度模塊提取特征之后，將輸出結(jié)果擴大到對應上采樣倍數(shù)的圖像尺寸，實現(xiàn)由小尺度到大尺度的映射操作。

如圖4 所示，在不同上采樣因子下，將卷積生成的r2個小尺度特征圖重新排列組合，重構(gòu)放大后得到的SR圖像。該算子可以描述為：

圖4 小尺度與大尺度映射關(guān)系Fig.4 Mapping relationships of small-scale and large-scale

其中ISR是小尺度SR 后的空間張量。XL為小尺度特征圖，w和b是可學習的網(wǎng)絡權(quán)值和偏差。PS()· 是一個周期變換算子，它將一個形狀為h×w×c·r2的張量重新排列成形狀為hr×wr×c的張量，以實現(xiàn)上采樣。

本文使用L1損失函數(shù)來計算重建后的小尺度區(qū)域與大尺度區(qū)域之間的誤差，公式可以表示為：

其中IL為上文中大尺度特征Z的空間張量，N為樣本點個數(shù)。

2.2 多分支網(wǎng)絡

通過觀察可以發(fā)現(xiàn)每幅圖像都包含復雜的紋理區(qū)域和稀疏的平滑區(qū)域，對于超分辨率重建而言，平滑區(qū)域比復雜區(qū)域更容易處理，利用這一特性，可以在重建一整幅大圖像時采用適當?shù)腟R網(wǎng)絡來處理不同區(qū)域的子圖像。如圖5 所示，簡單的網(wǎng)絡處理平滑區(qū)域（綠色），復雜的網(wǎng)絡處理紋理區(qū)域（紅色），黃色區(qū)域復雜度介于前兩者之間。

圖5 圖像分區(qū)域示意圖Fig.5 Area schematic of image division

如圖7所示，分別展示了3種分支的網(wǎng)絡結(jié)構(gòu)，輕量級網(wǎng)絡CARN 通過在局部和全局中使用級聯(lián)機制集成多個網(wǎng)絡層的特性，以cascading block作為網(wǎng)絡的主要結(jié)構(gòu)，來反映不同級別的輸入表示，以便于接收更多的信息。

圖6 整體網(wǎng)絡結(jié)構(gòu)Fig.6 Overall network structure

圖7 CARN、EDSR和CSSR這3種重建分支網(wǎng)絡結(jié)構(gòu)Fig.7 Three reconstructed branch network structures of CARN，EDSR and CSSR

EDSR 網(wǎng)絡將原始殘差結(jié)構(gòu)進行改進，得到該網(wǎng)絡的ResBlock 結(jié)構(gòu)，通過堆疊16 層ResBlock 結(jié)構(gòu)來加強圖像的對比度信息，提升網(wǎng)絡輸出質(zhì)量。

針對于紋理細節(jié)信息的恢復本文提出在EDSR 網(wǎng)絡的殘差結(jié)構(gòu)中引入跨尺度模塊（cross-scale block，CSBlock），專門處理復雜子圖像中的相似邊、角等結(jié)構(gòu)，得到CSSR 網(wǎng)絡的主要結(jié)構(gòu)跨尺度殘差塊（cross-scale residual block，CS ResBlock）。

為了加強網(wǎng)絡對于細節(jié)信息的捕獲能力，提升網(wǎng)絡超分辨率后圖像的質(zhì)量，本文在EDSR中每個ResBlock內(nèi)部的卷積層提取完特征之后引入CS Block，該模塊針對細節(jié)部分提供更多的信息輔助重建，防止圖像中細節(jié)信息丟失，提升特征對于高頻信息的表達能力，加強圖像重建后的視覺效果。相比CARN、EDSR 在殘差內(nèi)部結(jié)構(gòu)的改進有所不同，如圖8 是3 種網(wǎng)絡的殘差結(jié)構(gòu)內(nèi)部進行對比，從圖中可以看出CARN 方法將原始殘差結(jié)構(gòu)內(nèi)部的深度卷積替換成了分組卷積，選擇適合的分組大小來降低參數(shù)得到該網(wǎng)絡的殘差結(jié)構(gòu)，隨后EDSR將傳統(tǒng)方法中的BN層去除，因為BN層對于網(wǎng)絡特征的規(guī)范限制了網(wǎng)絡的靈活性，本文將CS Block 與ResBlock相結(jié)合，得到用圖像自身相似結(jié)構(gòu)來重建圖像的CS ResBlock，提升圖像中細節(jié)信息的重建能力。

圖8 本文方法與傳統(tǒng)方法殘差結(jié)構(gòu)對比Fig.8 Comparison of residual structure of proposed method and traditional method

3 實驗結(jié)果及分析

3.1 實驗數(shù)據(jù)及環(huán)境

為了獲得更高質(zhì)量的重建圖像，本文采用DIV2K[34]數(shù)據(jù)集對該網(wǎng)絡模型進行訓練，該數(shù)據(jù)集中總共包含1 000 張約2 000 像素分辨率的RGB 三通道圖像，選用其中的800張圖像用于訓練，同時為了便于與經(jīng)典網(wǎng)絡模型在峰值信噪比和結(jié)構(gòu)相似度評價指標上進行對比，本實驗網(wǎng)絡模型選用Urban100 測試集和Manga109測試集中進行測試，其中Urban100 測試集主要以建筑為主，包含各類相似結(jié)構(gòu)的建筑設施圖像數(shù)據(jù)集，Manga109數(shù)據(jù)集是以動漫為主要圖像的數(shù)據(jù)集。

本次實驗首先對訓練圖像進行預處理，將DIV2K數(shù)據(jù)集中的高分辨率圖像通過Bicubic 算法進行0.6、0.7、0.8 和0.9 倍的下采樣生成更多的HR 圖像，以增大訓練時的數(shù)據(jù)量，對這些圖像進行進一步的下采樣生成LR 圖像，然后從LR 圖像中裁剪尺寸為32×32 的子圖像，接下來輸入網(wǎng)絡中進行訓練。訓練過程中的批量大小設置為16，使用L1損失函數(shù)和Adam 優(yōu)化器進行訓練，其中β1=0.9，β2=0.999，通過余弦退火策略來調(diào)整訓練速率，初始學習速率設置為10-3，最小的學習速率設置在10-7。在測試過程中，將LR 圖像裁剪成32×32 的子圖像，步長為28，通過將4 個像素點的重疊區(qū)域進行平均，以免重建后的圖像出現(xiàn)明顯分割痕跡。

PSNR 作為重建圖像的評價標準，一方面可以看出圖像的重建難度，另一方面可以反映圖像紋理結(jié)構(gòu)的復雜程度。如圖9所示，通常PSNR值高的圖像比較平滑，PSNR 值低的圖像具有復雜的紋理，本文通過大量實驗后選用PSNR 值為27.16dB 和35.15dB 作為分割子圖像的依據(jù)，從圖中可以看出取得了不錯的效果。

圖9 子圖像分類示意圖Fig.9 Classification schematic of sub-image

為了保證實驗質(zhì)量，本次實驗均采用統(tǒng)一的硬件配置，其中操作系統(tǒng)為Ubuntu 系統(tǒng)，處理器為AMD EPYC 7642 48-Core Processor，顯卡為NVIDIA GeForce RTX3090，并在Python3.6.13、CUDA11.0 環(huán)境配置下運行，選用Pytorch1.7.0作為深度學習框架。

3.2 實驗評價指標

通常圖像在放大或壓縮前后會出現(xiàn)不同程度的誤差，為了客觀地展現(xiàn)出超分辨后的圖像與原始圖像之間存在的差距，比較不同超分辨模型之間重建圖像質(zhì)量的區(qū)別，本文通過主觀和客觀兩種不同方式對重建圖像的質(zhì)量進行評價。首先采用峰值信噪比和結(jié)構(gòu)相似度對生成的圖像進行客觀評估，這兩種方式是目前超分辨率重建方式中最普遍和廣泛使用的客觀評價指標，同時為了驗證該模型良好的計算效率，本文使用浮點計算數(shù)來衡量模型計算的復雜度，對比突出多分支方法與以往單一分支方法計算復雜度的不同。

峰值信噪比是通過對比處理前后圖像中對應像素點之間的差距進行計算來評估圖像重建后的質(zhì)量，其計算表達式為：

其中，n為每像素之間的比特數(shù)，一般圖像灰階數(shù)為256，因此n通常取8，MSE為超分辨率重建前后圖像的均方誤差。由公式可以看出，重建前后圖像的峰值信噪比越大，說明圖像失真越少，PSNR單位為dB。

與峰值信噪比不同，結(jié)構(gòu)相似度是從圖像亮度、對比度和結(jié)構(gòu)三個方面來判斷輸出圖像與原始圖像之間的相似性，其計算表達式為：

其中，ux、uy表示圖像x、y的均值，σx、σy表示圖像x、y的方差，σxy表示圖像x、y的協(xié)方差，C1、C2、C3為常數(shù)。

標準的客觀評價指標雖然可以計算出圖像重建前后的失真情況，但是其并沒有考慮到人眼觀察圖像的視覺感受，往往人眼對于圖像中像素點之間的差異敏感度較高，會出現(xiàn)客觀評價指標與人眼主觀感受不一致的情況。為此本文中新增加主觀評價指標，任意尋找50 名參與者，從其他模型和本文模型的實驗結(jié)果中各選取3幅重建圖像，參與者在不被告知模型的情況下根據(jù)自己主觀感受對比不同模型重建后的圖像與原始圖像進行打分，最終計算出參與者對于每張圖像的平均分進行對比。

圖像超分辨率重建技術(shù)除了衡量圖像質(zhì)量以外，其計算效率也是重要的衡量指標之一，高效、準確地重建出目標圖像是當前該領(lǐng)域的重要目標，所以不僅僅要追求更好的視覺效果，對于批量處理圖像時計算效率也是應當考慮的因素。因此本文采用浮點計算數(shù)（floating point operations，F(xiàn)LOPs）作為衡量模型重建圖像計算復雜度的標準，F(xiàn)LOPs的計算公式如下：

其中，HW代表輸出圖像特征圖的大小，Cin代表輸入圖像的通道數(shù)，Cout為輸出圖像的通道數(shù)，K代表卷積核的大小。

3.3 實驗結(jié)果與分析

3.3.1 客觀評價

為了驗證平滑區(qū)域圖像使用輕量級網(wǎng)絡CARN、較復雜區(qū)域圖像使用EDSR 網(wǎng)絡與使用單一跨尺度網(wǎng)絡重建之間可以獲得大致相同的效果，選用3種不同分類的子圖像分別放入CARN、EDSR 和CSSR 網(wǎng)絡進行重建，再將3類子圖像全部放入CSSR網(wǎng)絡進行重建，對比重建后的峰值信噪比。

如表1 所示，可以發(fā)現(xiàn)CARN 和CSSR 網(wǎng)絡重建平滑子圖像幾乎沒有差異，在較復雜子圖像上，EDSR 與CSSR網(wǎng)絡同樣獲得大致相同的性能。因此說明了通過多分支網(wǎng)絡分區(qū)域重建圖像來節(jié)約計算成本的有效性，且產(chǎn)生圖像的質(zhì)量大致相同。

表1 不同子圖像在3種分支下的PSNR對比Table 1 Comparison of PSNR of different sub-images under three branches單位：dB

為了進一步驗證實驗的有效性，本文將文中方法與當前的經(jīng)典網(wǎng)絡重建圖像效果進行對比，其中包括：Bicubic、SRCNN、VDSR、CARN、SRGAN、EDSR。同時將本文中提出的跨尺度單分支網(wǎng)絡（CSSR）與跨尺度多分支網(wǎng)絡（M-CSSR）也進行了比較，在Urban100數(shù)據(jù)集和Manga109 數(shù)據(jù)集上分別對2 倍、3 倍和4 倍放大因子超分辨率重建對比峰值信噪比和結(jié)構(gòu)相似度，結(jié)果如表2 和表3 所示，其中粗體字顯示為當前比較中的最優(yōu)結(jié)果。

表2 不同算法在Urban100和Manga109數(shù)據(jù)集上PSNR測試結(jié)果Table 2 PSNR test results of different algorithms on Urban100 and Manga109 datasets單位：dB

表3 不同算法在Urban100和Manga109數(shù)據(jù)集上SSMI測試結(jié)果Table 3 SSMI test results of different algorithms on Urban100 and Manga109 datasets

從表中可以看出文中方法與其他方法相比具有更高的PSNR和SSMI，其中客觀結(jié)果表明SRCNN算法作為最初應用于深度學習領(lǐng)域的超分辨率算法，其理論是開創(chuàng)性的，但是重建效果不夠理想，隨后出現(xiàn)的深度學習超分辨率重建的在網(wǎng)絡深度和寬度上都有一定程度的提升，VDSR、CARN和EDSR通過對網(wǎng)絡結(jié)構(gòu)的優(yōu)化和對網(wǎng)絡層數(shù)的加深，使得它們在客觀評價指標上均有一定的提高，SRGAN 通過使用生成對抗網(wǎng)絡完成重建使性能得到一定提升，同時也為超分辨重建開辟了一種新的思路。

相較于前幾種方法，文中算法在Urban100 和Manga109數(shù)據(jù)集上，PSNR和SSMI兩種客觀評價指標中都取得了不錯的結(jié)果。本文也將單一的跨尺度網(wǎng)絡與跨尺度多分支網(wǎng)絡結(jié)構(gòu)進行了比較，從結(jié)果中可以看出多分支結(jié)構(gòu)與其單分支結(jié)構(gòu)在峰值信噪比和結(jié)構(gòu)相似度上略有差距，但是其差距并不明顯，這兩種數(shù)據(jù)集包含了豐富的重復塊，例如一些邊、小角，證明跨尺度非局部模塊可以利用圖像的內(nèi)部信息提升重建效果，從而表明關(guān)注內(nèi)部資源輔助重建是有效的。

傳統(tǒng)的重建方法旨在通過更深的網(wǎng)絡結(jié)構(gòu)、更寬的網(wǎng)絡寬度來得到更好的視覺效果，這種考慮方式不夠全面，良好的視覺效果往往承受著巨大的計算代價。因此在考慮圖像峰值信噪比和結(jié)構(gòu)相似度的提升時，還應當將計算開銷作為重要的關(guān)注點，這樣可以更全面的衡量模型的重建性能。本文用Urban100 和Manga109 測試集中圖像重建的浮點計算數(shù)、實時性和模型參數(shù)量3個方面衡量模型的性能，如表4所示。從表中可以看出本文方法CSSR在EDSR的ResBlock中構(gòu)建了CS Block，因此CSSR網(wǎng)絡相較于EDSR網(wǎng)絡在參數(shù)上增加了0.6×106，實時性略微降低，重建時間增加了0.12 s。然而多分支結(jié)構(gòu)的M-CSSR 網(wǎng)絡重建圖像的實時性大幅度提升，單幅圖像重建時間比CSSR 減少了0.28 s，比EDSR減少了0.16 s?？傮w來說，本文方法從參數(shù)、浮點計算數(shù)和實時性方面整體優(yōu)于EDSR方法。同時可以看出，子圖像劃分的數(shù)量對計算開銷也有一定的影響，Manga109測試集中存在的平滑區(qū)域比Urban100 測試集相對多，因此在劃分子圖像時Manga109測試集被劃分到簡單類別的子圖像更多，重建時僅需要原來浮點計算數(shù)的53%，而Urban100測試集浮點計算數(shù)只減少為原來的56%。

表4 不同模型性能對比結(jié)果Table 4 Performance comparison results of different models

3.3.2 主觀評價

為了更好地體現(xiàn)不同峰值信噪比和結(jié)構(gòu)相似度在圖像中呈現(xiàn)出來的差距，本文從實驗結(jié)果中選取3張高清圖像，通過對于圖像中的局部區(qū)域進行放大，對比不同方法在這三張圖像的重建效果。高頻信息是圖像中顏色變化快的區(qū)域，例如圖10 中建筑物的窗戶與墻面之間的邊緣部分?？梢詮膱D中看出Bicubic重建出的圖像相對模糊，重建效果與HR圖像差距較大，對于低頻信息與高頻信息的捕獲能力均不夠理想。雖然CARN 方法相較于Bicubic 方法有所改進，但是其整體重建效果仍然模糊。隨后提出的EDSR 方法挖掘低頻信息能力方面有所改進，從圖中可以看出對于整體墻面的重建效果相對理想，但是圖像中沒有很好地利用內(nèi)部信息對細小的結(jié)構(gòu)進行輔助重建，仍然無法挖掘到顏色變化快的高頻區(qū)域，如圖中窗戶與墻面之間的窗臺區(qū)域，導致圖像看上不夠自然。因此，本文方法中的CS block 利用圖像中內(nèi)部資源的跨尺度相關(guān)性，主要針對前幾種經(jīng)典方法中挖掘高頻信息不足，紋理細節(jié)區(qū)域重建效果不理想等問題進行改善，同時使圖像變得更加自然和真實，可以看出本文方法在圖像中墻面與窗戶等相關(guān)邊界區(qū)域呈現(xiàn)出更多的信息。總體來看，本文方法從視覺效果上比以往方法更具有優(yōu)勢。

圖10 不同模型重建結(jié)果Fig.10 Reconstruction results of different models

同時，本文針對以上3幅圖像采用主觀打分的方式進行評價，將以上3幅圖像中對應的放大區(qū)域進行隨機排列且不被告知圖像模型名稱，讓參與者僅憑借其主觀感受，對不同模型從1 至10 分中進行打分，最終計算出50位參與者在不同模型上的平均得分來進行比較，如表5所示。

4 結(jié)語

本文主要針對當前超分辨率模型紋理結(jié)構(gòu)不清晰、細節(jié)信息不明顯和網(wǎng)絡過深導致重建計算成本過高的問題進行研究，提出了一種跨尺度多分支網(wǎng)絡的單幀圖像超分辨率重建方法。該模型依據(jù)不同區(qū)域圖像重建難度不同，通過多分支網(wǎng)絡的方式解決深度模型重建圖像時計算成本過高的問題。此外在殘差結(jié)構(gòu)內(nèi)部通過跨尺度模塊，利用圖像內(nèi)部信息輔助重建圖像中大量的細節(jié)區(qū)域，能使圖像看起來更加真實自然、紋理細節(jié)更加清晰。

為了體現(xiàn)本文的超分辨率模型相比于以往超分辨率模型的優(yōu)勢，采用客觀評價與主觀評價相結(jié)合的方式對不同模型進行比較，在兩個公開數(shù)據(jù)集上對它們之間峰值信噪比和結(jié)構(gòu)相似度進行比較，同時采用主觀評分的方式對模型重建圖像的視覺效果進行評價。為了體現(xiàn)多分支結(jié)構(gòu)可以降低模型的計算成本，本文采用浮點計算數(shù)對模型的復雜程度進行了比較，最終對比表明本文模型不僅能夠有效恢復超分辨率圖像的紋理細節(jié)部分，使圖像重建后更加真實自然，具有更好的復原效果，而且模型計算復雜度相比于經(jīng)典方法有所減少。