非局部多尺度融合的單幀圖像超分辨率重建

陳 蓉, 李翠華

(1.西藏民族大學信息工程學院,陜西 咸陽 712082；2.廈門大學信息學院,福建 廈門 361005)

圖像超分辨率重建是一類典型的不適定性科學問題.根據(jù)輸入圖像的張數(shù),圖像超分辨率重建通常分為兩類問題：單幀圖像超分辨率重建(single image super-resolution reconstruction,SISR)和多幀圖像超分辨率重建(multiple image super resolution reconstruction,MISR)問題.本文研究的是SISR技術(shù),對輸入的單張質(zhì)量差的低分辨率(low-resolution,LR)觀測圖像,重建出一張具有良好客觀質(zhì)量和視覺效果的高分辨率(high-resolution,HR)圖像.使用SISR技術(shù)生成的圖像也稱之為超分辨率重建圖像.常用的評價圖像超分辨率重建質(zhì)量的客觀評價標準有峰值信噪比(peak signal-to-noise ratio,PSNR)和結(jié)構(gòu)相似性(structural similarity,SSIM),PSNR側(cè)重比較重建圖像與原始HR圖像在圖像像素點上的差異，SSIM側(cè)重評價兩者在結(jié)構(gòu)上的相似程度.通常而言,具有高的PSNR和SSIM指標值的重建算法被認為其重建結(jié)果是良好的.而另一類評價標準——主觀評價標準則在兩者的圖像紋理細節(jié)上進行比較,豐富的圖像紋理被認為其重建結(jié)果是良好的.圖像超分辨率重建技術(shù)已被廣泛應用于計算機視覺處理、醫(yī)療圖像處理、公共安全監(jiān)控、遙感圖像處理、數(shù)字娛樂等領(lǐng)域.

由于深度學習能很好地模擬人腦神經(jīng)結(jié)構(gòu),它在各類計算機視覺任務(wù)，如圖像復原、圖像分割、目標檢測、分類識別以及跟蹤等方面，都取得了遠遠超過傳統(tǒng)機器學習方法在這些任務(wù)上的成績.因此,深度學習受到國內(nèi)外學者的廣泛關(guān)注.在圖像超分辨率重建任務(wù)上,相比于傳統(tǒng)的圖像超分辨率重建算法,基于深度學習的超分辨率重建模型(簡稱為深度超分模型)能很好地模擬人腦神經(jīng)結(jié)構(gòu),無須任何圖像預處理操作,具有重建質(zhì)量更高、重建速度更快等優(yōu)點,也是目前圖像超分辨率重建問題的熱門研究方法[1-5].

目前深度超分模型的研究熱點多關(guān)注如何提升超分模型的重建精度,比如采用更深的網(wǎng)絡(luò)層數(shù)或更有效的網(wǎng)絡(luò)模塊,出現(xiàn)了一大批研究成果,代表性的深度超分模型有:SRCNN(super-resolution convolutional neural network)[6]、VDSR(very deep convolutional network for super-resolution)[7]、EDSR(enhanced deep super-resolution network)[8]、WDSR(wide activation for efficient and accurate image super-resolution)[9]、DBPN(deep back-projection networks for super-resolution)[10]和RCAN(very deep residual channel attention networks)[11].其中，Dong等[6]提出首個深度超分模型SRCNN,該模型是基于卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu),只包含3個簡單的卷積層,但其性能卻已超越傳統(tǒng)的超分辨率重建算法，如基于稀疏字典表示[12]、樣例學習[13]、支持向量機[14]和高斯過程回歸[15]等方法.Kim等[7]提出VDSR模型,用殘差學習的思想訓練網(wǎng)絡(luò),為了將整個模型用于學習圖像的殘差信息,其模型深度達到20層；在加深網(wǎng)絡(luò)層數(shù)的同時，為了使訓練和重建速度也有大幅提升，在網(wǎng)絡(luò)的每個卷積層上使用很小的濾波核(如3×3).在VDSR的基礎(chǔ)上,Lim等[8]提出的EDSR模型通過堆疊更多的改進殘差模塊提升模型的精度,每個殘差模塊都去掉了兩個卷積層中間的批歸一化層,其深度達到65層以上.同時,為了保證模型的訓練穩(wěn)定性,EDSR提出殘差因子的概念,用于幫助穩(wěn)定訓練.Yu等[9]提出WDSR模型,采用兩種寬激活模塊替換EDSR的殘差模塊,在保持殘差模塊的輸入輸出特征不變的情況下,擴張非線性激活層前的卷積層輸出特征和收縮非線性激活層后的卷積層輸出特征,并通過實驗驗證了其模型的有效性.Haris等[10]提出DBPN模型,學習迭代的高低分辨率特征組,獲取了更有效的高低分辨率特征映射關(guān)系.Zhang等[11]提出RCAN模型,它的核心模塊是多個卷積組,每個卷積組由多個帶通道注意力的殘差模塊組成.這些不斷涌現(xiàn)的新模塊和訓練策略提升了深度超分模型的重建精度.

圖1 NFSR模型結(jié)構(gòu)圖Fig.1 Model structure diagram of NFSR

上述的深度超分模型(如VDSR[7]、EDSR[8]、RCAN[11])常使用多個模塊的串聯(lián),未能充分使用各層特征之間的上下文關(guān)聯(lián)信息.借鑒非局部均值濾波,可以有效地獲取圖像塊的上下文信息.Wang等[16]設(shè)計了基于非局部神經(jīng)網(wǎng)絡(luò)(non-local neural network,NLNN) 的深度結(jié)構(gòu).網(wǎng)絡(luò)中定義的非局部模塊將輸入特征圖所有位置上的特征加權(quán)得到查詢點位置上的特征,非局部模塊能讓網(wǎng)絡(luò)更關(guān)注目標的位置,忽略其他不重要的信息,但卻存在計算量巨大、訓練速度慢等問題.Hu等[17]提出SE(squeeze-excitation)模塊,通過自適應學習到輸入通道特征圖的權(quán)重值,再將權(quán)重加權(quán)到原輸入通道特征圖形成新的通道特征圖.非局部模塊和SE模塊都基于非局部均值思想,但是后者的計算復雜度更低,可以作用在網(wǎng)絡(luò)的每層上.而在NLNN中,由不同的查詢點計算得到的非局部圖像塊特征都一樣,即輸入?yún)^(qū)域與計算得到的特征無關(guān).根據(jù)此發(fā)現(xiàn),Cao等[18]對非局部模塊進行簡化,并結(jié)合全局上下文(global context,GC)框架和SE模塊,提出GC模塊,GC模塊大大簡化了原非局部模塊的計算復雜度.

為了整合特征的空間上下文信息,受到文獻[9,11,16,18-19]等的啟發(fā),本文設(shè)計了一個端到端的基于非局部多尺度融合的超分辨率重建(nonlocal and multi-scale fusion for image super-resolution,NFSR)模型.該模型集成了3種核心模塊: 非局部模塊、多尺度融合模塊、寬激活殘差模塊.其中,非局部模塊、多尺度模塊共同作用,增強特征在空間中的上下文關(guān)聯(lián); 非局部模塊用于獲取圖像的全局特征,關(guān)注目標的核心區(qū)域; 多尺度融合模塊用于對多尺度特征做特征融合; 寬激活殘差模塊增加非線性激活層前的特征圖數(shù)量來提升模型精度.

1 NFSR模型

本節(jié)介紹NFSR模型,NFSR的模型結(jié)構(gòu)、實現(xiàn)流程和損失函數(shù)定義如下.

1.1 模型結(jié)構(gòu)

NFSR模型采用多種模塊: 卷積組模塊、寬激活殘差模塊、多尺度融合模塊和非局部模塊,它的框架如圖1所示.卷積組模塊使用RCAN[11]的卷積組模塊.在此基礎(chǔ)上,引入寬激活殘差模塊[9]、非局部模塊[18]和多尺度融合[19]模塊.每個卷積組中的寬激活殘差模塊使用WDSR[9]模型的WDSR-A模塊.多尺度融合模塊加入卷積組中的最后一層,用于融合卷積組內(nèi)的特征.在上采樣模塊前,所有的卷積組模塊后,用非局部模塊獲取輸入圖像的全局上下文特征.

圖1中,NFSR模型的數(shù)據(jù)處理流程為: 輸入LR圖像,經(jīng)過淺層特征提取、多個卷積組特征提取、非局部模塊、卷積、高層特征與淺層特征相加、上采樣,得到輸出的HR圖像(即重建的SR圖像).分別定義ILR、ISR為網(wǎng)絡(luò)輸入的LR圖像和重建的SR圖像.其中,淺層特征提取層用1個卷積操作H0提取淺層特征F0，卷積組特征提取層使用多個卷積組操作HGF提取卷積組特征FGF， 非局部特征提取層使用一個非局部特征提取操作HNL提取非局部特征FNL， 高層特征提取層用1個卷積操作HC提取高層特征FC， 將低層特征和非局部特征相加后的特征再進行特征提取，圖像重建層用上采樣操作HR重建高層特征生成HR圖像ISR.

1.2 模塊介紹

本節(jié)重點描述NFSR中的卷積組模塊和3種模塊的結(jié)構(gòu)和原理.

1.2.1 卷積組模塊

(1)

(2)

圖2 卷積組模塊結(jié)構(gòu)Fig.2 Structure of convolution group module

1.2.2 3種模塊

寬激活殘差模塊、非局部模塊和多尺度模塊的內(nèi)部結(jié)構(gòu)如圖3所示.

寬激活殘差模塊圖3(a)給出了寬激活殘差模塊的內(nèi)部結(jié)構(gòu).寬激活殘差模塊是對EDSR模型中的殘差模塊的改進,其核心思想是在殘差模塊的非激活線性層前增加特征圖的通道數(shù).它的輸入為64個通道的特征圖,在非線性激活層前變?yōu)?28個通道的特征圖,輸出層再將特征圖變回為64個通道.最后,得到的新特征圖與原輸入特征圖進行相加.

非局部模塊圖3(b)描繪了非局部模塊的內(nèi)部結(jié)構(gòu),其輸入為FGF∈RC×H×W，其中C代表通道數(shù)，H代表圖像的高度，W代表圖像的寬度，r代表通道壓縮率.該模塊采用Cao等[18]提出的全局上下文GC模塊,其核心是在GC的框架中嵌入簡化版非局部模塊和SE模塊.最終形成的GC模塊可對每一個查詢位置上形成特定查詢,并在每個查詢點上計算通道注意力,它的計算復雜度為位置點數(shù)量的二次方.GC模塊由特征的注意權(quán)重αj、轉(zhuǎn)換函數(shù)Ψ(.)和GC特征與每個位置的特征相加操作組成,非局部模塊的輸出FNL可以用公式表示如下:

FNL=FGF+Ψ(A⊙FGF)，

(3)

Ψ(.)=W2(fReLU(fLN(W1(.))))，

(4)

(5)

圖3 3種模塊的內(nèi)部結(jié)構(gòu)圖Fig.3 Internal structure diagram of 3 modules

多尺度融合模塊結(jié)構(gòu)如圖3(c)所示.輸入特征經(jīng)過兩次下采樣過程,每次下采樣倍數(shù)為2.先定義下采樣2倍為初始特征，整個多尺度融合模塊包含3次特征融合過程,分別為: (i) 下采樣2倍后,再上采樣2倍，經(jīng)過卷積操作，與初始特征相加得到第一次融合特征F1; (ii) 將(i)的特征進行上采樣2倍，經(jīng)過卷積操作，與輸入特征相加得到第二次融合特征F2;(iii) 將(ii)的特征進行卷積操作,得到最終的融合特征F3.

假設(shè)輸入的特征為F,將該特征的下采樣2倍的操作分別記為F↓2操作,將特征的上采樣2倍的操作記為F↑2操作,定義初始特征F0=F↓2，圖3(c)中經(jīng)過3次特征融合過程,特征融合后的特征分別定義為F1、F2、F3， 它們的計算公式如下:

F1=H1((F0↓2)↑2)+F0,

(6)

F2=H2(F1↑2)+F,

(7)

F3=H3(F2),

(8)

其中,H1、H2、H3分別表示第1、2、3次特征融合的卷積操作.

1.3 損失函數(shù)

模型NFSR的損失函數(shù)使用L1損失,定義如下:

(9)

2 實驗結(jié)果與分析

為了驗證本文所提模型的有效性,本節(jié)進行了以下實驗: 首先是雙3次(Bicubic)插值降采樣圖像的圖像超分辨率重建實驗; 然后是中高層視覺(圖像分割與目標檢測)實驗.

2.1 圖像超分辨率重建實驗

2.1.1 數(shù)據(jù)集

和RCAN模型[11]一樣，訓練數(shù)據(jù)集使用DIV2K 2017[20]中的Bicubic插值降采樣圖像對,共900張圖像.其中,訓練集有800張,驗證集有100張.測試使用常用的5個SR測試數(shù)據(jù)集,分別是: Set5、Set14、BSD100、Urban100、Manga109.

2.1.2 模型的配置與訓練參數(shù)

NFSR模型采用10個卷積組模塊,每個組又分別用了20個寬激活殘差模塊.輸入的LR圖像大小為48×48,HR圖像大小為192×192,模型重建4倍放大.對全部訓練樣本做一輪訓練為一次完整迭代(epoch),模型訓練的總epoch為500輪.初始學習率為10-4,經(jīng)200輪epoch后,學習率下降一半,之后每100輪epoch下降一次.使用ADAM優(yōu)化器進行模型優(yōu)化,優(yōu)化參數(shù)β1=0.9,β2=0.999.

模型采用的深度學習框架為PyTorch 1.1.0,評價指標的測試環(huán)境為Matlab R2015b,訓練GPU環(huán)境為NVIDIA RTX2080 TI，測試GPU環(huán)境為NVIDIA RTX2080,Ubuntu 16.04系統(tǒng).

2.1.3 與先進模型的定性定量對比結(jié)果

模型NFSR訓練了兩個重建放大倍數(shù): 2倍和4倍放大.在2倍放大時,比較算法和模型有: Bicubic、VDSR[7]、RCAN*[11](*代表重新訓練); 在4倍放大時的模型比較中,增加了SRCNN[6]、EDSR[8]和DBPN[10]模型.

表1給出了2倍和4倍放大時,NFSR與以上模型在5個數(shù)據(jù)集上的定量結(jié)果比較.NFSR+是模型NFSR的增強版本,是將NFSR在8個翻轉(zhuǎn)方向上的重建結(jié)果做平均.RCAN*+ 是模型RCAN*的增強版本,增強方法同模型NFSR+.從2倍和4倍放大的比較結(jié)果上看,NFSR+在5個基準數(shù)據(jù)集上均取得了最高的精度,模型RCAN*+的定量結(jié)果位居第二.而在2倍放大上,模型NFSR在Set14和BSD100數(shù)據(jù)集上的定量結(jié)果的值比模型RCAN*+要高一些.同時,表1的定量結(jié)果顯示,模型NFSR比模型RCAN*在5個基準數(shù)據(jù)集上的結(jié)果要好一些.

模型NFSR與幾個對比模型在2倍放大的定性結(jié)果,如圖4所示.結(jié)果顯示: 在Urban100數(shù)據(jù)集中的圖“img060”的線條重建上,模型NFSR重建的線條比模型RCAN、VDSR、Bicubic的重建結(jié)果更為密集,結(jié)構(gòu)信息更強,而模型NFSR+因為在8個翻轉(zhuǎn)方向上做了平均,圖像出現(xiàn)了一些偽影; 在Set14數(shù)據(jù)集中的圖“ppt3”的文字重建上,與模型RCAN、VDSR、Bicubic相比,模型NFSR重建的線條具有更清晰和有更高的區(qū)分度;在基準數(shù)據(jù)集Urban100、Set14上放大2倍的定性結(jié)果可以看到,NFSR模型在圖像結(jié)構(gòu)的重建上具有良好的主觀效果,圖像的可辨識度更高.

表1 在5個基準數(shù)據(jù)集上的定量結(jié)果對比Tab.1 Comparison of quantitative results on 5 benchmark databases

圖4 放大2倍的定性結(jié)果對比Fig.4 Comparison of qualitative results for 2 times magnification

圖5 放大4倍的定性結(jié)果對比Fig.5 Comparison of qualitative results for 4 times magnification

NFSR模型與幾個對比模型在4倍放大的定性結(jié)果,如圖5所示.結(jié)果顯示: 在BSD100數(shù)據(jù)集的圖“24077”的衣服紋理區(qū)域,模型NFSR重建出的局部結(jié)構(gòu)比模型RCAN、DBPN、EDSR、VDSR的重建結(jié)果要更清晰和突出; 在Urban100數(shù)據(jù)集的圖“img061”的建筑物紋理上,模型DBPN、EDSR、RCAN的重建的線條保持良好,但是方向錯了,只有NFSR模型重建結(jié)果的線條紋理方向與真實(ground truth,GT)圖像一致; 而模型NFSR+在8個翻轉(zhuǎn)方向上增強,導致線條有些混亂,說明模型在多個方向增強后,線條方向容易出現(xiàn)混疊效應; 從圖5在基準數(shù)據(jù)集BSD100、Urban100上放大4倍的定性結(jié)果可以看到,NFSR能很好重建HR圖像中的細節(jié),特別是能較好地保持圖像中的局部結(jié)構(gòu)，如邊緣紋理和線條方向等.增強模型NFSR+在某些圖的重建上,對存在的噪聲也會增強,雖然整體的客觀指標(PSNR、SSIM)會高一些，但是圖像的視覺效果上不一定為最優(yōu).

2.1.4 消融實驗

本節(jié)分析3類模塊對模型的重建精度影響,3類模塊分別為：寬激活殘差模塊(wda)、融合模塊模塊(em)、非局部模塊(nls).

為了對比3類模塊加入簡單基礎(chǔ)模型的效果(PSNR).本文先采用10個組、12個殘差塊的RCAN作為簡單基礎(chǔ)模型,將3類模塊分別加入這一基礎(chǔ)模型中.為了縮短訓練時間,所提模型訓練大約150輪epoch,在10張DIV2K驗證集上的重建精度曲線圖如圖6所示.

圖6 3類模塊的訓練精度曲線對比圖Fig.6 Comparison of training precision curves for 3 modules

圖6中,綠色的曲線代表基礎(chǔ)的RCAN模型(rcan),黃色的曲線代表在基礎(chǔ)的RCAN模型中加入非局部模塊(rcan_nls),湖藍色的曲線代表在基礎(chǔ)的RCAN模型中加入融合模塊(rcan_em),藍色的曲線代表在基礎(chǔ)的RCAN模型中加入寬激活殘差模塊(rcan_wda).從圖中的重建精度曲線來看,“rcan_wda”的精度曲線最高,其次是“rcan_em”、再次是“rcan_nls”,最低的是“rcan”.消融實驗結(jié)果表明,在加入非局部模塊、融合模塊和寬激活殘差模塊后,與基礎(chǔ)模型相比,新模型的重建精度都能有一定的提升.

接下來,再分析這3類模塊各自及相互組合對模型重建精度的影響.消融實驗采用10個組,每組配置20個殘差塊(ResBlock)的RCAN模型作為對比實驗的Baseline.訓練細節(jié)及參數(shù)設(shè)置為：選用DIV2K的800 張高低分辨率圖像對做訓練集,共訓練200輪,每次選取的小批樣本數(shù)(mini-batch)為8,HR圖像塊大小為192×192,放大倍數(shù)為4倍,LR圖像塊大小為48×48.在Set14數(shù)據(jù)集上對比了PSNR、提升的PSNR(PSNR+)、模型參數(shù)(Params)、乘法-加法計算量(mult-adds)這幾個指標，結(jié)果詳見表2.

1) 每個模塊各自對Baseline模型的影響分析

從表2的結(jié)果來看,寬激活殘差模塊能有效提升模型的精度(提升0.066 dB,模型2),同時也會增加近1倍的參數(shù),但乘法-加法計算量下降了近90%; 非局部模塊需要較少的參數(shù),能較少地提升模型的精度(提升0.001 dB,模型4); 融合模塊比nls模塊能較好地提升模型的性能(提升0.007 dB,模型3),需要增加一些模型參數(shù)和乘法-加法計算量.

2) 不同模塊組合對Baseline模型的影響分析

兩兩組合都能提升模型的精度.其中,寬激活殘差模塊和融合模塊組合的精度提升最高(提升0.078 dB,模型7);融合模塊和非局部模塊組合的精度提升最少(提升0.008 dB,模型6).非局部模塊加入寬激活殘差模塊和融合模塊的組合能減少整個模型的冗余參數(shù),并簡化乘法-加法計算量(模型7和8),但其精度略有下降.與RCAN模型相比,新模型NFSR的參數(shù)增加了一倍,乘法-加法計算量下降為RCAN模型的11.5%，增加的參數(shù)基本是在寬激活殘差模塊上,占到92.7%,同時這個模塊提升的性能也最為明顯,即PSNR值增加0.066 dB(模型2).另外兩個模塊使用的參數(shù)較小,占到7.3%,這部分主要是獲取目標的核心區(qū)域和增強特征在空間的上下文關(guān)聯(lián),兩者結(jié)合的PSNR值提升約為0.008 dB(模型6).

表2 模型的消融實驗Tab.2 Ablation experiment of model

2.2 圖像分割與檢測實驗

為了驗證所提模型NFSR在中高層視覺任務(wù)上的有效性,對比了NFSR與輸入LR圖像、Bicubic插值上采樣、EDSR_baseline模型、RCAN模型、RCAN*模型在圖像分割與檢測任務(wù)上的測試精度.其中,輸入LR圖像是原圖用Bicubic插值算法縮小4倍后得到的圖像,模型EDSR_baseline是帶16個殘差模塊、64個特征圖的輕量化模型,模型RCAN是文獻[11]提供的SR模型,RCAN*模型是本文根據(jù)文獻[11]以相同參數(shù)重新訓練得到的模型.上述幾種SR模型均做4倍圖像重建放大.

圖像分割的測試數(shù)據(jù)集是DeepGlobe,圖像尺寸為2 448×2 448像素,測試圖像有142張,包含的類別有“unknown”“urban”“agriculture”“rangeland”“forest”“water”“barren”,分割類別編號0～6,分別用黑色、青色、黃色、紫色、綠色、藍色、白色表示對應的類別.分割結(jié)果和原圖的示例如圖7(a)所示.目標檢測的測試數(shù)據(jù)集是COCO,圖像中的類別一共5類,分別為: “person”“bicycle”“car”“motorcycle”“bus”.檢測的原圖和標簽示例如圖7(b)所示.

圖像分割測試網(wǎng)絡(luò)名為GRNet[21],整個網(wǎng)絡(luò)使用了兩個分支網(wǎng)絡(luò)和一個塊建議金字塔網(wǎng)絡(luò)(PPN)模塊: 第一個分支網(wǎng)絡(luò)用ResNet50作為主干網(wǎng)絡(luò),獲取增強前的分割結(jié)果; 第二個分支網(wǎng)絡(luò)用ResNet18作主干網(wǎng)絡(luò),精細化前面的分割結(jié)果; PPN模塊用于輔助第二個分支網(wǎng)絡(luò)實現(xiàn)優(yōu)化.增強前后的圖像分割精度如表3所示.

分割網(wǎng)絡(luò)有兩個: 增強前和增強后.表3的分割結(jié)果顯示,增強后的分割精度都有提升.從分割精度(以平均交并比為評價標準)上看,NFSR的分割精度最高.其他幾種模型的分割精度的情況分別為: Bicubic插值重建4倍的分割精度最低,LR圖像的分割精度次低,EDSR_baseline模型重建4倍的結(jié)果比LR圖像的分割精度略高,RCAN和RCAN*模型重建4倍的分割精度相差不大.增強前,NFSR與模型RCAN*有同等的分割精度,而增強后NFSR比RCAN*的分割精度略高.

目標檢測網(wǎng)絡(luò)選用Faster-RCNN[22],使用ResNet-50網(wǎng)絡(luò)以及特征金字塔(FPN)網(wǎng)絡(luò)作為Faster-RCNN的主干網(wǎng)絡(luò).測試集選用MS COCO 2016數(shù)據(jù)集中的1 000 個圖像,用已訓練好的測試模型做目標檢測任務(wù).LR圖像和5種重建結(jié)果的目標檢測精度(以均平均精度(mAp)為評價標準)如表4所示.從表4的目標檢測結(jié)果看,幾種模型的分割精度分別為: Bicubic插值重建4倍的平均檢測精度最低,LR圖像的平均檢測精度高于Bicubic插值算法和EDSR_baseline模型的重建結(jié)果.特別是在“bus”類上,LR的平均檢測精度比這兩者要高很多.在各類的檢測精度上,RCAN、RCAN*、NFSR 3種模型各有優(yōu)劣.其中,RCAN的重建結(jié)果在“person”和“car”類的檢測精度最高，分別為0.271和0.276; RCAN*的重建結(jié)果在“bus”類的檢測精度最高,為0.368; NFSR的重建結(jié)果在“bicycle”類“motorcycle”類的檢測精度最高,分別為0.180和0.286.而對于整個COCO數(shù)據(jù)集上的平均精度，RCAN和NFSR的重建結(jié)果相同.從目標檢測應用上看,重建性能高的SR重建模型,雖然在各類圖像數(shù)據(jù)集上的檢測精度略有高低差異，但是在整體上能保持良好的檢測性能.

圖7 圖像分割和目標檢測數(shù)據(jù)集示例Fig.7 Examples of image segmentation and object detection datasets

表3 DeepGlobe數(shù)據(jù)集上的分割精度對比

表4 COCO數(shù)據(jù)集上的檢測精度對比Tab.4 Comparison of detection precision on COCO database

3 結(jié) 論

本文提出一種基于非局部多尺度融合的SISR模型.該模型使用了3種模塊: 寬激活殘差模塊、多尺度融合模塊、非局部模塊.其中,寬激活殘差模塊通過擴寬激活層的特征,能有效提升模型的精度; 多尺度融合模塊對特征在多個尺度上進行融合; 非局部網(wǎng)絡(luò)模塊用于獲取圖像的全局特征,關(guān)注目標的核心區(qū)域，減少冗余參數(shù).消融實驗表明,寬激活殘差模塊、非局部模塊、多尺度融合模塊對深度超分模型的重建精度都有一定的提升.在5個圖像超分辨率重建的基準數(shù)據(jù)集上,所提模型取得了比其他深度超分模型更好的定量和定性結(jié)果.所提模型在中高層的計算機視覺任務(wù)如圖像分割、目標檢測上也做了實驗驗證,所提模型取得良好的分割和檢測精度.未來工作將在優(yōu)化模型參數(shù)上,設(shè)計更輕量化的SISR模型應用于實際的計算機視覺任務(wù)中.