基于多尺度殘差的生成對(duì)抗網(wǎng)絡(luò)醫(yī)學(xué)MRI影像超分辨率重建

劉朋偉，高 媛，秦品樂(lè)，殷 喆，王麗芳

(中北大學(xué) 大數(shù)據(jù)學(xué)院山西省生物醫(yī)學(xué)成像與影像大數(shù)據(jù)重點(diǎn)實(shí)驗(yàn)室，山西 太原 030051)

0 引 言

醫(yī)學(xué)圖像處理的對(duì)象是各種不同成像機(jī)理的醫(yī)學(xué)影像，磁共振成像(Magnetic Resonance Imaging，MRI)是一種安全的，利用強(qiáng)磁體、無(wú)線(xiàn)電波和計(jì)算機(jī)創(chuàng)建圖像的技術(shù).它可以在任何方向拍攝身體的大部分部位，獲得人體組織結(jié)構(gòu)信息，并以高質(zhì)量的圖像呈現(xiàn)這些信息.但是由于成像技術(shù)與成像原理的不同，獲得的醫(yī)學(xué)圖像可能常常會(huì)伴隨著噪聲和偽影，從而影響臨床診斷.對(duì)醫(yī)學(xué)MRI影像進(jìn)行超分辨率重建，有助于獲得細(xì)節(jié)豐富、紋理清晰的醫(yī)學(xué)影像，有助于醫(yī)生對(duì)患者病情作出更好的診斷[1].

圖像超分辨率(Super-Resolution，SR)技術(shù)是指將低分辨率圖像(Low Resolution，LR)重 建 成 高 分 辨 率 圖像(High Resolution，HR)的技術(shù).SR 在諸如高光譜成像[2]、醫(yī)學(xué)影像[3-4]、面部識(shí)別[5]等領(lǐng)域均有著廣泛應(yīng)用.自從Dong等[6]開(kāi)創(chuàng)性地將卷積神經(jīng)網(wǎng)絡(luò)運(yùn)用到超分辨率領(lǐng)域(SRCNN)以來(lái)，基于深度卷積神經(jīng)網(wǎng)絡(luò)的SR方法迅速發(fā)展，人們運(yùn)用各種網(wǎng)絡(luò)體系結(jié)構(gòu)設(shè)計(jì)和訓(xùn)練策略不斷提高SR的性能.Kim等[7-8]提出了深度遞歸卷積網(wǎng)絡(luò)(DRCN)和基于深度卷積的精準(zhǔn)圖像超分辨率(VDSR)在進(jìn)一步增加網(wǎng)絡(luò)深度的同時(shí)改善了SR性能；Zhang等[9-10]結(jié)合SR框架中的殘差塊提出了基于密集殘差的圖像超分辨率網(wǎng)絡(luò)(RDN)，并進(jìn)一步提出了基于深層殘差通道注意力機(jī)制的超分辨率網(wǎng)絡(luò)(RCAN)，在峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)性能上表現(xiàn)更卓越.

但是，這些方法通常容易產(chǎn)生棋盤(pán)偽影，影響圖像的重建效果.Ledig等[12]結(jié)合圖像識(shí)別領(lǐng)域的深度殘差學(xué)習(xí)(ResNet)方法[11]提出了基于生成對(duì)抗網(wǎng)絡(luò)的超分辨率(SRGAN)算法，改善了基于深度卷積網(wǎng)絡(luò)超分辨方法中存在的結(jié)果過(guò)于平滑的問(wèn)題.Wang等[13]通過(guò)在增強(qiáng)型超分辨率生成對(duì)抗網(wǎng)絡(luò)(ESRGAN)中引入殘差密集塊(Residual in Residual Dense Block，RRDB)來(lái)增強(qiáng)以前的框架，通過(guò)結(jié)合感知損失[14]、對(duì)抗損失[15]以及相對(duì)判別器[16]的思想，使得ESRGAN比SRGAN獲得了更加豐富的圖像紋理信息.盡管這些現(xiàn)有的感知驅(qū)動(dòng)方法確實(shí)改善了超分辨圖像的整體視覺(jué)質(zhì)量，但是在恢復(fù)細(xì)節(jié)時(shí)，它們有時(shí)會(huì)生成不自然的偽影，包括幾何失真[17].Fattal 等[18]通過(guò)學(xué)習(xí)不同分辨率的先驗(yàn)依賴(lài)性，提出了一種基于圖像梯度邊緣統(tǒng)計(jì)的方法，Sun等[19]提出了代表圖像梯度的梯度輪廓和梯度場(chǎng)變換方法，Yan等[20]提出了基于梯度輪廓銳度的SR方法，以提高重建圖像的清晰度.在這些方法中，根據(jù)在LR圖像中學(xué)習(xí)到的參數(shù)，通過(guò)估計(jì)與HR邊緣相關(guān)的參數(shù)來(lái)建模統(tǒng)計(jì)依存關(guān)系.但是，建模過(guò)程是逐點(diǎn)完成的，既復(fù)雜又不靈活.

與這些方法不同的是，Ma等[21]提出基于梯度指導(dǎo)的結(jié)構(gòu)保留超分辨率(SPSR)算法，對(duì)于深度生成對(duì)抗網(wǎng)絡(luò)，梯度約束可以更好地為圖像重建提供額外的監(jiān)督.受SPSR啟發(fā)，本文提出了基于多尺度殘差的生成對(duì)抗網(wǎng)絡(luò)醫(yī)學(xué)MRI影像超分辨率重建算法(Medical MRI Image Super-Resolution Reconstruction Network Based on Multi-Scale Residual Generative Adversarial Algorithm，MSRGAN).多尺度殘差塊(Multi-Scale Residual Block，MSRB)在殘差結(jié)構(gòu)的基礎(chǔ)上使用不同大小的卷積核自適應(yīng)地檢測(cè)圖像特征，同時(shí)，在不同尺度特征之間使用跳躍連接，可以彼此共享和重復(fù)使用特征信息，充分提取圖像的局部特征[22].為了充分利用MSRB的特性，本文設(shè)計(jì)了基于MSRB的多尺度殘差組(Multi-Scale Residual Group，MSRG)結(jié)構(gòu)，通過(guò)這種方法逐步收集圖像的局部信息.為避免淺層和局部特征信息隨著網(wǎng)絡(luò)深度的加深逐漸丟失，設(shè)計(jì)了局部殘差特征聚合模塊(Local Residual Feature Aggregation Module，LRFAM)將殘差組聚合在一起，實(shí)現(xiàn)殘差特征的非局部使用，減少了局部特征信息在網(wǎng)絡(luò)傳播過(guò)程中的丟失.在殘差組之間添加注意力模塊，通過(guò)注意力機(jī)制獲取對(duì)關(guān)鍵信息響應(yīng)程度更高的通道和空間特征圖，進(jìn)而提升重建圖像的細(xì)節(jié)紋理效果；通過(guò)梯度分支生成的梯度圖(Gradient Maps，GM)保留圖像的結(jié)構(gòu)信息，并將LR圖像的梯度圖恢復(fù)得到的HR圖像梯度圖集成到SR分支中，為SR提供結(jié)構(gòu)先驗(yàn)信息，并且可以更好地突出銳度和結(jié)構(gòu)應(yīng)該注意的區(qū)域，從而明確地指導(dǎo)高質(zhì)量超分辨率圖像生成.實(shí)驗(yàn)證明，多尺度殘差組與注意力機(jī)制結(jié)合使用的效果顯著，與ESRGAN，SPSR等算法相比，MSRGAN算法重建出的醫(yī)學(xué)圖像細(xì)節(jié)豐富，紋理清晰，在峰值信噪比(PSNR)和結(jié)構(gòu)相似性(Structural Similarity Index，SSIM)的指標(biāo)上表示更佳.

1 相關(guān)工作

1.1 生成對(duì)抗網(wǎng)絡(luò)

生成對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Network，GAN)源于博弈論中的二人零和博弈，GAN強(qiáng)大的高保真圖像生成能力使其在圖像合成、圖像超分辨率重建、文物修復(fù)和醫(yī)學(xué)圖像處理等領(lǐng)域廣泛應(yīng)用.

GAN的基本網(wǎng)絡(luò)框架主要由生成器模型和判別器模型組成，網(wǎng)絡(luò)的訓(xùn)練方式為對(duì)抗式訓(xùn)練.相比于其他的生成模型，GAN只利用了反向傳播，不需要復(fù)雜的馬爾科夫鏈，而且可以生成更清晰真實(shí)的樣本.判別器的作用是最大化真實(shí)樣例與生成器生成樣例之間的差異，生成器則根據(jù)判別器反向傳播的參數(shù)信息更新網(wǎng)絡(luò)中的參數(shù)，生成更真實(shí)的樣例，減小與真實(shí)樣例之間的差異.

1.2 注意力機(jī)制

注意力機(jī)制根據(jù)其作用域的不同，可以分為通道注意力機(jī)制和空間注意力機(jī)制，分別在通道維度和空間維度上關(guān)注圖像的特征信息.瓶頸注意力機(jī)制(Bottleneck Attention Module，BAM)通過(guò)兩條不同的路徑學(xué)習(xí)在通道維度和空間維度上的圖像特征信息，并有效地提取中間特征[23].BAM結(jié)構(gòu)如圖1 所示，分為通道和空間注意力分支.

1.2.1 通道注意力

通道注意力分支產(chǎn)生特征信息Mc(F)∈RC是在獲取不同通道間的特征.由于每個(gè)通道包含特定的特征響應(yīng)，為了獲取不同通道中的特征映射，采用全局平均池化(Global Average Pooling，GAP)得到通道向量FC∈RC×1×1，該向量對(duì)通道中的全局特征信息進(jìn)行編碼.為計(jì)算通道向量間的通道注意力，本文使用了具有一個(gè)隱藏層的多層感知器(Multi Layer Perceptron，MLP).為了節(jié)省參數(shù)開(kāi)銷(xiāo)，將隱藏激活大小設(shè)置為Rc/r×1×1，其中r為縮減比.在MLP之后，添加批歸一化(Batch Normalization，BN)層以利用空間分支輸出調(diào)整比例.

1.2.2 空間注意力

空間注意力分支產(chǎn)生特征信息Ms(F)∈RH×W是在關(guān)注不同空間位置中的上下文特征信息,根據(jù)權(quán)重去度量不同特征信息的重要性，通過(guò)對(duì)特征信息進(jìn)行相關(guān)與不相關(guān)的抉擇建立動(dòng)態(tài)權(quán)重參數(shù)，以強(qiáng)化關(guān)鍵信息和弱化無(wú)用信息.首先，采用1×1卷積將輸入特征F∈RC×H×W投影到縮小尺寸的Rc/r×H×W，以在整個(gè)通道維度上對(duì)特征圖進(jìn)行結(jié)合和壓縮；然后，使用兩個(gè)空洞率為4的3×3空洞卷積(Dilated Convolution，DConv)以有效地利用上下文信息，空洞卷積能夠擴(kuò)大空間注意力模塊中感受野的大小，聚合圖像的特征信息；最后，使用1×1卷積將特征簡(jiǎn)化，提高網(wǎng)絡(luò)的運(yùn)算效率.

從兩個(gè)注意力分支獲取通道注意力特征信息Mc(F)和空間注意力特征信息Ms(F)之后，由于兩個(gè)特征注意圖具有不同的尺寸，將兩者均擴(kuò)展到RC×H×W，然后將它們按元素求和以實(shí)現(xiàn)有效的梯度流，求和后，取Sigmoid函數(shù)得到注意力特征M(F)，取值范圍為0～1.M(F)與輸入特征F進(jìn)行元素級(jí)乘，然后與原始輸入特征相加，得到最終的注意力特征F′.

2 基于多尺度殘差的生成對(duì)抗網(wǎng)絡(luò)超分辨率重建

2.1 改進(jìn)思想

SPSR通過(guò)在SR分支堆疊多個(gè)RRDB塊提取圖像特征，并將SR分支的部分特征信息輸入到梯度分支，梯度分支合并來(lái)自SR分支的攜帶結(jié)構(gòu)特征的信息，利用圖像的梯度圖引導(dǎo)網(wǎng)絡(luò)生成更真實(shí)的重建圖像.對(duì)于SPSR網(wǎng)絡(luò)，梯度空間約束可以為圖像重建提供額外的監(jiān)督，但網(wǎng)絡(luò)沒(méi)有充分利用局部殘差信息，沒(méi)有學(xué)習(xí)圖像各位置特征之間的相關(guān)性，未在通道和空間維度上強(qiáng)調(diào)對(duì)重建任務(wù)有用的圖像特征信息，限制了醫(yī)學(xué)圖像超分辨率重建研究在臨床上的應(yīng)用.本文提出了基于多尺度殘差的生成對(duì)抗網(wǎng)絡(luò)醫(yī)學(xué)MRI影像超分辨率重建算法(MSRGAN)，針對(duì)SPSR算法的生成器進(jìn)行改進(jìn)，設(shè)計(jì)了多尺度殘差組和局部殘差特征聚合模塊，局部殘差特征聚合模塊將殘差組聚合在一起，實(shí)現(xiàn)了殘差特征的非局部使用，減少了局部特征在網(wǎng)絡(luò)中的丟失.引入注意力機(jī)制使網(wǎng)絡(luò)能夠獲取對(duì)關(guān)鍵信息響應(yīng)程度更高的通道和空間特征映射，進(jìn)而提升重建圖像的細(xì)節(jié)紋理效果，提高了超分辨率重建結(jié)果在臨床上的實(shí)用性；梯度分支合并來(lái)自SR分支的結(jié)構(gòu)信息，通過(guò)梯度分支恢復(fù)高分辨率梯度映射，為超分辨率重建提供額外的結(jié)構(gòu)先驗(yàn)，從而明確地指導(dǎo)高質(zhì)量圖像的生成.

2.2 MSRGAN

2.2.1 網(wǎng)絡(luò)結(jié)構(gòu)

如圖2 所示，生成器結(jié)構(gòu)包含兩個(gè)分支.一是用于獲取最終的SR輸出的SR分支，在SR分支中采用MSRG，并在每個(gè)MSRG之間添加BAM注意力模塊，以充分利用通道和空間特征信息；LRFAM將局部殘差特征聚合傳播到網(wǎng)絡(luò)的末尾，實(shí)現(xiàn)了殘差特征的非局部使用.二是含有梯度信息的梯度分支，由于SR分支具有豐富的結(jié)構(gòu)信息，梯度分支合并來(lái)自SR分支的結(jié)構(gòu)信息，通過(guò)梯度分支恢復(fù)高分辨率梯度映射，能夠?yàn)槌直媛手亟ㄌ峁╊~外的結(jié)構(gòu)先驗(yàn)，從而指導(dǎo)高質(zhì)量圖像的生成；最后將梯度分支得到的梯度特征與SR分支的特征進(jìn)行融合來(lái)重建最終的SR輸出.

2.2.2 多尺度殘差組

多尺度殘差網(wǎng)絡(luò)(Multi-Scale Residual Network for Image Super-Resolution，MSRN)為了解決增加網(wǎng)絡(luò)深度不能有效改善網(wǎng)絡(luò)性能的問(wèn)題，在殘差結(jié)構(gòu)的基礎(chǔ)上提出多尺度殘差塊(MSRB)，MSRB結(jié)構(gòu)如圖3 所示，采用不同大小的卷積核自適應(yīng)地檢測(cè)不同尺度下的圖像特征，同時(shí)，在不同尺度特征之間使用跳躍連接，以便可以彼此共享和重復(fù)使用特征信息，有助于充分利用圖像的局部特征.本文在MSRB的基礎(chǔ)上設(shè)計(jì)了多尺度殘差組(MSRG)，結(jié)構(gòu)如圖4 所示，將MSRG的輸入與第一個(gè)MSRB的輸出連接起來(lái)，并傳遞給下面的MSRB，在MSRG內(nèi)的MSRB重復(fù)此遞歸，逐步收集局部特征信息，有助于提升重建圖像的精度.

圖3 多尺度殘差塊結(jié)構(gòu)Fig.3 Structure of multi-scale residual block

圖4 多尺度殘差組結(jié)構(gòu)Fig.4 Structure of multi-scale residuals

網(wǎng)絡(luò)采用低分辨率圖像作為輸入，首先，通過(guò)3×3卷積層提取淺層特征；其次，利用MSRB的不同大小的卷積核提取不同尺寸的圖像特征，并將其作為局部特征；然后，將每個(gè)MSRB的輸出組合起來(lái)進(jìn)行全局特征融合；最后，將局部特征與全局特征相結(jié)合，以最大限度地利用LR圖像特征來(lái)減少特征在傳輸過(guò)程中的丟失.多尺度特征融合計(jì)算公式為

(1)

式中：ω和b分別表示權(quán)重和偏差，上標(biāo)表示所在的層數(shù)，下標(biāo)表示在該層中使用的不同大小的卷積核；σ(x)=max(0,x)表示RELU函數(shù)；[S1,P1],[P1,S1],[S2,P2]表示串聯(lián)操作；M表示輸入到MSRB的特征圖數(shù)量.

為了使網(wǎng)絡(luò)更加高效，每一個(gè)多尺度殘差塊均采用殘差學(xué)習(xí)降低計(jì)算的復(fù)雜度.計(jì)算公式為

Mn=S′+Mn-1,

(2)

式中：Mn-1和Mn分別表示多尺度殘差塊的輸入和輸出.S′+Mn-1是通過(guò)殘差連接和逐元素相加進(jìn)行.

2.2.3 BAM

BAM采用雙分支結(jié)構(gòu)設(shè)計(jì)來(lái)提取圖像的中間特征信息，網(wǎng)絡(luò)中使用BAM可以對(duì)圖像的淺層特征(如背景紋理特征)進(jìn)行早期去噪，側(cè)重于關(guān)注圖像中的組織器官，有助于提升重建醫(yī)學(xué)圖像的細(xì)節(jié)和紋理信息.如圖2 所示，注意力模塊放置于殘差組之間，以充分利用通道和空間特征信息.對(duì)于給定的輸入特征圖F∈RC×H×W，首先計(jì)算兩個(gè)單獨(dú)分支的空間注意力特征信息Ms(F)∈RH×W和通道注意力特征信息Mc(F)∈RC，空間注意力模塊計(jì)算公式為

(3)

式中：BN表示批量歸一化；fconv1×1表示用于通道壓縮的1×1卷積；fDconv3×3表示空洞率為4的3×3空洞卷積，用于聚合具有較大感受野的上下文信息.通道注意力模塊計(jì)算公式為

Mc(F)=BN(MLP(AvgPool(F)))=

BN(W1(W0AvgPoot(F)+b0)+b1),

(4)

式中：W0∈RC/r×C,b0∈RC/r,W1∈RC×C/r,b1∈RC.注意力模塊得到的注意特征圖為M(F)∈RC×H×W,此時(shí)M(F)被表示為

M(F)=σ(Mc(F)+Ms(F)).

(5)

2.2.4 局部殘差特征聚合模塊

隨著網(wǎng)絡(luò)深度的增加，淺層和局部特征信息會(huì)逐漸丟失，但是這些特征有助于重建圖像的細(xì)節(jié)信息.為了充分利用淺層和局部特征信息，本文提出局部殘差特征聚合模塊(LRFAM)，如圖5(b)所示，將所有MSRG的輸出輸送到網(wǎng)絡(luò)末端進(jìn)行串聯(lián)，有效避免了淺層和局部特征在網(wǎng)絡(luò)傳播過(guò)程中的丟失，最后使用1×1卷積層來(lái)自適應(yīng)地控制輸出信息，降低計(jì)算復(fù)雜度.

圖5 殘差組不同組合方法Fig.5 Different combination of residual groups

2.2.5 梯度塊

梯度塊(Gradient Block，GB)結(jié)構(gòu)如圖6 所示.

梯度分支將來(lái)自SR分支的結(jié)構(gòu)信息進(jìn)行合并，通過(guò)梯度塊恢復(fù)高分辨率梯度映射，為超分辨率重建提供結(jié)構(gòu)先驗(yàn).梯度信息反映了圖像的邊緣細(xì)節(jié)變化，為避免梯度變化差異大，在梯度還原時(shí)弱化了圖像邊緣的銳度，從而保證生成平滑的邊緣信息引導(dǎo)超分辨圖像生成.因此，本文采用全局平滑池化層(Global Smooth Pooling，GSP)平滑HR的邊緣銳度，可以使生成圖像更具有平滑的紋理信息.GSP通過(guò)計(jì)算相鄰像素之間的差異，實(shí)現(xiàn)對(duì)梯度分支圖像的響應(yīng)激活.計(jì)算公式為

Ix(x)=I(x+1,y)-I(x-1,y),

Iy(x)=I(x,y+1)-I(x,y-1),

(6)

Mx(I)=‖I‖2,

MX+1=BMSRBx(Mx⊕Fx)?SGSPx(MX⊕Fx),

式中：Ix(x)是x在水平方向上的差分；Iy(x)是x在垂直方向上的差分；M(I)是Ix(x)和Iy(x)對(duì)應(yīng)位置元素的平方和，再開(kāi)方；M(·)獲得的梯度圖LR梯度只記錄梯度的幅值信息，不考慮方向信息，因?yàn)榉敌畔⒆阋员砻鲌D像局部區(qū)域的銳度(sharpness)，其元素是坐標(biāo)x=I(x,y)的像素的梯度長(zhǎng)度；Fr表示來(lái)自SR分支的特征；BMSRGx表示梯度分支與SR分支的特征疊加；SGSPx示經(jīng)過(guò)全局平滑池化之后的特征權(quán)重.

2.2.6 損失函數(shù)

在超分辨率領(lǐng)域，損失函數(shù)用于測(cè)量重建誤差和指導(dǎo)模型優(yōu)化.像素?fù)p失可以減少重建圖像和原始圖像之間的像素差異，有利于PSNR評(píng)價(jià)指標(biāo)，能夠加快收斂，但會(huì)造成過(guò)擬合.

(7)

式中：Φi()表示VGG網(wǎng)絡(luò)的第i層輸出.

本文對(duì)原始低分辨的圖像進(jìn)行超分辨重建時(shí)，為保證重建效果，采用GAN的生成器(G)-判別器(D)結(jié)構(gòu)，保證生成的超分辨率圖像與真實(shí)圖像盡可能相似，通過(guò)引入對(duì)抗損失，來(lái)約束網(wǎng)絡(luò)重建的超分辨圖像效果，計(jì)算公式為

LG=(D(ISR)-1)2,

LD=(D(IHR))2+(D(ISR)-1)2,

(8)

式中：LG,LD分別表示生成器和判別器的對(duì)抗損失.

上述損失函數(shù)約束的模型只考慮了圖像的空間約束，而忽略了梯度空間提供的語(yǔ)義結(jié)構(gòu)信息.由于梯度圖(Gradient Map，GM)能充分反映圖像的結(jié)構(gòu)信息，因此可以作為二階約束為生成器提供約束.本文通過(guò)減小從SR圖像中提取的梯度圖與從相應(yīng)的HR圖像中提取的梯度圖之間的差異來(lái)確定梯度損失.計(jì)算公式為

(9)

在SR分支采用了逐像素?fù)p失、感知損失、對(duì)抗損失，梯度分支采用逐像素?fù)p失約束生成的SR的梯度圖與HR的梯度圖.本文損失函數(shù)計(jì)算公式為

(10)

3 實(shí)驗(yàn)結(jié)果和分析

3.1 實(shí)驗(yàn)參數(shù)

本文實(shí)驗(yàn)采用的數(shù)據(jù)集是開(kāi)源的醫(yī)學(xué)CT OR MRI數(shù)據(jù)集和CHAOS數(shù)據(jù)集，從中選取了縱隔清晰，高低頻信號(hào)對(duì)比明顯，富含紋理細(xì)節(jié)的3 000張圖像來(lái)進(jìn)行實(shí)驗(yàn).實(shí)驗(yàn)采用2 500張圖像作為訓(xùn)練集，200張圖像作為驗(yàn)證集，300張圖像作為測(cè)試集.為充分對(duì)比本文提出算法的有效性，將HR圖像采用Bicubic下采樣2，3，4倍得到LR圖像分別訓(xùn)練模型，在訓(xùn)練期間，對(duì)每個(gè)LR圖像執(zhí)行水平翻轉(zhuǎn)等幾何變換以獲取額外的7張LR圖片，最終將訓(xùn)練集擴(kuò)大至20 000張圖像.將LR圖像隨機(jī)裁剪后得到的尺寸為30×30的補(bǔ)丁輸入網(wǎng)絡(luò)進(jìn)行訓(xùn)練.在每個(gè)epoch訓(xùn)練結(jié)束后，將驗(yàn)證集輸入模型以跟蹤該epoch的訓(xùn)練結(jié)果，在200個(gè)epoch訓(xùn)練完成后使用測(cè)試集進(jìn)行最終測(cè)試.實(shí)驗(yàn)采用PSNR和SSIM作為醫(yī)學(xué)影像超分辨率的評(píng)價(jià)指標(biāo)，同時(shí)以損失函數(shù)L驗(yàn)證網(wǎng)絡(luò)在訓(xùn)練期間的收斂速度.

本文的實(shí)驗(yàn)采用mini-batch的訓(xùn)練方式，mini-batch大小設(shè)置為16.采用預(yù)訓(xùn)練的VGG網(wǎng)絡(luò)計(jì)算感知損失中的特征距離，以像素?fù)p失、感知損失、對(duì)抗性損失和梯度損失為優(yōu)化目標(biāo)，MSRGAN使用VGG網(wǎng)絡(luò)作為判別器.初始生成器和判別器的學(xué)習(xí)率均設(shè)置為10-4，為減少網(wǎng)絡(luò)的訓(xùn)練時(shí)間在50×103，100×103，200×103，300×103次迭代時(shí)學(xué)習(xí)率減半.實(shí)驗(yàn)環(huán)境為Ubuntu 16.04 LTS操作系統(tǒng)，Pytorch V1.1.0，CUDA Toolkit 9.0，Python3.6.本算法使用ADAM優(yōu)化器，初始參數(shù)設(shè)置為β1=0.9,β2=0.999,ε=10-8.整個(gè)網(wǎng)絡(luò)在兩塊NVIDIA Tesla M40上訓(xùn)練48 h.

3.2 對(duì)比實(shí)驗(yàn)

3.2.1 局部殘差聚合模塊對(duì)比

為了驗(yàn)證局部殘差特征聚合模塊(LRFAM)的作用，該組實(shí)驗(yàn)在網(wǎng)絡(luò)主體上分別使用去除(如圖5(a)所示)和含有(如圖5(b)所示)LRFAM的網(wǎng)絡(luò)結(jié)構(gòu)，在相同的實(shí)驗(yàn)環(huán)境和數(shù)據(jù)集條件下做了兩組對(duì)比實(shí)驗(yàn).實(shí)驗(yàn)運(yùn)行了200個(gè)epoch ，每個(gè)epoch 內(nèi)迭代1 000次，共迭代2.5×105次.同時(shí)，在驗(yàn)證集上計(jì)算網(wǎng)絡(luò)的PSNR和SSIM指標(biāo)以評(píng)價(jià)LRFAM在醫(yī)學(xué)影像超分辨率上的優(yōu)劣.表1 列出了實(shí)驗(yàn)結(jié)果，可以看到完整的MSRGAN在 3個(gè)尺度下的PSNR和SSIM指標(biāo)均達(dá)到了最高，這也證明了LRFAM有效提升了重建圖像的質(zhì)量.

表1 LRFAM效果對(duì)比的PSNR值和SSIM指標(biāo)Tab.1 PSNR value and SSIM index of LRFAM effect

3.2.2 多尺度殘差塊對(duì)比

多尺度殘差塊能夠自適應(yīng)地檢測(cè)不同尺度的圖像特征，充分挖掘圖像的潛在特征.為了驗(yàn)證該模塊的有效性，設(shè)計(jì)了與Residual Block(RB)和RRDB塊在SISR任務(wù)中進(jìn)行性能對(duì)比的實(shí)驗(yàn).分別對(duì)網(wǎng)絡(luò)中的特征提取模塊進(jìn)行了替換，每個(gè)網(wǎng)絡(luò)只包含一種特征提取塊.在驗(yàn)證多尺度殘差塊的基礎(chǔ)上對(duì)網(wǎng)絡(luò)中的注意力模塊和梯度分支的有效性進(jìn)行驗(yàn)證，結(jié)果如表2 所示，可以看到，使用MSRB、注意力模塊和梯度分支后，重建效果均有不同程度的提升.

表2 使用不同殘差塊和各模塊對(duì)比的PSNR值和SSIM指標(biāo)Tab.2 PSNR values and SSIM indicators compared with each module using different residual blocks

為了進(jìn)一步直觀(guān)地體現(xiàn)MSRGAN網(wǎng)絡(luò)模型中各模塊的有效性，如圖7 所示，分別列出了尺度分別為×2，×3，×4時(shí)采用各模塊PSNR和SSIM指標(biāo)的折線(xiàn)圖.從圖7 可以看出，本文所提算法的兩項(xiàng)指標(biāo)在3個(gè)不同尺度下均達(dá)到了最高.

圖7 不同模塊對(duì)比的PSNR和SSIM值折線(xiàn)圖Fig.7 Comparison of PSNR and SSIM values charts of different modules

3.2.3 網(wǎng)絡(luò)收斂速度對(duì)比

為了驗(yàn)證本文所提MSRGAN算法和SPSR算法訓(xùn)練的收斂速度，在相同實(shí)驗(yàn)條件下進(jìn)行對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖8 所示.

圖8 MSRGAN和SPSR的損失曲線(xiàn)Fig.8 Loss curve of MSRGAN and SPSR

由圖8 可知，MSRGAN在10個(gè)epoch時(shí)出現(xiàn)明顯收斂，最終L損失為1.87，SPSR在第25個(gè)epoch時(shí)才出現(xiàn)明顯收斂，最終L損失為 2.13.MSRGAN的損失值及收斂時(shí)間均小于SPSR，說(shuō)明MSRGAN的收斂性更好.

3.2.4 多種算法效果對(duì)比

為進(jìn)一步驗(yàn)證MSRGAN網(wǎng)絡(luò)模型的有效性，本文將MSRGAN與SRCNN，SRGAN，ESRGAN，DCRN，RCAN和SPSR進(jìn)行效果對(duì)比.表3 列出了尺度分別為×2，×3，×4時(shí)各算法的PSNR值和SSIM指標(biāo).與SPSR相比，MSRGAN的PSNR值在各個(gè)尺度平均提升了0.72 dB，MSRGAN重建的圖像恢復(fù)了更多的高頻信息，紋理清晰，具有更好的視覺(jué)效果.

將表3 圖例化展示為圖9，可以直觀(guān)地看出，在尺度為×2，×3，×4的實(shí)驗(yàn)中，本文算法相較于其他6種算法在PSNR和SSIM兩項(xiàng)指標(biāo)上均達(dá)到最優(yōu).

表3 各算法在測(cè)試集上的PSNR值和SSIM指標(biāo)Tab.3 PSNR value and SSIM index of each algorithm on the test set

圖9 各算法對(duì)比的PSNR和SSIM值折線(xiàn)圖Fig.9 Comparison of PSNR and SSIM values charts of different algorithms

為了客觀(guān)對(duì)比MSRGAN與各個(gè)算法的重建效果，本文從測(cè)試集中選取了2幅高分辨率圖像通過(guò)Bicubic下采樣4倍后分別輸入以上7個(gè)網(wǎng)絡(luò)，重建效果如圖10 所示，可以看到相比其他6種方法，從視覺(jué)效果上來(lái)看，MSRGAN重建出的醫(yī)學(xué)MRI影像紋理細(xì)節(jié)豐富、視覺(jué)效果逼真，減弱了噪聲的影響，與SPSR相比，在圖像的細(xì)節(jié)上取得了更逼真的還原度.

圖10 各算法重建效果對(duì)比Fig.10 Comparison of reconstruction effects of each algorithm

3.2.5 模型參數(shù)對(duì)比與殘差組數(shù)量的選取

為分析MSRGAN模型的使用殘差組數(shù)量的有效性以及比較本文所提算法與SPSR算法的參數(shù)及性能，在相同實(shí)驗(yàn)環(huán)境下，分別采用6個(gè)殘差組，7個(gè)殘差組(即本文方法)及8個(gè)殘差組的模型進(jìn)行對(duì)比.表4 列出了4種模型結(jié)構(gòu)的參數(shù)數(shù)量與不同尺度的PSNR值，實(shí)驗(yàn)數(shù)據(jù)說(shuō)明采用7個(gè)殘差組的MSRGAN相較于采用6個(gè)殘差組的MSRGAN性能要好，而采用8個(gè)殘差組所需參數(shù)較多且指標(biāo)提升不明顯.最終，本文選取殘差組數(shù)量為7的MSRGAN，其參數(shù)數(shù)量比SPSR稍多，但在重建圖像的PSNR和SSIM兩個(gè)指標(biāo)上均高于SPSR算法，并且在視覺(jué)效果相比SPSR算法所重建的醫(yī)學(xué)圖像的細(xì)節(jié)更加豐富.

表4 各模型參數(shù)數(shù)量以及不同尺度下的PSNR值Tab.4 Different model’s parameters and PSNR for different scale

4 結(jié) 論

本文提出了基于多尺度殘差的生成對(duì)抗網(wǎng)絡(luò)醫(yī)學(xué)MRI影像超分辨率重建算法，該算法使用多尺度殘差塊構(gòu)建多尺度殘差組，并在每個(gè)殘差組之間添加注意力模塊，充分獲取圖像的通道和空間特征信息；為避免局部特征信息在網(wǎng)絡(luò)傳播過(guò)程中的丟失，設(shè)計(jì)了局部殘差特征聚合模塊，將殘差組聚合在一起，實(shí)現(xiàn)了殘差特征的非局部使用，在圖像細(xì)節(jié)上取得了更逼真的還原度；梯度分支合并來(lái)自SR分支的特征信息，通過(guò)梯度分支恢復(fù)高分辨率梯度映射，為超分辨率重建提供結(jié)構(gòu)先驗(yàn)，提高了SR分支的性能，達(dá)到了性能和尺寸的最佳權(quán)衡.MSRGAN算法PSNR 和 SSIM 上優(yōu)于其他基于深度卷積神經(jīng)網(wǎng)絡(luò)的超分辨率算法，同時(shí)重建出的圖像細(xì)節(jié)豐富，紋理清晰，充分證明了本文所提算法重建超分辨率醫(yī)學(xué)MRI影像的高效性與實(shí)用性.在下一步的工作中，將著重構(gòu)建更加有效且輕量級(jí)的網(wǎng)絡(luò)結(jié)構(gòu)，在追求最終重建效果的同時(shí)，關(guān)注時(shí)間和空間的消耗.