基于多感受野的生成對抗網(wǎng)絡(luò)醫(yī)學MRI影像超分辨率重建

劉朋偉，高媛*，秦品樂，殷喆，王麗芳

（1.山西省醫(yī)學影像與數(shù)據(jù)分析工程研究中心（中北大學），太原 030051；2.中北大學大數(shù)據(jù)學院，太原 030051；3.山西省醫(yī)學影像人工智能工程技術(shù)研究中心（中北大學），太原 030051）

0 引言

醫(yī)學圖像處理的對象是各種不同成像機制的醫(yī)學影像，磁共振成像（Magnetic Resonance Imaging，MRI）是一種安全的，利用強磁體、無線電波和計算機創(chuàng)建圖像的技術(shù)，與計算機斷層掃描（Computed Tomography，CT）、正電子發(fā)射型計算機斷層（Positron Emission Computed Tomography，PET）成像相比，MRI 不僅沒有電離輻射，而且提供了豐富的對比度。由于人體組織內(nèi)部不同物質(zhì)、不同結(jié)構(gòu)具有不同的屬性，這些屬性會影響獲取高質(zhì)量的MRI 影像，因此對獲得的MRI 影像進行適當?shù)某直媛手亟ǎ兄讷@得細節(jié)豐富、紋理清晰的醫(yī)學影像，可以輔助醫(yī)生更加準確地判斷病灶，作出更加準確的診斷［1］。

醫(yī)學圖像超分辨率（Super-Resolution，SR）重建是指將從醫(yī)學儀器獲得的低分辨率（Low Resolution，LR）圖像重建為有助于醫(yī)生臨床診斷的高分辨率（High Resolution，HR）醫(yī)學圖像技術(shù)。自從Dong 等［2］開創(chuàng)性地將卷積神經(jīng)網(wǎng)絡(luò)運用到超分辨率領(lǐng)域（Super-Resolution Convolutional Neural Network，SRCNN）以來，基于深度卷積神經(jīng)網(wǎng)絡(luò)的SR 方法迅速發(fā)展，各種網(wǎng)絡(luò)體系結(jié)構(gòu)設(shè)計和訓練策略不斷提高SR 性能；Kim 等［3-4］提出了深度遞歸卷積網(wǎng)絡(luò)（Deeply-Recursive Convolutional Network，DRCN）和基于深度卷積的精準圖像超分辨率（Super-Resolution using Very Deep convolutional networks，VDSR）在進一步增加網(wǎng)絡(luò)深度的同時改善SR 性能；Zhang 等［5-6］通過結(jié)合SR 框架中的殘差塊提出了基于密集殘差的圖像超分辨率網(wǎng)絡(luò)（Residual Dense Network，RDN）并進一步提出了深層殘差通道注意力超分辨率網(wǎng)絡(luò)（Residual Channel Attention Networks，RCAN），高媛等［7］利用深度可分離卷積擴寬殘差塊中卷積層提高了醫(yī)學MRI 影像超分辨率的重建質(zhì)量。但是，這些方法通常容易產(chǎn)生棋盤偽影，影響重建效果。Ledig 等［8］利用深度殘差學習提出基于生成對抗網(wǎng)絡(luò)的超分辨率（Super-Resolution using Generative Adversarial Network，SRGAN）算法；高媛等［9］針對醫(yī)學影像超分辨率重建過程中細節(jié)丟失導致的模糊問題，提出了深度殘差生成對抗網(wǎng)絡(luò)（Deep Residual Generative Adversarial Network，DR-GAN）來削弱棋盤效應(yīng)；龔明杰等［10］提出了基于稠密殘差塊的拉普拉斯金字塔級聯(lián)式生成對抗網(wǎng)絡(luò)（LAplacian Pyramid cascaded Generation confrontation Network based on Dense residual blocks，Dense-LAPGAN）解決醫(yī)學圖像欠清晰且大小不一的問題；Wang 等［11］通過在增強型超分辨率生成對抗網(wǎng)絡(luò)（Enhanced Super-Resolution Generative Adversarial Network，ESRGAN）中引入殘差密集塊（Residual in Residual Dense Block，RRDB）來增強以前的框架，通過結(jié)合感知損失［12］、對抗損失［13］以及相對判別器［14］的思想，讓判別器預測相對真實性而不是絕對值，最后利用激活前的特征改善感知損失，為亮度一致性和紋理恢復提供更強的監(jiān)督；Shang 等［15］在ESRGAN 的基礎(chǔ)上提出了具有感受野模塊的超分辨率網(wǎng)絡(luò)（Receptive Field Block based on Enhanced SRGAN，RFB-ESRGAN），能夠提取更為豐富的圖像細節(jié)特征，提高了重建圖像的質(zhì)量。盡管這些現(xiàn)有的感知驅(qū)動方法確實改善了超分辨圖像的整體視覺質(zhì)量，但是在恢復細節(jié)時，可能會生成不自然的偽影，包括幾何失真。Fattal［16］通過學習不同分辨率的先驗依賴性，提出了一種基于圖像梯度邊緣統(tǒng)計的方法；Sun 等［17］提出了代表圖像梯度的梯度輪廓和梯度場變換的方法；Yan 等［18］提出了基于梯度輪廓銳度的SR 方法，以提高超分辨圖像的清晰度。在這些方法中，根據(jù)在LR 圖像中學習到的參數(shù)，通過估計與HR 邊緣相關(guān)的參數(shù)來建模統(tǒng)計依存關(guān)系。Ma 等［19］提出了基于梯度引導的結(jié)構(gòu)保留超分辨率（Structure-Preserving Super-Resolution，SPSR）算法，對于深度生成對抗網(wǎng)絡(luò)，梯度空間約束可以更好地為圖像重建提供額外的監(jiān)督，但網(wǎng)絡(luò)沒有充分利用圖像的全局和局部特征信息，導致重建的圖像細節(jié)、紋理不夠清晰。

針對醫(yī)學圖像由于成像原理和成像技術(shù)存在掃描時間長、低信噪比等缺點，探究利用深度學習進行醫(yī)學影像超分辨率在臨床應(yīng)用上的有效性，通過分析醫(yī)學MRI 影像的紋理特征，根據(jù)卷積神經(jīng)網(wǎng)絡(luò)在不同感受野下獲取特征信息的不同及醫(yī)學圖像各器官之間復雜的紋理組織的尺度變化范圍的不同，本文提出基于多感受野的生成對抗網(wǎng)絡(luò)醫(yī)學MRI 影像超分辨率重建算法（Multi-receptive Field Generation Adversarial Network，MFGAN）。本文提出具有多感受野的特征提取塊（Multi-receptive Field feature Extraction Block，MFEB），MFEB 通過利用具有不同空洞率的4 個并行分支的空洞卷積層來獲取不同感受野下的全局特征信息。為避免感受野過小或過大導致細節(jié)紋理特征丟失、覆蓋，將每組特征分層，用于豐富下一組特征的細節(jié)紋理信息。為獲取對圖像重建任務(wù)具有更高響應(yīng)的空間特征信息，本文設(shè)計了基于動態(tài)卷積和邊緣檢測卷積的空間注意力模塊（Spatial Attention mechanism based on Dynamic convolution and Edge detection，DESA）。為了減少由于網(wǎng)絡(luò)深度的增加淺層特征在網(wǎng)絡(luò)傳播過程中丟失，本文在MFEB 的基礎(chǔ)上設(shè)計了特征融合組（Feature Fusion Group，F(xiàn)FG），將FFG 的輸入與第1 個MFEB 的輸出連接起來，將特征輸入到空間注意力塊中，獲取圖像的空間特征信息，隨后將特征傳遞給下面的MFEB，在FFG 內(nèi)的MFEB 重復此過程，逐步收集局部特征信息；梯度分支生成的梯度圖（Gradient Maps，GM）保留圖像的結(jié)構(gòu)信息，并通過LR 圖像的梯度圖恢復得到的HR 圖像梯度圖可以集成到SR 分支中，為SR 提供結(jié)構(gòu)先驗信息，并且可以更好地突出銳度和結(jié)構(gòu)應(yīng)該注意的區(qū)域，從而輔助重建高質(zhì)量的醫(yī)學超分辨率圖像。

1 模型結(jié)構(gòu)

1.1 MFGAN

本文提出的MFGAN 用于醫(yī)學MRI 影像超分辨率重建，網(wǎng)絡(luò)框架如圖1 所示，MFGAN 由生成器-判別器組成。生成器采用雙分支結(jié)構(gòu)：SR 分支和梯度分支，利用SR 分支提取圖像的局部和全局特征信息，梯度分支提取的圖像的梯度信息，然后將SR 分支和梯度分支的特征信息融合輸出重建圖像；判別器采用深層卷積神經(jīng)網(wǎng)絡(luò)判定生成圖像和原始圖像的真實性，促使生成器生成逼真的SR 圖像。

圖1 MFGAN結(jié)構(gòu)Fig.1 Structure of MFGAN

1.2 生成器結(jié)構(gòu)

生成器結(jié)構(gòu)如圖2 所示，首先采用3×3 卷積增廣輸入圖像特征并采用下采樣的方式降低輸入圖像尺寸，提高網(wǎng)絡(luò)運算效率；然后將特征信息輸入到用于獲取最終超分辨率圖像輸出的SR 分支和梯度分支，在SR 分支中使用MFEB 和DESA 組成FFG 獲取圖像的局部和全局特征信息；同時，將所有FFG 的輸出串聯(lián)作為SR 分支最終輸出特征，減少了淺層特征在網(wǎng)絡(luò)傳播過程中的丟失；梯度分支合并來自SR 分支豐富的結(jié)構(gòu)信息，通過梯度分支恢復高分辨率梯度映射，能夠為超分辨率重建提供額外的結(jié)構(gòu)先驗，從而輔助生成高質(zhì)量圖像；最后，將最終梯度分支得到的梯度特征通過融合塊與SR 分支的特征進行融合作為最終的SR 輸出。

圖2 生成器結(jié)構(gòu)Fig.2 Structure of generator

1.2.1 多感受野特征提取塊

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）隨著網(wǎng)絡(luò)深度和參數(shù)個數(shù)的增加，對單幅圖像的超分辨率重建任務(wù)具有更高的性能提升，僅通過增加網(wǎng)絡(luò)的深度提升網(wǎng)絡(luò)性能需要引入大量的參數(shù)，增加了網(wǎng)絡(luò)的計算復雜度和訓練時間；傳統(tǒng)超分辨率重建網(wǎng)絡(luò)通過堆疊3×3 卷積層實現(xiàn)，這對于處理不同尺度的特征信息缺乏靈活性，不能同時獲取圖像的局部和全局特征信息。

針對上述問題，本文提出多感受野的特征提取塊（MFEB），MFEB 結(jié)構(gòu)如圖3 所示。

圖3 多感受野特征提取塊結(jié)構(gòu)Fig.3 Structure of MFEB

采用4 個并行分支結(jié)構(gòu)獲取不同感受野下的全局特征信息，以其中一條分支為例，本文首先采用1×1 卷積層與激活函數(shù)RELU 來壓縮輸入特征。計算公式如下：

式中：l=1、2、3、4 表示4 個不同的并行分支，Hl表示第l個分支的輸出特征。每個分支的特征被輸入到具有不同空洞率的空洞卷積層，在不增加參數(shù)數(shù)量的情況下獲取不同大小的感受野下的全局圖像信息。計算公式如下：

其次，為了避免感受野過小或過大導致細節(jié)紋理特征丟失、覆蓋，本文將依次整合不同感受野下的特征信息，采用3× 3 卷積將輸出特征yi在通道維度分為兩個子組：一組子特征yi，1直接連接到下一層，用于反饋該尺度感受野下的全局特征信息；另一組子特征yi，2在通道維度與輸入特征映射的下一組特征yi+1連接，用于豐富下一組特征的紋理信息，如此重復上述操作，從而彌補固定感受野捕獲信息的不足。

隨后采用1×1 卷積融合不同感受野下的特征信息，MFEB 輸出的特征F′計算如下：

式中：i=1、2、3、4，Conv1×1表示1×1 卷積層，Conv3×3表示3×3卷積層，⊕表示在通道維度上拼接兩組特征，yi+1分別表示輸入特征yi的下一層特征表示。

最終輸出的特征中小感受野可以聚焦于圖像的細節(jié)信息，有助于恢復醫(yī)學圖像的細節(jié)紋理信息。

1.2.2 特征融合組

隨著網(wǎng)絡(luò)深度的增加，圖像淺層特征信息可能會在網(wǎng)絡(luò)傳播過程中逐漸丟失，然而這些淺層特征有助于網(wǎng)絡(luò)重建高質(zhì)量的超分辨率圖像。因此，本文在MFEB 的基礎(chǔ)上設(shè)計了特征融合組，如圖2 所示。FFG 的輸入與第1 個MFEB 的輸出級聯(lián)，將級聯(lián)特征輸入到空間注意力模塊（DESA）中，獲取對重建圖像具有高響應(yīng)的空間特征信息。本文對FFG 內(nèi)的所有MFEB 重復上述過程，逐步收集圖像的局部特征信息。此外，為了充分利用局部特征信息，本文網(wǎng)絡(luò)輸出由所有FFG 的輸出串聯(lián)而成，有效避免了局部特征在網(wǎng)絡(luò)傳播過程中的丟失，最后使用1×1 卷積層來自適應(yīng)地控制輸出信息，降低計算復雜度。

1.2.3 空間注意力機制

注意力機制不僅能記錄信息之間的位置關(guān)系，還能根據(jù)權(quán)重去度量不同特征信息的重要性，通過對特征信息進行相關(guān)與不相關(guān)的抉擇建立動態(tài)權(quán)重參數(shù)，以強化關(guān)鍵信息弱化無用信息，從而被應(yīng)用在圖像處理領(lǐng)域提高深度學習算法的效率。BAM（Bottleneck Attention Module）采用兩個3×3 空洞卷積提取圖像的特征信息［20］，能夠比普通卷積更有效地利用圖像的上下文信息，通過增大特征提取時感受野的范圍，獲取比普通卷積更有效的上下文信息，但因不同空洞率的空洞卷積無法衡量圖像中復雜紋理組織的尺度變化范圍，并且空洞卷積稀疏采樣的方式可能會引起圖像像素間關(guān)聯(lián)性的丟失，致使各器官之間的邊界模糊，紋理不清晰；若使用空洞卷積的空洞率過大也可能導致棋盤偽影，影響圖像的重建效果。

針對上述存在的問題，本文提出基于動態(tài)卷積和邊緣檢測的空間注意力機制（DESA），DESA 結(jié)構(gòu)如圖4 所示。動態(tài)卷積通過根據(jù)輸入圖像的特征信息利用動態(tài)濾波器生成不同大小的卷積核獲取不同大小的圖像特征信息，提升網(wǎng)絡(luò)重建圖像的精度，避免因空洞卷積過大造成重建圖像出現(xiàn)棋盤偽影；同時為增強圖像內(nèi)部的邊緣紋理信息，增強網(wǎng)絡(luò)邊緣檢測的敏感性，對于輸入特征f∈Rh×w×c，本文采用內(nèi)核為1×k與k×1 的轉(zhuǎn)置卷積獲取圖像的邊緣響應(yīng)信息E1與E2，采用疊加互補轉(zhuǎn)置卷積層的方式獲取圖像中的邊界信息與高頻信息。計算公式如下：

圖4 DESA模塊結(jié)構(gòu)Fig.4 Structure of DESA module

式中Conv1×k和Convk×1分別表示1×k和k×1 卷積核，本文設(shè)置k=1、3、5。同時對輸入特征采用自適應(yīng)平均池化層（Adaptive Average Pooling，AAP）獲取區(qū)域大小為k×k的上下文信息；然后對動態(tài)卷積獲得的圖像全局特征信息與邊緣檢測獲取的邊緣特征信息進行疊加，之后采用Sigmoid 函數(shù)對映射到［0，1］的編碼空間特征采取歸一化處理，作為原始輸入特征的空間響應(yīng)激活函數(shù)（Spatial Attention，SA）。SA 與輸入特征f進行元素級相乘，然后與原始輸入特征相加，得到最終的注意力特征f′。計算公式如下：

式中：f a表示將特征經(jīng)過自適應(yīng)平均池化后，采用動態(tài)卷積獲得的全局圖像特征，Convk×k表示卷積核為k×k的動態(tài)卷積層，AAP 表示自適應(yīng)平均池化，?表示元素級乘。

本文設(shè)計的空間注意力機制能夠解決空洞卷積引起的圖像間像素相關(guān)性丟失重建圖像的邊緣模糊和紋理不清晰等問題，通過使用不同尺度的動態(tài)卷積核增強網(wǎng)絡(luò)對于圖像全局上下文信息獲取，同時利用邊緣檢測卷積層，以獲取圖像的邊緣和紋理信息，提升重建圖像的精度。

1.2.4 梯度塊

梯度塊（Gradient Block，GB）結(jié)構(gòu)如圖5 所示。梯度塊將來自SR 分支的結(jié)構(gòu)信息進行合并，通過梯度塊恢復高分辨率梯度映射，為超分辨率重建提供額外的結(jié)構(gòu)先驗。

圖5 梯度塊結(jié)構(gòu)Fig.5 Structure of gradient block

梯度信息反映了圖像的邊緣細節(jié)變化，為避免梯度變化差異大，在梯度還原時弱化圖像邊緣的銳度，從而保證生成平滑的邊緣信息引導超分辨圖像生成。因此本文采用全局平滑池化層（Global Smooth Pooling，GSP）平滑HR 的邊緣銳度，可以使生成圖像更具有平滑的紋理信息。GSP 通過計算相鄰像素之間的差異性，實現(xiàn)對梯度分支圖像的響應(yīng)激活。計算公式如下：

式中：Ix(x)是x在水平方向上的差分，Iy(x)是x在垂直方向上的差分，Mx(I)是Ix(x)和Iy(x)對應(yīng)位置元素的平方和，再開方。M(?)獲得的梯度圖LR 梯度只記錄梯度的幅值信息，并未考慮方向信息，因為幅值信息足以表明圖像局部區(qū)域的銳度（sharpness），其元素是坐標x=I(x，y)的像素的梯度長度，F(xiàn)x表示來自SR 分支的特征，BMSRBx表示梯度分支與SR 分支的特征疊加，SGSPx表示經(jīng)過全局平滑池化之后的特征權(quán)重。

1.3 判別器結(jié)構(gòu)

判別器的作用是估計輸入圖像是生成圖或真實圖的概率，通過判別器引導生成器進行訓練，使得生成器生成的結(jié)果更趨近于真實圖像。網(wǎng)絡(luò)對生成器的要求是盡可能在不引入任何偽影的情況下對真實圖像進行建模，然而使用單一的判別器網(wǎng)絡(luò)可能會過分關(guān)注圖像的某些特征，從而導致重建圖像出現(xiàn)偽影等不真實的細節(jié)紋理信息。因此，為了提高重建圖像局部區(qū)域細節(jié)信息與真實圖像對應(yīng)區(qū)域的相似性，受益于文獻［21］提出的局部對抗損失，避免因判別器局限于關(guān)注生成圖像某一局部特征，而忽視整張圖像的特征。本文采用了對生成圖局部圖像塊進行真假判別的判別器網(wǎng)絡(luò)，從而在限制判別器網(wǎng)絡(luò)感受野范圍和網(wǎng)絡(luò)容量的同時提升重建圖像的質(zhì)量。判別器結(jié)構(gòu)如圖6 所示，本文采用VGG16 網(wǎng)絡(luò)作為判別器結(jié)構(gòu)，使用深層網(wǎng)絡(luò)提取更為豐富的圖像細節(jié)特征，從而提高判別器的判別能力，同時本文在最后一層采用1×1 卷積核降低特征通道，輸出3×3 概率圖，替換了原始的全連接層，使得在保證降低特征圖維度的同時不改變圖像的空間結(jié)構(gòu)。相較于傳統(tǒng)生成對抗網(wǎng)絡(luò)中判別器只輸出一個標量值來表示生成圖或真實圖整幅圖像的真實性，本文的判別器輸出3×3 概率圖，其中每一個概率值對應(yīng)圖像中一個局部感受野，將圖像分成9 個子區(qū)域分別進行判別，可以進一步提高判別器對局部細節(jié)的判別能力，從而促使生成器生成細節(jié)豐富、紋理清晰的醫(yī)學圖像。

圖6 判別器結(jié)構(gòu)Fig.6 Structure of discriminator

1.4 損失函數(shù)

在超分辨率領(lǐng)域，損失函數(shù)用于度量重建誤差和指導模型優(yōu)化。像素損失可以減少重建圖像和原始圖像之間的像素差異，有利于提升峰值信噪比（Peak Signal-to-Noise Ratio，PSNR），加快網(wǎng)絡(luò)收斂，但容易造成過擬合。

感知損失是HR 圖像和SR 圖像特征之間的歐氏距離的最小化，通過使用預訓練的VGG 網(wǎng)絡(luò)衡量圖像之間的語義差異，目的在于提高圖片的視覺質(zhì)量，計算公式如下：

式中：φ(l)(?)表示VGG 網(wǎng)絡(luò)的第l層輸出，hl、wl、cl分別表示第l層圖像的長、寬和通道數(shù)。

本文對原始低分辨的圖像進行超分辨重建時，為保證重建效果，引入GAN 的生成器（G）-判別器（D）結(jié)構(gòu)，對于判別器輸出的3×3 概率圖，概率圖中每個值代表生成圖像中對應(yīng)局部區(qū)域的真實性，相應(yīng)的真實圖的對應(yīng)區(qū)域?qū)?yīng)標簽為1，通過交叉熵損失計算生成圖和真實圖之間對應(yīng)局部區(qū)域的差異，最終對每一個局部區(qū)域得到的交叉熵損失求和得到判別器的損失值，反向傳播進行訓練，計算公式如下：

式中：HD表示判別器網(wǎng)絡(luò)；分別表示HR 和SR 的第i個局部圖像塊；o[i]表示生成的第i個局部圖像塊由判別器判斷為真的概率；label表示圖像標簽；LG、LD分別表示生成器和判別器的對抗性損失。

上述損失函數(shù)約束的模型只考慮圖像的空間約束，但忽略了梯度空間提供的語義信息。由于梯度圖（Gradient Map，GM）能充分反映圖像的結(jié)構(gòu)信息，因此可以作為二階約束為生成器提供約束。本文通過減小從SR 圖像中提取的梯度圖與從相應(yīng)的HR 圖像中提取的梯度圖之間的差異來確定梯度損失。計算公式如下：

本文在SR 分支采用了逐像素損失、感知損失、對抗損失，將SR 進行梯度化后進行二階損失約束，利用逐像素損失和對抗損失來約束SR 的梯度圖與HR 的梯度圖；梯度分支利用逐像素損失約束生成SR 的梯度圖與HR 的梯度圖。計算公式如下：

通常，生成對抗網(wǎng)絡(luò)重建的圖像會產(chǎn)生許多的偽影和噪聲，為了抑制噪聲和削弱偽影對重建圖像的影響，本文在損失函數(shù)中加入了總變分正則化項以緩解上述問題。本文損失函數(shù)計算公式如下：

2 實驗和結(jié)果分析

2.1 實驗參數(shù)

實驗采用的數(shù)據(jù)集是開源的醫(yī)學CT OR MRI 數(shù)據(jù)集和CHAOS 數(shù)據(jù)集，從中選取了縱隔清晰，高低頻信號對比明顯、富含紋理細節(jié)的3 000 張圖像進行實驗，實驗采用2 500張圖像作為訓練集、200 張作為驗證集和300 張圖像作為測試集。

為充分對比本文算法的有效性，將高分辨率圖像采用Bicubic 下采樣2、3、4 倍得到LR 圖像分別訓練模型，在訓練期間，為盡可能模擬實際臨床醫(yī)學圖像的條件，分別對每個LR 圖像進行旋轉(zhuǎn)90°、180°、270°、垂直翻轉(zhuǎn)、垂直翻轉(zhuǎn)旋轉(zhuǎn)90°、垂直翻轉(zhuǎn)旋轉(zhuǎn)180°和垂直翻轉(zhuǎn)旋轉(zhuǎn)270°以獲取額外的7張LR 圖片，能在保證數(shù)據(jù)真實的情況下增廣數(shù)據(jù)，最終將訓練集擴大至20 000 張圖像。將LR 圖像隨機裁剪后得到的尺寸為30×30 的補丁輸入網(wǎng)絡(luò)進行訓練。在每個epoch 訓練結(jié)束后，將驗證集輸入模型以跟蹤該epoch 的訓練結(jié)果，訓練完成后使用測試集進行最終測試。實驗采用PSNR、結(jié)構(gòu)相似性（Structural SIMilarity，SSIM）和感知指數(shù)（Perceptual Index，PI）作為醫(yī)學影像超分辨率的評價指標。

本文的實驗采用mini-batch 的訓練方式，mini-batch 大小設(shè)置為16。采用預訓練的VGG 網(wǎng)絡(luò)計算感知損失中的特征距離，以像素損失、感知損失、對抗性損失和梯度損失為優(yōu)化目標。初始生成器和判別器的學習率均設(shè)置為10-4，為減少網(wǎng)絡(luò)的訓練時間在50k、100k、200k、300k 次迭代時學習率減半。本文的實驗環(huán)境為Ubuntu 14.01.5 LTS 操作系統(tǒng)，Pytorch V1.1.0，CUDA Toolkit 9.0，Python3.6。本算法使用ADAM 優(yōu)化器，初始參數(shù)設(shè)置 為β1=0.9，β2=0.999，ε=10-8。整個網(wǎng)絡(luò)在一塊NVIDIA P100 上訓練了48 h。

2.2 對比實驗

2.2.1 多感受野特征提取塊對比實驗

多感受野特征提取塊能夠在不同空洞率的感受野下獲取不同尺寸的圖像特征，充分獲取圖像的全局和局部特征信息。為了驗證該模塊的有效性，設(shè)計了一組與RB（Residual Block）和RRDB 塊在SISR 任務(wù)中的性能對比實驗。分別對網(wǎng)絡(luò)中的特征提取模塊進行了替換，每次實驗網(wǎng)絡(luò)只包含一個特征提取塊。在驗證MFEB 的基礎(chǔ)上對網(wǎng)絡(luò)中的注意力模塊和梯度分支的有效性進行驗證。實驗運行了350 個時期（epoch），每個epoch 內(nèi)迭代1 000 次，共迭代3.5×105次，同時在驗證集上計算了網(wǎng)絡(luò)的PSNR 和SSIM值以驗證網(wǎng)絡(luò)的性能。表1 列出了應(yīng)用不同殘差塊和對空間注意力模塊、梯度分支有效性驗證的實驗結(jié)果，可以看到使用MFEB、注意力模塊和梯度分支重建效果均有不同程度的提升。

表1 使用不同殘差塊和各模塊對比的PSNR和SSIMTab.1 PSNR and SSIM comparision modules using different residual blocks

2.2.2 特征融合組對比實驗

為了驗證特征融合組（FFG）能否有效避免淺層特征在網(wǎng)絡(luò)傳播過程中丟失，該組實驗在網(wǎng)絡(luò)主體上，分別使用含有和去除FFG 直接串聯(lián)特征提取塊的網(wǎng)絡(luò)主體結(jié)構(gòu)，在相同的實驗環(huán)境和數(shù)據(jù)集條件下做了兩組對比實驗。表2 列出了實驗結(jié)果，可以看到完整的FFG 在3 個尺度下的PSNR 和SSIM值均達到了最高，這也證明了特征融合組能夠有效避免淺層特征在網(wǎng)絡(luò)傳播過程中的丟失。

表2 有無FFG的PSNR和SSIM對比Tab.2 Comparison of PSNR and SSIM with and without FFG

2.2.3 和其他算法的對比

為進一步驗證MFGAN 模型的有效性，本文將MSRGAN與SRCNN、SRGAN、ESRGAN、DR-GAN、RFB-ESRGAN 和SPSR 進行效果對比。表3 說明了本文提出的MFGAN 在PSNR、SSIM 和PI 三個指標上優(yōu)于以前的算法。

表3 列出了尺度分別為×2、×3、×4 時各算法的PSNR、SSIM 和PI值。與SPSR 相比，本文所提算法MFGAN 的PSNR值在各個尺度上分別提升了4.8%、2.7%、3.5%，MFGAN 重建的圖像恢復了更多的高頻信息，充分利用了圖像的局部和淺層特征信息，重建圖像細節(jié)豐富，紋理清晰，具有更好的視覺效果，符合臨床診斷的需求。

表3 各算法在測試集上的PSNR、SSIM和PI值Tab.3 PSNR、SSIM and PI index of each algorithm on test set

為了客觀對比MFGAN 與各個算法的重建效果，本文從測試集中隨機選取了2 幅高分辨率圖像通過Bicubic 下采樣4倍后分別輸入以上7 個網(wǎng)絡(luò)，重建效果如圖7 所示，可以看到從視覺效果上來看，MFGAN重建出的醫(yī)學MRI影像相比其他6 種超分辨率重建算法紋理細節(jié)更豐富、視覺效果更逼真，減弱了噪聲的影響，符合臨床診斷的需求。

圖7 各算法重建效果對比Fig.7 Reconstruction effects comparison of each algorithm

2.2.4 模型參數(shù)對比與特征融合組數(shù)量的選取

為分析MFGAN 模型使用FFG 數(shù)量的有效性以及比較本文模型與SPSR 模型的參數(shù)及性能，在相同實驗環(huán)境下，分別采用5 個FFG、6 個FFG（即本文模型）及7 個FFG 的模型進行對比。表4 列出了4 種模型結(jié)構(gòu)的參數(shù)數(shù)量與不同尺度的PSNR值，實驗數(shù)據(jù)說明采用6 個FFG 的MFGAN 相較于采用5 個FFG 的MFGAN 性能要好，而采用7 個FFG 所需參數(shù)較多且指標提升不明顯。最終，本文選取FFG 數(shù)量為6 的MFGAN，其參數(shù)數(shù)量相較于SPSR 稍多，但在重建圖像的PSNR 和SSIM值上均高于SPSR 算法，并且在視覺效果相較于SPSR 算法所重建的醫(yī)學圖像細節(jié)更加豐富。

表4 各模型參數(shù)數(shù)量以及不同尺度下的PSNR值Tab.4 Parameter number and PSNR for different models at different scales

3 結(jié)語

本文提出了基于多感受野的生成對抗網(wǎng)絡(luò)醫(yī)學MRI 影像超分辨率重建算法。該算法使用多感受野特征提取塊構(gòu)建特征融合組，并在每個特征融合組中添加空間注意力模塊，充分獲取圖像的空間特征信息，減少了淺層和局部特征在網(wǎng)絡(luò)中的丟失，在圖像的細節(jié)上取得了更逼真的還原度；梯度分支合并來自SR 分支的特征信息，通過梯度分支恢復高分辨率梯度映射，為超分辨率重建提供額外的結(jié)構(gòu)先驗，達到了性能和尺寸的最佳權(quán)衡。MFGAN 算法在PSNR 和SSIM 上均優(yōu)于其他基于深度卷積神經(jīng)網(wǎng)絡(luò)的超分辨率算法，同時重建出的圖像細節(jié)豐富、紋理清晰，符合臨床診斷需求，充分證明了本文算法在重建超分辨率醫(yī)學MRI 影像的高效與準確性。在下一步的工作中，著重于構(gòu)建更加有效并輕量級的網(wǎng)絡(luò)結(jié)構(gòu)，在追求最終重建效果的同時，關(guān)注時間和空間的消耗。