基于深度學(xué)習(xí)網(wǎng)絡(luò)的醫(yī)學(xué)核磁共振成像超分辨率重構(gòu)實驗

劉家奇，劉環(huán)宇，李君寶

前言

核磁共振成像（Magnetic Resonance Imaging,MRI）是斷層成像的一種，它利用磁共振現(xiàn)象從人體中獲得電磁信號，并重建出人體信息［1］。MRI通過對靜磁場中的人體施加某種特定頻率的射頻脈沖，使人體中的氫質(zhì)子受到激勵而發(fā)生磁共振現(xiàn)象。停止脈沖后，質(zhì)子在弛豫過程中產(chǎn)生核磁共振（Magnetic Resonance,MR）信號。通過對MR 信號的接收、空間編碼和圖像重建等處理過程，生成MR圖像。MRI已應(yīng)用于全身各系統(tǒng)的成像診斷，包括顱腦、脊髓、心臟大血管、關(guān)節(jié)骨骼、軟組織及盆腔等。MR 與PET和SPECT 不同的是其不用注射放射性同位素就可成像，同時MRI 可以得到任何方向的斷層圖像，三維立體圖像，甚至可以得到空間-波譜分布的四維圖像。但由于MR成像的特殊性，硬件成像分辨率已經(jīng)達(dá)到極限，磁場和輻射時間的增加將會帶來蛋白滅活等對人體不可逆轉(zhuǎn)的傷害。而高分辨率的MR 圖像有助于醫(yī)生對病灶的定位及疾病的診斷。

因此，面向MR 圖像超分辨的軟件方法具有重大意義，在不對人體造成傷害的情況下，實現(xiàn)MR 圖像分辨率的提升。圖像進(jìn)行超分辨重建的方法主要包括基于插值［2］、基于重建［3-5］、基于字典學(xué)習(xí)［6］以及基于深度學(xué)習(xí)［7］的方法。無論哪種方法都需要MR 數(shù)據(jù)集作為支撐。目前，開源的MR圖像數(shù)據(jù)主要包括或來源：NYU FastMRI［8］、IXI Dataset［9］、TCIA［10］以及mridata.org［11］。為什么開源的MR 數(shù)據(jù)也不少，還需要再構(gòu)建一個新的MR圖像數(shù)據(jù)集？

從表1可以看出，目前開源的MR 圖像具有以下局限：（1）開源MR圖像雖然應(yīng)用方向眾多，但是缺少針對圖像超分辨方向的數(shù)據(jù)集；（2）開源MR 圖像涵蓋人體器官單一，不利于不同器官超分辨情況的分析；（3）缺少面向MR圖像超分辨的基準(zhǔn)數(shù)據(jù)集。

表1 開源的MR圖像數(shù)據(jù)集Tab.1 Open source MR image data set

本文希望有一個具備以下優(yōu)點的數(shù)據(jù)集：具備一定規(guī)模、不同尺度的真實MR圖像超分辨的數(shù)據(jù)集并具備不同器官超分辨難易程度說明。本文的數(shù)據(jù)集名字為MRSR-D，其涵蓋3種超分辨尺度×2、×3、×4，4個人體器官：500個頭頸高低分辨率對，600個乳房高低分辨率對，1 000 個膝蓋高低分辨率對，2 200 個頭顱高低分辨率對，其中超分辨的難度為：頭顱＞乳房＞頭頸＞膝蓋。在此基礎(chǔ)上，本文的數(shù)據(jù)集是在不斷成長的。此外本文在構(gòu)建的MR 圖像數(shù)據(jù)集上對比分析 了bicubic、RDN、EDSR、SRGAN、ESRGAN、DDBPN、SRFBN、ESRFBN 算法，涵蓋傳統(tǒng)超分辨率學(xué)習(xí)以及一批超分辨表現(xiàn)優(yōu)異的深度學(xué)習(xí)網(wǎng)絡(luò)。根據(jù)實驗結(jié)果可以看出深度學(xué)習(xí)網(wǎng)絡(luò)在MR 圖像上進(jìn)行超分辨的效果表現(xiàn)良好，并且同一算法不同部位的超分辨效果波動較大。

本文的貢獻(xiàn)包括以下3 點：（1）本文建立了用于MR 圖像超分辨重建的數(shù)據(jù)集，包括4 300 個高低分辨率對，涉及頭顱、乳房、膝蓋、頭頸4 個部位；（2）本文對不同部位的MR 圖像超分辨率重建難度進(jìn)行統(tǒng)計分析，為不同部位的MR圖像超分辨率重建提供建議；（3）本文將傳統(tǒng)超分辨重建、深度學(xué)習(xí)超分辨重建方法在MR 圖像超分辨重建的數(shù)據(jù)集上進(jìn)行了實驗分析，可以看出深度學(xué)習(xí)方法在MR圖像超分辨率重建上具有良好表象，為后續(xù)基于深度學(xué)習(xí)的MR圖像超分辨率重建提供了參考。

1 相關(guān)工作

1.1 MRI數(shù)據(jù)集

近幾年由于深度學(xué)習(xí)的大熱，研究者們將從自然圖像的超分辨逐步擴(kuò)展到了醫(yī)學(xué)圖像超分辨，包括CT、PET-CT 以及MR 圖像等。但是醫(yī)學(xué)圖像由于其倫理性與隱私性的限制，初期難建立像自然圖像超分辨所用大規(guī)模、標(biāo)準(zhǔn)化的數(shù)據(jù)集，如DIV2K、Set5、Set14、BSD100、URBAN100、MANGA109 等數(shù)據(jù)集［12］。

目前開源的MR 圖像數(shù)據(jù)集包括倫敦帝國理工的IXI Dataset、Facebook AI 與紐約大學(xué)醫(yī)學(xué)院共同創(chuàng)建的fastMRI Dataset［8］、TCIA 中用于癌癥研究的MR Cancer Dataset 以及mridata.org 中包含k 空間（尋?？臻g在傅利葉轉(zhuǎn)換下的對偶空間）的原始MR Dataset?？此崎_源的MR 圖像數(shù)據(jù)渠道不少，但是都有它們的局限性：IXI Dataset收集了來自正常健康受試者的近600 張MR 腦圖像，致力于大腦發(fā)育計算分析。該數(shù)據(jù)集僅包含一個人體器官，不具有多樣性。TCIA 是癌癥研究的醫(yī)學(xué)圖像的開放獲取數(shù)據(jù)庫，其中的MR 圖像用于對癌癥的研究，包括癌癥診斷、癌癥的分割等研究。mridata.org 是研究人員共享MRI原始k 空間數(shù)據(jù)集的開放平臺，僅公開獲得的247 張膝蓋MR數(shù)據(jù)集。但是，這些現(xiàn)有數(shù)據(jù)集的大小仍然很小。

這里不得不提到加速MR 重建速度的Benchmark Dataset：NYU fastMRI Dataset，其包括膝部和腦部兩個部位，其中膝部MRI 在1.5T 和3.0T 磁場強度下獲取1 500幅完全采樣MRI數(shù)據(jù)以及10 000幅臨床膝部MRI的DICOM圖像。腦部MRI在1.5T和3.0T的磁場強度下獲得6 970個全采樣數(shù)據(jù)，包括原始數(shù)據(jù)集，如軸向T1加權(quán)、T2加權(quán)和FLAIR圖像。

目前開源的MR 圖像數(shù)據(jù)集沒有一個是特定應(yīng)用于圖像超分辨領(lǐng)域的，并且部分?jǐn)?shù)據(jù)集如IXI dataset、mridata.org 開源的MR 圖像中，其中原始k 空間域的數(shù)據(jù)數(shù)量少、僅具有單一部位；較大型的TCIA MR dataset和fastMRI Datase 數(shù)據(jù)量較大、包含部位兩或3 個，但都不針對圖像超分辨方向，不具備人體多部位的高低分辨率MR圖像對，難以直接用于圖像超分辨領(lǐng)域。

1.2 深度學(xué)習(xí)超分辨網(wǎng)絡(luò)

目前由于醫(yī)學(xué)圖像中具備特殊的成像機(jī)制，尚未有一種適應(yīng)于醫(yī)學(xué)圖像的深度網(wǎng)絡(luò)［13］，但針對自然圖像超分辨率重建（Natural Image Super Resolution,NISR）的網(wǎng)絡(luò)已發(fā)展成熟。NISR 使用的網(wǎng)絡(luò)主要包括：基于前饋深度網(wǎng)絡(luò)、基于反饋深度網(wǎng)絡(luò)、基于生成對抗網(wǎng)絡(luò)。D-DBPN 屬于前饋深度網(wǎng)絡(luò)，其提供了一種錯誤反饋機(jī)制在每個階段，并構(gòu)建了相互依賴的模塊，這類模塊代表了不同的圖像退化和高分辨組件，使得在上下采樣階段的特征連接起來，提升SR 結(jié)果［14］。RDN 屬于反饋深度網(wǎng)絡(luò)，它提出了殘差密集模塊（RDB），該模塊主要通過密集連接的卷積層，通過卷積運算，提取圖像內(nèi)的局部特征［15］。SRFBN 也屬于反饋深度網(wǎng)絡(luò)，此類模型是通過約束的RNN 中使用隱藏狀態(tài)來實現(xiàn)這種反饋方式［16］。EDSR 也屬于反饋深度網(wǎng)絡(luò)，在結(jié)構(gòu)上它與SRResNet 相比，就是把批規(guī)范化處理（Batch Normalization,BN）操作去掉了［17］。SRGAN［18］屬于生成對抗式網(wǎng)絡(luò)，它是在SRResnet 的基礎(chǔ)上加上一個鑒別器，其作用是額外增加一個鑒別器網(wǎng)絡(luò)和2個損失，用一種交替訓(xùn)練的方式訓(xùn)練兩個網(wǎng)絡(luò)。三大類具有代表性的網(wǎng)絡(luò)在自然圖像的超分辨率重建上具有良好的貢獻(xiàn)。

2 高質(zhì)量醫(yī)學(xué)MR數(shù)據(jù)集構(gòu)建

圖1總結(jié)了本文建立的MR 圖像數(shù)據(jù)，本文在開源的網(wǎng)站上對頭頸、乳房、骨骼、頭顱4個人體部位的MR 圖像數(shù)據(jù)進(jìn)行收集，并采用雙三次方降采樣方法構(gòu)建了×2、×3、×4 尺度的高低分辨率MR 圖像對，并且按照7:2:1劃分了訓(xùn)練集、驗證集以及測試集［19-20］。

2.1 原始數(shù)據(jù)收集及質(zhì)量評估

本文的數(shù)據(jù)來源于開源的MR 圖像數(shù)據(jù)，主要包括NYU fastMRI Dataset、IXI Dataset、TCIA MRI Dataset 以及mridata.org 等。由于不同數(shù)據(jù)集包括的部位不同，并且部分?jǐn)?shù)據(jù)僅包含一個人體部位。如NYU fastMRI Dataset包含頭顱和膝蓋，IXI Dataset僅包含頭顱，而TCIA MRI Dataset包含乳房、頭顱、頭頸以及膀胱等。因此，本數(shù)據(jù)集主要以TCIA 中下載的MRI 圖像數(shù)據(jù)為主，其中頭顱數(shù)據(jù)還來源于NYU fastMRI Dataset 和IXI Dataset；膝蓋部位來源于mridata.org 和NYU fastMRI Dataset。MR圖像數(shù)據(jù)以DICOM 格式進(jìn)行存儲，DICOM 格式是醫(yī)學(xué)圖像的國際標(biāo)準(zhǔn)。通過Python 的第三方庫pydicom 對獲取的原始MR 數(shù)據(jù)進(jìn)行解析，獲取到各個器官的MR圖像。各個部位的MR 圖像信息如表2所示。為了減少由于圖像的信噪比、對比度、運動偽影和化學(xué)偽影而造成的影響，另外考慮MRI 設(shè)備所承擔(dān)的成本，本文收集采用主流的磁場強度；由于本文獲取不同部位的數(shù)據(jù)過程中，根據(jù)醫(yī)用靶器官不同的成像標(biāo)準(zhǔn)，分別獲取不同分辨率的原始圖像。

2.2 數(shù)據(jù)質(zhì)量評估

如表2所示，本文獲取了大量的原始MR 圖像數(shù)據(jù)，但并不是所有的數(shù)據(jù)都適合應(yīng)用于MR圖像超分辨，質(zhì)量不合格的數(shù)據(jù)反而會降低圖像超分辨的效果。因此，本文對各器官數(shù)據(jù)進(jìn)行了質(zhì)量評估，將不符合要求的數(shù)據(jù)剔除。本文通過人工和機(jī)器兩種方法對MR圖像進(jìn)行了篩選。

首先，本文根據(jù)專業(yè)醫(yī)生的建議，對明顯存在質(zhì)量問題的MR圖像數(shù)據(jù)進(jìn)行人工剔除。其次，訓(xùn)練樣本越多相對來說得到的先驗知識更豐富，訓(xùn)練出的深度學(xué)習(xí)網(wǎng)絡(luò)能夠使得重建的圖像更接近實際的圖像，但是樣本的豐富不一定能夠保證是有效的訓(xùn)練樣本，質(zhì)量較差的樣本不僅無法提高圖像重建質(zhì)量，有可能還會拉低了超分辨重建的PSNR 值。本文采用基于灰色一致性和梯度聯(lián)合的方法對MR 圖像的質(zhì)量進(jìn)行評估［21］?；叶鹊目臻g分布是針對圖像所特有的，灰度的空間分布狀況可以用于描述圖像的相關(guān)性和對稱性等，具體可以反映灰度分布是集中還是分散的，灰度一致性怎樣，是否存在重復(fù)性，對稱性怎么樣等信息，而梯度方法可以體現(xiàn)局部信息的復(fù)雜性，詳細(xì)信息描述如下：

圖1 含有3種不同的MR圖像高低分辨率對Fig.1 Containing three different pairs of high and low resolution MR images

表2 原始MR數(shù)據(jù)的整理Tab.2 Collation of original MR data

其中，f(a,b)是圖像(a,b)位置的像素值，fˉ是其中心8 個像素的平均值?；叶纫恢滦员硎久總€像素的差異和像素灰度值的累計。

經(jīng)過篩選后的MR 圖像數(shù)量如表2所示。可以看出經(jīng)過人工、灰色一致性和梯度聯(lián)合的篩選方法，圖像數(shù)量下降較多。但是仍然具備大規(guī)模特性，并且數(shù)據(jù)質(zhì)量提升，更有助于深度學(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練性能提升。在本文構(gòu)建公開的MR 數(shù)據(jù)集中不僅包含原始MR 數(shù)據(jù)，同時包含經(jīng)過本文篩選后的高質(zhì)量MRI數(shù)據(jù)。

2.3 高低分辨率圖像對生成

各類深度學(xué)習(xí)網(wǎng)絡(luò)都需基于先驗知識，而針對先驗知識，則是需要高低分辨率對，對于高低分辨率圖像對的生成。本文直接使用與NI圖像相同的降采樣方法-基于雙三次方的降采樣方式，對原始圖像對進(jìn)行下采樣［22］?；谌畏讲逯档南虏蓸邮紫仁切枰獦?gòu)造BiCubic函數(shù)，其表達(dá)式為：

第二，對待插值圖像點(x,y)，取附近的4×4領(lǐng)域(xi,yj)，i= 0,1,2,3。按如下公式進(jìn)行插值：

第三，將上采樣得到的圖像通過下采樣的方式對其處理，得到對應(yīng)的降采樣后為：

其中，g(x,y)為降采樣獲取的LR 圖像。而HR 為原始圖像。

在基于雙三次方插值的下采樣中，本文采用不同的低分辨率圖像的生成方法，分別為：

（1）直接下采樣方法：直接下采樣方法就是將原始圖像進(jìn)行下采樣，在此過程中不需要添加任何噪聲，保證圖像的原本質(zhì)量。

其中，↓s為對應(yīng)分辨率變化尺寸，本文分別設(shè)置×2、×3、×4這3種尺寸，從而驗證各類算法在不同尺寸上面的適應(yīng)程度。LRs表示對應(yīng)尺寸的低分辨率圖像。

（2）基于HR高斯噪聲的下采樣：基于HR加5%高斯噪聲的下采樣方法就是將原始圖像加入5%的高斯噪聲［23］，為了減少采集原始圖像的誤差，加入噪聲后的原始圖像通過下采樣的方法獲取到低分辨率圖像。

其中，5%GN 代表5%的高斯噪聲。LR1s為此類方法對應(yīng)s尺寸的低分辨率圖像。

（3）基于LR 高斯噪聲的下采樣：基于LR 加噪聲的下采樣方法就是將不加噪聲的原始圖像，下采樣后所得的LR 圖像加入5%的高斯噪聲，為了減少所利用的LR 圖像的真實誤差，加入噪聲后的原始圖像通過下采樣的方法獲取到低分辨率圖像之后，對LR圖像加入誤差。

其中，5%GN代表5%的高斯噪聲。LRs+5%GN代表此類方法對應(yīng)s尺寸的低分率圖像。

本文采用基于三次方插值的原始圖像直接下采樣的方法，生成MR-SR高低分辨率對，作為深度學(xué)習(xí)網(wǎng)絡(luò)的輸入。本文主要利用雙三次方降采樣實現(xiàn)HR-＞LR過程。數(shù)據(jù)集的降采樣的尺度分別為×2、×3、×4。針對適應(yīng)于MR-SR 數(shù)據(jù)集，作為訓(xùn)練和測試的統(tǒng)計進(jìn)行詳細(xì)列舉，如表3所示。

表3 高低分辨率對生成的PSNR（dB）Tab.3 PSNR generated by high and low resolution pairs(dB)

2.4 數(shù)據(jù)集性能

臨床醫(yī)學(xué)過程中，各器官內(nèi)的組織液與自由水的比重和MR 成像過程中設(shè)備條件不同，MR 圖像進(jìn)行超分辨操作過程中也會出現(xiàn)不同的結(jié)果。MR-SR數(shù)據(jù)集性能主要體現(xiàn)在對不同器官進(jìn)行SR操作過程中的難易程度分析，首先，各器官的HR 經(jīng)過降采樣成LR，LR經(jīng)過雙三次方插值生成MiddleR，求取器官的MiddleR與HR圖像進(jìn)行計算PSNR和SSIM。

根據(jù)對圖像進(jìn)行雙三次方插值不可逆的原理，若計算出圖像評估結(jié)果越小，則驗證該器官恢復(fù)越困難，間接說明該器官超分辨越困難。本文可以從圖2中看出，頭顱部位進(jìn)行重建過程中，其對應(yīng)的PSNR值最小，說明該部位超分辨重建相比其他部位要困難。

圖2 不同部位的3類方法的PSNR值Fig.2 PSNR of three types of methods in different parts

臨床醫(yī)學(xué)上不同部位的SR 難易程度不同，使得不可能應(yīng)用一個深度學(xué)習(xí)模型解決所有部位的超分辨，本文在第三章節(jié)中的網(wǎng)絡(luò)結(jié)構(gòu)分別采用了前饋式、反饋式、對抗式網(wǎng)絡(luò)對各個部位進(jìn)行超分辨率重建，獲取深度網(wǎng)絡(luò)在不同部位的超分辨的性能［24］。

本文以上述圖像質(zhì)量評價方法為基礎(chǔ)，通過基于雙三次方的方法降采樣獲取高低分辨率對，構(gòu)建一個標(biāo)準(zhǔn)、完備的適用于MR 圖像的超分辨數(shù)據(jù)集，并對各個部位的超分辨率重建難易程度做出分析。

3 實驗結(jié)果與討論

3.1 網(wǎng)絡(luò)結(jié)構(gòu)

本文分別采用了在NI-SR效果最好的5種網(wǎng)絡(luò)應(yīng)用于MR-SR 中，其中5 種網(wǎng)絡(luò)包括：D-DBPN、RDN、SRFBN、SRGAN、EDSR，它們的結(jié)構(gòu)圖如圖3所示。

3.1.1 D-DBPND-DBPN 結(jié)構(gòu)如圖3a 所示，可分為3部分：特征提取部分（initial feature extraction）、反射（projection）、重構(gòu)（reconstruction）。令conv(f,n)表示卷積層，f表示濾波器尺寸，n為濾波器數(shù)量。

圖3 深度網(wǎng)絡(luò)的總體結(jié)構(gòu)Fig.3 The overall structure of the deep network

針對Initial feature extraction：利用conv(3,n0)從輸入構(gòu)建最初的LR 特征圖L0，然后conv(1,nR)用來實現(xiàn)進(jìn)入反射單元之前的從n0到nR的維度縮減。n0是最初LR 特征提取階段濾波器使用的數(shù)量。nR是在每個反射單元用到的濾波器數(shù)量。

對于Back-projection stages：本文可以從圖3a 看出，DBPN 結(jié)構(gòu)的主要組成就是反射單元projection unit，作為訓(xùn)練SR 系統(tǒng)的一部分，映射LR 特征到HR特征，或者映射HR 特征到LR 特征兩種相反的映射關(guān)系。其中兩種映射關(guān)系分別為：

其中，*代表空間卷積操作，而↑s和↓s分別為尺度因子為s的上-下采樣operator。pt、gt、qt為階段t的（反）卷積層。而down-projection與之類似，只不過是任務(wù)為映射HR 的特征圖H t到LR 的特征圖Lt。Isr=fRec([H1,H2,…,Ht])，fRec使用conv(3,3)作為重構(gòu)，[H1,H2,…,Ht]為每個反射單元產(chǎn)生的特征圖的連結(jié)。

3.1.2 RDN本文可以從圖3b 中看出該網(wǎng)絡(luò)主要包含 4個模塊：Shallow Feature Extraction Net（SFENet）、Redidual Dense Blocks（RDBs）、Dense Feature Fusion（DFF）、Up-Sampling Net（UPNet）。對于SFENet 模塊，它主要表示前2 個卷積層。對于RDBs 模塊，主要將殘差模塊residual block 和dense block 模塊進(jìn)行整合，將兩者集合起來，形成residual dense block。該模塊有助于更大增快模型訓(xùn)練速度。對于DFF 模塊，該模塊包含Global feature fusion 和Global residual learning 兩部分。對于DFF 模塊，該模塊表示網(wǎng)絡(luò)最后的上采樣+卷積操作。實現(xiàn)了輸入圖片的放大操作。

3.1.3 SRFBN本文可以從圖3c 中看出該網(wǎng)絡(luò)主要是基于DRCN 大框架的一個反饋機(jī)制的改進(jìn)，相當(dāng)于把DRCN 中的權(quán)重共享層成了權(quán)重共享模塊，并加入了skip connection。主要由3 部分組成：特征提取、權(quán)重共享模塊、學(xué)習(xí)策略。（1）特征提?。涸摼W(wǎng)絡(luò)主要針對淺層特征提取，即淺層特征提取為=fLRFB；（2）權(quán)重共享模塊：第t個權(quán)重共享模塊的輸出應(yīng)為：，而對應(yīng)中間監(jiān)督輸出：，其中，；（3）學(xué)習(xí)策略：該模型采用的學(xué)習(xí)監(jiān)督函數(shù)如下：

中間監(jiān)督的真值會根據(jù)任務(wù)難度進(jìn)行選擇，比如單一的bicubic 降采樣退化，所有的真值都是一樣的。而對于BD（bicubic+blur）退化，前兩個中間監(jiān)督輸出用帶高斯模糊的真值，之后的中間監(jiān)督則采用不帶高斯模糊的真值。

3.1.4 EDSR可以從圖3e 看出，它與SRResnet 相似，但結(jié)構(gòu)上缺少了relu 層和batchnorm 層，主要由于批歸一化層對功能進(jìn)行了歸一化，因此通過對功能進(jìn)行歸一化，可以擺脫網(wǎng)絡(luò)的范圍靈活性。由于該方法采用的結(jié)構(gòu)過深，訓(xùn)練過程容易引起數(shù)值的不穩(wěn)定性，為了解決這個問題，該模型采用了redisual scaling 的方式進(jìn)行處理，即在殘差模塊的最后一個卷積層的輸出上乘以一個系數(shù)0.1。

3.1.5 SRGANSRGAN 主要是在SRResnet的基礎(chǔ)上加了一個鑒別器，它的作用是額外增加一個具有鑒別的器網(wǎng)絡(luò)和2 個損失（g_loss 和d_loss），用一種交替訓(xùn)練的方式訓(xùn)練兩個網(wǎng)絡(luò)。該模型主要包括：生成器、判別器、loss函數(shù)3部分。

生成器是在生成網(wǎng)絡(luò)（SRResNet）部分包含多個殘差塊，每個殘差塊中包含兩個3×3 的卷積層，卷積層后項BN 和PReLU 作為激活函數(shù)，兩個2×亞像素卷積層（sub-pixel convolution layers）被用來增大MR數(shù)據(jù)集中的特征尺寸。

判別器則是在判別網(wǎng)絡(luò)部分包含8個卷積層，隨著網(wǎng)絡(luò)層數(shù)加深，特征個數(shù)不斷增加，特征尺寸不斷減小，選取LeakyReLU 作為激活函數(shù)，最終通過兩個全連接層和最終的sigmoid 激活函數(shù)得到預(yù)測為MR圖像的概率。

SRGAN 中Loss 函數(shù)相比其他網(wǎng)絡(luò)較為特殊，它采用兩種損失函數(shù)Gloss和Dloss分別表示為：

從上式看出為內(nèi)容loss，10-3為對抗loss。內(nèi)容loss 包括了mseloss 和vggloss。兩者的loss 分別為：

3.1.6 ESRGAN

它與SRGAN 結(jié)構(gòu)相似，只是在SRGAN 基礎(chǔ)上對抗損失，感知損失，其中的每一個進(jìn)行了改進(jìn)，得到了一個增強的SRGAN（ESRGAN）［25］。該網(wǎng)絡(luò)提出了RRDB（Residual in Residual Dense Block）結(jié)構(gòu)。圖4左側(cè)為SRGAN 中常用的基本結(jié)構(gòu)，右側(cè)為本文使用的RRDB 結(jié)構(gòu)塊。該改進(jìn)模型選用了一種基于相對鑒別器（Relativistic Discriminator）的改進(jìn)網(wǎng)絡(luò)。和傳統(tǒng)SRGAN 中的鑒別器D不同的是，原本鑒別器僅針對輸入圖判斷其是否是真實且自然，而相對判別器則是嘗試去預(yù)測真實圖像相對虛擬生成結(jié)果，其結(jié)果相對真實的概率。具體生成器損失函數(shù)LRaD、鑒失函數(shù)LRaG、總損失別器的損函數(shù)LG分別為：

3.2 實驗設(shè)置

訓(xùn)練過程中采用的硬件配置為：Core i9-9900K處理器和雙路交過的1080ti顯卡，32 G內(nèi)存。軟件配置為：采用pytorch 框架進(jìn)行超分辨網(wǎng)絡(luò)訓(xùn)練。本文對7 類網(wǎng)絡(luò)的參數(shù)進(jìn)行設(shè)置，分別迭代200 輪。設(shè)置學(xué)習(xí)速率為0.01，其網(wǎng)絡(luò)參數(shù)設(shè)置如表4所示。

圖4 RRDB模塊結(jié)構(gòu)Fig.4 Structure of RRDB modul

表4 各個網(wǎng)絡(luò)的參數(shù)設(shè)置Tab.4 Parameter settings of each networks

3.3 指標(biāo)評價

本文采用峰值信噪比和結(jié)構(gòu)相似度兩個指標(biāo)綜合衡量MR圖像超分辨重建的效果。

（1）峰值信噪比：該評價標(biāo)準(zhǔn)最為常用，峰值信噪比值越高，表示重構(gòu)的圖像質(zhì)量好，其計算公式如下：

其中，X表示原始圖像，Y表示重構(gòu)圖像，M和N分別表示圖像高和寬，L表示灰度級別中最大的灰度值，這里L(fēng)= 255。

（2）結(jié)構(gòu)相似性度量：該評價表示重構(gòu)圖像Y和原始圖像X之間的結(jié)構(gòu)相似程度，其值越大，表明重構(gòu)圖像與原始圖像越相似，則重建效果越好，其計算公式為：

其中，l(X,Y)表示亮度對比算子，c(X,Y)表示對比度對比算子，s(X,Y)表示結(jié)構(gòu)對比度算子，且α、β、γ＞0用來調(diào)節(jié)3種算子權(quán)重，其計算公式分別如下：

亮度對比算子：

對比度對比算子：

結(jié)構(gòu)對比算子：

其中，μ代表圖像均值，即圖像平均亮度；σ代表信號標(biāo)準(zhǔn)差，估計信號的對比度；C表示克服零值的規(guī)范化因子，K 是常量，L表示像素的動態(tài)范圍，其均值μ和方差σ計算公式為：

3.4 實驗結(jié)果及分析

3.4.1 深度網(wǎng)絡(luò)超分辨網(wǎng)絡(luò)在MR數(shù)據(jù)集上的表現(xiàn)經(jīng)過各個深度網(wǎng)絡(luò)模型的訓(xùn)練，各個模型在本文的MR數(shù)據(jù)集中得出結(jié)果具有明顯的體現(xiàn)。從圖5和表5可以看出，ESRGAN 算法從視覺上的紋理更加豐富。SRFBN 算法的PSNR 指標(biāo)和SSIM 指標(biāo)相對其他算法的指標(biāo)更加突出。本文可以得出這樣的結(jié)論：首先，針對同一個網(wǎng)絡(luò)，不同的器官部位的SR 效果明顯不同，這主要是由于各個器官的原始分辨率，采集過程中的磁場強度，以及該器官自由水和結(jié)合水的比重等多原因引起。其次，本文可以針對不同部位，定制化設(shè)計出一種專門適應(yīng)于此器官的網(wǎng)絡(luò)。表5中雖然RDN 網(wǎng)絡(luò)在頭頸、乳房、膝蓋等器官中表現(xiàn)并不突出，但該網(wǎng)絡(luò)明顯在頭顱中的PSNR/SSIM為38.05/0.9565，較其他網(wǎng)絡(luò)更好，這說明不同靶器官可以定制化設(shè)計超分辨率網(wǎng)絡(luò)。

圖5 scale=4的各MRI數(shù)據(jù)不同超分辨深度網(wǎng)絡(luò)的HR對比Fig.5 HR comparison of different super-resolution deep networks of each MRI data with scale=4

表5 MRI數(shù)據(jù)集在不同網(wǎng)絡(luò)上的PSNR/SSIMTab.5 PSNR/SSIM of MRI data sets on different networks

3.4.2 深度超分辨網(wǎng)絡(luò)在NI 圖像數(shù)據(jù)集和MR 數(shù)據(jù)集上結(jié)果對比分析深度網(wǎng)絡(luò)可以從不同的數(shù)據(jù)集轉(zhuǎn)移到其他數(shù)據(jù)集，在NI 數(shù)據(jù)集的效果與MR 數(shù)據(jù)集的PSNR 和SSIM 指標(biāo)相差并不是太多。從表5和表6可以看出，在SRFBN 網(wǎng)絡(luò)中，兩者結(jié)果基本相近。從圖5看出，該算法所呈現(xiàn)的PSNR 指標(biāo)序列圖中，Manga109（NI）數(shù)據(jù)集和頭顱（MRI）數(shù)據(jù)集在SRFBN 算法上基本相近，深度網(wǎng)絡(luò)在MR 超分辨率中是有意義的。

從表5和表6可以看出，傳統(tǒng)的Bicubic算法和深度網(wǎng)絡(luò)之間的PSNR/SSIM 指標(biāo)差異特別大，基本為3.61～12.59/0.189 6～0.295 1 之間，這也說明深度網(wǎng)絡(luò)不管在NI-SR 還是MR-SR 上面，都具有更優(yōu)的圖像超分辨重建效果。通過實驗可以看出直接套用深度學(xué)習(xí)網(wǎng)絡(luò)可以取得一定的效果，說明深度網(wǎng)絡(luò)在MR圖像超分辨具有一定作用，并且比傳統(tǒng)方法效果好，但是相比于自然圖像超分辨的效果還是有些差距，主要在于自然圖像和MR圖像成像機(jī)制不同，因此還需結(jié)合不同人體部位MR圖像特性，設(shè)計更加有針對性的MR圖像深度超分辨網(wǎng)絡(luò)。

表6 NI數(shù)據(jù)集在不同網(wǎng)絡(luò)上的PSNR/SSIMTab.6 PSNR/SSIM of NI data sets on different networks

4 結(jié)論

本文提出并構(gòu)建一個大規(guī)模的用于MR 圖像超分辨的數(shù)據(jù)集，涵蓋了頭顱、膝蓋、乳房以及頭頸4個部位。本文通過數(shù)據(jù)質(zhì)量篩選和不同低分辨率圖像生成方式，形成3 種不同形式高低分辨率對MR 圖像數(shù)據(jù)集，同時給出不同部位超分辨難易程度分析。本文還將7種超分辨深度學(xué)習(xí)網(wǎng)絡(luò)在數(shù)據(jù)集上驗證，不僅證明了數(shù)據(jù)集的性能，同時也表明深度學(xué)習(xí)網(wǎng)絡(luò)在MR 圖像超分辨性能優(yōu)異。本研究希望可以對深度學(xué)習(xí)網(wǎng)絡(luò)在MR超分辨上的應(yīng)用提供數(shù)據(jù)支撐，同時對未來MR圖像超分辨研究有所啟發(fā)。