面向各向異性3D-MRI圖像超分辨率重建的ESRGAN網(wǎng)絡(luò)

張 建，賈媛媛,1b，賀向前，韓寶如，祝華正，杜井龍

(1.重慶醫(yī)科大學(xué) a.醫(yī)學(xué)信息學(xué)院; b. 醫(yī)學(xué)數(shù)據(jù)研究院，重慶 400016;2.重慶科技學(xué)院 智能技術(shù)與工程學(xué)院，重慶 401331)

高分辨率磁共振圖像(MRI, magnetic resonance images)可以為醫(yī)生提供更加豐富的病理信息，提高診斷可信度，在醫(yī)療診斷中極其重要。然而在MRI成像過程中，獲取高分辨率的圖像需要更長的掃描時間和更高的信噪比，但病人難以長時間保持靜止不動。為了縮短掃描時間，通常采用方法是加大掃描層厚，但是這將會導(dǎo)致3D-MRI圖像的分辨率降低，最終限制后期對圖像的處理、分析和疾病的診斷。

超分辨率(SR, super resolution)重建是一種利用單幅或多幅低分辨率圖像重建出高分辨率圖像的技術(shù)。近年來，隨著深度學(xué)習(xí)技術(shù)的發(fā)展，基于學(xué)習(xí)的SR重建算法取得了較好的效果?；谏疃染矸e神經(jīng)網(wǎng)絡(luò)(DCNN, deep convolutional neural network)的SR重建算法能夠自動從數(shù)據(jù)中提取特征，可以構(gòu)建更為抽象的特征表示，因此取代了手工提取特征和創(chuàng)建算法的傳統(tǒng)機(jī)器學(xué)習(xí)方法以及其它淺層學(xué)習(xí)算法。Pham[1]和Srinivasan[2]等人將卷積神經(jīng)網(wǎng)絡(luò)(CNN, convolutional neural network)用于SR重建3D-MRI圖像，取得了較理想的重建結(jié)果。為不斷提高3D-MRI圖像SR重建精度，研究者們提出了多種不同的網(wǎng)絡(luò)結(jié)構(gòu)。如Pham[1]等提出了3D殘差卷積神經(jīng)網(wǎng)絡(luò)，對腦部3D-MRI圖像進(jìn)行多尺度SR重建；Chen[3]等人使用3D稠密網(wǎng)絡(luò)(DenseNet)在K空間對3D-MRI圖像進(jìn)行SR重建，該算法可以實(shí)現(xiàn)特征復(fù)用，減少模型參數(shù)。然而，上述基于CNN的SR重建算法以提高峰值信噪比(PSNR, peak signal to noise ratio)為訓(xùn)練目標(biāo)，但PSNR度量無法模擬人類的視覺機(jī)制，會導(dǎo)致SR結(jié)果過于平滑、細(xì)節(jié)模糊，具有重建精度低、感知質(zhì)量差等缺點(diǎn)。近年來，生成對抗網(wǎng)絡(luò)(GAN, generative adversarial network)的出現(xiàn)在一定程度上解決了上述問題，進(jìn)一步提高圖像SR重建結(jié)果的視覺感知質(zhì)量。相比較于一般的CNN模型，GAN采用判別網(wǎng)絡(luò)隱式地作為優(yōu)化目標(biāo)，能夠在概率密度無法計(jì)算時逼近目標(biāo)函數(shù)，生成與原始高分辨率圖像幾乎無法區(qū)分的、更加符合人眼視覺的真實(shí)圖像，有著更強(qiáng)的生成能力和學(xué)習(xí)能力。隨后，研究者們將GAN網(wǎng)絡(luò)引入到了3D-MRI圖像的SR重建研究中[4-5]。Chen[6]等人證明利用GAN網(wǎng)絡(luò)SR重建3D-MRI圖像可以獲得更豐富的紋理細(xì)節(jié)信息。但目前利用GAN網(wǎng)絡(luò)對3D-MRI圖像進(jìn)行SR重建的相關(guān)研究較少，其主要原因是MRI圖像為3D數(shù)據(jù)，會導(dǎo)致GAN網(wǎng)絡(luò)模型的參數(shù)量急劇增大，網(wǎng)絡(luò)模型訓(xùn)練時間較長，對內(nèi)存的需求也急劇增加。

將增強(qiáng)型超分辨率生成對抗網(wǎng)絡(luò)(ESRGAN, enhanced super-resolution generative adversarial networks)[7]模型引入到3D-MRI圖像的SR重建中，并采用視覺損失函數(shù)作為目標(biāo)優(yōu)化函數(shù)，從而使SR重建結(jié)果更符合人類視覺機(jī)制。此外，為了降低模型的復(fù)雜度，減少參數(shù)，加快模型訓(xùn)練的速度，利用3D-MRI圖像的跨層面自相似性，將3D-MRI圖像SR重建任務(wù)降維。

1 研究算法

研究主要采用ESRGAN網(wǎng)絡(luò)對3D-MRI圖像進(jìn)行SR重建，并利用3D-MRI圖像的跨層面自相似性，將SR重建任務(wù)降維。算法的主要步驟如下圖1所示：

圖1 算法框架Fig.1 The algorithm framework of this paper

①提取低分辨率3D-MRI圖像切片：分別沿層面選擇方向提取各向異性3D-MRI圖像的低分辨率二維切片圖像，該過程可提取出2種尺寸的低分辨率圖像。

②SR重建：將兩組低分辨率二維切片分別輸入ESRGAN網(wǎng)絡(luò)，重建高分辨圖像，以復(fù)原圖像的細(xì)節(jié)信息，ESRGAN網(wǎng)絡(luò)的具體結(jié)構(gòu)將進(jìn)行詳細(xì)介紹。

③融合圖像：分別將SR重建后的高分辨率圖像按照切片的原索引位置還原，以產(chǎn)生3D-MRI圖像，然后將產(chǎn)生的2幅三維圖像融合，最終產(chǎn)生1幅各向同性高分辨率3D-MRI圖像。

1.1 ESRGAN網(wǎng)絡(luò)結(jié)構(gòu)

ESRGAN網(wǎng)絡(luò)包含1個生成網(wǎng)絡(luò)、1個鑒別網(wǎng)絡(luò)。在不斷提高判斷能力的鑒別網(wǎng)絡(luò)的持續(xù)反饋下，不斷改善生成網(wǎng)絡(luò)的生成參數(shù)，直到生成網(wǎng)絡(luò)生成的結(jié)果能夠通過鑒別網(wǎng)絡(luò)的判斷。

1.1.1 ESRGAN生成網(wǎng)絡(luò)

ESRGAN的生成網(wǎng)絡(luò)部分仍然采用了SRResNet[8](如圖2所示)的基本網(wǎng)絡(luò)架構(gòu)，其中大部分計(jì)算是在LR特征空間中完成的。在LR特征空間進(jìn)行計(jì)算，處理的數(shù)據(jù)量會較小，因此對計(jì)算量和顯存消耗也較少，可以提高SR重建的速度。原始的SRResNet網(wǎng)絡(luò)架構(gòu)中包含16個基本殘差塊，每個殘差塊中包含2個3×3的卷積層，卷積層后接批量歸一化層(BN, batch normalization)和參數(shù)化ReLU[9]作為激活函數(shù)，2個尺度為2的子像素卷積層(sub-pixel convolution layers)[10]用來增大特征圖尺寸。使用的ESRGAN對其“Basic Block”進(jìn)行了修改并取得了更好的性能。ESRGAN網(wǎng)絡(luò)相較于SRGAN網(wǎng)絡(luò)的主要改進(jìn)有以下幾個方面：

圖2 SRResNet結(jié)構(gòu)(ESRGAN的生成網(wǎng)絡(luò))Fig.2 The structure of Generative Network of ESRGAN

1)剔除了生成網(wǎng)絡(luò)中所有的BN層，如圖3(a)所示。研究發(fā)現(xiàn)，在不同的面向PSNR的任務(wù)中(包括SR和去模糊任務(wù))，去除BN層可以提高性能并降低計(jì)算復(fù)雜度。當(dāng)訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集的統(tǒng)計(jì)差異很大時，BN層容易引入偽影，限制了模型的泛化能力，降低了模型的穩(wěn)定性。因此，為了提高模型的穩(wěn)定性和泛化能力，ESRGAN網(wǎng)絡(luò)剔除了BN層，同時也可以降低計(jì)算復(fù)雜度和對內(nèi)存的需求。

2)使用RRDB(residual in residual dense block)替代了生成網(wǎng)絡(luò)中的基本殘差塊[7]。RRDB比SRGAN中基本殘差塊的網(wǎng)絡(luò)結(jié)構(gòu)更深、更復(fù)雜。一般來說，增加網(wǎng)絡(luò)結(jié)構(gòu)的層數(shù)和連接數(shù)量可以有效地提高網(wǎng)絡(luò)性能[11-13]。具體地，RRDB結(jié)合了多層殘差網(wǎng)絡(luò)和稠密連接，網(wǎng)絡(luò)結(jié)構(gòu)如圖3(b)所示。所提出的RRDB在殘差結(jié)構(gòu)中包含殘差結(jié)構(gòu)，即在不同層次使用殘差結(jié)構(gòu)。同時，RRDB引入稠密連接塊，進(jìn)一步提高了網(wǎng)絡(luò)的性能。

圖3 ESRGAN網(wǎng)絡(luò)改進(jìn)Fig.3 The improvement of Generative network of ESRGAN

1.1.2 ESRGAN鑒別網(wǎng)絡(luò)

ESRGAN采用相對鑒別網(wǎng)絡(luò)[11-13]。SRGAN中的標(biāo)準(zhǔn)鑒別網(wǎng)絡(luò)預(yù)測一個輸入圖像是真實(shí)和自然圖像的概率；與SRGAN中的標(biāo)準(zhǔn)鑒別網(wǎng)絡(luò)不同，相對鑒別網(wǎng)絡(luò)試圖預(yù)測真實(shí)圖像xr相對比偽圖像xf更真實(shí)的概率。在SRGAN中，標(biāo)準(zhǔn)鑒別網(wǎng)絡(luò)被表示為

D(x)=σ(C(x))，

(1)

其中，σ是sigmoid函數(shù)，C(x)是非變換鑒別網(wǎng)絡(luò)輸出。因此，相對鑒別網(wǎng)絡(luò)的公式為

DRa(xr,xf)=σ(C(xr)-Exf[C(xf)])，

(2)

其中，Exf[C(xf)]代表小批量中所有假數(shù)據(jù)取平均值。由此，相對鑒別網(wǎng)絡(luò)損失函數(shù)定義為

(3)

相應(yīng)的生成網(wǎng)絡(luò)的對抗損失函數(shù)定義為

(4)

因此，采用ESRGAN網(wǎng)絡(luò)中的生成網(wǎng)絡(luò)在對抗訓(xùn)練過程中能夠同時利用生成數(shù)據(jù)和真實(shí)數(shù)據(jù)的梯度進(jìn)行學(xué)習(xí)；而SRGAN網(wǎng)絡(luò)中只有生成數(shù)據(jù)的梯度在對抗訓(xùn)練的過程中發(fā)揮作用。

1.2 基于視覺機(jī)制的損失函數(shù)

基于更接近感知相似性的思想[14-16]，Johnson[17]等人提出了感知損失Lpercep，并在SRGAN中進(jìn)行了擴(kuò)展。感知損失一般是定義在預(yù)先訓(xùn)練的深層網(wǎng)絡(luò)的激活層上，由于特征通過激活層后會變得非常稀疏，而稀疏特征不利于模型的監(jiān)督學(xué)習(xí)，會導(dǎo)致模型性能較差。因此，Wang[7]等人在ESRGAN模型中提出了一種更有效的感知損失計(jì)算方法，即利用激活層之前的特征計(jì)算感知損失，可以使重建后的圖像有更銳利的邊緣和豐富的紋理，提高圖像的高頻信息質(zhì)量；同時使重建圖像的亮度更接近真實(shí)圖像。為進(jìn)一步提高3D-MRI重建結(jié)果的視覺質(zhì)量，使用基于視覺機(jī)制的損失函數(shù)，包含3個主要部分：感知損失、對抗損失和內(nèi)容損失。損失函數(shù)的計(jì)算公式如下

(5)

其中：L1是評估重建圖像和真實(shí)圖像之間的1范式距離內(nèi)容損失；λ和η是平衡不同損失項(xiàng)的系數(shù)。

1.3 ESRGAN網(wǎng)絡(luò)模型的訓(xùn)練

由于3D-MRI圖像是多參數(shù)、原生三維成像，圖像自身具有豐富的先驗(yàn)信息，不同掃描層面的圖像具有跨層面自相似性，根據(jù)上述3D-MRI圖像的特性，構(gòu)建了各向異性3D-MRI圖像SR重建數(shù)據(jù)集。3D-MRI圖像的跨層面自相似性指的是：在同一幅3D-MRI圖像的不同層面的二維切片圖像中，存在許多相同或不同尺度的相似性組織結(jié)構(gòu)[18]。因此，針對原始高分辨率3D-MRI圖像O，利用均值下采樣，模擬生成3幅低分辨率各向異性3D-MRI圖像，即橫軸低分辨率3D-MRI圖像A，冠狀低分辨率3D-MRI圖像C，矢狀低分辨率3D-MRI圖像S。再根據(jù)上述圖像生成如下訓(xùn)練集合，即高、低分辨率圖像對：圖像O的冠狀面與圖像A的冠狀面，圖像O的矢狀面與圖像A的矢狀面；圖像O的橫軸面與圖像C的橫軸面，圖像O的矢狀面與圖像C的矢狀面；圖像O的橫軸面與圖像S的橫軸面，圖像O的冠狀面與圖像S的冠狀面。該思路通過降維的方式擴(kuò)大了訓(xùn)練集合的尺寸，如一幅高分辨率3D-MRI圖像(圖像尺寸170×256×256)可提取1 364幅2D-MRI層面作為訓(xùn)練集合。根據(jù)3D-MRI圖像的跨層面自相似性，可以有效地擴(kuò)大訓(xùn)練集規(guī)模，對于充分發(fā)揮DCNN的性能具有重要作用。使用不同層面方向的3D-MRI切片同時訓(xùn)練網(wǎng)絡(luò)，可以使一個網(wǎng)絡(luò)同時SR重建不同層面方向的3D-MRI圖像切片，而不用分別針對不同層面選擇方向訓(xùn)練不同的SR重建網(wǎng)絡(luò)。此外，該方法還能利用3D-MRI圖像中的三維特征信息，提升二維DCNN的SR重建性能。

2 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證算法的有效性，分別與非局部均值法(NLM, Non-Local means)[19]、基于稀疏編碼的SR重建算法(SC, sparse coding)[20]、基于DCNN的代表性方法SRCNN[21]和VDSR[22]算法、基于殘差學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的各向異性3D-MRI圖像SR重建算法(RLSR, residual learning based super-resolution reconstruction algorithm)[23]做了對比分析。

2.1 實(shí)驗(yàn)設(shè)置與參數(shù)選擇

通過Python編程語言處理3D-MRI圖像。主要硬件環(huán)境為搭載Intel Xeon CPU E5-2620 v4處理器、32 GB內(nèi)存以及一塊NVIDIA GTX2080Ti(11GB顯存)顯卡的圖形工作站，模型訓(xùn)練和測試基于pytorch深度學(xué)習(xí)框架。模型訓(xùn)練中批樣本數(shù)量為4，訓(xùn)練圖像切塊大小為128×128，初始學(xué)習(xí)率為0.000 1，且每迭代5 000次學(xué)習(xí)率減半，總迭代次數(shù)為400 000。學(xué)習(xí)率的初始值和衰減規(guī)律是根據(jù)實(shí)驗(yàn)經(jīng)驗(yàn)設(shè)定，如此設(shè)定能使模型較快的穩(wěn)定收斂。

2.2 數(shù)據(jù)集

筆者采用公開的臨床真實(shí)數(shù)據(jù)集Kirby 21數(shù)據(jù)集[24]中10幅(KKI33-KKI42)T1加權(quán)像3D-MRI圖像生成訓(xùn)練集合，圖像的分辨率為1×1×1.2 mm3，圖像大小為170×256×256。研究使用含有膠質(zhì)瘤的BraTS數(shù)據(jù)集[25]以及Brainweb[26]數(shù)據(jù)集對訓(xùn)練好的網(wǎng)絡(luò)模型進(jìn)行測試。其中，BraTS采用2015年公布的T1加權(quán)像和T2加權(quán)像進(jìn)行測試，圖像的分辨率為1×1×1 mm3，圖像大小為240×240×155，該數(shù)據(jù)集為臨床真實(shí)數(shù)據(jù)集；采用Brainweb數(shù)據(jù)集中的T1加權(quán)像進(jìn)行測試，圖像的分辨率為1×1×1 mm3，圖像大小為181×217×181，該數(shù)據(jù)集為模擬數(shù)據(jù)集。

2.3 評價指標(biāo)

自Dong[21]等人提出SRCNN的開創(chuàng)性以來，DCNN方法迎來了蓬勃發(fā)展。各種網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)和訓(xùn)練策略不斷地提高了SR的性能，特別是基于PSNR值優(yōu)化訓(xùn)練的策略[13-22]。然而，這些面向PSNR的方法往往在沒有足夠高頻細(xì)節(jié)的情況下輸出過于平滑的結(jié)果，使得重建圖像產(chǎn)生不必要的偽影，因?yàn)镻SNR度量基本上不符合人類觀察者的主觀評估[23-27]。當(dāng)重建圖像達(dá)到一定質(zhì)量以上時，PSNR值的提高并不能伴隨視覺效果的提高。因此，PSNR評價與人類的主觀評估不成正相關(guān)性。

近年來，圖像SR領(lǐng)域出現(xiàn)了新的圖像質(zhì)量評價指標(biāo)——感知指數(shù)(PI, perceptual index)[27]。研究發(fā)現(xiàn)相較于PSNR，PI能夠更加符合人類視覺感知特征。PSNR值越大，就代表失真越少。然而，Blau[28]等人研究發(fā)現(xiàn)失真和感知質(zhì)量是相互矛盾的。感知質(zhì)量的判斷依據(jù)是2個非參考性指標(biāo)Ma’s score[29]和NIQE[29]，即感知指數(shù)

(6)

因此采用PSNR、SSIM[30-31]、RMSE等常規(guī)評價指標(biāo)評價重建結(jié)果，同時采用感知質(zhì)數(shù)PI評價重建結(jié)果的感知質(zhì)量。其中PSNR和SSIM的值越高，表明重建結(jié)果越好；RMSE和PI的值越低表明重建精度越高。

2.4 實(shí)驗(yàn)結(jié)果與討論

2.4.1 定量分析

1)模擬數(shù)據(jù)集T1加權(quán)像重建結(jié)果

為了驗(yàn)證算法的SR重建效果，測試了ESRGAN算法在BrainWeb模擬數(shù)據(jù)集T1加權(quán)像的SR重建結(jié)果。通過預(yù)處理(均值下采樣)BrainWeb數(shù)據(jù)集中T1加權(quán)像得到的各向異性低分辨率3D-MRI圖像的分辨率為1 mm×1 mm×2 mm，由不同算法SR重建得到的3D-MRI圖像的分辨率分別為1 mm×1 mm×1 mm，圖像SR重建結(jié)果如表1所示，最好的結(jié)果加粗顯示。

表1 不同方法重建BrainWeb T1w MRI圖像的結(jié)果評估

從表1中可以看出，算法SR重建BrainWeb數(shù)據(jù)集的T1加權(quán)3D-MRI圖像時得到的PNSR/SSIM/RMSE/PI分別為41.8565dB/0.9946/2.1028/4.1683，它的PNSR值比NLM算法低1.624 9 dB，RMSE值比NLM算法高0.3587，PI的值則低0.3263。上述結(jié)果表明，算法雖在PSNR和RMSE指標(biāo)上略差于傳統(tǒng)基于重建的3D-MRI圖像SR重建算法，但在PI上優(yōu)于傳統(tǒng)基于重建的3D-MRI圖像SR重建算法。同樣，對比基于淺層學(xué)習(xí)的SR重建算法(SP)以及其他的基于深度學(xué)習(xí)的SR重建算法(SRCNN、VDSR、RSLR)，算法雖PSNR、SSIM以及RMSE值略差，但在PI上取得了最優(yōu)。結(jié)果證明，重建圖像的PI與PSNR、SSIM和RMSE等指標(biāo)并不構(gòu)成正向比例，而算法在保證圖像質(zhì)量的同時，更加注重圖像高頻細(xì)節(jié)的復(fù)原，更傾向于生成視覺感知效果更優(yōu)的SR圖像。

綜上所述，算法在對BrainWeb數(shù)據(jù)集T1加權(quán)像的重建中，雖不能取得最佳的PSNR、SSIM以及RMSE值，但可以得到最佳的PI，使生成圖像的視覺感知效果最好。

2)臨床數(shù)據(jù)集T1加權(quán)像重建結(jié)果

為進(jìn)一步驗(yàn)證算法的SR重建效果，用了含有膠質(zhì)瘤的BraTS數(shù)據(jù)集進(jìn)行測試。通過預(yù)處理(均值下采樣)BraTS數(shù)據(jù)集中T1加權(quán)像得到的各向異性的低分辨率3D-MRI圖像的分辨率為1 mm×1 mm×2 mm，由不同算法SR重建得到的3D-MRI圖像的分辨率分別為1 mm×1 mm×1 mm，SR重建結(jié)果如表2所示，最好的結(jié)果加粗顯示。

表2 不同方法重建BraTS T1w MRI圖像的結(jié)果評估

從表2可以看出，算法SR重建BraTS數(shù)據(jù)集的T1加權(quán)3D-MRI圖像時得到的PNSR/SSIM/RMSE/PI分別為45.320 1dB/0.995 6/5.397 4/5.419 3，它的PNSR值比NLM算法高0.753 1 dB，而RMSE和PI的值則分別低0.488 9和1.138 8。上述結(jié)果表明，研究算法在PSNR、RMSE和PI 3個指標(biāo)上均優(yōu)于傳統(tǒng)基于重建的3D-MRI圖像SR重建算法。與基于淺層學(xué)習(xí)的SR重建算法SP相比，算法的PSNR值提高了0.303 3 dB，而RMSE和PI的值則分別降低0.1922和0.4918，研究算法優(yōu)于基于淺層學(xué)習(xí)的SP算法。在基于DCNN的3D-MRI圖像SR重建算法中，算法在BraTS數(shù)據(jù)集的T1加權(quán)像上取得了最優(yōu)的PI值。與SRCNN算法比較，PSNR提高了0.9424dB，而RMSE/PI降低了0.618 5/0.062 5，說明研究算法在PSNR、RMSE和PI 3個指標(biāo)上均優(yōu)于SRCNN算法。與VDSR和RLSR算法比較，PSNR分別降低了0.31 dB和0.289 4 dB，RMSE分別增加了0.189 2和0.176 8，PI分別降低了1.077 6和0.913 8，結(jié)果表明研究算法雖在PSNR和RMSE指標(biāo)上略差于VDSR和RLSR，但在PI指標(biāo)上仍然優(yōu)于VDSR和RLSR重建算法。雖然算法在BraTS數(shù)據(jù)集T1加權(quán)像上的重建結(jié)果SSIM值較低，但與其他算法相差不大。

綜上所述，研究算法在BraST數(shù)據(jù)集T1加權(quán)像的重建結(jié)果取得了最優(yōu)的PI值；傳統(tǒng)的基于DCNN的重建方法(RLSR，SRCNN，VDSR)普遍比基于重建的方法(NLM)和基于淺層學(xué)習(xí)的算法(SP)性能更好。在基于深度學(xué)習(xí)的重建方法中，RLSR和VDSR方法的PSNR表現(xiàn)優(yōu)異，但PI相對SRCNN方法較差。而方法則取得了PI上的最優(yōu)。在以上所有方法SR重建結(jié)果中，研究方法的SSIM雖然略低于其他方法，但差值較小，無明顯差異；方法的PSNR和RMSE雖然不是最優(yōu)，但這正是所要表達(dá)的觀點(diǎn)之一：在PSNR和RMSE達(dá)到一定高度時，圖像質(zhì)量不再伴隨PSNR和RMSE的提高而提高，而是隨著PI的降低而提高。

因此，研究算法在提高SR重建結(jié)果的感知質(zhì)量上有較大優(yōu)勢。為進(jìn)一步論證該結(jié)論，采用Kirby 21數(shù)據(jù)集中的非訓(xùn)練集樣本的T1加權(quán)像(KKI01-KKI10)進(jìn)行重建，并計(jì)算了研究算法重建結(jié)果的PI值，實(shí)驗(yàn)結(jié)果如表3所示。其中PI最大值為3.961 2、最小值為3.197 0、均值為3.582 9、方差為0.052 9?？梢钥闯鲅芯克惴ㄖ亟▓D像的PI值較低且穩(wěn)定，再次證明了研究算法能夠取得較好的感知質(zhì)量。

表3 重建T1加權(quán)像(KKI01-KKI10)的PI值

2.4.2 定性分析

為了進(jìn)一步驗(yàn)證算法的優(yōu)越性和能否恢復(fù)有病理3D-MRI圖像的細(xì)節(jié)信息，展示了BraTS數(shù)據(jù)集T1加權(quán)像重建結(jié)果，即將分辨率從1 mm×1 mm×2 mm重建為1 mm×1 mm×1 mm。

實(shí)驗(yàn)重建結(jié)果如圖4所示，分別展示了不同SR方法重建結(jié)果中3個不同層面方向的圖像與局部細(xì)節(jié)放大圖。可以看出，低分辨率(LR)MRI圖像比較模糊，放大區(qū)域的圖像高頻信息不清晰，且存在明顯的塊效應(yīng)。與LR相比，NLM算法和SP算法SR重建得到的圖像邊緣清晰度有一定提升?；贒CNN算法的重建結(jié)果相較于基于重建的算法，取得了較優(yōu)的重建結(jié)果。在所有對比方法中，算法SR重建的3D-MRI圖像整體質(zhì)量最好，高頻信息比較豐富，且放大區(qū)域的腦組織結(jié)構(gòu)的邊緣比較清晰，更加接近真實(shí)圖像的邊緣。研究算法能夠更好的恢復(fù)3D-MRI圖像的細(xì)節(jié)信息，尤其是高頻細(xì)節(jié)。

圖4 不同方法以1×1×2為比例系數(shù)對BraTS T1w圖像重建的結(jié)果Fig.4 The results of BraTS T1w image reconstructed by different methods with scale factor 1×1×2

2.4.3 多模態(tài)3D-MRI圖像重建

為了驗(yàn)證方法對不同模態(tài)3D-MRI圖像重建效果，實(shí)驗(yàn)采用Kirby 21數(shù)據(jù)集中的T1加權(quán)像為訓(xùn)練數(shù)據(jù)集，訓(xùn)練重建尺度為1×1×2的網(wǎng)絡(luò)模型，對BraTS數(shù)據(jù)集T2加權(quán)像進(jìn)行重建，同樣取得了令人滿意的結(jié)果，重建結(jié)果如表4所示，部分定性結(jié)果展示如圖5所示。

表4 不同方法重建BraTS T2w MRI圖像的結(jié)果評估

圖5 不同方法以1×1×2為比例系數(shù)對BraTS T2w圖像重建的結(jié)果Fig.5 The results of BraTS T2w image reconstructed by different methods with scale factor 1×1×2

從表4中可以看出，算法SR重建BraTS數(shù)據(jù)集的T2加權(quán)3D-MRI圖像時得到的PNSR/SSIM/RMSE/PI分別為43.816 4 dB/0.996 2/4.936 1/5.391 7，它的PNSR值比NLM算法高1.422 9 dB，RMSE值比NLM算法低0.8786，PI的值比NLM算法低0.942 8，上述結(jié)果表明，算法在PSNR、RMSE和PI 3個指標(biāo)上均優(yōu)于傳統(tǒng)基于重建的3D-MRI圖像SR重建算法。同樣的，對比基于淺層學(xué)習(xí)的SR重建算法(SP)，研究算法在PSNR、RMSE以及PI 3個指標(biāo)上均優(yōu)于基于淺層學(xué)習(xí)的SR重建算法(SP)；與基于DCNN的VDSR和RLSR方法相比，研究算法在PSNR、RMSE以及PI 3個指標(biāo)上均取得最優(yōu)，尤其PI指標(biāo)差異顯著。上述結(jié)果證明，算法在PSNR、RMSE以及PI 3個指標(biāo)上均優(yōu)于NLM、SP、VDSR和RLSR 4種方法，雖然SSIM指標(biāo)略差，但差值較小。最后，與SRCNN方法相比較，雖然算法的PI(且僅有PI)略差于SRCNN，但是差值不大，無明顯差距。

綜上所述，在對BraTS數(shù)據(jù)集的T2加權(quán)像的重建中，算法在至少3個指標(biāo)上優(yōu)于其他方法，且剩余指標(biāo)差值較小，無顯著差異。因此，算法總體上取得最優(yōu)重建效果。

從圖5中所展示的局部放大圖可以看出，與其他的SR重建算法相比，算法的重建結(jié)果中高頻細(xì)節(jié)更加接近原始真實(shí)圖像，而其他方法重建結(jié)果的圖像邊緣過于平滑，與原始真實(shí)圖像差距明顯。

同樣的，為了進(jìn)一步論證算法的多模態(tài)SR重建效果，采用Kirby 21數(shù)據(jù)集中的T2加權(quán)像(KKI01-KKI10)進(jìn)行重建，并計(jì)算了算法重建結(jié)果的PI值，實(shí)驗(yàn)結(jié)果如表5所示。其中PI最大值為4.368 7、最小值為3.963 6、均值為4.116 2、方差為0.017?？梢钥闯鏊惴ㄖ亟▓D像的PI值較低且穩(wěn)定，再次證明了算法在多模態(tài)SR重建也能夠取得較好的感知質(zhì)量。

表5 重建T2加權(quán)像(KKI01-KKI10)的PI值

根據(jù)上述實(shí)驗(yàn)結(jié)果可以得出結(jié)論：雖然訓(xùn)練集僅含有T1加權(quán)圖像，但算法卻可以SR重建T1加權(quán)圖像和T2加權(quán)圖像，因此具有多模態(tài)3D-MRI超分辨率重建效果。

3 結(jié) 語

研究提出使用ESRGAN網(wǎng)絡(luò)SR重建3D-MRI圖像，并利用3D-MRI圖像的跨層面自相似性，將重建任務(wù)降維到2D，減少了參數(shù)量，降低了對內(nèi)存的需求，同時加快了模型訓(xùn)練速度。通過與傳統(tǒng)方法實(shí)驗(yàn)對比證明，方法在視覺質(zhì)量方面取得了最好的效果，能夠生成感知質(zhì)量更好、更加符合人類觀察者視覺感知的高分辨率3D-MRI圖像，并且算法可以重建多模態(tài)的3D-MRI圖像。因此，方法可用于臨床3D-MRI圖像的SR重建，提高疾病診斷的精度。