基于深度神經(jīng)網(wǎng)絡(luò)的時空編碼磁共振成像超分辨率重建方法*

向鵬程 蔡聰波 王杰超 蔡淑惠 陳忠

(廈門大學(xué)電子科學(xué)系,廈門 361005)

單掃描時空編碼磁共振成像是一種新型超快速磁共振成像技術(shù),它對磁場不均勻和化學(xué)位移偽影有較強的抵抗性,但是其固有的空間分辨率較低,因此通常需要進行超分辨率重建,以在不增加采樣點數(shù)的情況下提高時空編碼磁共振圖像的空間分辨率.然而,現(xiàn)有的重建方法存在迭代求解時間長、重建結(jié)果有混疊偽影殘留等問題.為此,本文提出了一種基于深度神經(jīng)網(wǎng)絡(luò)的單掃描時空編碼磁共振成像超分辨率重建方法.該方法采用模擬樣本訓(xùn)練深度神經(jīng)網(wǎng)絡(luò),再利用訓(xùn)練好的網(wǎng)絡(luò)模型對實際采樣信號進行重建.數(shù)值模擬、水模和活體鼠腦的實驗結(jié)果表明,該方法能快速重建出無殘留混疊偽影、紋理信息清楚的超分辨率時空編碼磁共振圖像.適當增加訓(xùn)練樣本數(shù)量以及在訓(xùn)練樣本中加入適當?shù)碾S機噪聲水平,有助于改善重建效果.

1 引言

單掃描時空編碼磁共振成像(spatiotemporallyencoded magnetic resonance imaging,SPEN MRI)是一種新興的超快速成像技術(shù)[1-3].與回波平面成像(echo planar imaging,EPI)相比,SPEN MRI在相位編碼維采用更大的帶寬,這使得其受磁場不均勻和化學(xué)位移的影響較小,但是大的采樣帶寬限制了其信號采樣點數(shù),因此通常SPEN MRI 的信號是欠采樣的.根據(jù)SPEN MRI 的穩(wěn)定相位點特性,可以直接對采樣信號取幅值重建出MRI 圖像.然而,這樣得到的圖像空間分辨率不能滿足實際應(yīng)用的需要,因而需要對SPEN MRI 采樣信號進行超分辨率(super-resolved,SR)重建.

SPEN MRI 采樣時相鄰穩(wěn)定相位點在空間位置上存在部分重疊,這種“過采樣”機制提供了可用于SR 重建的冗余信息[4].基于此,近十年來,已有數(shù)種針對于單掃描SPEN MRI 的SR 重建方法被提出,如共軛梯度下降法[4]、部分傅里葉法[5]、去卷積法[6]和超分辨率增強邊緣鬼影去除法(SEED)[7]等.共軛梯度下降法將采樣信號和相位信息矩陣離散化表示后,通過最小二乘擬合對采樣信號的線性方程組進行迭代求解得到SR 圖像.由該方法重建得到的圖像的數(shù)字分辨率理論極限為信號的采樣點數(shù),當信號欠采樣倍數(shù)過大時,矩陣條件數(shù)隨之變大,導(dǎo)致可能無法對線性方程組進行求解.此外,通過梯度下降迭代法逼近方程的解,容易受磁場擾動和梯度不準的影響;同時,如果相位信息矩陣的維度大,迭代求解的過程將比較耗時.部分傅里葉法根據(jù)SPEN MRI 采樣信號的空間選擇特性,忽略距離穩(wěn)定相位點較遠位置的采樣信號的貢獻,通過對相位信息矩陣加入空間位置選擇加權(quán)因子,僅使用穩(wěn)定相位點相鄰區(qū)域的采樣信號貢獻重建出SR 圖像.部分傅里葉法不需要通過迭代法求解,計算量小,重建速度快,但其SR 圖像的理論數(shù)字分辨率極限也為信號采樣點數(shù).去卷積法首先巧妙地去除SPEN MRI 采樣信號的二次相位調(diào)制,使原本相位震蕩劇烈的采樣信號變得平滑,然后對信號沿空間編碼維線性插值以抑制欠采樣帶來的混疊偽影,同時提升重建圖像的數(shù)字分辨率,最終通過反卷積重建出SR 圖像.去卷積法通過插值突破了采樣信號點數(shù)對重建結(jié)果數(shù)字分辨率的限制,但是這種插值只對圖像分段平滑的區(qū)域有效,不適用于圖像邊緣的尖銳區(qū)域和紋理信息比較豐富的區(qū)域,而這些區(qū)域往往包含重要的信息,重建結(jié)果在這些區(qū)域可能存在殘留偽影,空間分辨率較低.SEED 法利用與混疊偽影相關(guān)的額外二次相位信息,通過填零提高重建結(jié)果的數(shù)字分辨率,可以在不損失空間分辨率的情況下移除混疊偽影,達到理論上的最優(yōu)空間分辨率.該方法通過非線性共軛梯度算法迭代求解出最終結(jié)果,計算量大,重建速度較慢.此外,在實驗條件不理想的情況下,重建結(jié)果邊緣區(qū)域存在殘留偽影.

隨著計算機硬件性能的不斷提升,深度學(xué)習(xí)技術(shù)得到飛速發(fā)展并越來越廣泛地應(yīng)用于醫(yī)學(xué)成像領(lǐng)域[8-19].深度神經(jīng)網(wǎng)絡(luò)(deep neural network,DNN)是包含多個隱藏層的神經(jīng)網(wǎng)絡(luò),它使用反向傳播算法對網(wǎng)絡(luò)進行訓(xùn)練,并采用梯度下降法更新卷積核的權(quán)重.DNN 采用局部連接和神經(jīng)元權(quán)值共享的方式,可以直接將圖像作為網(wǎng)絡(luò)輸入并自行提取如顏色、形狀、紋理、結(jié)構(gòu)等圖像特征,在處理二維圖像問題上有巨大的優(yōu)勢.基于DNN 的MRI 重建方法通過大量的數(shù)據(jù)樣本對深度神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練,訓(xùn)練完成后的網(wǎng)絡(luò)模型可以對相同特征類型的測試數(shù)據(jù)快速完成重建[9,15-17,19].2015 年,Ronneberger等[20]提出一種新型DNN 結(jié)構(gòu)U-Net.U-Net 是目前非常流行的一種DNN,它使用對稱的編解碼器結(jié)構(gòu),在編解碼器的同層之間建立直連,可以融合多尺度的特征信息,在醫(yī)學(xué)圖像分割和重建上表現(xiàn)優(yōu)異[21,22].在此背景下,本文提出了一種基于U-Net的單掃描SPEN MRI SR 重建方法.該方法根據(jù)實際SPEN MRI 實驗條件制作大量模擬訓(xùn)練樣本,采用模擬樣本對網(wǎng)絡(luò)進行訓(xùn)練[9,17],然后通過訓(xùn)練完成的網(wǎng)絡(luò)模型對預(yù)處理后的SPEN MRI 采樣信號進行重建,得到SR 圖像.與現(xiàn)有的SR 重建方法相比,該方法在能得到SPEN MRI 的SR 圖像的同時,重建速度快,重建結(jié)果能消除混疊偽影.

2 基于深度神經(jīng)網(wǎng)絡(luò)的重建方法

2.1 信號預(yù)處理

圖1 為本文所用單掃描SPEN MRI 脈沖序列,圖中G代表脈沖梯度場,T代表時間,N/2 代表采樣模塊重復(fù)次數(shù).該序列在相位編碼(phaseencoding,PE)維進行時空編碼,讀出(readout,RO)維為傳統(tǒng)k空間編碼,采樣信號空間為圖像域-k空間的混合空間.SS 維為層選(slice selection)維.SPEN MRI 在PE 維的全采樣點數(shù)Nfull由90° chirp 射頻(RF)脈沖帶寬WB和持續(xù)時間Texc決定:

圖1 本文所用SPEN MRI 脈沖序列Fig.1.Pulse sequence of SPEN MRI used in this study.

沿y方向進行時空編碼一維成像時,其采樣信號可表示為[5]

其中,ρ(y)為核自旋密度,γ為核自旋的旋磁比,Ly為成像視野,Gexc為時空編碼梯度強度,Gacq為采樣階段的解碼梯度強度.由(2)式可見采樣信號中存在一個與空間位置相關(guān)的二次相位調(diào)制.

SPEN MRI 信號的二次相位調(diào)制特性使其相位只在穩(wěn)定相位點附近是緩慢變化的,其他區(qū)域的相位則變化劇烈.相位變化劇烈區(qū)域的信號相互抵消,對成像沒什么貢獻,卻給重建帶來困難,因此在將待重建信號輸入深度神經(jīng)網(wǎng)絡(luò)前需要去除此二次相位.去除二次相位的過程為

對(t) 沿PE 維進行線性插值,插值后的信號在PE 維方向上數(shù)據(jù)點數(shù)為全采樣點數(shù)Nfull.將插值后的信號歸一化,即可分別取其實部和虛部作為卷積神經(jīng)網(wǎng)絡(luò)的雙通道輸入.

對二維采樣,如果RO 維采樣點數(shù)少于Nfull,在去除二次相位前要對混合空間域的采樣信號沿RO 維填零并進行一維傅里葉變換,將信號轉(zhuǎn)化為圖像域.RO 維填零后的大小與PE 維全采樣點數(shù)Nfull相等,以使采樣信號經(jīng)預(yù)處理后作為網(wǎng)絡(luò)輸入的圖像域數(shù)據(jù)為方形矩陣.

2.2 訓(xùn)練樣本制作

要對深度神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練需要大量的樣本,樣本采集耗時長,而且真實的實驗環(huán)境往往不理想,無法獲得作為標簽的實驗數(shù)據(jù),因此我們采用模擬方法生成SPEN MRI 信號來制作訓(xùn)練樣本.

2.2.1 采樣模板制作

我們在MATLAB 軟件上運行自己編寫的代碼生成批量的具有不同紋理結(jié)構(gòu)和磁共振參數(shù)分布的隨機模擬采樣模板,核自旋密度M0的取值范圍為[0,1],橫向弛豫時間T2的取值范圍為[0,0.25 s].縱向弛豫時間T1設(shè)為1 s,受不均勻磁場影響的橫向弛豫時間T2*設(shè)為0.02 s.

2.2.2 模擬信號采集

將SPEN MRI 序列和采樣模板導(dǎo)入MRiLab模擬軟件[23]中,設(shè)置序列參數(shù)與實際實驗一致.在實際實驗中,靜磁場B0往往不完全均勻.為了提高重建方法的魯棒性,根據(jù)實際實驗條件對B0場不均勻性進行建模,然后在模擬的不均勻磁場條件下進行模擬信號采集.B0場的不均勻性由(5)式表示:

其中:amp0為控制B0場偏離程度的參數(shù),在建模時通過拉莫進動頻率公式與頻率偏移Δf關(guān)聯(lián);a0,b0,c0,d0,e0,f0,g0為方程中各項的系數(shù),服從[—0.5,0.5]之間的均勻分布;x,y為B0矩形模板經(jīng)過歸一化后的坐標值,范圍是[—1,1].

2.2.3 模擬信號預(yù)處理

在通過MRiLab 軟件獲得SPEN MRI 模擬采樣信號后,按2.1 節(jié)的方法對其進行預(yù)處理.考慮到實際實驗中存在噪聲,我們對預(yù)處理后的信號加入與實驗環(huán)境相當?shù)恼龖B(tài)分布的高斯隨機噪聲,然后分別取其實部和虛部作為訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的雙通道輸入數(shù)據(jù).

2.2.4 標簽制作

采用理想實驗條件下的全采樣SPEN MRI 模擬信號圖像作為標簽.首先去除(5)式的磁場不均勻偏移量,然后采用相同的脈沖序列對采樣模板進行采樣,PE 維和RO 維的采樣點數(shù)均為Nfull,獲得相同采樣模板的理想SPEN MRI 全采樣模擬信號.對此全采樣模擬信號進行二維傅里葉變換,歸一化后取幅值作為訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的標簽.

2.3 網(wǎng)絡(luò)結(jié)構(gòu)

本文選用U-Net[20]進行圖像重建.使用PyCharm編譯器和深度學(xué)習(xí)框架PyTorch 搭建一個如圖2所示的5 層的U-Net 深度神經(jīng)網(wǎng)絡(luò).輸入通道數(shù)為2,分別對應(yīng)預(yù)處理后的采樣信號的實部和虛部,輸出通道為1,即輸出重建的SR 圖像.

圖2 U-Net 網(wǎng)絡(luò)結(jié)構(gòu)示意圖Fig.2.Diagram of U-Net network structure.

訓(xùn)練網(wǎng)絡(luò)的損失函數(shù)采用均方誤差(mean square error,MSE),其可以表示為

其中,Ns為每次迭代訓(xùn)練時的圖像塊數(shù)目,f() 為網(wǎng)絡(luò)所學(xué)習(xí)的輸入X和輸出Y間的非線性映射函數(shù),L表示標簽,W表示網(wǎng)絡(luò)卷積層的權(quán)重信息,B表示偏置.W和B隨著對網(wǎng)絡(luò)的迭代訓(xùn)練而不斷更新.

采用上述批量訓(xùn)練樣本對深度神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練,直至網(wǎng)絡(luò)收斂,然后保存訓(xùn)練好的網(wǎng)絡(luò)模型.將按照2.1 節(jié)預(yù)處理后的SPEN MRI 實際采樣信號數(shù)據(jù)輸入訓(xùn)練好的網(wǎng)絡(luò)模型,即可重建得到SR圖像.

3 實驗方法

實驗所用脈沖序列如圖1 所示.數(shù)值模擬實驗在MRiLab 上進行,水模和活體鼠腦實驗在7 T Varian MRI 儀上進行.使用異氟烷將大鼠麻醉并放置在動物床上進行實驗,所有操作均遵守廈門大學(xué)實驗動物管理中心的規(guī)定.對采樣信號的預(yù)處理在MATLAB 軟件上通過自己編寫的程序完成.

數(shù)值模擬實驗參數(shù)為:Texc=4 ms,WB=32 kHz,Tacq=38.912 ms,回波時間TE=45.21 ms,重復(fù)時間TR=67.76 ms;PE 維采樣點數(shù)Npe=64,欠采樣倍數(shù)為2;RO 維采樣點數(shù)Nro=Nfull=128.全采樣信號點數(shù)[Npe,Nro]=[128,128],模擬信號采樣時設(shè)置不均勻場頻偏Δf=1500 Hz.一共制作3000 個訓(xùn)練樣本,訓(xùn)練集、測試集、驗證集的樣本數(shù)比例為8∶1∶1.

水模和活體鼠腦實驗所用WB,Texc,TE,Tacq,Npe,Nro參數(shù)均與數(shù)值模擬實驗一致.采用單掃描SPEN MRI 序列進行水模實驗時,WB=250 kHz,視野(field of view,FOV)=5 cm × 5 cm,層厚為2 mm,層數(shù)為1.多掃描快速自旋回波(FSE)參考圖像和EPI 對比圖像的采集在與SPEN MRI相同的實驗環(huán)境下進行,且FOV、層厚、層數(shù)與SPEN 序列采樣時相同.FSE 的TR=3000 ms,采樣點數(shù)[Npe,Nro]=[128,128],重復(fù)掃描8 次.EPI 的TE=44.82 ms,采樣點數(shù)[Npe,Nro]=[64,128].三種方法的活體鼠腦實驗相關(guān)成像參數(shù)和水模實驗相同.考慮到多掃描FSE 序列的采樣時間較長,將FSE 重復(fù)掃描次數(shù)減為4.

訓(xùn)練數(shù)據(jù)沿PE 維隨機切成64 × 128 的圖像塊.U-Net 卷積核大小為3 × 3,步長為1,padding形式為same.每次卷積后面都接一個ReLU 激活函數(shù).降采樣過程最大池化尺寸為2 × 2,步長為2,padding 形式為same.反卷積核(也稱轉(zhuǎn)置卷積核)大小為2 × 2,步長為2,padding 形式為same.網(wǎng)絡(luò)訓(xùn)練使用2 個GTX2080Ti,batch size 大小為8,初始學(xué)習(xí)率為1 × 10—4,每迭代20000 步學(xué)習(xí)率減小0.5 倍,共迭代15 萬步.

采用模擬樣本對U-Net 進行訓(xùn)練的訓(xùn)練誤差和驗證誤差曲線如圖3 所示,訓(xùn)練完成后,訓(xùn)練誤差和驗證誤差分別為7.89 × 10—4和8.33 × 10—4.

圖3 采用模擬樣本訓(xùn)練U-Net 的訓(xùn)練誤差曲線和驗證誤差曲線Fig.3.The training error curve and validation error curve of U-Net trained with simulated samples.

使用目前單掃描SPEN MRI 的最優(yōu)SR 重建方法SEED 作為對比對本方法的重建結(jié)果進行評價.兩種方法的重建結(jié)果數(shù)字分辨率均為128 × 128.對于數(shù)值模擬實驗,通過計算兩種方法重建圖像的結(jié)構(gòu)相似性(structural similarity index metric,SSIM)和峰值信噪比(peak signalto-noise ratio,PSNR)作為圖像質(zhì)量評估指標.SSIM 和PSNR 的計算方式分別為

其中:μY為重建圖像Y的平均值;μL為標簽L的平均值;為Y的方差;為L的方差;σYL為Y和L的協(xié)方差;c1=(k1V)2,c2=(k2V)2為用來維持穩(wěn)定的常數(shù)項,k1=0.01,k2=0.03,V為圖像的像素值范圍.

其中,MAXL為標簽L的最大值,MSE 為Y和L的均方誤差.

4 結(jié)果與討論

4.1 數(shù)值模擬實驗

圖4 為數(shù)值模擬實驗結(jié)果.由于數(shù)值模型的采樣信號在不同區(qū)域的交界處變化比較劇烈,全采樣標簽圖中有振鈴效應(yīng)導(dǎo)致的截斷偽影.SEED 方法的重建時間約為117 s,而U-Net 方法的重建時間大約為1 s,重建時間大大縮短.比較U-Net 和SEED的重建結(jié)果可以看到,兩者都能對原始SPEN MRI 采樣信號進行超分辨率重建,解決SPEN 固有空間分辨率較低的問題.如圖4 中紅色矩形框所指區(qū)域所示,相比于SEED 方法,U-Net 的重建結(jié)果與全采樣標簽更接近.SEED 重建結(jié)果的SSIM和SNR 分別為91.56%和24.94 dB,而U-Net 重建結(jié)果的SSIM 和SNR 分別為93.61%和27.83 dB,兩項評價指標都有提升.

圖4 數(shù)值模擬結(jié)果,紅色矩形所圍區(qū)域放大顯示于相應(yīng)圖的右下角Fig.4.Numerical simulation results.The region enclosed by the red rectangle is enlarged and displayed in the lower right corner of the corresponding figure.

4.2 水模實驗

不同成像序列和重建方法得到的結(jié)果如圖5所示.SEED 方法的重建時間約為129 s,U-Net 方法的重建時間約為1 s.由圖可見,SEED 方法重建結(jié)果存在受振鈴效應(yīng)影響導(dǎo)致的截斷偽影,而該效應(yīng)在U-Net 重建結(jié)果中得到了改善.比較圖5 中的紅色矩形框區(qū)域可以看到,U-Net 和SEED 方法對欠采樣倍數(shù)為2 的水模SPEN MRI 采樣信號SR重建后圖像的空間分辨率都接近多掃描FSE 全采樣參考圖,明顯優(yōu)于相同采樣點數(shù)下的EPI 圖像.此外,由于主磁場并不完全均勻,加上水模樣品本身存在不均勻,EPI 圖像發(fā)生明顯扭曲,同時EPI圖像中還存在欠采樣導(dǎo)致的混疊偽影;而SPEN MRI 對不均勻場抵抗性較強,畸變較小,同時混疊偽影也被消除.

圖5 不同成像序列和重建方法得到的水模圖像,紅色矩形所圍區(qū)域放大顯示于相應(yīng)圖的左下角Fig.5.Water phantom images obtained by different imaging sequences and reconstruction methods.The region enclosed by the red rectangle is enlarged and displayed in the lower left corner of the corresponding figure.

4.3 活體鼠腦實驗

不同成像序列和重建方法得到的結(jié)果如圖6所示.進行活體鼠腦實驗時,我們使用的接收線圈為體線圈,采樣信號SNR 較低,因此在比較不同方法的重建結(jié)果時,主要關(guān)注信號強度較高的腦區(qū)部分.SEED 方法重建時間約為154 s,U-Net 重建時間約為1 s.從圖6 可以看到,由于受不均勻場影響,相比于FSE 參考圖像,EPI 圖像扭曲十分嚴重,而SPEN MRI 對不均勻場的抵抗性明顯增強,鼠腦區(qū)域扭曲較小.與SEED 的重建結(jié)果相比,U-Net的重建結(jié)果在鼠腦邊緣區(qū)域的亮暗變化較小,更接近參考圖像.

圖6 不同成像序列和重建方法得到的活體鼠腦圖像Fig.6.In vivo rat brain images obtained by different imaging sequences and reconstruction methods.

4.4 討論

由于SPEN MRI 在實際實驗時往往是欠采樣的,其SR 重建圖像往往存在混疊偽影,本文提出的方法利用深度神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)輸入和全采樣標簽之間的映射關(guān)系,能夠重建出無混疊偽影的圖像.SEED 方法也能去除欠采樣混疊偽影,然而它對信號采集的實驗條件要求比較嚴格,例如chirp 激發(fā)脈沖要準確,否則它可能無法提取到精確的邊緣混疊偽影信息,導(dǎo)致重建結(jié)果偽影不能完全消除.此外,采用SEED 方法重建時,需要設(shè)置合理的重建參數(shù),因此需要耗費一定的時間對重建參數(shù)進行優(yōu)化選擇.例如對于不同樣品的采樣信號,往往需要設(shè)置不同的小波變換和有限差分變換的正則化因子,這兩個正則化因子會影響重建結(jié)果的偽影抑制能力和空間分辨率.與SEED 方法相比,U-Net 方法對不同的待重建數(shù)據(jù)的泛化能力更強,同時重建速度也大大加快.

深度神經(jīng)網(wǎng)絡(luò)方法的重建結(jié)果會受到一些因素的影響,例如:網(wǎng)絡(luò)模型結(jié)構(gòu)和深度、損失函數(shù)的選擇、網(wǎng)絡(luò)通道數(shù)、訓(xùn)練樣本數(shù)、訓(xùn)練樣本的噪聲水平、訓(xùn)練數(shù)據(jù)是否切塊以及切塊大小等.在重建過程中我們發(fā)現(xiàn),在網(wǎng)絡(luò)深度方面,適當增加UNet 的卷積層深度可以增強網(wǎng)絡(luò)的特征提取能力,使得重建結(jié)果的分辨率更高、紋理更精細,但并不是層數(shù)越多越好,網(wǎng)絡(luò)層數(shù)越多占用的內(nèi)存越多,計算量越大,訓(xùn)練速度越慢,還可能產(chǎn)生過擬合.綜合考慮網(wǎng)絡(luò)的數(shù)據(jù)特征提取能力、計算量以及訓(xùn)練時間,采用的下采樣卷積層深度為5.在對網(wǎng)絡(luò)的訓(xùn)練過程中我們發(fā)現(xiàn),對訓(xùn)練樣本進行歸一化會大大提升重建結(jié)果質(zhì)量,因此采用批最大值歸一化方式.另外,對訓(xùn)練數(shù)據(jù)進行切塊以減小特征圖運算時的尺寸有利于加快網(wǎng)絡(luò)的訓(xùn)練速度,因此在輸入給網(wǎng)絡(luò)時我們對訓(xùn)練數(shù)據(jù)沿直接采樣維進行切塊處理,切塊大小為原訓(xùn)練樣本尺寸的一半.

深度神經(jīng)網(wǎng)絡(luò)通過大量的訓(xùn)練樣本提取數(shù)據(jù)特征,并將學(xué)習(xí)到的輸入輸出間的非線性映射關(guān)系向同類型測試數(shù)據(jù)泛化,因此對基于深度神經(jīng)網(wǎng)絡(luò)的SR 重建方法,訓(xùn)練樣本至關(guān)重要.下面我們分別對訓(xùn)練樣本數(shù)量和訓(xùn)練樣本的噪聲水平這兩個比較關(guān)鍵的因素對重建結(jié)果的影響進行討論.對SPEN MRI 信號采樣的實驗條件和相關(guān)成像參數(shù)與前面相同.

為探討訓(xùn)練樣本數(shù)對重建結(jié)果的影響,分別采用1000,1600 和3000 個樣本對網(wǎng)絡(luò)進行訓(xùn)練,其對應(yīng)的重建結(jié)果如圖7 所示.水模本身包含的紋理信息不豐富,我們通過比較空間分辨率的提升來討論訓(xùn)練樣本數(shù)對本方法重建質(zhì)量的影響.當將訓(xùn)練樣本數(shù)量從1000 增大到1600 時,水模重建結(jié)果分辨率有提升但仍不太理想.繼續(xù)增大訓(xùn)練樣本數(shù)量到3000 時,水模重建結(jié)果的空間分辨率表現(xiàn)良好.對鼠腦而言,當只用1000 個樣本訓(xùn)練網(wǎng)絡(luò)時,由于數(shù)據(jù)量太少,鼠腦的重建結(jié)果缺失了一些紋理和組織結(jié)構(gòu)信息,腦部區(qū)域的分辨率也比較低.隨著樣本數(shù)量的增加,網(wǎng)絡(luò)可以有更多的數(shù)據(jù)來學(xué)習(xí)輸入輸出之間蘊含的映射關(guān)系.當樣本量分別增加到1600 和3000 時,鼠腦組織結(jié)構(gòu)的細節(jié)逐漸豐富,同時腦部區(qū)域的分辨率也有較明顯的提升.繼續(xù)增大訓(xùn)練樣本量,網(wǎng)絡(luò)收斂時的損失值和對重建結(jié)果質(zhì)量的提升不明顯.

圖7 采用不同數(shù)量訓(xùn)練樣本訓(xùn)練的5 層U-Net 網(wǎng)絡(luò)重建的圖像Fig.7.Images reconstructed by 5-layer U-Net trained with different amount of training samples.

為了模擬實際實驗條件,增強重建方法的魯棒性,在制作模擬訓(xùn)練樣本時往往需要加入與實際采樣信號相似分布的高斯隨機噪聲.經(jīng)預(yù)處理后的訓(xùn)練樣本的幅值取值范圍為[0,1],根據(jù)實際信號采樣時的噪聲水平范圍,本文對3000 個訓(xùn)練樣本加入不同均值分布的高斯隨機噪聲,不同噪聲水平訓(xùn)練樣本下水模重建結(jié)果如圖8 所示.由于用MRiLab模擬采樣時實驗環(huán)境是理想的,當不對模擬樣本加隨機噪聲直接對網(wǎng)絡(luò)進行訓(xùn)練時,實采水模重建結(jié)果較差.逐漸加大噪聲水平,圖像重建質(zhì)量得到提升,但當所加的隨機噪聲大于一定閾值后,重建結(jié)果變差.噪聲均值在8 × 10—3的訓(xùn)練樣本所訓(xùn)練的網(wǎng)絡(luò)重建結(jié)果最好.

圖8 采用不同噪聲水平樣本訓(xùn)練的5 層U-Net 網(wǎng)絡(luò)重建的水模圖像Fig.8.Water phantom images reconstructed by 5-layer U-Net trained with samples having different noise levels.

5 結(jié)論

本文提出了一種基于深度神經(jīng)網(wǎng)絡(luò)的單掃描SPEN MRI 超分辨率重建方法.該方法根據(jù)實際實驗條件利用MRiLab 軟件制作出批量模擬訓(xùn)練樣本,然后選取合適的網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)對網(wǎng)絡(luò)模型進行訓(xùn)練,最后將預(yù)處理后的單掃描SPEN MRI采樣信號輸入到訓(xùn)練好的網(wǎng)絡(luò)模型,得到超分辨率圖像.與現(xiàn)有的超分辨率重建方法相比,本文的方法能在1 s 內(nèi)快速重建出無殘留混疊偽影、紋理信息清楚的超分辨率SPEN MRI 圖像.本文也探討了訓(xùn)練樣本數(shù)量和在訓(xùn)練樣本中添加隨機噪聲對重建結(jié)果的影響.在未來的工作中,我們將進一步從訓(xùn)練樣本制作和網(wǎng)絡(luò)結(jié)構(gòu)方面進一步完善重建方法,并將其應(yīng)用于SPEN MRI 的應(yīng)用研究中.