基于3D 深度卷積神經(jīng)網(wǎng)絡(luò)依據(jù)MRI 生成偽CT 的研究

營影超,付東山,王偉

（天津醫(yī)科大學(xué)腫瘤醫(yī)院放療科，國家腫瘤臨床醫(yī)學(xué)研究中心，天津市“腫瘤防治”重點(diǎn)實(shí)驗(yàn)室，天津市惡性腫瘤臨床醫(yī)學(xué)研究中心，天津300060）

計(jì)算機(jī)斷層掃描（computed tomography， CT）成像作為放射治療的主要基準(zhǔn)圖像，可以準(zhǔn)確的顯示患者的輪廓信息，但是CT 的低軟組織對(duì)比度、電離輻射使其在臨床上的應(yīng)用受到一定限制。隨著磁共振成像（magnetic resonance imaging，MRI）在放療領(lǐng)域起著越來越重要的作用，將MRI 單獨(dú)用于放射治療逐漸成為研究重點(diǎn)［1］。MRI 較CT 具有無電離輻射、軟組織對(duì)比度高等優(yōu)勢(shì)，并能提供區(qū)分不同組織或器官的多種序列圖像。由于MRI 與電子密度（electron density，ED）無關(guān)，因此不能直接用于劑量計(jì)算和基于X 線的患者擺位驗(yàn)證［2］。

為了解決該問題，研究人員提出了多種預(yù)測(cè)方法。容積密度分配的方法通過手動(dòng)或半自動(dòng)分割技術(shù)分割各組織，對(duì)其分配不同的ED 獲得合成CT（synthetic CT， sCT）或偽CT（pseudo CT， pCT）［3-4］。該方法簡單粗糙，工作量較大，且預(yù)測(cè)精度不佳。基于圖譜的方法對(duì)匹配的MRI 和CT 圖譜庫采用可變形配準(zhǔn)方法生成pCT，但是對(duì)于特殊解剖結(jié)構(gòu)的患者（如組織缺失或外科植入物），該方法會(huì)受到限制［5-8］。基于體素和基于圖譜混合的方法，將體素強(qiáng)度和可變形配準(zhǔn)過程的幾何信息共同用于pCT的生成。雖然額外的強(qiáng)度信息有效的減小了配準(zhǔn)誤差，但是配準(zhǔn)過程中依然需要注意解剖結(jié)構(gòu)的影響［9］。隨著計(jì)算機(jī)技術(shù)的不斷提高，深度學(xué)習(xí)得到快速發(fā)展。Han 等［10］提出了采用深度卷積神經(jīng)網(wǎng)絡(luò)（deep convolutional neural network， DCNN）基于MRI 重建pCT 的方法，較前述方法均有較大改進(jìn)。但是由于缺乏圖像的上下層信息，在骨骼和空氣的轉(zhuǎn)換上仍有較大誤差，需進(jìn)一步改善。

本文采用3D DCNN 模型，在2D 模型的基礎(chǔ)上結(jié)合上下層圖像的信息，通過編碼和解碼兩部分訓(xùn)練模型。編碼部分主要通過卷積和池化處理獲取圖像特征，解碼部分的上采樣和卷積處理主要將圖像從粗分辨率恢復(fù)為細(xì)分辨率，并恢復(fù)圖像的大小，從而獲取重建圖像。通過13 個(gè)病例的分析，比較2D DCNN、3D DCNN 兩種算法的平均絕對(duì)誤差（mean absolute error，MAE）、均方根誤差（root mean squared error，RMSE）和結(jié)構(gòu)相似度（structural similarity index，SSIM）。

1 資料與方法

1.1 數(shù)據(jù)的獲取和預(yù)處理 本文所采用的數(shù)據(jù)來源于華山醫(yī)院射波刀治療中心，共采集20例患者頭部的CT 和MRI，其中MRI 的體素大小有0.625×0.625×3 mm3、0.4688×0.4688×3 mm3等，掃描范圍有512×512×38、512×512×48、512×512×50 等。CT 的體素大小有0.468×0.468×3 mm3、0.488×0.488×1 mm3、0.549×0.549×1 mm3等，CT 的掃描范圍有512×512×220、512×512×240、512×512×217 等，通過篩選，去除層數(shù)過少的患者，其中13 個(gè)患者的圖像可用，由于模型輸入需保證為2n，所以將所用數(shù)據(jù)進(jìn)行切片統(tǒng)一處理，選用MRI 數(shù)據(jù)中的32 個(gè)切片，即512×512×32。

每個(gè)患者的CT 與MRI 需經(jīng)過偏置場(chǎng)校準(zhǔn)［11］和剛性配準(zhǔn)處理，確保兩者在同一解剖位置。為了獲取更好的pCT，還需進(jìn)行掩模處理，將MR 圖像的頭部區(qū)域從背景區(qū)域中分離，采用大津閾值法［12］獲取初步提取區(qū)域，隨后采用形態(tài)學(xué)閉運(yùn)算填充各個(gè)部位的間隙，獲得最大連通區(qū)域，圖1 a、b 為原始MRI和掩模圖像。

在放射治療過程中，患者通常使用頭架進(jìn)行位置固定，但是在進(jìn)行CT 掃描時(shí)，頭架會(huì)在CT 圖像中顯示出來，為了避免其對(duì)模型造成影響，筆者根據(jù)MRI 提取的掩模區(qū)域，去除CT 中的頭架，圖1 c、d為原始CT 圖像和去除頭架后的原始CT 圖像。

圖1 圖像數(shù)據(jù)預(yù)處理Fig 1 Image data pre-processing

由于圖像過大，網(wǎng)絡(luò)模型需要訓(xùn)練的參數(shù)過多，電腦顯存受到限制，所以又對(duì)數(shù)據(jù)做了進(jìn)一步處理。首先將圖像進(jìn)行裁剪，提取最小感興趣區(qū)域，再將其進(jìn)行歸一化處理，然后把圖像大小改為256×256×32。

1.2 3 D 深度卷積神經(jīng)網(wǎng)絡(luò)算法(DCNN) 3D DCNN算法流程圖如圖2 所示。

圖2 DCNN 算法流程圖Fig 2 Flowchart of DCNN algorithm

DCNN 模型主要由卷積層、池化層組成。卷積層主要由多個(gè)特征面組成，每個(gè)特征面通過3×3×3 卷積核與上一層的局部區(qū)域相連，通過卷積操作進(jìn)行特征提取，隨著網(wǎng)絡(luò)深度的增加，所提取的特征從簡單向復(fù)雜方向轉(zhuǎn)變。隨后將卷積所得結(jié)果傳遞給不飽和非線性Relu 函數(shù)：

其中x 為輸入，f（x）為輸出。對(duì)于Relu 而言，若輸入大于0，則輸出與輸入相等，否則輸出為0，可以過濾掉極其不明顯的特征，不僅改善了模型的泛化能力，而且進(jìn)一步克服梯度消失問題，也加快了收斂速度［13］。卷積層之后為池化層，它同樣由多個(gè)特征面組成，每個(gè)特征面唯一對(duì)應(yīng)卷積層的一個(gè)特征面，從而該層的特征面?zhèn)€數(shù)不會(huì)發(fā)生改變。池化層可以被認(rèn)為有二次提取特征的作用，通過降低特征面的分辨率來獲得具有空間不變性的特征［13］，上采樣層的作用主要是通過插值方法逐步恢復(fù)圖像的細(xì)節(jié)和大小，進(jìn)一步通過卷積處理獲得最終預(yù)測(cè)結(jié)果，采用MAE 作為損失函數(shù)：

其中Yi為真實(shí)CT 圖像，P 為預(yù)測(cè)圖像，xi為對(duì)應(yīng)的MRI 圖像，θ 為網(wǎng)絡(luò)學(xué)習(xí)參數(shù)對(duì)所得誤差應(yīng)用Adam 隨機(jī)優(yōu)化函數(shù)進(jìn)行反向傳播，進(jìn)一步對(duì)參數(shù)優(yōu)化處理［14］。

1.3 DCNN 模型 本文采用19 層卷積層、池化層和上采樣層交織的端到端的神經(jīng)網(wǎng)絡(luò)架構(gòu)，如圖3所示，淺綠色塊表示MRI 輸入，紅色塊表示最大池化層，藍(lán)色塊表示卷積層，白色塊表示下采樣層中的卷積層，黃色塊表示上采樣層，紫色塊表示pCT輸出，特征圖的數(shù)量在方塊上面標(biāo)注。編碼器由多個(gè)3×3×3 卷積核進(jìn)行特征提取，采用局部連接和權(quán)值共享加深網(wǎng)絡(luò)有效的降低網(wǎng)絡(luò)復(fù)雜度，減少訓(xùn)練參數(shù)的數(shù)目。隨后通過最大池化層對(duì)特征進(jìn)行二次提取，并將特征圖的大小減小1 倍，起到減少計(jì)算量和內(nèi)存消耗的作用。解碼器通過上采樣層逐步恢復(fù)圖像的細(xì)節(jié)和大小，聯(lián)合處理將編碼器的特征圖與解碼器的特征圖結(jié)合，使網(wǎng)絡(luò)更容易重建圖像的細(xì)節(jié)。

網(wǎng)絡(luò)還應(yīng)用批標(biāo)準(zhǔn)化（batch normalization，BN）對(duì)每個(gè)卷積層的輸出進(jìn)行標(biāo)準(zhǔn)化處理，保證網(wǎng)絡(luò)的輸入輸出具有相同的統(tǒng)計(jì)分布，減少網(wǎng)絡(luò)中內(nèi)部協(xié)變量偏移，避免深層網(wǎng)絡(luò)梯度消失或梯度爆炸，同時(shí)加快了模型的收斂速度，減少了參數(shù)初始化的要求［15］。在實(shí)驗(yàn)中初始學(xué)習(xí)率設(shè)為0.001，最大迭代次數(shù)設(shè)為6000 次。本研究是基于Keras 框架進(jìn)行網(wǎng)絡(luò)搭建，實(shí)現(xiàn)模型的訓(xùn)練與評(píng)估，使用NVIDIA Quadro P5000 進(jìn)行GPU 加速。

2 結(jié)果

本文采用留一交叉驗(yàn)證（leave-one-out cross validation，LOOCV）的方法訓(xùn)練模型。選擇13 份樣本中的12 份作為訓(xùn)練集，訓(xùn)練模型，剩下1 份樣本作為測(cè)試集，測(cè)試模型的準(zhǔn)確性。此過程的模型訓(xùn)練和驗(yàn)證重復(fù)13 次。在本次實(shí)驗(yàn)中，3D DCNN 模型訓(xùn)練時(shí)間大約為9 h，預(yù)測(cè)時(shí)間大約為2 s，2D DCNN 模型訓(xùn)練時(shí)間約為5 h，預(yù)測(cè)時(shí)間大約為18 s。3D DCNN 模型訓(xùn)練時(shí)間較長，但預(yù)測(cè)時(shí)間短。

2.1 pCT 與原始CT 的定性比較 對(duì)2D DCNN、3D DCNN 兩種方法預(yù)測(cè)pCT 與原始CT 進(jìn)行定性比較。首先，取其中1 次實(shí)驗(yàn)結(jié)果作為例子，比較pCT與原始CT 的圖像質(zhì)量，如圖4、圖5、圖6 所示，第1列為原始CT，第2 列為pCTs，其中第1 行為3D DCNN的結(jié)果，第2 行為2D DCNN 的結(jié)果；第3 列為pCT和原始CT 的差異圖，其中第1 行為3D DCNN 的結(jié)果，第2 行為2D DCNN 的結(jié)果。

2.2 pCT 與原始CT 的定量比較 采用MAE、RMSE 和SSIM 對(duì)2D DCNN 和3D DCNN 結(jié)果進(jìn)行定量比較，驗(yàn)證pCT 的準(zhǔn)確性，進(jìn)一步評(píng)價(jià)pCT 和原始CT 的一致性。MAE、RMSE 和SSIM 的數(shù)學(xué)表達(dá)式為：

圖3 3D DCNN 框架Fig 3 Architecture of 3D DCNN model

圖4 pCT 與CT 的目視定性比較(橫斷面)Fig 4 Visual qualitative comparison of pCT and CT(cross section)

圖5 pCT 與CT 的目視定性比較(冠狀面)Fig 5 Visual qualitative comparison of pCT and CT(coronal plane)

圖6 pCT 與CT 的目視定性比較(矢狀面)Fig 6 Visual qualitative comparison of pCT and CT(sagittal plane)

其中N 為像素的個(gè)數(shù)，CTi和pCTi分別是原始CT 與pCT 的像素值。

其中μCT為CT 的平均值，μpCT為pCT 的平均值，為CT 的的方差為pCT 的方差，σCTpCT為CT和pCT 的協(xié)方差。C1=（k1L）2，C2=（k2L）2為常數(shù)，L 為像素值的動(dòng)態(tài)范圍，k1為0.01，k2為0.03。

表1 列出了13例患者兩種算法的MAE、RMSE和SSIM。其中3D DCNN 預(yù)測(cè)結(jié)果的MAE 都小于2D DCNN 預(yù)測(cè)結(jié)果的MAE；3D DCNN 的RMSE 都小于2D DCNN 的RMSE；除此之外，3D DCNN 的SSIM 都大于2D DCNN 的SSIM，表明3D DCNN 算法得到的pCT 的準(zhǔn)確性更高。

表1 兩種算法的MAE、RMSE 和SSIM 比較Tab 1 Comparison of MAE,RMSE and SSIM between two algorithms

3 討論

本文提出的基于3D DCNN 的算法結(jié)合圖像層與層之間的信息，既分析了單張圖像的空間特征，還結(jié)合了該層圖像的上下層圖像的特征，相比于2D DCNN 可以獲得更準(zhǔn)確、更全面的圖像信息，從而得到精確的結(jié)果。基于13例患者的CT 和MRI數(shù)據(jù)，將2D DCNN、3D DCNN 兩種方法的預(yù)測(cè)結(jié)果進(jìn)行對(duì)照比較，本文提出的3D DCNN 算法的平均MAE 為86 HU，小于2D DCNN 的136 HU，3D DCNN的平均RMSE 為184HU，也小于2DDCNN 的262HU，除此之外，3D DCNN 算法的平均SSIM 為0.89，高于2D DCNN 算法的0.81。因此3D DCNN 算法的精度要高于2D DCNN 算法，所獲得預(yù)測(cè)圖像更接近于真實(shí)圖像。

容積密度分配的方法使用手動(dòng)或半自動(dòng)分割技術(shù)，人工工作量大［3-4］。而基于圖譜法對(duì)配準(zhǔn)精度要求較高，而且有時(shí)會(huì)因?yàn)榕錅?zhǔn)困難造成sCT 顱骨和硬腦膜區(qū)域出現(xiàn)較大誤差［10，16］。雖然基于體素和基于圖譜的混合方法提高了pCT 的預(yù)測(cè)精度，但是復(fù)雜度明顯提高。對(duì)于2D DCNN 算法，依次對(duì)一張張圖像進(jìn)行處理，雖然其運(yùn)行速度相比于3D DCNN快，但是在骨骼、軟組織和空氣的誤轉(zhuǎn)換仍有較大誤差，而3D DCNN 將圖像上下層結(jié)合，共同用于訓(xùn)練，利用了圖像層與層之間特征的相關(guān)性，不僅提高了預(yù)測(cè)精度，而且明顯解決了誤轉(zhuǎn)換問題。

通過有限的臨床數(shù)據(jù)驗(yàn)證，表明3D DCNN 算法的精確性和魯棒性優(yōu)于2D DCNN 算法，結(jié)果顯示生成的pCT 圖像質(zhì)量滿足MRI 單獨(dú)用于放射治療的要求。本研究下一步工作將該算法結(jié)合臨床實(shí)踐，用于劑量分布計(jì)算和基于X 線圖像引導(dǎo)的患者擺位驗(yàn)證，進(jìn)一步驗(yàn)證該方法的臨床應(yīng)用可行性，還可以將該pCT 生成方法從頭部延伸至其他解剖部位。