孟祥銀,吳香奕,彭昭,徐榭,2,裴曦,2
1.中國(guó)科學(xué)技術(shù)大學(xué)核科學(xué)技術(shù)學(xué)院,安徽合肥 230026;2.安徽慧軟科技有限公司,安徽合肥 230088
隨著放療技術(shù)的發(fā)展,調(diào)強(qiáng)放療已成為現(xiàn)代放療的主流技術(shù)。為了更好地保護(hù)危及器官,減少正常組織并發(fā)癥的發(fā)生,在制定治療計(jì)劃過程中需要準(zhǔn)確、快速地勾畫出危及器官。傳統(tǒng)的手工勾畫會(huì)占用醫(yī)生臨床工作的大量時(shí)間,而且不同醫(yī)生勾畫結(jié)果存在差異。目前,已有基于多圖譜的方法、基于模型的方法和基于深度學(xué)習(xí)的方法來(lái)實(shí)現(xiàn)自動(dòng)勾畫[1-3]。研究表明使用深度學(xué)習(xí)方法要優(yōu)于多圖譜和模型的方法[4-5]。Liu 等[6]采用的方法雖在勾畫膀胱、股骨頭等危及器官上有較好的結(jié)果,但直腸等軟組織的勾畫效果有待進(jìn)一步提高。MRI 對(duì)于軟組織有較高的對(duì)比度[7],但是另行采集的MRI會(huì)在勾畫和計(jì)劃時(shí)引入配準(zhǔn)誤差[8-9],且直腸屬易形變器官,很難保證與CT 中的形狀一致,有時(shí)甚至無(wú)法為CT 勾畫提供幫助。相比之下,CT直接轉(zhuǎn)化而來(lái)的sMRI圖像不僅有優(yōu)越的軟組織信息,還有與CT 中相對(duì)應(yīng)的器官輪廓。因此,本文擬提出一種結(jié)合sMRI 信息的CT自動(dòng)勾畫模型,從而改進(jìn)直腸等軟組織在CT 上的勾畫效果。
CT圖像上危及器官的自動(dòng)勾畫需要由兩個(gè)獨(dú)立的深度神經(jīng)網(wǎng)絡(luò)分步完成。一個(gè)是sMRI 生成網(wǎng)絡(luò)—CycleGAN,其作用是將CT 圖像轉(zhuǎn)換為清晰度較高的sMRI 圖像,由于轉(zhuǎn)換前后器官輪廓一致,CT的勾畫信息可以直接用于sMRI。另一個(gè)是自動(dòng)勾畫網(wǎng)絡(luò)—Residual U-Net,其作用是完成基于sMRI的危及器官自動(dòng)勾畫。
1.1.1 用于sMRI生成的網(wǎng)絡(luò)模型結(jié)構(gòu)CycleGAN模型[10]最早用于不同風(fēng)格之間的圖像轉(zhuǎn)換,其特點(diǎn)是不需要配對(duì)數(shù)據(jù)。Wolterink 等[11]首先將該模型應(yīng)用到CT 與MRI 間的相互轉(zhuǎn)換,圖1展示了CycleGAN模型的具體結(jié)構(gòu)。真實(shí)CT 首先經(jīng)過sMRI 生成器,得到sMRI,之后再經(jīng)過偽CT 生成器得到重建CT,CycleGAN 中尤其重要的循環(huán)一致性損失便是基于真實(shí)CT 與重建CT 之間的差異,這樣的操作使得非配對(duì)數(shù)據(jù)間的互相轉(zhuǎn)換成為可能。真實(shí)MRI 也需要經(jīng)歷類似的流程。與此同時(shí),CT 和MRI 判別器將會(huì)判斷由兩個(gè)生成器得到的圖像是否真實(shí),從而規(guī)范生成器的輸出。但大多數(shù)研究者只是使用Cycle-GAN 模型來(lái)生成偽CT,sMRI 在這個(gè)過程中只是中間結(jié)果,其圖像存在較多模糊的情況,質(zhì)量較差,并不能夠用于自動(dòng)勾畫。本工作首先將原始Cycle-GAN 進(jìn)行改進(jìn),主要包含添加去噪判別器、改進(jìn)生成器架構(gòu)以及損失函數(shù)。
圖1 原始CycleGAN模型的結(jié)構(gòu)Figure 1 Pipeline of original CycleGAN model
(1)添加去噪判別器:由于原始CycleGAN 模型產(chǎn)生的sMRI 圖像較模糊,本工作提出一個(gè)去噪判別器以使得MRI 生成器的輸出更加清晰,該判別器的架構(gòu)如圖2所示,其中卷積層的卷積核大小為3×3,BN 代表批正則化。首先將訓(xùn)練數(shù)據(jù)中的真實(shí)MRI分別通過銳化和高斯模糊,得到更加清晰且更富細(xì)節(jié)的MRI 以及模糊的MRI,其次將這兩種MRI 輸入去噪判別器,使其能夠辨別不同清晰程度的MRI 圖像。最后該判別器將評(píng)判訓(xùn)練過程中生成的sMRI的清晰程度,以此來(lái)提高生成sMRI的圖像質(zhì)量。
圖2 去噪判別器的架構(gòu)Figure 2 Architecture of denoising discriminator
(2)改進(jìn)的生成器結(jié)構(gòu):原始CycleGAN 網(wǎng)絡(luò)生成器采用2 個(gè)跨步卷積層、9 個(gè)殘差模塊和2 個(gè)反卷積層。這樣的好處是可以減少網(wǎng)絡(luò)參數(shù),使得模型小型化,更易于實(shí)現(xiàn),但是其中的兩層反卷積操作會(huì)導(dǎo)致生成的圖像中存在棋盤格偽影[12]。受Dong等[13]的啟發(fā),為解決這個(gè)問題,使用先上采樣再卷積的生成器結(jié)構(gòu)。由于網(wǎng)絡(luò)的輸入為256×256的圖像,受限于GPU 內(nèi)存,本工作只能先將圖像上采樣一次,之后經(jīng)過兩次步長(zhǎng)為2的卷積,最后再使用一次反卷積。盡管如此,在最后得到的sMRI 圖像中,棋盤格偽影得以消除。
(3)改進(jìn)的目標(biāo)函數(shù):原始CycleGAN 網(wǎng)絡(luò)的GAN 損失函數(shù)采用的是MSE 損失,這種損失函數(shù)會(huì)導(dǎo)致生成的圖像更加趨向于平均的結(jié)果,在圖像上看起來(lái)與水波紋十分相像。故將MSE 損失改變?yōu)長(zhǎng)1損失函數(shù),而且將原始循環(huán)一致性損失中的MAE 損失改變?yōu)镸PD(lp-norm,P=1.5)損失和GD(Gradient Difference)損失[14],故循環(huán)一致性損失函數(shù)如下:
(4)訓(xùn)練策略及實(shí)驗(yàn)配置:使用Pytorch框架完成網(wǎng)絡(luò)的搭建,模型采用Kai ming 方式初始化[15],Adam[16]方法進(jìn)行優(yōu)化,訓(xùn)練迭代次數(shù)設(shè)為200。在前100 代訓(xùn)練中,學(xué)習(xí)率固定為0.000 2,在后100 代訓(xùn)練中,學(xué)習(xí)率從0.000 2 線性降低至0。Batch 大小設(shè)為1。為防止過擬合,使用了隨機(jī)裁剪輸入圖像至256×256、正負(fù)5°內(nèi)隨機(jī)旋轉(zhuǎn)等數(shù)據(jù)增強(qiáng)操作。
1.1.2 自動(dòng)勾畫網(wǎng)絡(luò)采用2D Residual U-Net,該網(wǎng)絡(luò)是在原始U-Net模型的基礎(chǔ)上添加殘差模塊得到,能夠讓網(wǎng)絡(luò)變深的同時(shí)充分利用網(wǎng)絡(luò)在每一步提取到的特征信息,最后得到更好的圖像分割結(jié)果[17]。具體網(wǎng)絡(luò)模型結(jié)構(gòu)如圖3所示,整個(gè)網(wǎng)絡(luò)包含3 個(gè)部分:編碼、連接和解碼。編碼部分包含3個(gè)殘差模塊。與普通的U-Net使用池化層進(jìn)行下采樣不同的是,每一個(gè)殘差模塊中,都有兩個(gè)3×3 的卷積層,其中第一個(gè)卷積層的步長(zhǎng)為2,以完成下采樣,第二個(gè)卷積層步長(zhǎng)為1,以提取更多信息。解碼部分同樣包含3 個(gè)殘差模塊。在每一個(gè)模塊之前,特征圖都需要先進(jìn)行上采樣,之后還要與來(lái)自編碼部分的同尺度特征圖進(jìn)行拼接。
圖3 2D Residual U-Net架構(gòu)(紅色虛線為恒等映射)Figure 3 Architecture of 2D Residual U-Net(The red dashed line indicates identity mapping)
自動(dòng)勾畫網(wǎng)絡(luò)使用Keras 框架完成網(wǎng)絡(luò)的搭建,同樣采用Kai ming 方式初始化,Adam 方法進(jìn)行優(yōu)化。訓(xùn)練時(shí)使用早停法以確定最優(yōu)迭代次數(shù)。學(xué)習(xí)率固定為0.000 1,Batch 大小設(shè)為2。數(shù)據(jù)增強(qiáng)方面,將輸入圖像隨機(jī)剪裁至256×256 大小。模型訓(xùn)練過程中以戴斯相似性系數(shù)(DSC)作為損失函數(shù)。為了得到更可靠穩(wěn)定的結(jié)果,本工作采用了五折交叉驗(yàn)證的方法減少訓(xùn)練得到的隨機(jī)差異。
sMRI 生成網(wǎng)絡(luò)CycleGAN 的輸入數(shù)據(jù)包含非配對(duì)CT 與MRI,自動(dòng)勾畫網(wǎng)絡(luò)Residual U-Net 的輸入數(shù)據(jù)為sMRI 和對(duì)應(yīng)的器官輪廓?;谝陨喜町悾瑢⒎謩e進(jìn)行兩個(gè)深度神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)收集與預(yù)處理。
1.2.1 用于sMRI生成的數(shù)據(jù)收集來(lái)自中國(guó)科學(xué)技術(shù)大學(xué)附屬第一醫(yī)院西區(qū)影像科的52 例盆腔MRI 和非配對(duì)的52 例盆腔CT 作為訓(xùn)練集,22 例盆腔配對(duì)MRI 和CT 圖像作為測(cè)試集。MRI 圖像的體素大小從(6.00×0.625×0.625)mm3到(6.00×0.820×0.820)mm3不等,CT圖像的體素大小從(5.00×0.854×0.854)mm3到(5.00×0.869×0.869)mm3不等。MRI圖像是在GE公司的3T MRI 掃描儀(Signa HDxt, GE Healthcare Technologies,Milwaukee,Wisconsin,USA)上使用雙繞線圈獲得的T1加權(quán)MRI 圖像。掃描參數(shù)如下:重復(fù)時(shí)間500~520 ms,回波時(shí)間6.9~8.0 ms,翻轉(zhuǎn)90°。CT 圖像在GE 公司CT 掃描儀(Discovery 750)上以120 kV管電壓,600~19 420 ms 曝光時(shí)間和176~420 mA 的X射線管電流進(jìn)行采集。為保護(hù)病人隱私,所有數(shù)據(jù)均進(jìn)行脫密處理。
對(duì)于CT 圖像的預(yù)處理首先使用Otsu 方法[18]提取CT 圖像中的身體區(qū)域,排除金屬支架和空氣。在處理過程中,圖像整體尺寸不變,感興趣區(qū)域內(nèi)像素值也不變。然后將所有圖像重新采樣為(5.000×1.000×1.000)mm3。最后對(duì)CT 圖像進(jìn)行灰度區(qū)間的統(tǒng)一。對(duì)于腹部CT,-600 HU以下基本為空氣,1 500 HU以下基本包含所有的體素像素,故將所有CT 圖像的CT值統(tǒng)一為-600~1 500 HU。
對(duì)于MRI圖像的預(yù)處理同樣先使用Otsu 方法提取MRI 圖像中的身體區(qū)域,接下來(lái)將所有圖像重采樣至(5.000×1.000×1.000)mm3。由于MRI 圖像在采集時(shí)會(huì)存在偏差場(chǎng)等因素,故使用N4ITK 算法進(jìn)行偏差場(chǎng)校正[19-20]。最后依然是灰度區(qū)間的統(tǒng)一,所有的MRI圖像強(qiáng)度均被設(shè)置在(0,2 500)強(qiáng)度之間。
分別處理CT 和MRI 圖像后,考慮到重采樣后圖像尺寸會(huì)產(chǎn)生變化,若背景區(qū)域占總圖像的比例過大,則勢(shì)必會(huì)降低神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)效率,所以本工作統(tǒng)計(jì)了所有重采樣后的CT 和MRI 圖像中身體所占的空間大小,選取了其中的最大值324×424,并將所有圖像均裁剪至該尺寸,以盡可能提高身體部位信息的比例。這樣做既可以減小網(wǎng)絡(luò)訓(xùn)練所需內(nèi)存,又可以提高訓(xùn)練效率。值得一提的是,用于訓(xùn)練的CT和MRI圖像并未做任何配準(zhǔn)。
1.2.2 用于自動(dòng)勾畫網(wǎng)絡(luò)的數(shù)據(jù)收集來(lái)自中國(guó)科學(xué)技術(shù)大學(xué)附屬第一醫(yī)院西區(qū)放療科的28例前列腺癌患者以及28 例宮頸癌患者Dicom 文件作為訓(xùn)練集,7例前列腺癌患者以及7 例宮頸癌患者Dicom 文件作為測(cè)試集。這些文件包含患者在放療前掃描的CT文件和醫(yī)生勾畫完成的RT Structure 文件,以醫(yī)生勾畫的危及器官輪廓作為模型訓(xùn)練的標(biāo)簽和評(píng)估自動(dòng)勾畫性能的標(biāo)準(zhǔn)。CT 圖像的體素大小為(2.500×1.270×1.270)mm3,所有數(shù)據(jù)均進(jìn)行了脫密處理。通過向改進(jìn)的CycleGAN 模型輸入CT 圖像,便可以得到對(duì)應(yīng)的sMRI數(shù)據(jù)。
對(duì)CT 預(yù)處理首先使用Otsu 方法提取身體區(qū)域,去除金屬床板和空氣,之后重采樣體素至(2.500×1.000×1.000)mm3。為保證身體部位所占比例,最終裁剪其尺寸至512×512。對(duì)sMRI 的預(yù)處理只有使用Otsu 方法提取sMRI 圖像中的身體區(qū)域,以排除背景值的影響。
評(píng)估網(wǎng)絡(luò)自動(dòng)勾畫準(zhǔn)確性時(shí),通常將醫(yī)生手工勾畫的危及器官輪廓設(shè)為“金標(biāo)準(zhǔn)”,使用DSC 進(jìn)行定量計(jì)算,該值為0~1,數(shù)值越大表示自動(dòng)勾畫與醫(yī)生手工勾畫越相似,說(shuō)明預(yù)測(cè)精度越高。DSC 計(jì)算公式如下所示:
其中,A為醫(yī)生手工勾畫的區(qū)域,B為自動(dòng)勾畫的區(qū)域。
采用統(tǒng)計(jì)學(xué)軟件進(jìn)行數(shù)據(jù)分析處理,符合正態(tài)性分布的計(jì)量資料用均數(shù)±標(biāo)準(zhǔn)差表示,采用配對(duì)樣本的非參數(shù)檢驗(yàn)—Wilcoxon 符號(hào)秩檢驗(yàn),P<0.05 為差異有統(tǒng)計(jì)學(xué)意義。
改進(jìn)后的CycleGAN 模型生成的sMRI 與原始CycleGAN模型生成的sMRI之間的對(duì)比如圖4所示。圖4a為測(cè)試集中的一張CT 圖像,紅框內(nèi)的器官?gòu)纳系较乱来问前螂住⑶傲邢?、直腸。圖4b是與之對(duì)應(yīng)的未配準(zhǔn)MRI,其前列腺與膀胱的邊界十分模糊,且直腸的形狀與CT 上直腸形狀也有不同。顯而易見,這樣的MRI 無(wú)法對(duì)CT 的勾畫起到輔助作用,而且還會(huì)為后續(xù)的計(jì)劃引入配準(zhǔn)誤差。圖4c 是原始CycleGAN 模型生成的sMRI,幾乎無(wú)法看到紅框內(nèi)的3 個(gè)器官,十分模糊。圖4d 是經(jīng)過改進(jìn)后的CycleGAN 模型生成的sMRI,3 個(gè)器官的邊界清晰顯示。這說(shuō)明本工作所提出的sMRI 生成方法能夠清晰地將CT 中的器官和組織信息映射到sMRI 上,能為后續(xù)的器官勾畫提供有效信息。
圖4 同一測(cè)試患者CT、MRI及相應(yīng)的由原CycleGAN和改進(jìn)CycleGAN產(chǎn)生的sMRIFigure 4 CT and MRI of the same patient and their corresponding sMRI generated by original CycleGAN and improved CycleGAN
為顯示結(jié)合sMRI 信息自動(dòng)勾畫模型的優(yōu)越性,單獨(dú)使用35 例宮頸癌與35 例前列腺癌患者的CT 圖像(不生成sMRI)和醫(yī)生勾畫信息,訓(xùn)練Residual U-Net 并評(píng)估,將預(yù)測(cè)得到的結(jié)果與所提出模型預(yù)測(cè)的結(jié)果進(jìn)行對(duì)比,兩者的DSC與統(tǒng)計(jì)學(xué)差異如表1所示。從表1可以看出,在膀胱和直腸的勾畫效果上,基于sMRI 勾畫的方法較單純使用CT 勾畫的方法均有改進(jìn),其中直腸的勾畫效果在具有顯著性差異的同時(shí),獲得了最大的提升。這是由于直腸在sMRI 上的邊界更清晰,與周圍的軟組織對(duì)比度更高。測(cè)試集中1 例患者在不同模態(tài)圖像上進(jìn)行自動(dòng)勾畫所得到的直腸標(biāo)簽對(duì)比示意圖如圖5所示。
表1 基于CT和sMRI圖像訓(xùn)練得到的兩種模型的DSC值比較Table 1 Comparison of DSC of two models trained by CT and sMRI images
圖5a~圖5c分別為該患者的CT及醫(yī)生給出的直腸勾畫標(biāo)簽、CT 自動(dòng)勾畫模型所預(yù)測(cè)的直腸勾畫結(jié)果以及sMRI 自動(dòng)勾畫模型所預(yù)測(cè)的直腸勾畫結(jié)果。通過對(duì)比可以看出,CT 自動(dòng)勾畫模型錯(cuò)將直腸周圍的軟組織也當(dāng)做直腸,從而產(chǎn)生了啞鈴型的勾畫,而sMRI 自動(dòng)勾畫模型則將兩者區(qū)分開來(lái),從而獲得了更高的勾畫精度。
圖5 1例患者由不同模型得到的直腸勾畫結(jié)果對(duì)比圖Figure 5 Comparison of rectal segmentation results obtained by different models in a patient
關(guān)于左右股骨頭,從DSC 來(lái)看,左右股骨頭的單純CT 勾畫效果要更好,與sMRI 比較,差異有統(tǒng)計(jì)學(xué)意義(P<0.05);觀察圖4也可以看出,由于股骨頭密度高于軟組織,使其在CT 上的輪廓更易區(qū)分,而sMRI 中的股骨頭與周圍組織像素值差別較小,一定程度上導(dǎo)致了勾畫精度的降低。
由于CT 自動(dòng)勾畫在直腸等易形變軟組織的效果有待提升,本工作提出一種結(jié)合sMRI 的自動(dòng)勾畫模型。實(shí)驗(yàn)表明,結(jié)合sMRI 信息的自動(dòng)勾畫模型在軟組織方面,特別是直腸,相較于單純CT 的自動(dòng)勾畫有較大提升,而且在股骨頭和膀胱區(qū)域,該模型的勾畫效果與單純CT 相近。目前,本工作對(duì)腹部一些危及器官進(jìn)行實(shí)驗(yàn),可以得知直腸勾畫效果的提升約為4%。后續(xù)工作中,可以對(duì)其他易變形的、在MRI上可辨識(shí)度優(yōu)于CT 的器官進(jìn)行實(shí)驗(yàn),比如頭頸部的腮腺、視神經(jīng)、視交叉等。在網(wǎng)絡(luò)架構(gòu)方面,可以進(jìn)一步改進(jìn)CycleGAN 網(wǎng)絡(luò),使得生成的sMRI 具有更豐富的特征,從而優(yōu)化自動(dòng)勾畫效果。同時(shí),若排除GPU 內(nèi)存等硬件因素,也可以考慮將圖像轉(zhuǎn)換網(wǎng)絡(luò)與自動(dòng)勾畫網(wǎng)絡(luò)一同訓(xùn)練,以節(jié)省時(shí)間和資源。
綜上所述,本工作提出一種結(jié)合sMRI信息的CT自動(dòng)勾畫模型,通過借助多模態(tài)信息,提高了直腸的CT勾畫精度。