基于級聯(lián)3D U-Net的CT和MR視交叉自動分割方法

沈鎮(zhèn)炯，彭昭，孟祥銀，汪志，2，徐榭，3，裴曦，4

1.中國科學(xué)技術(shù)大學(xué)核醫(yī)學(xué)物理研究所，安徽合肥230025；2.安徽醫(yī)科大學(xué)第一附屬醫(yī)院腫瘤放療科，安徽合肥230022；3.中國科學(xué)技術(shù)大學(xué)附屬第一醫(yī)院放療科，安徽合肥230001；4.安徽慧軟科技有限公司，安徽合肥230088

前言

放療要求確保腫瘤靶區(qū)接受足夠的處方劑量照射的同時，避免靶區(qū)周邊危及器官正常組織受到過多的損傷［1-2］。因此，精準可靠的危及器官分割是制定放療計劃的一個必備條件。傳統(tǒng)的手工分割非常耗時，而且準確性受醫(yī)生個體經(jīng)驗所限［3-4］。因此，近年來基于多圖譜和深度學(xué)習(xí)的自動分割方法逐漸受到了更多的關(guān)注，其中基于深度學(xué)習(xí)的方法在圖像分割領(lǐng)域取得了更好的成果［5-7］。在醫(yī)學(xué)圖像分割領(lǐng)域，絕大多數(shù)的深度學(xué)習(xí)分割算法都基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）［8］和U-Net［9］。Zhou 等［10］為解決3D 圖像內(nèi)存制約計算性能的問題，提出先以一個點提取感興趣區(qū)域（ROI）進行分割后，再進行更精確的ROI提取，反復(fù)迭代至收斂。Han等［11］則使用粗分割結(jié)果提取肝臟的ROI。Isensee 等［12］提出級聯(lián)U-Net 用于心臟、肝臟等器官的分割。Sun 等［13］將級聯(lián)模型應(yīng)用于眼睛及周邊器官的分割，提出先定位后分割的方法可以提高小體積危及器官的分割性能。但是，他們都沒有將級聯(lián)模型應(yīng)用于視交叉的分割。在垂體腺瘤和視神經(jīng)膠質(zhì)瘤的放射治療中，視交叉的定位對于評估視交叉受壓情況和預(yù)后的視覺恢復(fù)非常重要［14-15］。Bekes 等［16］提出的依據(jù)CT 圖像的半自動分割算法在眼球和晶體上表現(xiàn)很好，但是分割視交叉的效果不佳，準確度只有眼球的65%。MICCAI2015頭頸自動分割挑戰(zhàn)賽中視交叉分割的最優(yōu)DSC 結(jié)果僅為0.57［17］。對于視交叉這類軟組織危及器官，磁共振圖像（MRI）比CT 具備更好的圖像對比度，因此針對病人個體同時采集CT 和MRI，有可能進一步提高分割的精準度［18］。因此，采用多模態(tài)圖像逐漸廣泛應(yīng)用于醫(yī)學(xué)圖像分割領(lǐng)域［18-20］。Noble等［18］基于多圖譜和模型的方法分割CT 和配準的MRI中的視交叉，但是需要手動調(diào)整參數(shù)?；诖?，本文擬通過改進的級聯(lián)3D U-Net網(wǎng)絡(luò)研究利用多模態(tài)數(shù)據(jù)提高自動分割視交叉的精度。

1 資料與方法

1.1 實驗數(shù)據(jù)及預(yù)處理

實驗使用的數(shù)據(jù)來自2019年8月至2020年8月于安徽醫(yī)科大學(xué)第一附屬醫(yī)院已接受放療的60例頭頸癌患者，同一患者的CT 及MRI采集的時間間隔均不超過3 個月，其中MRI包含T1、T2兩種成像模態(tài)?；颊呔扇崴苊婺す潭?，CT 圖像的分辨率從（2.500×0.488×0.488）mm3至（5.000×0.976×0.976）mm3不等，MRI的分辨率從（4.000×0.687×0.687）mm3至（7.000×0.532×0.532）mm3不等。主管醫(yī)生在Eclipse計劃系統(tǒng)（Varian, USA）中僅依據(jù)CT 圖像手工分割患者視交叉，并交由上級資深醫(yī)生審核修改。此外，該主管醫(yī)生使用MIM Maestro 軟件（Ver 6.8.7）將MRI形變配準到CT 圖像上，然后結(jié)合配準后的MRI在CT上重新手工分割視交叉，如圖1所示，并交由上級資深醫(yī)生審核修改。將CT 圖像及配準后的MRI重新采樣到統(tǒng)一分辨率（1.250×0.800×0.800）mm3，預(yù)裁剪為256×256×80 大小的3D 圖像。這些預(yù)處理可減少計算量，減少由于成像掃描參數(shù)不同引起的差異，加速級聯(lián)3D U-Net網(wǎng)絡(luò)的收斂。

圖1 彈性配準后的CT與MRI（T1、T2）圖像及視交叉手工分割結(jié)果Fig.1 CT and MRI(T1,T2)images after elastic registration and manual segmentation of the optic chiasm

1.2 自動勾畫模型

本文提出一種級聯(lián)3D U-Net模型，具體如圖2所示。該級聯(lián)3D U-Net 由兩部分組成，第一部分為基礎(chǔ)的3D U-Net 網(wǎng)絡(luò)模型，包括一個捕獲上下文信息的收縮路徑和一個支持精確本地化的對稱擴展路徑，每一個路徑均包含5 個卷積塊，每個卷積塊包含兩個3×3 卷積層和一個Leaky ReLU 激活函數(shù)，下采樣過程使用一個步長為2 的3×3 卷積層和一個Leaky ReLU 激活函數(shù)來代替原始的最大池化層，來提升網(wǎng)絡(luò)性能［21］。第二部分為改進的3D D-S U-Net，在基礎(chǔ)的3D U-Net 模型上添加深度監(jiān)督機制。Lee 等［22］提出的深度監(jiān)督網(wǎng)絡(luò)（DSN），在基礎(chǔ)的CNN 的隱藏層中引入了分類器（SVM 或Softmax）來提高分類網(wǎng)絡(luò)的性能。Zeng 等［23］將深度監(jiān)督機制應(yīng)用于3D UNet，提出深度監(jiān)督3D U-net-like 網(wǎng)絡(luò)，并用于3D 磁共振圖像中股骨頭的分割，提高網(wǎng)絡(luò)訓(xùn)練效率。Zeng 等［23］將深度監(jiān)督3D U-net-like 網(wǎng)絡(luò)在擴展路徑中引入了低、中、高3 個不同級別的深度監(jiān)督，每一層深度監(jiān)督中均包含一個解卷積塊和分支分類器。本網(wǎng)絡(luò)在此基礎(chǔ)上改進了3D D-S U-Net，在低級別（24×24×4）深度監(jiān)督中，經(jīng)過卷積和上采樣操作，得到與中級別（48×48×8）隱藏層相同分辨率的圖像并與其疊加，再一次經(jīng)過卷積和上采樣操作，得到與高級別（96×96×16）隱藏層相同分辨率的圖像并與其疊加，通過分類器（Softmax）輸出分割結(jié)果。

圖2 級聯(lián)3D U-Net模型結(jié)構(gòu)Fig.2 Cascaded 3D U-Net model structure

1.3 訓(xùn)練方法

模型以256×256×80 大小的預(yù)處理3D 圖像作為原始輸入，實現(xiàn)視交叉ROI的提取，并重新自動裁剪為96×96×16大小的3D 圖像，作為第二部分網(wǎng)絡(luò)的輸入，最終輸出結(jié)果至大小為512×512×Sz 的原始臨床圖像中，其中Sz為原始臨床圖像的層數(shù)。

模型訓(xùn)練過程中，將CT 圖像像素值約束為-160～240 HU，T1圖像像素值約束為200～800，T2圖像像素值約束為200～1 700。模型采用Pytorch 框架，以DSC Loss 作為損失函數(shù)，訓(xùn)練迭代次數(shù)采用早停法（Early Stopping），當損失函數(shù)連續(xù)30 個迭代期不減少時停止訓(xùn)練。模型采用Adam 優(yōu)化器，學(xué)習(xí)率為0.000 2，Batch 的大小為1。在單個NVIDIA GTX 1070TI（8 GB）上，訓(xùn)練消耗顯存約為7 GB，訓(xùn)練耗時約20 h。

1.4 評價標準

本研究以醫(yī)生手工分割的視交叉輪廓為“金標準”，使用形狀相似性系數(shù)（Dice Similarity Coefficient,DSC）評價網(wǎng)絡(luò)自動分割的視交叉輪廓的準確性，該值為0～1，數(shù)值越大表示自動分割與手工分割越相似，表明預(yù)測精度越高，DSC 計算公式如下所示，其中A為醫(yī)生手工分割的視交叉區(qū)域，B為自動分割的視交叉區(qū)域，公式如下所示：

2 結(jié)果

2.1 自動分割精度

級聯(lián)3D U-Net的一階段分割結(jié)果得到視交叉的三維中心，據(jù)此獲得像素為96×96×16 大小的外擴輪廓，如圖3a～圖3c 所示。依據(jù)外擴輪廓，對原始圖像進行定位裁剪，減少背景類的信息［24］。將自動定位裁剪后的圖像輸入二階段的分割網(wǎng)絡(luò)后，得到自動分割的最終結(jié)果，如圖3d～圖3f所示。以隨機選取的15 例患者作為測試集，一階段分割的五折交叉驗證DSC 系數(shù)及標準差為0.564±0.159，最終分割的五折交叉驗證結(jié)果為0.645±0.085，經(jīng)過定位裁剪后，DSC系數(shù)得到了約0.08 的提升，說明一定程度上減少背景類的占比可以提升網(wǎng)絡(luò)模型的自動分割精度。本實驗還嘗試將定位裁剪像素大小調(diào)整為64×64×16，發(fā)現(xiàn)結(jié)果并沒有提升，這可能是因為ROI太小，雖然背景類占比更少，但同時也減少了有用的圖像特征信息。

圖3 級聯(lián)3D U-Net的定位和分割結(jié)果Fig.3 Positioning and segmentation of cascaded 3D U-Net

圖4中展示了測試集中某一例病例的視交叉分割情況，圖4a 和圖4b 分別是正反兩個視角下的分割對比情況，其中手工分割結(jié)果用藍色表示，自動分割結(jié)果用粉色表示，二者交叉重合的部分用紅色表示。通過觀察圖4中手工分割和自動分割的情況，我們發(fā)現(xiàn)自動分割結(jié)果能夠較為準確地包含完整的視交叉區(qū)域，對于視交叉核心區(qū)域分割非常準確，只有在視交叉延伸至視神經(jīng)及視束的邊界區(qū)域稍有誤差。

圖4 自動分割與手工分割結(jié)果對比Fig.4 Comparison between automatic segmentation and manual segmentation

由于目前尚無文獻同時利用CT 和配準的MRI數(shù)據(jù)用于視交叉的自動分割研究，我們對比了本研究中的級聯(lián)3D U-Net 方法與其他采用CT 數(shù)據(jù)分割方法的DSC 值。Ren 等［25］采用交錯式的3D-CNN，其視交叉的平均DSC 結(jié)果為0.580±0.170，田娟秀等［26］采用基于3D 深度殘差FCN 的SV-Net，其視交叉的平均DSC 結(jié)果為0.583±0.286，這兩個方法均采用了MICCAI2015 頭頸自動分割挑戰(zhàn)賽的數(shù)據(jù)［17］，共包含48例CT，其中15例患者作為測試。本研究提出的級聯(lián)3D U-Net 自動分割模型，其視交叉的平均DSC結(jié)果為0.645±0.085，通過對比發(fā)現(xiàn)，本研究提出的模型在視交叉自動分割領(lǐng)域取得了更好的結(jié)果。

同時，本研究進行不同模態(tài)數(shù)據(jù)的實驗對比，其中采用多模態(tài)數(shù)據(jù)（包含CT、MRI的T1和T2模態(tài)）的自動分割結(jié)果為0.645±0.085，采用單模態(tài)數(shù)據(jù)（僅CT 圖像）的結(jié)果為0.552±0.096。通過對比發(fā)現(xiàn)，在視交叉的自動分割中，采用多模態(tài)數(shù)據(jù)相比單模態(tài)CT數(shù)據(jù)能得到更好的分割結(jié)果。

本實驗采用多種數(shù)據(jù)增強方法來擴充數(shù)據(jù)，將圖像進行添加高斯噪聲、隨機翻轉(zhuǎn)、彈性形變（Elastic deformation）［27］，最終分割DSC 結(jié)果得到0.03 的提升。

2.2 自動分割效率

測試集中15 例患者的視交叉自動分割耗時約42 s，平均每例患者的視交叉自動分割僅需2.8 s，可以大大提升臨床手工分割的效率。

3 討論及總結(jié)

本研究不需要借助其他器官的分割算法用于輔助定位，直接針對視交叉進行二級分割，所需手工分割標簽更少，臨床應(yīng)用更加簡單。相比CT圖像，MRI具備更高的空間分辨率和軟組織對比度，臨床上MRI已經(jīng)被用于檢查視交叉及相關(guān)病變情況，利用MRI的信息進行自動分割視交叉逐漸成為一種有效趨勢，Sun等［15］在研究中進行基于MRI的視交叉分割實驗，取得較好的結(jié)果，但是他們借助了垂體瘤患者的垂體位置信息進行輔助，而且最終分割未應(yīng)用于CT。在基于深度學(xué)習(xí)的視交叉自動分割的相關(guān)工作中，本研究首次結(jié)合CT 和MRI進行自動分割，發(fā)現(xiàn)相比僅采用CT 圖像進行自動分割，采用多模態(tài)數(shù)據(jù)的策略更好，得到更高的分割精度。

在本研究中發(fā)現(xiàn)，常規(guī)頭頸放療中使用的MRI層厚通常為6～7 mm，視交叉的可見層數(shù)少，邊界難以界定，是目前結(jié)合MRI進行視交叉自動分割的一個難點，未來結(jié)合深度學(xué)習(xí)技術(shù)，針對層厚較大的MRI進行重采樣，重建成層厚較小，信息更豐富的圖像，是一種可考慮的數(shù)據(jù)增強方式。

綜上所述，本研究提出一種新的基于級聯(lián)3D U-Net 的多模態(tài)視交叉自動分割方法，首次結(jié)合CT 和MRI應(yīng)用于視交叉的自動分割，比通常僅采用CT 圖像進行自動分割的方法，在平均DSC 評估上高出約0.093，取得更好的精度，該方法可以作為臨床中醫(yī)生手工分割視交叉的輔助手段。未來將本方法拓展至其他視神經(jīng)、晶體及海馬等腦部小體積危及器官的通用性研究中，并集成至中國科學(xué)技術(shù)大學(xué)核醫(yī)學(xué)物理研究所團隊研發(fā)的一款危及器官自動勾畫軟件——DeepViewer 系統(tǒng)中［28］，從而提高放療計劃制定的工作效率。