基于人工智能的多模態(tài)影像輔助海馬體自動勾畫研究

張瑞萍，劉應(yīng)龍，張文靜，戴卓捷，陳昌舜，李東博，付春鵬，楊睿，張軍君，章衛(wèi)，賈樂成

1.清華大學第一附屬醫(yī)院放療科，北京 100016；2.深圳市聯(lián)影高端醫(yī)療裝備創(chuàng)新研究院，廣東深圳 518045；3.清華大學第一附屬醫(yī)院醫(yī)務(wù)處，北京 100016；4.北京聯(lián)影智能影像技術(shù)研究院，北京 100094；5.上海聯(lián)影醫(yī)療科技股份有限公司，上海 201807

前言

海馬位于顳葉內(nèi)側(cè)，是學習和記憶形成的關(guān)鍵結(jié)構(gòu)。主要負責參與形成新的記憶、相互獨立地儲存記憶、從部分線索中提取記憶以及將存儲的記憶靈活地應(yīng)用到新的情景中［1-2］。維護海馬區(qū)的正常功能是保護患者認知功能及生活質(zhì)量的重要措施。放療是腫瘤治療的重要手段之一，對于腦轉(zhuǎn)移癌和其他顱內(nèi)腫瘤需要放療以及小細胞肺癌腦預(yù)防照射，海馬區(qū)作為危及器官需要加以保護?，F(xiàn)代放療技術(shù)是基于影像的靶區(qū)勾畫來完成的，由于海馬區(qū)體積小、定位CT 難以辨認，目前推薦在核磁影像上手動勾畫海馬輪廓，這個過程耗時長且非常依賴醫(yī)生經(jīng)驗，易受人為主觀因素影響［3］。因此，為了提高工作效率，保持靶區(qū)質(zhì)量的均質(zhì)性，臨床上需要利用人工智能輔助技術(shù)，結(jié)合多模態(tài)影像開發(fā)海馬體自動勾畫技術(shù)。

深度學習是目前一種被廣泛應(yīng)用于醫(yī)療影像分析的人工智能（Artificial intelligence,AI）方法，尤其對于放療領(lǐng)域中危及器官及腫瘤靶區(qū)的自動勾畫起到了越來越重要的作用。近年來深度學習算法在醫(yī)療圖像分割中取得了顯著的成就，特別是基于深度卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network, CNN）的U-Net 分割框架［4］，并且在此基礎(chǔ)框架上已經(jīng)衍生出很多用于不同危及器官和腫瘤靶區(qū)的自動分割方法［5-7］。由于海馬體體積小，在CT 上難以識別，且海馬齒狀回影像數(shù)據(jù)層數(shù)多，導致其自動分割準確度及效率低下，針對這些問題，本文以U-Net 為基礎(chǔ)框架，構(gòu)建級聯(lián)框架（CNN Cascade）以提高小目標的分割效果［8］，同時采用Bottle layer模塊壓縮模型［9-12］，提高模型的分割速度；并且引入MRI 圖像，利用多模態(tài)圖像信息來提高CT上海馬體的自動勾畫準確性。

1 材料與方法

1.1 數(shù)據(jù)的采集與標注

選取2020年1月～12月于清華大學第一附屬醫(yī)院放療科就診的腦轉(zhuǎn)移癌患者40例（每個病例包含1例CT 平掃和1 例對應(yīng)的MRI T1W 序列），排除腫瘤位于海馬區(qū)周圍1 cm 內(nèi)的病例以免影響海馬結(jié)構(gòu)。其中平掃CT 的分辨率是66×512×512～255×512×512，立體像素間距是1.25～2.5 mm、0.54～0.98 mm、0.54～0.98 mm。T1W的分辨率是327×640×640～364×640×640，立體像素間距是0.50～0.55 mm、0.36 mm、0.36 mm。

所有的海馬體標注通過將MRI 與對應(yīng)的CT 剛性配準后，由兩位經(jīng)驗豐富的醫(yī)生根據(jù)RTOG0933標準［2］參考MRI 圖像在CT 上手動勾畫完成（圖1），然后兩位醫(yī)生交叉修改對方手動勾畫的標注（Label），最后由主任醫(yī)師完成手動標注的評估。

圖1 左右海馬體的手動標注Figure 1 Contours of left and right hippocampus labeled by experts

1.2 數(shù)據(jù)的預(yù)處理與增強

為了減小模型輸入數(shù)據(jù)的尺寸，進而減少模型的計算負載，我們對原始圖像的背景進行裁剪；為了使分割網(wǎng)絡(luò)能夠更好地學習空間語義信息，我們分別通過三階樣條插值和鄰近插值分別將數(shù)據(jù)集中所有圖像及其對應(yīng)標注的體素間距插值到中間體素間距［13］；另外，我們對所有CT和MRI的信號值進行Z-score歸一化；對于CT，在Z-score歸一化前，進行信號值的［0.5%,99.5%］閾值裁剪［13-14］。為了克服小樣本數(shù)據(jù)訓練一個深度學習模型而導致的過擬合問題，我們采用了一些實時的數(shù)據(jù)增強技術(shù)，如隨機翻轉(zhuǎn)隨機縮放，隨機彈性形變，Gamma 調(diào)節(jié)和鏡像等，來增加數(shù)據(jù)的多樣性。

1.3 方法

1.3.1 網(wǎng)絡(luò)結(jié)構(gòu)由于3D 網(wǎng)絡(luò)能更有效地聚合3D 醫(yī)學圖像的上下文有價值信息，我們以3D U-Net 為基礎(chǔ)框架，針對海馬體體積小，不易在CT 上識別，且頭部CT層數(shù)較多的特點，設(shè)計了U-Net Cascade分割框架，這種分割框架利用Cascade 結(jié)構(gòu)來克服大尺寸數(shù)據(jù)集上小目標分割精度低的缺點；為提高薄層數(shù)據(jù)的分割效率，我們通過Bottle layer 模塊對3D U-Net模型進行壓縮，降低模型參數(shù)量。最終搭建3D BUCNet（3D Bottle U-Net Cascade）分割網(wǎng)絡(luò)，從而達到高效準確地分割海馬的效果［8-9］。

Cascade 分割框架與nnU-Net 類似［13］，整個流程分兩步：第一步，將CT與配準（Registration）后T1W拼接（Concat.）到一個3D volume 中，通過粗分割網(wǎng)絡(luò)Bottle U-Net 分割下采樣（Down-sampling）圖像，然后對粗分割結(jié)果（Coarse segmentation）進行上采樣（Up-sampling）操作，得到與原始圖像體素間距一樣的全像素分割結(jié)果；對于粗分割網(wǎng)絡(luò)的訓練，網(wǎng)絡(luò)的目標函數(shù)（Objective function）L1為Dice loss 和Crossentropy loss 的加權(quán)求和。第二步，將上一步中的3D volume 與對應(yīng)的全像素分割結(jié)果拼接，從中裁剪出粗分割結(jié)果作為細分割網(wǎng)絡(luò)Bottle U-Net 的輸入，最終獲得細分割結(jié)果（Fine segmentation）；為了克服圖像中分割目標過小，導致訓練數(shù)據(jù)在patch 采樣時海馬體區(qū)域和非海馬體區(qū)域的比率不均衡，我們在訓練細分割網(wǎng)絡(luò)時引入了Focal loss以提高對小目標的檢測，并且與Dice loss結(jié)合為細分割網(wǎng)絡(luò)的損失函數(shù)L2（圖2）。對于模型每一個patch的分割結(jié)果，我們采用Gaussian融合成全分辨率的分割結(jié)果，并且對每一個類的分割結(jié)果通過最大連通分量的后處理操作后，獲得最終的分割結(jié)果。

圖2 Cascade分割框架Figure 2 Segmentation framework of Cascade

我們將3D U-Net中每個編碼器和解碼器換成了Bottle layer 模塊，在每個Bottle layer 模塊中，我們用兩個（1×1×1）的卷積代替3D U-Net 中的一個普通的（3×3×3）卷積層，并且通過殘差連接（Residual connection）實現(xiàn)對每個Bottle layer 輸入特征圖（Input map）的非線性壓縮［9］；用LeakyReLU（負斜率1e - 2）替換ReLU 激活函數(shù)，實例歸一化（Instance normalization,dropout = 0.5）代替更常見的批量歸一化（Batch normalization）（圖3）。

圖3 3D Bottle U-Net模型結(jié)構(gòu)Figure 3 Architecture of 3D Bottle U-Net model

1.3.2 實驗實施與評價由于受到實際可用GPU 顯存容量的限制，通過從原始圖像中滑動裁剪較?。?2×256×256）的圖像塊（Image patch）作為分割網(wǎng)絡(luò)的輸入，并且在一塊NVIDIA Tesla V100 訓練該模型框架。在實驗中，數(shù)據(jù)集被隨機劃分為3 組：28 例數(shù)據(jù)作為訓練集，用于模型的訓練；4 例數(shù)據(jù)作為驗證集，用于訓練模型時，網(wǎng)絡(luò)的超參數(shù)調(diào)節(jié)與優(yōu)化；剩下的8例數(shù)據(jù)作測試集，用于模型性能的測試。

我們分別計算3D U-Net、3D U-Net Cascade、3D BUC-Net 模型自動分割左右海馬體與對應(yīng)的標注之間的Dice相似系數(shù)（Dice Similarity Coefficient,DSC）和95% 豪斯多夫距離（95% Hausdorff Distance,95HD），以及左右海馬體的體積作為模型分割準確性的評估，并且對同一大小patch 的自動分割耗時作為對模型效率的評估。

1.3.3 統(tǒng)計學分析使用統(tǒng)計軟件IBM SPSS（21.0版）進行分析。計算測試集上測試樣本的DSC、95HD，結(jié)果用均值±標準差表示，用于評估自動勾畫輪廓與手動勾畫輪廓之間的一致性。評估改進后的模型（3D U-Net Cascade 和3D BUC-Net）與基礎(chǔ)模型3D U-Net 的相關(guān)性，使用t檢驗分別統(tǒng)計分析兩者在測試集上DSC和95HD的相關(guān)性，統(tǒng)計顯著性設(shè)定為雙尾，P＜0.05 為差異有統(tǒng)計學意義。另外，統(tǒng)計分析測試集上左右海馬體的自動分割體積與手動分割體積的中位數(shù)，用于比較不同數(shù)據(jù)集和不同自動分割方法之間的性能。

2 結(jié)果

2.1 不同的模型分別在數(shù)據(jù)集CT 和CT-MRI 上DSC和95HD的測試結(jié)果

為了驗證引入MRI 信息能否提高海馬的自動勾畫準確性，我們準備了兩組數(shù)據(jù)集：一組是僅包含40例CT 圖像的數(shù)據(jù)集CT；另一組是包含40 例CT 和MRI 圖像對的數(shù)據(jù)集CT-MRI，也就是將MRI 剛性配準到對應(yīng)的CT 上，制作成CT-MRI模態(tài)數(shù)據(jù)對。表1為3 種模型U-Net，U-Net Cascade 和BUC-Net 在數(shù)據(jù)集CT 和CT-MRI 中對同一測試集上左右海馬體分割結(jié)果的統(tǒng)計分析結(jié)果（DSC,95HD）。

表1 不同模型在數(shù)據(jù)集CT和CT-MRI上DSC和95HD的測試結(jié)果Table 1 DSC and 95HD of different models on CT and CT-MRI datasets

根據(jù)表1可以看出：（1）無論用哪個模型，CT-MRI數(shù)據(jù)集上DSC 數(shù)值明顯高于CT 數(shù)據(jù)集，CT-MRI 數(shù)據(jù)集上95HD 明顯低于CT 數(shù)據(jù)集，說明引入MRI 信息能大大提高海馬的自動勾畫準確性。（2）對于不同模型，我們發(fā)現(xiàn)U-Net Cascade 和BUC-Net 在數(shù)據(jù)集CT 和CT-MRI 上左右海馬體的DSC 和95HD 均優(yōu)于U-Net，特別BUC-Net 在數(shù)據(jù)集CT 和CT-MRI 上左右海馬體的DSC和95HD均有最好表現(xiàn)，并且在數(shù)據(jù)集CT-MRI 上，BUC-Net 左右海馬體的DSC與U-Net相比，差異有統(tǒng)計學意義（P＜0.01）。

2.2 不同模型的分割效率比較

比較U-Net、U-Net Cascade、BUC-Net 3個模型對大小為32×256×256的path每一次自動勾畫的耗時，我們發(fā)現(xiàn)雖然U-Net Cascade（3.44 s）在數(shù)據(jù)集CT 和CT-MRI 較U-Net（1.50 s）有較好的分割準確性，但是分割效率并沒有優(yōu)勢；然而BUC-Net（1.05 s）不僅在數(shù)據(jù)集CT 和CT-MRI 有最好的分割準確性，而且分割效率較U-Net 也有30%的提升。BUC-Net 對于1例107 層（2.5 mm）的CT 圖像，一般只需要7 s 左右即可完成全腦左右海馬體的自動勾畫。

2.3 手動勾畫和模型自動分割左右海馬體的體積比較

對同一測試集的CT 和CT-MRI 數(shù)據(jù)集手動勾畫和模型自動分割左右海馬體體積進行比較，如圖4所示。

圖4 手動勾畫與模型自動分割左右海馬體體積比較Figure 4 Comparison of volumes of left and right hippocampus segmented automatically by models and labeled by experts

我們發(fā)現(xiàn)與手動勾畫左右海馬體體積的中位數(shù)相比，BUC-Net自動分割的左右海馬體體積在數(shù)據(jù)集CT 和CT-MRI 上較U-Net 和U-Net Cascade 均有最小的誤差。特別在數(shù)據(jù)集CT-MRI 上，左、右海馬體的體積絕對誤差率分別為2.0%和3.1%，說明BUC-Net自動分割的左右海馬體體積和手動勾畫的海馬體體積最接近。

2.4 BUC-Net 分割模型在CT 和CT-MRI 數(shù)據(jù)集上左右海馬體分割結(jié)果對比

如圖5所示，BUC-Net 在CT-MRI 數(shù)據(jù)集上對于左右海馬體的自動勾畫效果要優(yōu)于CT 數(shù)據(jù)集，特別表現(xiàn)在對于上下界部分層（a 與f,d 與i,e 與j）的小目標的識別，以及中間層（b與g,c與h）的左右海馬體的邊界判斷。

圖5 BUC-Net分割模型在數(shù)據(jù)集CT和CT-MRI上左右海馬體分割結(jié)果對比Figure 5 Comparison of segmentation results of left and right hippocampus using BUC-Net model on CT and CT-MRI datasets

3 討論

頭顱放療對治療腦轉(zhuǎn)移癌［15］、兒童中樞神經(jīng)系統(tǒng)腫瘤［16］，以及作為小細胞肺癌［17］的腦預(yù)防性放療是一個有效的治療方法。近90%的腦轉(zhuǎn)移癌患者在診斷時有神經(jīng)認知功能的下降，大于2/3 的患者全腦放療2～6個月內(nèi)會出現(xiàn)認知功能的進一步損傷，大量的臨床研究表明，海馬的放療損傷是導致認知功能下降的主要原因［18］，因此，海馬區(qū)保護在頭顱放療中顯得尤為重要。Ghia 等［19］研究表明腦轉(zhuǎn)移瘤大都位于距離海馬5 mm之外的區(qū)域，有3.3%的腦轉(zhuǎn)移瘤位于距離海馬5 mm 之內(nèi)的區(qū)域，在全腦放射治療中保護海馬及周圍5 mm 區(qū)域是合理可行的［20］。Brown等［21-22］對腦轉(zhuǎn)移瘤患者做全腦放療時做海馬保護加美金剛，病人的總生存時間和無進展生存期對比無海馬保護加美金剛放療組無差別，但患者的認知功能明顯好于無海馬保護組。隨著靶向免疫治療時代的到來，腫瘤的綜合治療發(fā)揮越來越重要的作用，患者的總生存時間也大大延長著腦轉(zhuǎn)移瘤放療過程中針對海馬體的保護，從而保護患者的認知功能，對于患者生活質(zhì)量的提高尤其重要。

現(xiàn)代放療技術(shù)主要基于CT 的靶區(qū)勾畫來完成，而海馬結(jié)構(gòu)在定位CT 上難以辨認，需要依賴核磁影像手動勾畫海馬輪廓［23］，如何在CT 上實現(xiàn)海馬體的自動勾畫對于提高工作效率、保持靶區(qū)的同質(zhì)性顯得非常重要［24-27］。本文利用人工智能深度學習的方法，以U-Net 為基礎(chǔ)框架，構(gòu)建級聯(lián)框架（CNN Cascade）以提高小目標的分割效果，同時采用Bottle layer 模塊壓縮模型，提高模型的速度，并且引入MRI圖像信息來提高CT 上海馬體的自動勾畫準確性。實驗結(jié)果表明，MRI 圖像信息的引入，即數(shù)據(jù)集CTMRI 上DSC 數(shù)值明顯高于數(shù)據(jù)集CT，數(shù)據(jù)集CTMRI 上95HD 明顯低于數(shù)據(jù)集CT，說明引入MRI 信息能大大提高海馬的自動勾畫的準確性。在數(shù)據(jù)集CT-MRI 上，BUC-Net 與U-Net 左右海馬體的DSC 值差異具有統(tǒng)計學意義（P＜0.01），且分割效率最高。最后，手動勾畫海馬體和自動分割的海馬體表明，BUCNet 自動分割的左右海馬體體積和手動勾畫的海馬體體積最接近。因此，模型BUC-Net 是實現(xiàn)海馬自動勾畫的理想模型，能夠在CT 上實現(xiàn)海馬體的自動勾畫。

盡管我們的AI算法BUC-Net在兩個數(shù)據(jù)集上都取得了不錯的效果，但是目前仍有幾個問題需要解決：（1）我們本次工作的收集的數(shù)據(jù)均為排除腫瘤位于海馬區(qū)周圍1 cm 內(nèi)的腦轉(zhuǎn)移瘤病例，其中海馬結(jié)構(gòu)未受腫瘤的影響。實際臨床中，由于腫瘤的“擠壓”，手術(shù)或者化療等因素可能對海馬結(jié)構(gòu)產(chǎn)生影響，我們的模型是否仍能表現(xiàn)出出色的自動勾畫效果，尚需驗證和優(yōu)化［28］；（2）不同廠商的儀器或不同的掃描協(xié)議常常導致醫(yī)學影像有不同的體素間距和分辨率，以及成像質(zhì)量和風格，這些差異對于MRI 來說尤為明顯。如何使得AI算法能夠泛化到多中心和多種設(shè)備所掃描的醫(yī)學影像上，仍然是一個重要的挑戰(zhàn)［29］；（3）雖然我們證實了引入MRI圖像信息對在CT 上海馬結(jié)構(gòu)的自動勾畫有顯著的提升，但是一些器官或者腫瘤靶區(qū)，比如視神經(jīng)交叉是一個類似的X形，而腦干則類似蘋果形，鼻咽癌靶區(qū)形狀更為復(fù)雜，需要結(jié)合更多不同的醫(yī)學影像，以及專業(yè)醫(yī)生豐富的醫(yī)學先驗知識來判斷。如何將這種形狀先驗知識和醫(yī)學先驗知識融入到模型中，來進一步提高AI算法的通用性和泛化性是一個需要解決的問題［30］。