基于級(jí)聯(lián)式深度網(wǎng)絡(luò)模型的胃及胰腺自動(dòng)分割研究

曹洋森，朱曉斐，韓妙飛，盧明智，高耀宗，顧蕾，于春山，孫永健，張火俊

1.海軍軍醫(yī)大學(xué)附屬長(zhǎng)海醫(yī)院放療科，上海200433；2.上海聯(lián)影智能醫(yī)療科技有限公司，上海200232

前言

危及器官的結(jié)構(gòu)勾畫是腫瘤放射治療過程中的重要環(huán)節(jié)之一。不同臨床醫(yī)師之間勾畫的危及器官可能存在較大差異［1-3］，這些勾畫差異將影響后續(xù)計(jì)劃設(shè)計(jì)階段中危及器官優(yōu)化參數(shù)的設(shè)置以及計(jì)劃評(píng)估階段危及器官DVH的真實(shí)劑量統(tǒng)計(jì)。危及器官的勾畫耗費(fèi)了臨床醫(yī)師大量的工作量，以射波刀治療為例，臨床醫(yī)師在熟練掌握醫(yī)生工作站的前提下，完成一例胰腺癌患者的結(jié)構(gòu)勾畫需要40～80 min，十二指腸、胰腺的結(jié)構(gòu)邊界在平掃CT 上常難以界定，如果是術(shù)后輔助放療的患者更難區(qū)分改道后的胃、十二指腸，時(shí)間成本將更大。

目前基于CT結(jié)構(gòu)自動(dòng)分割的解決方案主要有兩種：一是基于圖譜庫(kù)（Atlas）的自動(dòng)分割，二是基于深度學(xué)習(xí)的自動(dòng)分割?；趫D譜庫(kù)的自動(dòng)分割研究較為成熟且商業(yè)化，但其應(yīng)用范圍更多局限于較為剛性的人體結(jié)構(gòu)部位（頭頸部、盆腔等）。對(duì)于腹部受正常蠕動(dòng)及充盈影響形變較大的結(jié)構(gòu)（如胃、十二指腸等），基于Atlas的自動(dòng)分割效果不理想?；谏疃葘W(xué)習(xí)的自動(dòng)分割可以在保證分割精度的同時(shí)提高分割速度，但目前開展的研究和應(yīng)用相對(duì)較少?；谏疃葘W(xué)習(xí)的圖像分割流程圖如圖1所示。卷積神經(jīng)網(wǎng)絡(luò)（CNN）在深度學(xué)習(xí)的圖像分割領(lǐng)域運(yùn)用較為廣泛，其中又以U-Net［4］和V-Net［5］應(yīng)用最多。

圖1 基于深度學(xué)習(xí)器官分割模型流程圖Fig.1 Flowchart of organs segmentation model based on deep learning

筆者運(yùn)用模型壓縮思想，對(duì)V-Net 中的殘差模塊重新設(shè)計(jì)，引入Bottleneck的結(jié)構(gòu)思想［6］，將新的網(wǎng)絡(luò)稱為VB-Net。本研究旨在研究VB-Net 在胃及胰腺的自動(dòng)分割效果。

1 方法

1.1 實(shí)驗(yàn)數(shù)據(jù)

回顧性采集上海長(zhǎng)海醫(yī)院2017年1月～2019年10月期間行射波刀治療的150 例胰腺癌患者臨床資料。所有患者均采用真空墊固定，仰臥位，雙手自然放置身體兩側(cè)。使用荷蘭飛利浦16排大孔徑CT模擬定位機(jī)掃描定位。掃描條件為120 kVp、400 mAs、1.5 mm 層厚無間隔螺旋掃描。主圖像為平掃，在患者吸氣末屏氣的情況下掃描，界限范圍為腫瘤上下界各自增加15 cm。輔助圖像為碘造影劑增強(qiáng)掃描，在患者呼氣末屏氣的情況下掃描，界限范圍為腫瘤上下界各自增加5 cm。臨床醫(yī)師使用美國(guó)Accuray公司的MultiPlan?治療計(jì)劃系統(tǒng)（版本號(hào)4.0.2）進(jìn)行靶區(qū)及危及器官勾畫。

1.2 自動(dòng)分割整體方案

本研究在常規(guī)V-Net 基礎(chǔ)上進(jìn)一步優(yōu)化和處理，結(jié)合多尺度級(jí)聯(lián)思想策略進(jìn)一步減少顯存消耗，降低網(wǎng)絡(luò)計(jì)算量的同時(shí)，顯著提升了運(yùn)行精度和效率。分割模型的建立主要分為數(shù)據(jù)預(yù)處理、模型訓(xùn)練、模型整合、數(shù)據(jù)測(cè)試，技術(shù)流程如圖2所示。圖像預(yù)處理階段是將原始數(shù)據(jù)重采樣為指定分辨率的圖像，隨機(jī)從完整取出圖像塊，并對(duì)圖像塊進(jìn)行歸一化，加快模型的訓(xùn)練收斂。對(duì)圖像進(jìn)行分塊操作也是為考慮顯存限制，提高模型性能。

圖2 基于多尺度級(jí)聯(lián)策略的VB-Net算法流程圖Fig.2 Flowchart of VB-Net algorithm based on multiscale cascade strategy

模型訓(xùn)練階段，通過訓(xùn)練集的CT 及勾畫數(shù)據(jù)訓(xùn)練產(chǎn)生用于器官分割的神經(jīng)網(wǎng)絡(luò)模型文件。該階段需要訓(xùn)練兩個(gè)模型文件，在粗分辨率（6 mm）和精細(xì)分辨率（1 mm）下訓(xùn)練，分別得到粗分割模型文件和細(xì)分割模型文件，粗分割模型文件用于后續(xù)算法中的器官定位，細(xì)分割模型文件用于對(duì)器官進(jìn)行精細(xì)分割，經(jīng)過多次迭代，待訓(xùn)練的失敗值較低時(shí)，保存訓(xùn)練模型文件。

模型應(yīng)用階段，輸入待分割圖像后，首先對(duì)其進(jìn)行預(yù)處理，采用和訓(xùn)練階段同樣的處理方式，將圖像降采樣為訓(xùn)練階段粗分割指定的分辨率，歸一化按照模型訓(xùn)練階段采用的歸一化方式進(jìn)行。預(yù)處理后圖像經(jīng)過粗分割網(wǎng)絡(luò)前向計(jì)算，得到器官分布概率圖。概率圖經(jīng)過后處理可得到粗分辨率下器官的分割結(jié)果。截取粗分割結(jié)果的感興趣區(qū)作為細(xì)分割的初始圖像，之后采用同樣的預(yù)處理模式，將預(yù)處理后的圖像輸入網(wǎng)絡(luò)前向傳播計(jì)算，得到器官的概率分布，進(jìn)行后處理后得到該器官的精細(xì)分割結(jié)果。

1.3 自動(dòng)分割實(shí)驗(yàn)

150例患者資料中，選取132例非增強(qiáng)CT數(shù)據(jù)進(jìn)行胰腺及胃的分割模型訓(xùn)練，并進(jìn)一步利用其中的116 例胰腺期增強(qiáng)CT 在胰腺模型上繼續(xù)訓(xùn)練。模型建立時(shí)結(jié)合多尺度級(jí)聯(lián)思想并開發(fā)神經(jīng)網(wǎng)絡(luò)算法前向傳播框架，合理復(fù)用顯存，大幅降低顯存的使用量，進(jìn)一步提升運(yùn)行效率。剩余18 例患者的影像資料作為測(cè)試集對(duì)得到的分割模型文件進(jìn)行測(cè)試。分別在非增強(qiáng)CT 及胰腺期增強(qiáng)CT 上對(duì)分割模型進(jìn)行測(cè)試。

1.4 數(shù)據(jù)評(píng)估

采用戴斯相似性系數(shù)（Dice Similarity Coefficient, DSC）定量評(píng)估胰腺及胃的自動(dòng)分割精度，并結(jié)合自動(dòng)分割時(shí)間和醫(yī)生手動(dòng)勾畫時(shí)間評(píng)估自動(dòng)分割對(duì)器官勾畫效率的提升。

DSC的計(jì)算公式為：

其中，A指人工勾畫確認(rèn)的金標(biāo)準(zhǔn)分割區(qū)域，B指自動(dòng)分割區(qū)域。

2 結(jié)果

2.1 自動(dòng)分割精度

胃及胰腺的自動(dòng)分割、人工勾畫差異情況見圖3，利用前期訓(xùn)練得到的分割模型，基于非增強(qiáng)CT 的胃、胰腺的自動(dòng)分割平均DSC 值分別為87.93%、80.05%；基于胰腺期增強(qiáng)CT 的胃、胰腺的自動(dòng)分割平均DSC值分別為89.71%、84.79%。

圖3 胃及胰腺的自動(dòng)分割和人工勾畫Fig.3 Automatic segmentation and manual segmentation of the stomach and pancreas

2.2 自動(dòng)分割效率

胃及胰腺的自動(dòng)分割、人工勾畫時(shí)間結(jié)果見表1。胃的自動(dòng)分割平均時(shí)間為1.22 s，手動(dòng)分割平均時(shí)間為158.7 s；胰腺的自動(dòng)分割平均時(shí)間為0.84 s，手動(dòng)分割平均時(shí)間為115.52 s。增強(qiáng)CT的自動(dòng)分割時(shí)間低于非增強(qiáng)CT。使用自動(dòng)分割極大提高了分割效率。

表1 胃及胰腺的自動(dòng)分割、手動(dòng)分割時(shí)間（s,± s）Tab.1 Time for the automatic segmentation and manual segmentation(s,Mean±SD)

表1 胃及胰腺的自動(dòng)分割、手動(dòng)分割時(shí)間（s,± s）Tab.1 Time for the automatic segmentation and manual segmentation(s,Mean±SD)

CT非增強(qiáng)增強(qiáng)危及器官胃胰腺胃胰腺自動(dòng)分割1.31±0.19 0.92±0.15 1.13±0.17 0.75±0.12手動(dòng)分割164.72±33.16 125.33±23.76 152.68±28.33 105.71±17.61

3 討論

基于圖譜庫(kù)自動(dòng)輪廓分割方法應(yīng)用廣泛，一般需要幾十秒到幾分鐘即可完成一種器官的自動(dòng)分割。但在具體臨床應(yīng)用中，由于圖譜庫(kù)數(shù)目有限，在分割過程中圖譜庫(kù)很難很好地適應(yīng)差異性較大的個(gè)體，尤其在有病變、占位及手術(shù)后的CT 圖像上其分割的精度往往達(dá)不到臨床需求。該方法對(duì)不同解剖結(jié)構(gòu)的自動(dòng)分割能力相差懸殊，結(jié)構(gòu)體積越小，CT值對(duì)比度越小，目標(biāo)與周圍組織界限不分明，分割結(jié)果越差［7］。分割結(jié)果的標(biāo)準(zhǔn)差較大證實(shí)了該算法穩(wěn)定性較差［8-9］，分割結(jié)果很大程度依賴于操作者的經(jīng)驗(yàn)知識(shí)，一定程度上影響了其在臨床上的推廣應(yīng)用。

腹部危及器官中，肝臟、腎臟、脾臟因?yàn)槠鞴龠吔缜逦指罱Y(jié)果相對(duì)較好。Christ等［10］研究了基于CT和MR的級(jí)聯(lián)全卷積神經(jīng)網(wǎng)絡(luò)CFCNs（U-Net）在肝臟及其腫瘤的自動(dòng)分割，DSC 值超過94%，分割時(shí)間低于100 s。Hu等［11］研究了基于CNNs在肝臟、脾臟、腎臟的自動(dòng)分割。結(jié)果顯示3種危及器官的平均DSC值分別為96.0%、94.2%、95.4%，平均分割時(shí)間為125 s。胃腸道等危及器官的位置受患者體位、呼吸、蠕動(dòng)、充盈等多種因素影響，且各軟組織臟器之間的CT值灰度差異較小，邊界不分明，基于圖譜庫(kù)的研究中未能取得滿意的分割效果。Gibson等［12］研究比較了密集擴(kuò)張卷積網(wǎng)絡(luò)、多數(shù)投票、聯(lián)合標(biāo)簽融合在肝臟、胰腺、胃和食管的自動(dòng)分割。結(jié)果顯示基于多數(shù)投票無法完成胰腺分割，肝臟、胃、食管的DSC值分別為85%、49%、25%；基于聯(lián)合標(biāo)簽融合的胰腺、肝臟、胃、食管的DSC值分別為37%、93%、72%、54%；基于密集擴(kuò)張卷積網(wǎng)絡(luò)的胰腺、肝臟、胃、食管的DSC值分別為66%、92%、83%、73%，除肝臟外顯著優(yōu)于另外兩種算法。針對(duì)胃、胰腺開展的自動(dòng)分割研究較少，平均DSC值差異較大，胃為55%～87%［13-15］，胰腺為45%～74%［13-16］。

本研究針對(duì)胃及胰腺，開展基于VB-Net 的器官分割模型訓(xùn)練及測(cè)試。目前實(shí)驗(yàn)分割結(jié)果優(yōu)于檢索文獻(xiàn)報(bào)道的結(jié)果，非增強(qiáng)CT的分割結(jié)果劣于增強(qiáng)CT的分割結(jié)果，大部分非增強(qiáng)CT 的胰腺分割結(jié)果較為成功（圖4a），但也有部分非增強(qiáng)CT 的胰腺分割結(jié)果失敗，未能分割出完整的胰腺輪廓（圖4b）。放射治療的計(jì)劃CT推薦使用非增強(qiáng)CT，所以在后續(xù)研究中考慮在訓(xùn)練集中將胰腺增強(qiáng)CT、增強(qiáng)MR 與非增強(qiáng)CT 數(shù)據(jù)配準(zhǔn)后共同訓(xùn)練遷移學(xué)習(xí)，提高分割模型在非增強(qiáng)CT中的分割成功率和準(zhǔn)確率。

圖4 2例基于非增強(qiáng)CT的胃、胰腺自動(dòng)分割結(jié)果示意圖Fig.4 Automatic segmentation of the stomach and pancreas in 2 ceses based on non-enhanced CT