尹梓名,董東民,陳濤
1.上海理工大學(xué)醫(yī)療器械與食品學(xué)院,上海 200093;2.上海交通大學(xué)醫(yī)學(xué)院附屬仁濟(jì)醫(yī)院膽胰外科,上海 200127
膽囊癌是臨床常見(jiàn)的膽道系統(tǒng)惡性腫瘤[1-2]。由于其高度惡性且極易發(fā)生淋巴結(jié)轉(zhuǎn)移及遠(yuǎn)隔器官轉(zhuǎn)移,早期診斷困難,故發(fā)現(xiàn)時(shí)已多見(jiàn)于晚期,治療效果極差,而放療、化療等傳統(tǒng)治療手段亦未能在治療中體現(xiàn)出顯著優(yōu)勢(shì),手術(shù)切除仍是膽囊癌唯一有效的治療方式[3],患者的總體預(yù)后情況較差,5年生存率僅為5%~10%[4]。
目前較常用的生存模型為膽囊癌腫瘤的TNM分期[5]。一項(xiàng)將美國(guó)監(jiān)測(cè)、流行病學(xué)和結(jié)果數(shù)據(jù)庫(kù)9 616 例膽囊癌患者按照第8 版分期系統(tǒng)進(jìn)行分析的結(jié)果顯示,其C 指數(shù)僅為0.596,生存預(yù)測(cè)的準(zhǔn)確度較差[6]。且TNM 分期無(wú)法做到對(duì)膽囊癌患者的個(gè)性化預(yù)測(cè),也無(wú)法做到根據(jù)分期精細(xì)調(diào)整后續(xù)治療方案,所以預(yù)測(cè)的價(jià)值有限。其他傳統(tǒng)的生存分析模型,多基于術(shù)后的特征來(lái)建立預(yù)測(cè)模型。Zhang等[7]基于2010~2014年SEER 數(shù)據(jù)庫(kù)的1 422 例膽囊癌患者建立了非轉(zhuǎn)移性的膽囊癌術(shù)后列線圖預(yù)測(cè)模型,其C指數(shù)為0.775。Bai 等[8]利用北京協(xié)和醫(yī)院膽囊癌根治術(shù)的142 例患者數(shù)據(jù),通過(guò)Cox 回歸模型分析得到患者的獨(dú)立預(yù)后因素,再建立對(duì)應(yīng)的列線圖,最終通過(guò)ROC 曲線評(píng)價(jià)模型預(yù)測(cè)精度,發(fā)現(xiàn)其預(yù)測(cè)精度較好。上海新華醫(yī)院陳晨等[9]則基于膽囊癌陽(yáng)性淋巴節(jié)數(shù)、T 分期、病理學(xué)分級(jí)及腫瘤切緣建立膽囊癌術(shù)后的列線圖預(yù)測(cè)模型,其3年和5年生存模型的C 指數(shù)分別為0.791和0.794。上述模型均是通過(guò)術(shù)后特征建立,但這對(duì)于患者在術(shù)前狀況的診斷和評(píng)估所起作用較小,且更加依賴于手術(shù)的效果和質(zhì)量,并不能正確反應(yīng)患者自身狀況與術(shù)后存活的關(guān)系。計(jì)算機(jī)斷層掃描(CT)等醫(yī)學(xué)影像技術(shù)已經(jīng)廣泛應(yīng)用于臨床檢查、診斷、治療和決策,是目前最有價(jià)值的臨床診斷手段,但其卻很少被應(yīng)用于患者的預(yù)后分析等場(chǎng)景[10]。本文充分利用患者的增強(qiáng)CT 影像數(shù)據(jù)以及部分術(shù)前臨床檢查的特征,通過(guò)深度學(xué)習(xí)技術(shù)在術(shù)前根據(jù)膽囊癌患者的檢查結(jié)果預(yù)測(cè)其生存情況,更加有利于對(duì)患者狀況進(jìn)行個(gè)性化評(píng)估和術(shù)后風(fēng)險(xiǎn)預(yù)測(cè)。
傳統(tǒng)醫(yī)學(xué)影像分析最初通常針對(duì)特定任務(wù)而設(shè)計(jì),采用邊緣檢測(cè)、紋理特征、形態(tài)學(xué)濾波以及構(gòu)建形狀模型和模版匹配等方法進(jìn)行手工定制[11],而其影像特征也需要經(jīng)驗(yàn)豐富的專業(yè)醫(yī)師手工提取,費(fèi)時(shí)費(fèi)力,難以實(shí)際臨床應(yīng)用。深度學(xué)習(xí)可以從數(shù)據(jù)樣本中隱式地自動(dòng)學(xué)習(xí)圖像特征[12]。此外有文獻(xiàn)指出手工提取的并不如深度學(xué)習(xí)提取到的特征有效[13-14]。故在膽囊癌上應(yīng)用深度學(xué)習(xí)技術(shù)提取患者的影像特征,構(gòu)建患者的深度影像特征獨(dú)立預(yù)后因素,進(jìn)行膽囊癌患者的生存預(yù)測(cè),有著巨大的應(yīng)用價(jià)值和潛力[15]。3D-ResNet 在解決了卷積神經(jīng)網(wǎng)絡(luò)層數(shù)過(guò)深時(shí)容易出現(xiàn)的退化現(xiàn)象,使得能夠構(gòu)建深度更深的卷積神經(jīng)網(wǎng)絡(luò),用以提取醫(yī)學(xué)影像的深度特征。
本研究通過(guò)收集膽囊癌患者的CT 影像數(shù)據(jù)以及生存信息,利用3D-ResNet深度學(xué)習(xí)模型提取患者的CT 影像的深度特征,篩選并構(gòu)建膽囊癌患者的預(yù)后獨(dú)立因子,同時(shí)結(jié)合受試者工作曲線(ROC)評(píng)價(jià)該預(yù)后獨(dú)立因子對(duì)膽囊癌患者生存預(yù)測(cè)的效果。
本研究的整體方法如圖1所示。首先對(duì)患者的數(shù)據(jù)進(jìn)行預(yù)處理,將患者的CT 影像根據(jù)醫(yī)生標(biāo)記進(jìn)行裁剪至合適大小,并根據(jù)患者的存活天數(shù)的中位數(shù),將其分為長(zhǎng)期存活和短期存活兩組用以訓(xùn)練3DResNet,再通過(guò)訓(xùn)練好的3D-ResNet 模型,對(duì)患者的CT 影像的特征進(jìn)行提取。通過(guò)Cox 單因素分析、Lasso 回歸等方法篩選3D-ResNet 提取到的深度影像特征,最終通過(guò)Cox比例風(fēng)險(xiǎn)回歸模型構(gòu)建膽囊癌患者的深度影像特征預(yù)后因子,并用列線圖整合最終的深度影像特征,展示深度影像特征之間的相互關(guān)系和模型預(yù)測(cè)結(jié)果。
圖1 基于深度影像特征的膽囊癌患者預(yù)后模型構(gòu)建流程圖Figure 1 Flowchart of constructing a prognostic model for gallbladder cancer patients based on deep image features
卷積神經(jīng)網(wǎng)絡(luò)是一種前饋神經(jīng)網(wǎng)絡(luò),在大批量圖像的分析處理中有著出色的表現(xiàn)[16]。基礎(chǔ)的卷積神經(jīng)網(wǎng)絡(luò)通常由卷積層、激活層和池化層3種結(jié)構(gòu)構(gòu)成,而它的輸出結(jié)果則是每幅圖像的特定特征空間,在針對(duì)某種特定任務(wù)時(shí),將這些特征空間連接至全連接層,并作為輸入來(lái)完成從圖像到標(biāo)簽的映射[17-18]。因此選擇通過(guò)卷積神經(jīng)網(wǎng)絡(luò)的卷積層對(duì)圖像的特征進(jìn)行提?。?9]。不同的卷積神經(jīng)網(wǎng)絡(luò)有著不同的架構(gòu)。一般來(lái)說(shuō),通過(guò)加深神經(jīng)網(wǎng)絡(luò)模型的深度能夠提高模型的精度[20],但隨著模型的加深,模型要學(xué)習(xí)的參數(shù)將會(huì)越來(lái)越多,也更容易出現(xiàn)梯度消失的情況。但深度學(xué)習(xí)所需要的數(shù)據(jù)量比傳統(tǒng)機(jī)器學(xué)習(xí)和基于概率論等方法的數(shù)據(jù)量要大[21],而由于患者隱私保護(hù)和數(shù)據(jù)共享限制,醫(yī)學(xué)領(lǐng)域的數(shù)據(jù)集往往都較小,因此通常需要采用遷移學(xué)習(xí)的方式進(jìn)行模型構(gòu)建[22],即采用其他領(lǐng)域已經(jīng)訓(xùn)練好的模型架構(gòu),并采用數(shù)據(jù)增強(qiáng)對(duì)數(shù)據(jù)集進(jìn)行擴(kuò)增,用以二次訓(xùn)練模型。
ResNet是由微軟亞洲研究院科研人員在2015年所提出,它解決了深層網(wǎng)絡(luò)模型在訓(xùn)練時(shí)會(huì)出現(xiàn)的梯度消失、梯度爆炸以及準(zhǔn)確率下降等退化問(wèn)題[23]。ResNet 提出了殘差塊的網(wǎng)絡(luò)結(jié)構(gòu),通過(guò)殘差塊內(nèi)部的恒等跳躍連接的方式,這就可以訓(xùn)練非常深的卷積神經(jīng)網(wǎng)絡(luò),如圖2所示。
圖2 ResNet的跳躍連接結(jié)構(gòu)Figure 2 Skip connection block of ResNet
在神經(jīng)網(wǎng)絡(luò)模型的第l層,不同于其他卷積神經(jīng)網(wǎng)絡(luò),ResNet的輸出如公式(1)所示:
其中,l為神經(jīng)網(wǎng)絡(luò)的層數(shù)索引,H為非線性操作組合,xl為神經(jīng)網(wǎng)絡(luò)第l層的輸出。使用來(lái)自輸入的直接連接將原始輸入xl-1繞過(guò)變換層,直接添加到此變換,保留了上一步的特征,使得模型能夠更加穩(wěn)定地學(xué)習(xí)。
ResNet 在數(shù)據(jù)集ImageNet 上進(jìn)行測(cè)試時(shí),其模型表現(xiàn)遠(yuǎn)遠(yuǎn)超過(guò)了VGGNet、GooleNet等其他卷積神經(jīng)網(wǎng)絡(luò)模型,模型分類(lèi)的誤差降低到4.49%。但患者CT 掃描所得到的影像數(shù)據(jù)是三維體數(shù)據(jù),而不是日常所處理的二維圖片,因此并不能使用在ImageNet數(shù)據(jù)集上預(yù)訓(xùn)練好的ResNet 直接對(duì)其進(jìn)行特征提取,而是要針對(duì)CT 數(shù)據(jù)對(duì)模型的卷積層重新設(shè)計(jì)并且重新訓(xùn)練模型的參數(shù)權(quán)重。我們參照ResNet網(wǎng)絡(luò)模型結(jié)構(gòu),將其卷積層的卷積核由二維卷積替換成三維卷積,同時(shí)針對(duì)本研究的數(shù)據(jù)集所設(shè)計(jì)的二分類(lèi)任務(wù),將模型的最后一層輸出層的個(gè)數(shù)進(jìn)行了修改,最終改寫(xiě)得到3D-ResNet 的深度卷積網(wǎng)絡(luò)模型,如圖3所示。
圖3 3D-ResNet結(jié)構(gòu)圖Figure 3 Structure of 3D-ResNet
為了重新訓(xùn)練3D-ResNet模型的參數(shù),本文將數(shù)據(jù)集中的140 例患者按存活天數(shù)的中位數(shù)分為長(zhǎng)期存活和短期存活兩組,在此基礎(chǔ)上訓(xùn)練3D-ResNet分類(lèi)模型。由于訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)需要的數(shù)據(jù)量較大,因此將這140例患者的影像在隨機(jī)方向進(jìn)行平移或中心旋轉(zhuǎn)進(jìn)行數(shù)據(jù)增強(qiáng),最終將數(shù)據(jù)集的大小擴(kuò)增了4倍,由原先的140例通過(guò)數(shù)據(jù)增強(qiáng)變?yōu)?60例,同時(shí)并將其按4:1隨機(jī)劃分為訓(xùn)練集和測(cè)試集,在訓(xùn)練集上訓(xùn)練模型,通過(guò)測(cè)試集選擇表現(xiàn)較好的模型。
在測(cè)試集上對(duì)3D-ResNet 訓(xùn)練時(shí),通過(guò)5 折交叉驗(yàn)證選取訓(xùn)練過(guò)程中的超參數(shù)后,最終模型訓(xùn)練的超參數(shù)batch size 大小設(shè)置為8,epochs 設(shè)置為1 000,訓(xùn)練的優(yōu)化器為Adam。由此參數(shù)訓(xùn)練得到的3D-ResNet模型在訓(xùn)練集上的準(zhǔn)確率為0.98,而在測(cè)試集上的準(zhǔn)確率為0.96。
基于3D-ResNet 所提取的2 048 個(gè)深度影像特征,先將這2 048 個(gè)深度影像特征對(duì)患者的生存情況進(jìn)行Cox 單因素分析,在置信區(qū)間為95%的情況下,篩選P<0.05 的較為顯著的深度影像特征,結(jié)果剩余602 個(gè)深度特征變量。對(duì)于Cox 單因素分析篩選后的變量,進(jìn)行Lasso 回歸分析做進(jìn)一步的篩選(圖4),最終得到6 個(gè)深度影像特征,分別是X27、X693、X1166、X1526、X1843和X1854。
圖4 深度影像特征的Lasso回歸分析Figure 4 Lasso regression analysis of deep image features
本實(shí)驗(yàn)深度特征模型的訓(xùn)練以及運(yùn)行均在Linux Ubuntu16.04系統(tǒng)環(huán)境下進(jìn)行。深度學(xué)習(xí)的框架采基于Python 的深度學(xué)習(xí)庫(kù) PyTorch,GPU 使用NVIDIATITANRTX,顯存64 G,內(nèi)存32 G。CUDA的版本為10.1。Cox比例風(fēng)險(xiǎn)回歸模型的建立等采用的平臺(tái)是64位Windows系統(tǒng),使用R4.1.0進(jìn)行編程實(shí)現(xiàn)。
本研究所用實(shí)驗(yàn)數(shù)據(jù)集來(lái)自上海交通大學(xué)醫(yī)學(xué)院附屬仁濟(jì)醫(yī)院在2010~2017年間入院的膽囊癌患者,共140 例。截至最后一次隨訪,每個(gè)樣本患者的存活狀況為對(duì)該患者最后一次隨訪時(shí)患者的存活狀態(tài),患者的存活時(shí)間的計(jì)算從患者入院時(shí)間開(kāi)始計(jì)算,到最后一次對(duì)患者隨訪的時(shí)間為止。其中存活的樣本數(shù)量為53 例,死亡87 例,存活天數(shù)中位數(shù)為579 d,男女比例為17:11。
對(duì)于每個(gè)患者樣本的CT 數(shù)據(jù),首先選取切片厚度為1.0~1.5 mm,并為增強(qiáng)期階段的CT 影像,然后請(qǐng)具有豐富經(jīng)驗(yàn)的影像科醫(yī)師對(duì)CT 影像上的膽囊區(qū)域進(jìn)行標(biāo)注。由于CT 設(shè)備之間的差異性以及樣本的特異性,每個(gè)患者所得到的CT 影像數(shù)據(jù)大小并不相同,而3D-ResNet的模型要求輸入圖片尺寸大小固定,故對(duì)于每個(gè)樣本,最終選取連續(xù)的32張包含膽囊區(qū)域的切片,并裁剪其大小為224×224,保留醫(yī)生所標(biāo)記的膽囊及周邊區(qū)域,作為該樣本的CT 影像數(shù)據(jù)。同時(shí)為了更加關(guān)注膽囊以及周?chē)鷧^(qū)域,對(duì)于每個(gè)樣本的CT 影像,選取最適合觀測(cè)膽囊部位的窗寬300、窗位40對(duì)其進(jìn)行歸一化處理。
2.3.1 C 指數(shù)C 指數(shù)即一致性指數(shù)(ConcordanceIndex),用來(lái)評(píng)價(jià)模型的預(yù)測(cè)能力,C 指數(shù)是指所有病人對(duì)子中預(yù)測(cè)結(jié)果與實(shí)際結(jié)果一致的對(duì)子所占的比例,估計(jì)預(yù)測(cè)結(jié)果與實(shí)際觀察到的結(jié)果相一致的概率。C 指數(shù)的計(jì)算方法是:將研究資料中的所有研究對(duì)象隨機(jī)兩兩組成對(duì)子,以生存分析為例,1 對(duì)病人,如果生存時(shí)間較長(zhǎng)的1位的預(yù)測(cè)生存時(shí)間也長(zhǎng)于另1 位的預(yù)測(cè)生存時(shí)間,或預(yù)測(cè)的生存概率高的1 位的生存時(shí)間長(zhǎng)于生存概率低的另1位,則稱之為預(yù)測(cè)結(jié)果與實(shí)際結(jié)果一致。
2.3.2 ROC 曲線以及曲線下面積(AUC)ROC 曲線全稱為受試者工作特征曲線(Receiver Operating Characteristic Curve),是根據(jù)一系列不同的二分類(lèi)方式(分界值或決定閾),以真陽(yáng)性率(敏感性)為縱坐標(biāo)、假陽(yáng)性率(特異性)為橫坐標(biāo)繪制的曲線。其中真陽(yáng)性率是指模型預(yù)測(cè)的所有正例占所有正例的比例,而假陽(yáng)性率則是指模型預(yù)測(cè)的負(fù)例占所有負(fù)例的比例。通過(guò)ROC 曲線,能夠更直觀地反映模型預(yù)測(cè)的性能。當(dāng)ROC 曲線越接近左上角,則表示該模型的預(yù)測(cè)準(zhǔn)確率越高。但在實(shí)際應(yīng)用時(shí),更需要有一個(gè)數(shù)值放映模型的預(yù)測(cè)性能,于是引入ROC 曲線的AUC。AUC 被定義為ROC 曲線下與坐標(biāo)軸圍成的面積,由ROC 曲線下的面積求和計(jì)算得到。AUC的數(shù)值越大越接近于1,則模型的預(yù)測(cè)效果越好。
基于3D-ResNet提取的深度影像特征篩選后的6個(gè)深度影像特征,通過(guò)Cox比例風(fēng)險(xiǎn)回歸模型構(gòu)建膽囊癌深度影像特征的獨(dú)立預(yù)后因子,其中每個(gè)影像特征的系數(shù)如表1所示。
表1 深度影像特征系數(shù)表Table 1 Coefficients of different deep image features
繪制出基于深度影像特征獨(dú)立預(yù)后因子的患者生存預(yù)測(cè)的列線圖,如圖5所示。通過(guò)列線圖模型,可以更直觀地反映出篩選出的6 個(gè)深度影像特征以及深度影像特征得分與患者3、5年存活之間的關(guān)系。
圖5 基于深度影像特征的膽囊癌患者生存列線圖Figure 5 Survival nomogram for gallbladder cancer patients based on deep image features
通過(guò)基于深度影像特征建立的膽囊癌患者預(yù)后因子在預(yù)測(cè)患者生存時(shí)的C 指數(shù)達(dá)到0.734,遠(yuǎn)優(yōu)于先行的AJCC 第7 版分期(C 指數(shù)為0.65)。這證明該預(yù)后因子預(yù)測(cè)患者生存性能較強(qiáng),同時(shí)基于深度影像特征的Cox比例風(fēng)險(xiǎn)回歸模型,計(jì)算患者的深度影像特征得分,將患者分為高低風(fēng)險(xiǎn)兩組并繪制出KM生存曲線(圖6),在置信區(qū)間0.95水平下,模型的P值小于0.001,說(shuō)明利用該深度影像特征所構(gòu)建的患者生存預(yù)后獨(dú)立因子預(yù)測(cè)患者生存效果顯著,能夠準(zhǔn)確區(qū)分出高風(fēng)險(xiǎn)與低風(fēng)險(xiǎn)的患者群體。
圖6 基于深度影像特征預(yù)后因子的膽囊癌患者KM生存曲線Figure 6 KM survival curve of patients with gallbladder cancer based on prognostic factors of deep image features
利用深度影像特征預(yù)后因子預(yù)測(cè)患者1、3、5年存活率的精度時(shí)預(yù)測(cè)結(jié)果也較為精準(zhǔn),通過(guò)繪制ROC(圖7)評(píng)價(jià)該模型,結(jié)果顯示模型在1、3、5年的存活率時(shí),ROC 曲線的AUC 分別達(dá)到0.833、0.791、0.813。
圖7 模型預(yù)測(cè)受試者工作曲線Figure 7 Model prediction ROC curve
本文通過(guò)3D-ResNet提取患者CT 影像的深度特征,利用得到的深度特征,構(gòu)建患者的深度特征獨(dú)立預(yù)后因素。對(duì)于通過(guò)深度特征提取器所提取到的特征,先進(jìn)行Cox 單因素分析,再進(jìn)行Lasso 回歸篩選,基于最后得到的深度特征構(gòu)建深度影像特征的獨(dú)立預(yù)后因素。
結(jié)合實(shí)驗(yàn)結(jié)果,可以發(fā)現(xiàn)深度卷積神經(jīng)網(wǎng)絡(luò)在提取患者影像特征、預(yù)測(cè)患者生存狀況方面有著巨大的應(yīng)用和發(fā)展?jié)摿?,通過(guò)3D-ResNet提取的深度影像特征,構(gòu)建膽囊癌患者的獨(dú)立預(yù)后因素,模型的C指數(shù)達(dá)到0.73,遠(yuǎn)遠(yuǎn)高于現(xiàn)行的膽囊癌TNM 分期標(biāo)準(zhǔn)(C 指數(shù)為0.65)。建立的列線圖模型,在預(yù)測(cè)患者1、3、5年存活的表現(xiàn)上效果也較為精準(zhǔn)。通過(guò)本文的實(shí)驗(yàn)可見(jiàn),將深度學(xué)習(xí)運(yùn)用到癌癥預(yù)后模型構(gòu)建中的特征選擇和特征提取方面,對(duì)提高建立患者生存預(yù)測(cè)的準(zhǔn)確性有著較為顯著的效果,從而建立更加準(zhǔn)確的患者生存預(yù)測(cè)模型。這在輔助醫(yī)生選擇與制定個(gè)性化治療和隨訪方案、延長(zhǎng)患者存活時(shí)間等方面都具有重要意義。結(jié)合深度學(xué)習(xí)技術(shù)建立癌癥預(yù)后預(yù)測(cè)模型也將是未來(lái)預(yù)后模型發(fā)展的趨勢(shì)之一[24]。
由于患者隱私保護(hù)和數(shù)據(jù)共享限制,本文收集的數(shù)據(jù)并不足夠多,后續(xù)研究尚需收集更多不同型號(hào)的CT 掃描設(shè)備和不同掃描時(shí)期的CT 影像數(shù)據(jù),以此增強(qiáng)模型的泛化性和魯棒性。同時(shí)醫(yī)學(xué)數(shù)據(jù)匱乏、共享限制和低質(zhì)量醫(yī)學(xué)標(biāo)簽也是深度學(xué)習(xí)在癌癥預(yù)后模型應(yīng)用以及普及上的主要局限性,因此小型醫(yī)學(xué)數(shù)據(jù)集目前更多采用的是遷移學(xué)習(xí)和數(shù)據(jù)增強(qiáng)以及采用輕量型深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu),未來(lái)的研究方案應(yīng)當(dāng)從探索不同網(wǎng)絡(luò)架構(gòu)、不同數(shù)據(jù)增強(qiáng)以及醫(yī)學(xué)圖像生成方法等方面提高模型的準(zhǔn)確率和穩(wěn)健性,以及探究建立無(wú)標(biāo)簽弱監(jiān)督學(xué)習(xí)的深度學(xué)習(xí)癌癥預(yù)后模型的可行性。