基于DCE-MRI影像的深度多任務(wù)學(xué)習(xí)聯(lián)合預(yù)測乳腺癌病理信息研究?

袁成成范 明許茂盛王世威厲力華?

(1.杭州電子科技大學(xué)生物醫(yī)學(xué)工程與儀器研究所,浙江 杭州310018；2.浙江省中醫(yī)院放射科,浙江 杭州310006)

乳腺癌居于全球女性因癌死因首位[1],在乳腺癌的診斷和治療過程中,乳腺癌病理報告是其主要依據(jù)[2]。常見的病理信息包括乳腺癌的組織學(xué)分級,分子分型及Ki－67的表達等。諾丁漢組織學(xué)分級系統(tǒng)將其分成低、中、高3個組織學(xué)級別[3],組織學(xué)等級越高代表乳腺癌的惡性程度越高,乳腺癌的組織學(xué)等級已被證明能夠產(chǎn)生與乳腺癌臨床行為有關(guān)的重要信息[4]。腫瘤細胞增殖指數(shù)(Ki－67)是與細胞增殖相關(guān)的核抗原[5],Ki－67的增殖活性與乳腺癌腫瘤的分化、侵襲和轉(zhuǎn)移程度以及預(yù)后相關(guān)[6]。乳腺癌分子分型主要可分為4種[7],包括管腔上皮A型(Luminal A型)、管腔上皮B型(Luminal B型)、人類表皮生長因子受體2過表達型(HER－2型)和基底細胞樣型(Basal－like型)。乳腺癌分子分型對于選擇合適的個性化治療方法具有重要意義,有助于乳腺癌的精準(zhǔn)診療[8]。

影像檢查是乳腺癌早期診斷的常用方法。磁共振成像(MRI)技術(shù)被認為是重要的乳腺檢查方式,對乳腺癌的診斷具有較高的靈敏度和特異性,并且沒有輻射[9]。磁共振成像具有多種參數(shù)成像方式,動態(tài)對比增強磁共振成像(DCE-MRI)就是其中的一種,DCE-MRI具有良好的特異性,可以提供腫瘤的形態(tài)、血流特性和血管分布等信息[10]。現(xiàn)有的基于機器學(xué)習(xí)的傳統(tǒng)特征提取方法配合分類器的算法是目前DCE-MRI影像中乳腺癌病理信息預(yù)測的重要方法之一[2],其人工提取特征的方法具有一定的局限性和主觀性。而深度學(xué)習(xí)可以直接從影像中提取特征,很好的彌補了這一不足。深度學(xué)習(xí)(deep learning)可以直接提取影像特征[11],但深度學(xué)習(xí)通常需要重新設(shè)計并訓(xùn)練一個新的深度卷積網(wǎng)絡(luò),這需要耗費大量的時間資源和計算資源[12]。遷移學(xué)習(xí)(transfer learning)可以認為是在最小人工監(jiān)督代價下進行機器學(xué)習(xí)的一種嶄新策略[13]。遷移學(xué)習(xí)是運用大規(guī)模數(shù)據(jù)集中預(yù)訓(xùn)練好的網(wǎng)絡(luò)模型,將該模型嵌入在其他任務(wù)模型中作為特征提取器,可以重用復(fù)雜的結(jié)構(gòu)和優(yōu)化的權(quán)重,大大節(jié)省了時間資源及計算資源。而且大規(guī)模圖像數(shù)據(jù)集上的實驗結(jié)果證明了預(yù)訓(xùn)練網(wǎng)絡(luò)提取到的特征具有良好的判別性[14]。鑒于此,可以使用遷移學(xué)習(xí)去預(yù)測DCEMRI影像中乳腺癌病理信息。

值得說明的是,在乳腺癌病理信息預(yù)測研究中,以往通常采用單任務(wù)學(xué)習(xí)模型,將乳腺癌病理信息分析看成是單一分類任務(wù)。這種方法的缺陷在于沒有考慮到利用不同任務(wù)間的相似性來提高模型的預(yù)測性能,而多任務(wù)學(xué)習(xí)方法正好彌補了這一缺陷。多任務(wù)學(xué)習(xí)是指在一個神經(jīng)網(wǎng)絡(luò)中同時完成2個相互關(guān)聯(lián)的任務(wù),利用不同任務(wù)之間的相似性來輔助決策,在圖像處理或者語音處理任務(wù)中,多任務(wù)學(xué)習(xí)能夠顯著改進實驗結(jié)果[15]。本文嘗試使用多任務(wù)學(xué)習(xí)去聯(lián)合預(yù)測乳腺癌病理信息。盡管多任務(wù)學(xué)習(xí)可以提高模型的預(yù)測性能,但是并非所有的任務(wù)都可以用多任務(wù)學(xué)習(xí)進行訓(xùn)練。如果任務(wù)不相關(guān),采用多任務(wù)學(xué)習(xí)不能取得好效果,有時還會使模型準(zhǔn)確度降低[16]。因此,使用多任務(wù)學(xué)習(xí)的前提是必須保證任務(wù)之間具有相關(guān)性。

本文提出了一種基于DCE-MRI影像的深度多任務(wù)學(xué)習(xí)聯(lián)合預(yù)測乳腺癌病理信息算法。多任務(wù)學(xué)習(xí)是和單任務(wù)學(xué)習(xí)相對的一種方法。一般來說,標(biāo)準(zhǔn)的算法理論是一次學(xué)習(xí)一個任務(wù),而多任務(wù)學(xué)習(xí)是一種聯(lián)合學(xué)習(xí),多個任務(wù)之間部分參數(shù)共享以達到相互學(xué)習(xí)的目的。在實驗過程中,我們分別用單任務(wù)學(xué)習(xí)與多任務(wù)學(xué)習(xí)對乳腺癌病理信息進行預(yù)測,實驗結(jié)果表明,利用深度多任務(wù)學(xué)習(xí)方法對于預(yù)測乳腺癌的病理信息,有較好的預(yù)測效果。

1 方法

1.1 患者病理信息數(shù)據(jù)

本研究采集的數(shù)據(jù)來自于浙江省中醫(yī)院,經(jīng)過數(shù)據(jù)篩選,最終采用202例病例作為本次研究的數(shù)據(jù)集。從浙江省中醫(yī)院采集的病理報告中,可以得到每個病例的病理信息情況。數(shù)據(jù)集中的患者均為女性,年齡分布在29～83歲之間,平均年齡約為53歲,其中絕經(jīng)前102例,絕經(jīng)后100例。分子分型Luminal A型的病例共計38例,Luminal B型的病例共計100例,HER－2型的病例共計28例,Basal-like型的病例共計36例,組織學(xué)分級為Ⅰ級和Ⅱ級的病例共計86例,Ⅲ級的病例共計116例。Ki－67低表達的病例共計50例,Ki－67高表達的病例共計152例。

對組織學(xué)分級、Ki－67表達分別進行統(tǒng)計,卡方檢驗(Chi-Square Test)和方差分析(ANOVA)用于確定統(tǒng)計學(xué)顯著性,計算得到的P值低于0.05時認為具有統(tǒng)計學(xué)意義。Ki－67對絕經(jīng)情況、年齡和腫瘤最大徑做卡方檢驗和方差分析,P值分別為0.1212,0.1043,0.4236,組織學(xué)分級對絕經(jīng)情況、年齡和腫瘤最大徑做卡方檢驗和方差分析,P值分別為0.9036,0.1396,0.263,說明Ki－67與組織學(xué)分級對絕經(jīng)情況、年齡、腫瘤最大徑不顯著相關(guān),Ki－67對Luminal A及組織學(xué)分級做卡方檢驗,P值均小于0.001,組織學(xué)分級對Ki－67及Luminal A做卡方檢驗,P值也均小于0.001,說明Ki－67、組織學(xué)分級及Luminal A型任意兩個任務(wù)之間顯著相關(guān)。

1.2 患者影像數(shù)據(jù)采集

本次研究所采用的醫(yī)學(xué)影像來自浙江省中醫(yī)院放射科,使用德國西門子3.0T的MRI掃描設(shè)備,采用專用的8通道雙乳房線圈。所有乳腺MRI檢查均采用俯臥位,DCE-MRI包括1例對比增強前序列,即蒙片系列(S0序列)和5例對比增強后序列(S1～S5)的雙側(cè)矢狀面圖像,采用脂肪抑制T1加權(quán)三維序列。DCE-MRI參數(shù)設(shè)置如下:重復(fù)時間(TR)為4.51 ms,回聲時間(TE)為1.61 ms,矩陣為448×448,翻轉(zhuǎn)角度(FA)為10°,視野(FOV)為340 mm×340 mm,層厚為1.0 mm,像素分辨率為0.759 mm×0.759 mm,以4 mL/s的速度靜脈注射Gd-DTPA,劑量為注射造影劑60 s后采集第一個序列,隨后按60 s的時間間隔獲得5個連續(xù)的對比增強影像序列。

1.3 患者腺體影像分割

采用乳腺癌DCE-MRI進行影像研究,從采集的乳腺癌原始影像中分割出含腫瘤的腺體區(qū)域。對于DCE-MRI原始影像一般有144張切片,選取最大腫瘤切片對其進行研究分析。根據(jù)病理報告和影像,標(biāo)注出含腫瘤的腺體區(qū)域。采用人工方法在原始影像中分割出標(biāo)注區(qū)域,原始影像圖片矩陣為448×448,去除大量黑色區(qū)域部分,在保證其像素分辨率不變的情況下將其變成224×224矩陣。最后用S1,S2,S3,S4,S5分別減去S0序列(蒙片序列),得到其減影序列分別用S0,S1,S2,S3,S4,S5表示。其具體實驗步驟如圖1所示。

圖1 腺體影像分割過程

1.4 腺體影像數(shù)據(jù)擴充

影像數(shù)據(jù)擴充的目的是將影像特征盡可能的分布在擴充的影像中,以增加深度學(xué)習(xí)的運算樣本,以便獲得更多影像的內(nèi)在特征。首先將數(shù)據(jù)集隨機劃分為訓(xùn)練集與測試集,劃分比例約為3∶2。故訓(xùn)練集為122例病例,測試集為80例。在對數(shù)據(jù)集進行擴充時,僅對訓(xùn)練集數(shù)據(jù)進行擴充,測試集數(shù)據(jù)保持不變。因為在訓(xùn)練集中樣本分布不均勻,所以在對數(shù)據(jù)集進行擴充時對樣本多的進行欠采樣,對樣本少的進行重采樣。擴充的影像主要是通過對原始影像進行旋轉(zhuǎn)和鏡像得到的。在對原始影像預(yù)測其Ki－67的高低表達中,訓(xùn)練集中Ki－67高表達91例,低表達31例,對Ki－67高表達擴充得到的影像圖片為776張,Ki－67低表達擴充得到的影像圖片為752張；在對原始影像預(yù)測其分子分型是否為Luminal A型中,訓(xùn)練集中Luminal A型陽性23例,陰性99例,對陽性擴充得到的影像圖片為736張,陰性擴充得到的影像圖片為792張；在對原始影像預(yù)測其組織學(xué)分級是否為Ⅲ級中,訓(xùn)練集中組織學(xué)分級Ⅲ級69例,非Ⅲ級53例,對組織學(xué)分級Ⅲ級擴充得到的影像圖片為720張,組織學(xué)分級非Ⅲ級擴充得到的影像圖片為808張。

1.5 基于遷移學(xué)習(xí)的特征提取

對上文進行預(yù)處理后的影像進行特征提取。在乳腺癌病理信息預(yù)測過程中,采用深度卷積神經(jīng)網(wǎng)絡(luò)直接從DCE-MRI中提取特征,由于訓(xùn)練一個完整的深度卷積神經(jīng)網(wǎng)絡(luò)模型需要消耗大量的時間資源與計算資源。本文引入了遷移學(xué)習(xí)的方法,通過遷移在大數(shù)據(jù)集ImageNet上預(yù)訓(xùn)練好的模型權(quán)重參數(shù)[17],并重新設(shè)計其分類層,從而減少模型收斂擬合時間,生成性能優(yōu)異的特征提取模型。在進行遷移學(xué)習(xí)過程中,保存其分類層前特征提取的網(wǎng)絡(luò)結(jié)構(gòu)與模型參數(shù)遷移到新的神經(jīng)網(wǎng)絡(luò)。假設(shè)遷移結(jié)構(gòu)層數(shù)為n層,凍結(jié)前m層即前m層的模型參數(shù)永遠保持不變,而后n－m層需要針對新的數(shù)據(jù)集進行權(quán)重訓(xùn)練。

首先利用VGG16卷積神經(jīng)網(wǎng)絡(luò)進行遷移學(xué)習(xí)提取影像特征。VGG卷積神經(jīng)網(wǎng)絡(luò)模型在圖像分類和目標(biāo)檢測任務(wù)中都表現(xiàn)出非常好的結(jié)果[18]。VGG16是VGG卷積神經(jīng)網(wǎng)絡(luò)的一種,我們選擇其全連接前特征提取網(wǎng)絡(luò)結(jié)構(gòu)作為遷移層,其網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。VGG16輸入的影像尺寸為224×224×3,前兩個224表示圖片的長和寬,3表示通道數(shù),輸出的特征尺寸為7×7×512。

圖2 VGG16網(wǎng)絡(luò)框架圖

殘差網(wǎng)絡(luò)與DenseNet因其特有的“短路連接”在圖像分類上被普遍使用,本文用到的遷移網(wǎng)絡(luò)有ResNet50和DenseNet121,ResNet50輸入的圖片尺寸為224×224×3,輸出特征尺寸為7×7×2048。DenseNet121輸入的圖片尺寸為224×224×3,輸出特征尺寸為7×7×1024。

1.6 基于深度學(xué)習(xí)的病理信息預(yù)測模型

對上文提取的特征進行病理信息預(yù)測。通過遷移學(xué)習(xí)提取出的特征維度較高,首先我們使用全局平均池化將特征降為一維,然后我們運用全連接層逐級降維,為了解決深度神經(jīng)網(wǎng)絡(luò)容易過擬合的問題,我們引入了dropout[19]層。針對于單任務(wù)學(xué)習(xí)及多任務(wù)學(xué)習(xí)我們設(shè)計了不同的病理信息預(yù)測模型。單任務(wù)學(xué)習(xí)病理預(yù)測模型如圖3所示,多任務(wù)學(xué)習(xí)病理信息模型如圖4所示。多任務(wù)學(xué)習(xí)方法除了共享特征提取層,還在分類層中引入了共享層,即在分類時有一部分特征是兩個任務(wù)都擁有的。其中任務(wù)A與任務(wù)B的維數(shù)始終相同,且任務(wù)A、共享層及任務(wù)B的總維數(shù)始終為400,共享層的維數(shù)為超參數(shù)可調(diào)。單任務(wù)學(xué)習(xí)和多任務(wù)學(xué)習(xí)都在FC1后面及FC2后面引入dropout層。

圖3 單任務(wù)學(xué)習(xí)病理信息預(yù)測模型

圖4 多任務(wù)學(xué)習(xí)病理信息預(yù)測模型

2 結(jié)果

2.1 基于單任務(wù)學(xué)習(xí)的單序列影像病理信息預(yù)測

DCE-MRI具有6個序列,對6個單序列影像分別進行單任務(wù)學(xué)習(xí),并建立病理信息預(yù)測模型。對各個單序列影像進行預(yù)測分析,通過基于VGG16的遷移學(xué)習(xí)預(yù)測乳腺癌的病理信息,實驗結(jié)果如表1所示。通過對表1分析可知,對于預(yù)測Ki－67表達任務(wù),S0序列表現(xiàn)最優(yōu),預(yù)測Ki－67的AUC值為0.752。對于預(yù)測Luminal A型任務(wù),S0序列表現(xiàn)最優(yōu),預(yù)測Luminal A型的AUC值為0.722。對于預(yù)測組織學(xué)分級任務(wù),S3序列表現(xiàn)最優(yōu),預(yù)測組織學(xué)分級的AUC值為0.695。

2.2 基于單任務(wù)學(xué)習(xí)的多序列影像病理信息預(yù)測

從DCE-MRI影像中選取3個減影序列組成多序列影像,對多序列影像進行單任務(wù)學(xué)習(xí),并建立病理信息預(yù)測模型。首先我們選擇連續(xù)的3個序列S0,S1,S2作為輸入的多序列影像。為防止偶然性,我們把6個序列分為高中低3份,分別在3份中隨機選擇1個序列,最終選擇了S0,S3,S5作為輸入的多序列影像作為補充。對多序列影像進行預(yù)測分析,通過基于VGG16的遷移學(xué)習(xí)預(yù)測乳腺癌的病理信息,實驗結(jié)果如表2所示。

通過對表2分析可知,對于預(yù)測Ki－67,Luminal A型及組織學(xué)分級任務(wù),S0＋S1＋S2多序列影像分別對應(yīng)的AUC值為0.793,0.730,0.715。S0＋S3＋S5多序列影像分別對應(yīng)的AUC值為0.772,0.729,0.712。均優(yōu)于最優(yōu)單序列影像對應(yīng)的AUC值0.752,0.722,0.695。

表1 基于單任務(wù)學(xué)習(xí)單序列影像病理信息預(yù)測

表2 基于單任務(wù)學(xué)習(xí)多序列影像病理信息預(yù)測

2.3 基于CNN的多序列影像病理信息預(yù)測性能比較

對多序列影像采用不同的卷積神經(jīng)網(wǎng)絡(luò)對其進行特征提取,對提取的特征進行單任務(wù)學(xué)習(xí),分別建立基于不同卷積神經(jīng)網(wǎng)絡(luò)的病理信息預(yù)測模型。殘差網(wǎng)絡(luò)與DenseNet因其特有的“短路連接”在圖像分類上被普遍使用,本文主要選擇了VGG16,Res-Net50和DenseNet121進行遷移,因多序列影像效果優(yōu)于單序列影像,故選擇多序列影像作為遷移學(xué)習(xí)的輸入圖像。實驗結(jié)果如表3所示。

表3 基于CNN多序列影像預(yù)測比較(AUC)

通過對表3分析可知,對于預(yù)測組織學(xué)分級任務(wù),ResNet50與DenseNet121稍高于VGG16,對于預(yù)測Luminal A 與 Ki－67任務(wù),ResNet50與DenseNet121低于VGG16,綜合考慮三個任務(wù),因此本文最終選擇VGG16作為最終的遷移網(wǎng)絡(luò)。

2.4 基于多任務(wù)學(xué)習(xí)的多序列影像病理信息預(yù)測

對多序列影像進行多任務(wù)學(xué)習(xí),并建立病理信息預(yù)測模型。通過上文的數(shù)據(jù)分析可知,Ki－67表達、Luminal A型與組織學(xué)分級之間任意兩個任務(wù)顯著相關(guān),分別對其進行深度多任務(wù)學(xué)習(xí)聯(lián)合預(yù)測,S0＋S1＋S2多序列影像作為輸入影像,其實驗結(jié)果如表4所示。通過對表4分析可知,多任務(wù)學(xué)習(xí)的病理信息預(yù)測結(jié)果優(yōu)于單任務(wù)學(xué)習(xí)。

表4 多序列影像單任務(wù)學(xué)習(xí)與多任務(wù)學(xué)習(xí)比較(AUC)

2.5 單任務(wù)學(xué)習(xí)與多任務(wù)學(xué)習(xí)預(yù)測模型比較

對上文所示單任務(wù)單序列、單任務(wù)多序列以及多任務(wù)多序列的病理信息預(yù)測模型進行比較,其預(yù)測Ki－67表達,分子分型和組織學(xué)分級結(jié)果的ROC曲線,如圖5所示。由圖5可知,在單任務(wù)學(xué)習(xí)中,多序列影像相比于單序列影像具有更好的性能。而對比單任務(wù)學(xué)習(xí),多任務(wù)學(xué)習(xí)的ROC曲線相比而言更偏向于左上方,說明多任務(wù)學(xué)習(xí)方法具有更好的分類性能。綜上所述,多任務(wù)學(xué)習(xí)方法相比于單任務(wù)學(xué)習(xí)方法可以提高預(yù)測乳腺癌病理信息的性能。

圖5 病理信息模型預(yù)測比較

3 討論

在本研究中,采用深度多任務(wù)學(xué)習(xí)的方法來預(yù)測DCE-MRI影像中乳腺癌常見的病理信息指標(biāo),包括Ki－67表達,Luminal A型及組織學(xué)分級。對采集的DCE-MRI影像分割出含腫瘤一側(cè)的腺體區(qū)域,得到其6個減影序列,并對分割后的減影序列進行裁剪。首先將數(shù)據(jù)集隨機分為訓(xùn)練集與測試集,并將訓(xùn)練集的數(shù)據(jù)進行數(shù)據(jù)擴充,測試集數(shù)據(jù)保持不變。其次構(gòu)建基于遷移學(xué)習(xí)的預(yù)測模型分別提取單序列影像以及由隨機3個序列組成的多序列影像的高維特征,隨后,采用單任務(wù)學(xué)習(xí)方法以及特征共享的多任務(wù)學(xué)習(xí)方法分別對基于Ki－67表達與Luminal A型、基于Ki－67表達與組織學(xué)分級、基于Luminal A型與組織學(xué)分級進行預(yù)測,并計算AUC評估單序列影像預(yù)測模型、多序列影像預(yù)測模型以及多任務(wù)影像預(yù)測模型的性能。結(jié)果表明,采用多序列影像,可以提高單序列影像模型預(yù)測乳腺癌病理信息的性能,采用多任務(wù)學(xué)習(xí),可以提高單任務(wù)學(xué)習(xí)影像模型預(yù)測乳腺癌病理信息的性能。

基于深度多任務(wù)學(xué)習(xí)預(yù)測DCE-MRI影像乳腺癌病理信息的研究是一個較新的探索領(lǐng)域,Tian等[20]設(shè)計了交通場景中完成主體識別任務(wù)算法,通過多任務(wù)學(xué)習(xí)提高了主體識別的準(zhǔn)確率和召回率。范正光等[21]使用深度多任務(wù)學(xué)習(xí)方法,建立聲學(xué)模型,能夠高效的完成語音識別任務(wù)。但深度多任務(wù)學(xué)習(xí)很少應(yīng)用在DCE-MRI影像中。本課題組的前期研究顯示,通過深度卷積神經(jīng)網(wǎng)絡(luò)對乳腺癌分子分型預(yù)測的受試者的DCE-MRI影像進行分析,有一定的預(yù)測效果[22]。采用機器學(xué)習(xí),DCE-MRI和DWI通過多任務(wù)學(xué)習(xí)可以提高Ki－67表達和分級的預(yù)測能力[23－24]。筆者首次嘗試使用深度多任務(wù)學(xué)習(xí)的方法應(yīng)用于DCE-MRI影像乳腺癌Ki－67表達,Luminal A型與組織學(xué)分級預(yù)測的研究中,預(yù)測性能基本達到預(yù)期效果。

本研究存在一定的局限性:一是數(shù)據(jù)樣本規(guī)模較小,在未來的研究中可以采用大型獨立的多參數(shù)影像數(shù)據(jù)集,對預(yù)測模型的魯棒性進行進一步的驗證；二是在對Ki－67表達、Luminal A型以及組織學(xué)分級3個任務(wù)進行預(yù)測時,只進行基于2個任務(wù)的多任務(wù)學(xué)習(xí)研究,后續(xù)會進一步進行基于3個任務(wù)的多任務(wù)學(xué)習(xí)研究。

4 結(jié)論

本文提出了基于DCE-MRI影像的深度多任務(wù)學(xué)習(xí)的乳腺癌病理信息預(yù)測算法。實驗結(jié)果表明,使用深度多任務(wù)學(xué)習(xí),可以對乳腺癌的前期診斷和個性化臨床治療方案的選擇提供有價值的參考。在后續(xù)研究中,會進一步研究基于Ki－67表達,Luminal A型,組織學(xué)分級的多任務(wù)學(xué)習(xí)的研究,并且引入更多顯著性相關(guān)的任務(wù),增加該技術(shù)在臨床上的實用性。