基于多尺度遷移學(xué)習(xí)的肺結(jié)節(jié)良惡性分類

張修聰，劉 杰，張光磊

（1.北京交通大學(xué)計算機(jī)與信息技術(shù)學(xué)院，北京 100044；2.北京航空航天大學(xué)生物醫(yī)學(xué)工程高精尖創(chuàng)新中心，北京 100191）

0 引言

肺癌是世界上發(fā)病率和死亡率上升最快的惡性腫瘤之一，對人類生命安全構(gòu)成的威脅最大。在所有癌癥類型中，肺癌的患病人數(shù)和死亡人數(shù)均高居首位。由于肺癌發(fā)病時間短、轉(zhuǎn)移速度快，早期診斷十分困難，絕大多數(shù)肺癌患者到了晚期才能診斷出癌癥，其五年生存率極低，僅有不到20%。當(dāng)疾病逐漸惡化或無法進(jìn)行手術(shù)治療時，患者只能依靠放療和化療等醫(yī)學(xué)手段維持生命，他們的平均存活時間不到一年。通過早期的診斷治療，肺癌患者的5年生存率大大升高，能夠達(dá)到70%以上。因此，針對肺癌的早期精準(zhǔn)檢測具有重要的臨床意義和治療價值。

肺結(jié)節(jié)（pulmonary nodule）分為良惡性兩類，直徑小于3 cm，常無明顯癥狀。其中惡性結(jié)節(jié)占比20%左右。癌癥的風(fēng)險隨結(jié)節(jié)大小呈指數(shù)增加。在計算機(jī)斷層成像（computed tomogra?phy，CT）的掃描下可以檢測肺部是否存在結(jié)節(jié)。通過CT 掃描檢測能夠及早診斷出部分早期肺癌，有效減少肺癌患者的死亡率約20%。

當(dāng)今，如何實現(xiàn)早期肺癌的精準(zhǔn)檢測是個極具挑戰(zhàn)性的醫(yī)學(xué)難題。肺癌的臨床檢查方法主要有體格檢查、影像檢查、內(nèi)鏡檢查、組織活檢等。然而，作為臨床上診斷肺結(jié)節(jié)良惡性的“金標(biāo)準(zhǔn)”，活體組織檢查相對復(fù)雜和耗時，不能對腫瘤進(jìn)行全面的整體分析。醫(yī)生可以在機(jī)器輔助診斷模式的幫助下對肺結(jié)節(jié)的良惡性進(jìn)行診斷，可以有效解決費時費力、診斷效率較低等問題，其大多傳統(tǒng)的機(jī)器學(xué)習(xí)結(jié)節(jié)分類方法不能夠?qū)崿F(xiàn)端到端的方式進(jìn)行工作，仍然需要手動提取特征。深度神經(jīng)網(wǎng)絡(luò)作為一種最近蓬勃發(fā)展的方法，在肺結(jié)節(jié)良惡性分類研究中具有很大的潛力，然而，所需高質(zhì)量數(shù)據(jù)的短缺明顯阻礙了其在醫(yī)學(xué)圖像識別當(dāng)中的應(yīng)用。而遷移學(xué)習(xí)由于所需數(shù)據(jù)規(guī)模較小，是解決這一問題極具前景的一種深度學(xué)習(xí)技術(shù)。遷移學(xué)習(xí)是一種機(jī)器學(xué)習(xí)方法，可以實現(xiàn)跨領(lǐng)域任務(wù)，可以用來解決領(lǐng)域差異大、模型效率低等問題。

因此，本研究圍繞早期肺結(jié)節(jié)的精準(zhǔn)檢測方法展開，提出了一種基于多尺度遷移學(xué)習(xí)的肺結(jié)節(jié)良惡性分類的創(chuàng)新研究思路，旨在通過實現(xiàn)對肺結(jié)節(jié)良惡性的早期準(zhǔn)確判斷，為輔助醫(yī)生進(jìn)行早期肺癌的快速、準(zhǔn)確的診斷提供新的更有力的臨床篩查工具。本研究基于肺部圖像數(shù)據(jù)庫聯(lián)盟和圖像數(shù)據(jù)庫資源計劃（lung im?age database consortium and image database re?source initiative, LIDC-IDRI）開源數(shù)據(jù)庫，通過對1010例病人的肺部CT影像數(shù)據(jù)進(jìn)行分析，構(gòu)建數(shù)據(jù)集并進(jìn)行實驗。

1 相關(guān)研究工作

近些年來，在對肺結(jié)節(jié)良惡性分類的研究中已有不少的研究成果，主要包括傳統(tǒng)的機(jī)器學(xué)習(xí)方法、卷積神經(jīng)網(wǎng)絡(luò)、混合模型等。

傳統(tǒng)機(jī)器學(xué)習(xí)方法的流程通常為：①圖像采集；②區(qū)域分割；③特征提?。虎芙㈩A(yù)測模型。Mizuho 等分別采用了支持向量機(jī)和梯度樹增強(qiáng)方法，并使用貝葉斯優(yōu)化，在公開數(shù)據(jù)集上，訓(xùn)練出模型的曲線下方面積（area un?der curve，AUC）分別為0.850和0.896。Tu 等對私有數(shù)據(jù)集上的肺結(jié)節(jié)進(jìn)行三維重建，手動提取了374個特征，采用放射學(xué)特征提取和機(jī)器學(xué)習(xí)分類相結(jié)合的方法，最終獲得了79%的分類準(zhǔn)確率（accuracy），同時AUC達(dá)到了0.80。

采用深度學(xué)習(xí)技術(shù)來實現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）模型的訓(xùn)練已經(jīng)成為醫(yī)學(xué)領(lǐng)域中的常見方法，可以無需憑借先驗知識選取特征就能夠?qū)崿F(xiàn)端到端的檢測。Shen 等對卷積神經(jīng)網(wǎng)絡(luò)采用了多尺度采樣池化的設(shè)計，適應(yīng)了肺結(jié)節(jié)大小變化較大的特點，更好的提取結(jié)節(jié)特征，最終在LIDC-IDRI 數(shù)據(jù)庫上獲得了86%的分類準(zhǔn)確率。Zhu 等建立的肺部CT 圖像智能診斷系統(tǒng)實現(xiàn)了肺結(jié)節(jié)檢測和診斷兩部分功能，他們分別設(shè)計了兩個3D 雙路徑網(wǎng)絡(luò)來進(jìn)行肺結(jié)節(jié)的檢測和分類，并且在分類時使用了梯度增強(qiáng)的方法，在LIDC-IDRI數(shù)據(jù)集上進(jìn)行了驗證，結(jié)果顯示其性能超過了高水平的醫(yī)生。

此外，機(jī)器學(xué)習(xí)與卷積神經(jīng)網(wǎng)絡(luò)的混合模型也被應(yīng)用在肺結(jié)節(jié)的分類任務(wù)中。一些研究采用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取和分析，機(jī)器學(xué)習(xí)方法作為分類預(yù)測器，也取得了不錯的的分類效果。Hussein 等對結(jié)節(jié)進(jìn)行三維重建，提取重建完整結(jié)節(jié)的水平面、冠狀面和矢狀面上的投影圖，最終獲得了82.4%的分類準(zhǔn)確率。

2 數(shù)據(jù)集處理

本實驗基于LIDC-IDRI 肺結(jié)節(jié)數(shù)據(jù)庫，由肺部CT 影像和相應(yīng)的診斷結(jié)果標(biāo)注而成，包含了從肺癌檢查中獲得的1010例病人的肺部CT影像數(shù)據(jù)和診斷信息。圖1 為CT 圖像中肺結(jié)節(jié)的示意圖。每個病例都有對應(yīng)的XML 文件來記錄結(jié)節(jié)位置等標(biāo)注信息。每個結(jié)節(jié)的良惡性程度由四位經(jīng)驗豐富的醫(yī)生標(biāo)注的5分量表進(jìn)行評估（從1到5，惡性可能性不斷增加，其中3為不清楚或未知）。目前數(shù)據(jù)庫總大小約124 GB，其中每張CT圖像的大小均為512×512像素。

圖1 CT圖像中的肺結(jié)節(jié)

由于四位醫(yī)生的標(biāo)注是互相之間彼此獨立的，也存在針對同一張CT 圖像中的結(jié)節(jié)有不同評分的情況，因此我們將每個醫(yī)生標(biāo)注5級評分的中位數(shù)作為醫(yī)生的綜合意見提取出來，采用會診投票策略來獲得更加準(zhǔn)確的數(shù)據(jù)標(biāo)簽。將中位數(shù)數(shù)值小于2.5 的標(biāo)記為良性結(jié)節(jié)，數(shù)值大于3.5 的標(biāo)記為惡性結(jié)節(jié)，介于2.5和3.5 之間的標(biāo)記為未知。對于未知的結(jié)節(jié)，由于缺乏可信賴的標(biāo)簽，決定將其暫不納入訓(xùn)練集或測試集當(dāng)中。采用以上標(biāo)準(zhǔn)，共計獲得良性結(jié)節(jié)369例、惡性結(jié)節(jié)358例，CT圖像共計4161張。

3 方法

本文提出的基于多尺度遷移學(xué)習(xí)的肺結(jié)節(jié)良惡性分類模型，其流程主要包括：①圍繞CT圖像提取ROI 區(qū)域并生成多尺度圖像輸入。②使用預(yù)訓(xùn)練的ResNet-50卷積神經(jīng)網(wǎng)絡(luò)來提取特征。③構(gòu)造基于遷移學(xué)習(xí)的肺結(jié)節(jié)良惡性分類模型。

3.1 多尺度圖像輸入

由于肺結(jié)節(jié)的良惡性和其在CT 影像中的直徑、輪廓、紋理和密度等密切相關(guān)，因此選擇一個固定合適的ROI 區(qū)域大小是比較重要的。如圖2 所示為數(shù)據(jù)庫中結(jié)節(jié)直徑的像素分布表示，可以看出其主要分布在0～40之間，且不同結(jié)節(jié)之間差異較大。

圖2 結(jié)節(jié)直徑分布統(tǒng)計圖

為了滿足模型輸入的要求，我們將得到的不同采樣大小的圖像進(jìn)行差值放大，進(jìn)而合成為一張RGB三通道圖像作為網(wǎng)絡(luò)模型的新輸入。如圖3所示，根據(jù)對LIDC-IDRI數(shù)據(jù)集中各個結(jié)節(jié)直徑分布的統(tǒng)計，選擇了三種不同的ROI 區(qū)域獲取方式。分別在圍繞結(jié)節(jié)的中心選取邊長像素大小為32×32 像素，64×64 像素，96×96 像素的正方形區(qū)域。其中，當(dāng)ROI 區(qū)域較小時，能夠囊括大部分的結(jié)節(jié)，還能得到穩(wěn)定的信噪比，保留結(jié)節(jié)的紋理、分葉等內(nèi)部信息；當(dāng)ROI 區(qū)域為中等大小時，大概能夠囊括所有的結(jié)節(jié)，保留一定的邊緣信息；當(dāng)ROI 區(qū)域較大時，能夠囊括所有包含有結(jié)節(jié)的外部區(qū)域，保留一定的周邊環(huán)境以及與血管等的距離信息。

圖3 ROI區(qū)域采樣合成

提取ROI 區(qū)域之后，將不同像素的正方形圖像通過三次插值的方法放大到適應(yīng)源遷移網(wǎng)絡(luò)輸入的標(biāo)準(zhǔn)大小。最后，合成獲得一張三通道RGB圖像。

3.2 基于ResNet-50的特征提取

本研究所遷移的源網(wǎng)絡(luò)為深度殘差網(wǎng)絡(luò)（deep residual network，ResNet），采用了短路連接網(wǎng)絡(luò)結(jié)構(gòu)，如圖4所示。

圖4 殘差網(wǎng)絡(luò)的基本構(gòu)成［14］

圖中展示了構(gòu)成ResNet 網(wǎng)絡(luò)的核心模塊，weight layer 代表了網(wǎng)絡(luò)中卷積層等特征提取層；Relu為網(wǎng)絡(luò)采用的激活函數(shù)；和（）是輸入該塊的特征和經(jīng)過兩層運(yùn)算后獲得的特征。該塊的設(shè)計核心在于右側(cè)的短接結(jié)構(gòu)，使得輸入網(wǎng)絡(luò)前的特征和運(yùn)算后的特征（）同時保留。保證了在經(jīng)過該網(wǎng)絡(luò)塊運(yùn)算后，至少不會損失已有的特征提取結(jié)果，避免了退化問題。

3.3 基于遷移學(xué)習(xí)構(gòu)造模型

本文采用遷移學(xué)習(xí)的方法，將在ImageNet上表現(xiàn)良好的深度網(wǎng)絡(luò)模型遷移到我們的目標(biāo)領(lǐng)域，用以解決肺結(jié)節(jié)領(lǐng)域數(shù)據(jù)不足的問題。如圖5所示，在該模型的構(gòu)造過程中，我們遷移了ResNet-50的網(wǎng)絡(luò)結(jié)構(gòu)及其參數(shù)，為了使之能夠更加適應(yīng)良惡性分類問題，我們對網(wǎng)絡(luò)模型進(jìn)行改進(jìn)添加了三個全連接層，其中含有的神經(jīng)元數(shù)量分別為1024、512和2，輸出結(jié)果為良性或惡性。全連接層使用Relu 激活功能，為網(wǎng)絡(luò)增加了非線性成分，從而使模型訓(xùn)練的結(jié)果更加穩(wěn)定。

圖5 遷移學(xué)習(xí)模型網(wǎng)絡(luò)示意圖

為了進(jìn)一步避免過度擬合并增強(qiáng)模型的泛化能力，同時保持模型的學(xué)習(xí)能力，進(jìn)一步將Dropout和正則化項策略引入到全連接層，對網(wǎng)絡(luò)模型進(jìn)行改進(jìn)。Dropout是指在模型訓(xùn)練過程中依據(jù)特定的概率隨機(jī)舍去特定層中的某些神經(jīng)元，這相當(dāng)于每次的迭代訓(xùn)練都是不同的神經(jīng)網(wǎng)絡(luò)。正則化是指將與參數(shù)大小有關(guān)的項目添加到損失函數(shù)中，這樣可以使參數(shù)的值盡可能小，從而限制參數(shù)的值范圍，并避免過擬合。本研究使用L正則化，將L范數(shù)添加到損失函數(shù)中。

4 實驗設(shè)置

圖像的輸入采用多尺度采樣的方法將圍繞結(jié)節(jié)中心提取邊長分別為32×32、64×64、96×96像素的ROI區(qū)域并插值到224×224像素大小，然后合成一張三通道RGB圖像。在對圖像的采樣之前還需要對來自多個機(jī)構(gòu)的數(shù)據(jù)進(jìn)行統(tǒng)一的預(yù)處理，包括數(shù)據(jù)擴(kuò)增、插值放大和直方圖均衡化。對訓(xùn)練集中的所有CT 圖像數(shù)據(jù)都執(zhí)行旋轉(zhuǎn)90°、旋轉(zhuǎn)180°、左右鏡像、上下鏡像等操作，將有限的數(shù)量進(jìn)行5倍的擴(kuò)充，以此增強(qiáng)網(wǎng)絡(luò)模型的魯棒性。采用雙三次插值的方法將圖像放大到224×224像素大小，具有更好的放大效果。采用直方圖均衡化的方式來對圖像進(jìn)行預(yù)處理，使得結(jié)節(jié)中的紋理、毛刺信息更加豐富。

為了客觀評價模型的泛化能力，本實驗劃分訓(xùn)練集和測試集需要保證同一個病人的同一肺結(jié)節(jié)的不同CT 圖像不能被同時分到訓(xùn)練集或測試集中。因此，在進(jìn)行十折交叉驗證時采用根據(jù)病人分組的方法，即將數(shù)據(jù)集中的病例按照編號隨機(jī)分成十組，輪流將其中的一組作為測試集，剩下九組作為訓(xùn)練集，也僅對訓(xùn)練集進(jìn)行了擴(kuò)增。

在本研究中，編譯神經(jīng)網(wǎng)絡(luò)時采用了交叉熵?fù)p失函數(shù)和Adam 優(yōu)化器，該優(yōu)化器使用時只需要關(guān)注調(diào)整其學(xué)習(xí)率即可。在實驗過程中，本研究提出并使用了一種交替開放卷積網(wǎng)絡(luò)層數(shù)并同時改變學(xué)習(xí)率大小的訓(xùn)練方法。全連接層中的Dropout 的概率一般設(shè)定為0.2 左右，采用L正則化策略，系數(shù)設(shè)置為0.001。

評價標(biāo)準(zhǔn)采用準(zhǔn)確率（accuracy）和來對分類結(jié)果進(jìn)行表示。其中準(zhǔn)確率表示分類正確的樣本數(shù)與總體樣本數(shù)的比值，如表1所示，計算公式如下：

表1 結(jié)果評價指標(biāo)

ROC 曲線是反應(yīng)敏感度和特異度連續(xù)變化的綜合指標(biāo)，以敏感度為縱坐標(biāo)，（1-特異度）為橫坐標(biāo)繪制成曲線，曲線下方面積的大小即為，越大則準(zhǔn)確率越高。

5 實驗結(jié)果

經(jīng)過十折交叉驗證，對在測試集上的分類準(zhǔn)確率和取平均值，模型最終達(dá)到了90.26%的分類準(zhǔn)確率和0.956 的。表2 展示了本研究和三個最新發(fā)表的基于LIDC-IDRI 數(shù)據(jù)庫的基于深度學(xué)習(xí)進(jìn)行肺結(jié)節(jié)斷層層面上的良惡性分類算法模型的分類準(zhǔn)確率、。

表2 與類似研究的效果對比

可以看出，本研究分類效果不論是在準(zhǔn)確率還是在上相比于其它三個研究都具有一定的優(yōu)越性。

本研究還對多尺度采樣的有效性做了對比實驗。試驗的設(shè)置與結(jié)果如表3 所示。實驗1 采用的多尺度采樣合成RGB 圖像輸入，而實驗2、3、4 中分別采用將特定大小的ROI 區(qū)域復(fù)制三份作為輸入的方式，其它設(shè)置均與實驗1相同。

表3 多尺度采樣對照試驗結(jié)果

結(jié)果表明，多尺度采樣合成RGB 圖像輸入的方法準(zhǔn)確率和明顯優(yōu)于其它三種輸入方式。這說明多尺度采樣的方法在遷移學(xué)習(xí)中是可以應(yīng)用的并且有良好效果的。

6 結(jié)語

本文針對肺結(jié)節(jié)良惡性分類任務(wù)，提出了一種基于多尺度遷移學(xué)習(xí)的肺結(jié)節(jié)良惡性分類模型。基于LIDC-IDRI 公開數(shù)據(jù)庫構(gòu)建數(shù)據(jù)集，針對肺部CT 圖像提取ROI 區(qū)域并生成多尺度圖像作為輸入，遷移了ResNet-50卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)及參數(shù)，并對全連接層進(jìn)行設(shè)計，采用了交替開放式的遷移學(xué)習(xí)訓(xùn)練策略，有效提升模型的訓(xùn)練效果。結(jié)果表明，將多尺度遷移學(xué)習(xí)方法應(yīng)用到肺結(jié)節(jié)良惡性分類任務(wù)上，分類效果得到明顯提升。