融合多尺度決策的肺結(jié)節(jié)分類研究

池洪澤，楊 靜，2

（1.太原理工大學(xué)信息與計(jì)算機(jī)學(xué)院，山西晉中 030600；2.太原理工大學(xué) 信息中心，山西太原 030024）

肺癌是世界上致命的癌癥之一，對(duì)人們的健康構(gòu)成威脅[1]。肺結(jié)節(jié)早期診斷可以降低肺癌死亡率[2]。20 世紀(jì)60 年代，計(jì)算機(jī)輔助診斷(CAD)被提出并用于肺癌診斷，減輕了醫(yī)生的壓力，幫助他們更準(zhǔn)確地診斷病例[3]。傳統(tǒng)上，通過(guò)研究人員手工提取手工特征并設(shè)計(jì)分類器，但設(shè)計(jì)手工特征耗時(shí)且需要專業(yè)醫(yī)學(xué)知識(shí)。特征提取的有效性取決于醫(yī)生在肺癌診斷方面的專業(yè)知識(shí)以及他們對(duì)傳統(tǒng)機(jī)器學(xué)習(xí)方法的理解。此外，手工制作的特征是主觀的，它們的概括性很差。因此，開(kāi)發(fā)一種自動(dòng)特征提取算法是非常重要的。近年來(lái)，3D CNN 帶來(lái)了比2D CNN 更好的表現(xiàn)[4]。3D CNN 可以提取結(jié)節(jié)的空間特征，這對(duì)結(jié)節(jié)分類非常重要。

人工提取的特征通常包括紋理、形狀、密度和球形特征，分類器通常包括支持向量機(jī)(SVM)等[5-8]，通常利用圖像預(yù)處理和模式識(shí)別方法來(lái)區(qū)分惡性和良性結(jié)節(jié)。Costa 等人[9]使用平均系統(tǒng)發(fā)育距離和分類多樣性指數(shù)來(lái)提取肺紋理特征。為了更好地對(duì)肺結(jié)節(jié)進(jìn)行分類，研究人員通常會(huì)改進(jìn)CNN 網(wǎng)絡(luò)的特征提取器和特征分類器。沈等人[10]提出了一種多裁剪卷積神經(jīng)網(wǎng)絡(luò)(MC-CNN)來(lái)自動(dòng)提取結(jié)節(jié)顯著特征。多尺度特征圖包含更多的語(yǔ)義信息，該策略在結(jié)節(jié)分類上取得了良好的效果。為了利用空間3D上下文信息，劉等人[11]提出了一種端到端的結(jié)構(gòu)，稱為密集卷積二叉樹(shù)網(wǎng)絡(luò)來(lái)分類結(jié)節(jié)。他們?cè)贒enseNet 中引入了中心裁剪操作，并利用過(guò)渡層上的分離和融合操作來(lái)豐富多尺度特征。雖然有一些方法解決了這些挑戰(zhàn)，但這些方法并不全面，還可以進(jìn)一步改進(jìn)。例如，朱等人[12]利用3D 雙路徑網(wǎng)絡(luò)(DPNS)來(lái)提取肺結(jié)節(jié)體積特征，這對(duì)于避免過(guò)擬合是有效的。為了捕捉細(xì)粒度的特征，張等人[13]將擠壓-激發(fā)注意網(wǎng)絡(luò)與聚集殘差變換ResNeXt 相結(jié)合，并將他們提出的方法應(yīng)用于肺結(jié)節(jié)的良惡性分類。蔣等人[14]基于DPNS 體系結(jié)構(gòu)，在DPNS 中加入了空間和上下文注意模塊，集合了多網(wǎng)絡(luò)對(duì)肺結(jié)節(jié)進(jìn)行分類。他們提出的注意機(jī)制在特征細(xì)化方面是有效的，但空間注意模塊還可以進(jìn)一步改進(jìn)?？臻g注意網(wǎng)絡(luò)沒(méi)有考慮多尺度、多分辨率和殘差連接問(wèn)題，這些問(wèn)題對(duì)于肺結(jié)節(jié)分類非常重要。謝等人[15]融合灰度共生矩陣(GLCM)特征、傅立葉形狀特征和深度學(xué)習(xí)特征，利用AdaBoosted 反向傳播神經(jīng)網(wǎng)絡(luò)來(lái)區(qū)分結(jié)節(jié)。Kaya 等人[16]融合了深層特征和手工制作的特征，這些特征包含結(jié)節(jié)的形態(tài)、顏色或文本特征。Jason 等人[17]融合了ApplSci 放射定量圖像特征和3D深層特征。張等[18]融合了三維提取的基于局部二值模式的紋理特征、基于方向梯度的形狀特征直方圖和深度特征。最后，他們利用GBM 來(lái)區(qū)分良性和惡性結(jié)節(jié)。對(duì)于上述肺癌診斷的混合特征方法，已經(jīng)證明將人工特征與深度學(xué)習(xí)特征相結(jié)合可以進(jìn)一步提高肺結(jié)節(jié)識(shí)別的準(zhǔn)確性[15-18]，但人工特征的提取仍然存在與傳統(tǒng)方法相同的問(wèn)題。為了利用多屬性特征和多尺度特征，趙等人[19]提出了一種多流網(wǎng)絡(luò)的結(jié)核分類方法，并構(gòu)造了一種新的損失函數(shù)來(lái)克服不同屬性之間的不平衡。

雖然現(xiàn)有的深度學(xué)習(xí)方法在應(yīng)用科學(xué)方面取得了很大的進(jìn)步。由于肺癌數(shù)據(jù)集較小，設(shè)計(jì)一種能夠自動(dòng)提取豐富有用特征的新方法是非常重要的，并且該方法應(yīng)該能夠盡可能避免過(guò)擬合，從而保證方法的魯棒性。

為了應(yīng)對(duì)這些挑戰(zhàn)，該文提出一種基于DPN 多尺度決策層融合技術(shù)用于肺結(jié)節(jié)分類。使用3D 雙路徑網(wǎng)絡(luò)(DPN)作為主干網(wǎng)絡(luò)，它集合了殘差連接和密集連接的優(yōu)勢(shì)?；贒PN 的密集連接，提取了豐富的特征，避免了剩余連接的過(guò)擬合，主干網(wǎng)絡(luò)確保了模型的整體性能。為了提取更全面的肺結(jié)節(jié)圖像特征，使用多尺度作為輸入后，對(duì)多個(gè)尺度的決策層進(jìn)行融合，實(shí)驗(yàn)證明，改進(jìn)的網(wǎng)絡(luò)架構(gòu)對(duì)于提高結(jié)節(jié)分類性能是有效的。

1 方法

1.1 構(gòu)建多尺度結(jié)節(jié)塊

結(jié)節(jié)塊的選取對(duì)網(wǎng)絡(luò)性能有很大影響。如果輸入的肺結(jié)節(jié)過(guò)大，在模型訓(xùn)練過(guò)程中會(huì)引入很多冗余信息，比如肺泡等，導(dǎo)致學(xué)習(xí)不到相關(guān)的特征信息，對(duì)網(wǎng)絡(luò)性能有很大影響。相反，如果輸入的結(jié)節(jié)塊過(guò)小，網(wǎng)絡(luò)在訓(xùn)練時(shí)提取的特征信息會(huì)比較有限，不夠全面，會(huì)導(dǎo)致辨別能力不足。輸入單一尺度的結(jié)節(jié)塊很難滿足網(wǎng)絡(luò)性能需求。

因此，根據(jù)數(shù)據(jù)中結(jié)節(jié)塊的大小，選取多個(gè)尺度作為數(shù)據(jù)的輸入。結(jié)節(jié)直徑通常在3～30 mm 之間，針對(duì)結(jié)節(jié)直徑大小不同，設(shè)計(jì)了三種尺度來(lái)滿足不同的結(jié)節(jié)。針對(duì)結(jié)節(jié)大小設(shè)計(jì)的三種尺度，分別為16×16×8、32×32×16、48×48×24 的結(jié)節(jié)塊，由于CT 圖像的Z維分辨率比較低，設(shè)計(jì)了Z維比X、Y維小的輸入大小。

1.2 多尺度決策層融合模型

文中提出的多尺度決策層融合模型(Fusion-MDPN)如圖1 所示，模型使用DPN 作為主干網(wǎng)絡(luò)，每一尺度決策層使用四個(gè)DPB 塊，該模型一共分為四部分，第一部分（如圖1(1)部分）是DPN1(16×16×8)分類模型，對(duì)于較小結(jié)節(jié)塊可以提取更全面的圖像特征，第二部分（如圖1(2)部分）是DPN2(32×32×16)分類模型，對(duì)于中等結(jié)節(jié)，可以提取更具辨別性的特征；第三部分（如圖1(3)部分）是DPN3(48×48×24)，對(duì)較大結(jié)節(jié)的特征可以充分利用；第四部分（如圖1(4)部分）是決策層融合，以達(dá)到更準(zhǔn)確的分類結(jié)果。

圖1 中根據(jù)數(shù)據(jù)集的xml 文件裁剪出三種尺度的結(jié)節(jié)塊(16×16×8)、(32×32×16)、(48×48×24)，進(jìn)而對(duì)圖像進(jìn)行預(yù)處理，3D Conv 表示卷積和池化，APL 表示平均池化層，F(xiàn)C 表示全連接層，每層DPB 分別有3、4、20、3 個(gè)雙路徑塊。

1.3 決策層融合

決策層融合是基于DPN 網(wǎng)絡(luò)，將三個(gè)分類結(jié)果進(jìn)行融合。訓(xùn)練數(shù)據(jù)如下:

其中，Xj是第j個(gè)肺結(jié)節(jié)圖像塊的深度特征向量，Yj是第j個(gè)肺結(jié)節(jié)圖像塊的類標(biāo)簽，N是訓(xùn)練圖像的總數(shù)。深度特征圖經(jīng)過(guò)Softmax 分類之后，能獲得每個(gè)結(jié)節(jié)對(duì)應(yīng)不同尺度惡性和良性的預(yù)測(cè)概率值。

每個(gè)結(jié)節(jié)有三種尺度，其惡性、良性概率值分別為P1i、P0i，i∈{1,2,3}。惡性與良性概率值和為1。將a(a≥2)個(gè)P1i≥0，0.5或P1i＜0.5的概率平均值作為結(jié)節(jié)惡性最終預(yù)測(cè)概率值PFusion[1]，同理可得良性最終預(yù)測(cè)概率PFusion[0]。最終預(yù)測(cè)標(biāo)簽公式如式（1）所示：

式中，y＇是最終的預(yù)測(cè)標(biāo)簽，y＇=1 為惡性結(jié)節(jié)，y＇=0 為良性結(jié)節(jié)。決策融合流程如圖2 所示。

1.4 3D 雙路徑網(wǎng)絡(luò)(DPN)

雙路徑連接把殘差學(xué)習(xí)和密集連接的優(yōu)勢(shì)結(jié)合起來(lái)。殘差連接對(duì)解決梯度消失問(wèn)題是有效的，同時(shí)可以實(shí)現(xiàn)特征重用，密集連接更容易學(xué)習(xí)新特征，可以避免重新學(xué)習(xí)冗余特征圖，密集連接相對(duì)于殘差連接，其參數(shù)更少。3D 雙路徑塊結(jié)構(gòu)如圖3 所示，實(shí)現(xiàn)過(guò)程中，基于超參數(shù)d，輸入特征映射被分成兩部分。一部分F(x)[d:]用于殘差學(xué)習(xí)，另一部分F(x)[:d]用于密集連接。雙路連接可以表述如式（2）所示:

式中，x為雙路連接塊的輸入，F(xiàn)(x) 為卷積函數(shù)，R為ReLU 激活函數(shù)，y為輸出。

1.5 損失函數(shù)

在訓(xùn)練時(shí)，訓(xùn)練數(shù)據(jù)集合為Z={(Xi,Yi)}(i=1,2,…,N)，Xi是輸入，Yi是輸入標(biāo)簽，Yi,yi∈{0,1}，0 代表良性結(jié)節(jié)，1 代表惡性結(jié)節(jié)，用w表示訓(xùn)練參數(shù)，損失函數(shù)如式（3）所示：

式中，N表示樣本總數(shù)目，LC(P(Xi),y)=-lbpy(Xi)表示交叉熵?fù)p失，py(Xi)表示Softmax 層計(jì)算得到Xi屬于類別yi的估計(jì)概率值。

2 數(shù)據(jù)集與實(shí)驗(yàn)設(shè)置

2.1 數(shù)據(jù)集與預(yù)處理

1）數(shù)據(jù)集

該研究中使用的數(shù)據(jù)集是LIDC-IDRI 數(shù)據(jù)集，由1 010 名肺癌患者胸部CT 掃描以及標(biāo)記注釋病變組成。從結(jié)節(jié)收集報(bào)告中獲取結(jié)節(jié)及其注釋中心。由于圖像的分辨率不同，使用具有固定分辨率的樣條插值，沿所有三個(gè)軸的分辨率為0.5 mm/體素。每個(gè)結(jié)節(jié)片都是根據(jù)帶注釋的結(jié)節(jié)中心從重新采樣的CT 圖像中裁剪出來(lái)的。四位經(jīng)驗(yàn)豐富的胸科放射科醫(yī)生對(duì)每個(gè)結(jié)節(jié)的惡性懷疑度從1 到5，表明惡性懷疑度增加。取結(jié)節(jié)的平均分，大于等于3 為惡性，小于3 的記為良性。該文移除了ID 不明確的結(jié)節(jié)樣本。最終得到886 套CT 圖像和1 186 個(gè)結(jié)節(jié)，其中有650 個(gè)良性結(jié)節(jié)和536 個(gè)惡性結(jié)節(jié)。

2）數(shù)據(jù)增強(qiáng)

為了減少正負(fù)樣本的不平衡，對(duì)數(shù)據(jù)集進(jìn)行了數(shù)據(jù)擴(kuò)充。通過(guò)將圖像旋轉(zhuǎn)90°和180°來(lái)增加陽(yáng)性樣本。為了進(jìn)一步保持兩個(gè)類別之間的平衡，對(duì)大多數(shù)類陰性樣本進(jìn)行了向下抽樣。數(shù)據(jù)擴(kuò)充減少了正則化的需要。數(shù)據(jù)擴(kuò)充通過(guò)在數(shù)據(jù)集中創(chuàng)建變量來(lái)人為地?cái)U(kuò)展數(shù)據(jù)集，并可用于減少訓(xùn)練中的過(guò)擬合問(wèn)題。其中80%作為訓(xùn)練集，20%作為測(cè)試集。

2.2 實(shí)驗(yàn)細(xì)節(jié)

該實(shí)驗(yàn)的硬件環(huán)境是Intel(R)Xeon(R)Gold 5120 CPU 2.2 GHz 處理器，顯卡為NVIDATeslaP4，內(nèi)存容量128 G，使用語(yǔ)言為Python。使用小批量梯度下降法訓(xùn)練權(quán)值，將批量大小設(shè)為64，動(dòng)量設(shè)為0.9，學(xué)習(xí)速率初始化為0.1，每2 000 次迭代衰減5%，使用5 折交叉驗(yàn)證策略來(lái)評(píng)估該方法的性能。

2.3 網(wǎng)絡(luò)性能評(píng)價(jià)指標(biāo)

用準(zhǔn)確率、敏感性、特異性、AUC(Receiver Operating Characteristic curve 即ROC 曲線面積)作為評(píng)估模型分類性能好壞的指標(biāo)。其中TP 為真陽(yáng)數(shù)，F(xiàn)P 為假陽(yáng)數(shù)，TN 為真陰數(shù)，F(xiàn)N 為假陰數(shù)。評(píng)價(jià)指標(biāo)計(jì)算公式如下：

3 實(shí)驗(yàn)結(jié)果與分析

3.1 單獨(dú)模型分類性能

把各個(gè)分類模型單獨(dú)分類，使用Softmax 分類函數(shù)評(píng)估分類性能，如表1 所示。單路DPN1、單路DPN2、單路DPN3 和決策融合DPN 分類模型的精度分別為87.45%、88.62%、89.89%和92.58%。通過(guò)單獨(dú)分類模型的比較，可以看出決策融合DPN 網(wǎng)絡(luò)比其他分類模型性能要好，輸入48×48×24 的模型分類性能總體優(yōu)于32×32×16 的模型，因?yàn)榇蟪叨葓D像塊包括更多的結(jié)節(jié)信息，對(duì)結(jié)節(jié)的分類更有幫助，輸入尺度為32×32×16 的模型分類性能總體比輸入尺度為16×16×8 的要好一些，但對(duì)于一些較小的結(jié)節(jié)16×16×8 輸入要優(yōu)于其他模型?？梢钥闯鲈撐奶岢龅淖幽Ｐ涂梢宰鳛閱为?dú)的分類器。

表1 不同尺度分類方法性能比較

3.2 決策融合模型分類性能

決策融合模型(Fusion-MDPN)分類結(jié)果如表2所示，F(xiàn)usion-MDPN 的總體準(zhǔn)確率達(dá)到92.58%，實(shí)驗(yàn)結(jié)果表明決策融合方法可以提高分類性能。圖4 所示是各個(gè)分類模型DPN1(16×16×8)、DPN2(32×32×16)、DPN3（48×48×24）和決策融合模型Fusion-MDPN 的ROC 曲線，決策融合模型Fusion-MDPN 的曲線明顯高于單獨(dú)分類模型，并且AUC 值最大，證明了決策融合可以提升分類模型的整體性能。

3.3 與其他分類方法比較

該文方法和其他分類方法的性能對(duì)比如表2 所示?；诒容^結(jié)果，所提出的模型達(dá)到了最高的準(zhǔn)確率和AUC 評(píng)分。通過(guò)3D DPN 提取大量的深度特征，有效地實(shí)現(xiàn)了特征的重用，并且由于殘差連接和密集連接，可以盡可能多地捕捉到圖像的原始特征。

表2 與其他分類方法比較

4 結(jié)束語(yǔ)

根據(jù)肺結(jié)節(jié)本身特征，該文提出了一個(gè)基于DPN多尺度決策融合的肺結(jié)節(jié)分類方法來(lái)區(qū)分惡性和良性肺結(jié)節(jié)。該模型以多尺度作為輸入，3D DPN 作為主干網(wǎng)絡(luò)，能夠提取更豐富的特征信息，決策融合提升了模型的整體性能。該模型不需要手工提取特征，也不需要對(duì)結(jié)節(jié)圖像進(jìn)行分割，可以更高效地完成肺結(jié)節(jié)的良惡分類，可以給醫(yī)師提供較有力的輔助診斷。下一步研究工作將引入注意力機(jī)制，增加細(xì)粒度表示，通過(guò)進(jìn)一步優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)，提高分類性能。