基于卷積神經(jīng)網(wǎng)絡(luò)的肺結(jié)節(jié)分類(lèi)方法研究

彭 超，胡永祥

（湖南工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院，湖南 株洲 412007）

1 研究背景

目前，全球范圍內(nèi)，肺癌是發(fā)病率和死亡率最高的癌癥[1]。肺癌早期表現(xiàn)形式之一是直徑小于30 mm的肺結(jié)節(jié)。因此，肺結(jié)節(jié)良惡性分類(lèi)對(duì)于肺癌患者的治療影響較大[2]。肺結(jié)節(jié)主要通過(guò)計(jì)算機(jī)斷層掃描的方式進(jìn)行診斷?，F(xiàn)階段，肺部CT（computed tomography）主要由放射科醫(yī)生逐層閱讀，這種方法較依賴(lài)醫(yī)生的經(jīng)驗(yàn)，因此準(zhǔn)確率不穩(wěn)定。肺癌計(jì)算機(jī)輔助診斷系統(tǒng)能夠減少放射科醫(yī)生的閱片工作量，并提供精確的定量分析，降低閱片主觀性，減少人工閱片過(guò)程中的失誤，從而提高工作效率和對(duì)肺病診斷的正確率。

針對(duì)肺結(jié)節(jié)診斷的計(jì)算機(jī)輔助診斷系統(tǒng)主要包括兩大類(lèi)：一類(lèi)基于傳統(tǒng)圖像處理方法；另一類(lèi)基于深度學(xué)習(xí)。隨著CT 數(shù)據(jù)種類(lèi)的大量增加，傳統(tǒng)基于人工選取特征的分類(lèi)方法難以適應(yīng)大量而且復(fù)雜的樣本。同時(shí)，基于人工選取的特征提取往往只能提取初級(jí)特征，不能挖掘數(shù)據(jù)中有效的深層次信息，從而導(dǎo)致分類(lèi)的準(zhǔn)確率不高。深度學(xué)習(xí)作為機(jī)器學(xué)習(xí)的新領(lǐng)域，具有強(qiáng)大的自動(dòng)提取特征能力，在肺結(jié)節(jié)分類(lèi)問(wèn)題上得到了廣泛的應(yīng)用。H.C.Shin 等[3]通過(guò)訓(xùn)練多尺度卷積神經(jīng)網(wǎng)絡(luò)提高了肺結(jié)節(jié)分類(lèi)的準(zhǔn)確率。楊佳玲等[4]將VGG-16 與支持向量機(jī)（support vector machines，SVM）分類(lèi)器結(jié)合，其分類(lèi)準(zhǔn)確率達(dá)到87.2%。A.Nibali 等[5]利用結(jié)節(jié)3D CT 圖像與殘差網(wǎng)絡(luò)模型構(gòu)建3D-Resnet-18，此模型在融合3D 數(shù)據(jù)信息的同時(shí)，利用殘差網(wǎng)絡(luò)特有的特征生成方式解決結(jié)節(jié)分類(lèi)問(wèn)題，實(shí)驗(yàn)結(jié)果表明3D-Resnet-18 算法優(yōu)于同類(lèi)型其他算法。Ding J.等[6]采用二維Faster R-CNN結(jié)合三維CNN 方法檢測(cè)肺結(jié)節(jié)，F(xiàn)ROC 平均得分為0.893，超過(guò)了LUNA16 挑戰(zhàn)賽排行榜上的最佳成績(jī)（平均FROC 得分為0.864）。H.C.Shin 等[7]將遷移學(xué)習(xí)用于醫(yī)學(xué)圖像處理，解決了醫(yī)學(xué)數(shù)據(jù)標(biāo)簽不足的問(wèn)題。Yan X.J.等[8]通過(guò)比較2D 模型和3D 模型，得出3D 模型更適合處理肺結(jié)節(jié)分類(lèi)問(wèn)題。

以ResNet[9]為代表的卷積神經(jīng)網(wǎng)絡(luò)可以自動(dòng)提取更適合的圖像特征，減少模型的計(jì)算復(fù)雜度；ResNet 的變種DenseNet[10]所需參數(shù)量不到ResNet的一半，實(shí)現(xiàn)了資源的最大化利用和計(jì)算量的壓縮；雙路徑網(wǎng)絡(luò)[11]（dual path networks，DPN），是顏水成團(tuán)隊(duì)于2017 年提出的，融合了殘差網(wǎng)絡(luò)和密集連接網(wǎng)絡(luò)的一種新型卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，它在當(dāng)年ImageNet（ILSVRC2017）比賽中取得圖像定位任務(wù)的冠軍，在圖像分類(lèi)上得到了廣泛的應(yīng)用?？?chē)?guó)雨[12]將雙路徑網(wǎng)絡(luò)用于遙感影像分類(lèi)中，基于Inria Aerial Image Dataset 數(shù)據(jù)集進(jìn)行了DP-CNN 模型的探究實(shí)驗(yàn)，通過(guò)與常見(jiàn)語(yǔ)義分割模型的指標(biāo)對(duì)比，驗(yàn)證了DP-CNN 模型的簡(jiǎn)易性、快速性和穩(wěn)定性，尤其在訓(xùn)練輪數(shù)達(dá)到40 后，DPC-NN 模型的正確識(shí)別率便穩(wěn)定在98%左右。Zhu W.T.等[13]利用DPN 設(shè)計(jì)了一種肺結(jié)節(jié)自動(dòng)檢測(cè)分類(lèi)系統(tǒng)。Jiang H.L.等[14]通過(guò)DPN 網(wǎng)絡(luò)構(gòu)建空間注意力機(jī)制，并在LIDC-IDRI 數(shù)據(jù)集中進(jìn)行肺結(jié)節(jié)分類(lèi)測(cè)試。賈鋒等[15]在分類(lèi)器部分采用3D 雙路徑網(wǎng)絡(luò)，用于特征的匯總和收縮。

盡管上述經(jīng)典深度學(xué)習(xí)網(wǎng)絡(luò)分類(lèi)的精確度有所提高，但算法本身的計(jì)算復(fù)雜度較大，訓(xùn)練時(shí)間較長(zhǎng)，對(duì)硬件的依賴(lài)性較大。在圖像分類(lèi)模型中，VGG16模型結(jié)構(gòu)簡(jiǎn)單，較容易實(shí)現(xiàn)且分類(lèi)性能較好，但是VGG16 對(duì)圖片尺寸要求固定。DPN 雙路連接結(jié)合了殘差學(xué)習(xí)和密集連接的優(yōu)勢(shì)，既能從高緯度特征提取底層信息，提高模型的擬合能力，又能減少模型的參數(shù)數(shù)量，縮短模型的訓(xùn)練時(shí)間。

基于以上分析，為了開(kāi)發(fā)一種容易實(shí)現(xiàn)且肺結(jié)節(jié)分類(lèi)準(zhǔn)確率較高的深度學(xué)習(xí)算法，本文將VGG16 與DPN 結(jié)合，提出一種新算法多尺度3D DPU-VGG16（3D dual path blocks and u-shaped structure based on VGG16，3D DPU-VGG16）用于肺結(jié)節(jié)良惡性分類(lèi)。實(shí)驗(yàn)結(jié)果表明，3D DPU-VGG16 分類(lèi)準(zhǔn)確率高于同類(lèi)型算法的，為肺結(jié)節(jié)良惡性分類(lèi)提供了新思路。

2 算法設(shè)計(jì)

課題組提出的肺結(jié)節(jié)良惡性分類(lèi)算法流程如圖1所示，主要包含3 個(gè)部分：數(shù)據(jù)預(yù)處理、網(wǎng)絡(luò)設(shè)計(jì)、模型訓(xùn)練。首先，將Luna16 數(shù)據(jù)集中的數(shù)據(jù)轉(zhuǎn)化為圖像數(shù)據(jù)，經(jīng)過(guò)預(yù)處理后形成3D 圖像數(shù)據(jù)；接著，將數(shù)據(jù)集送入模型中提取特征，利用PCA（principal component analysis）對(duì)特征進(jìn)行降維；最后，利用SVM 進(jìn)行良惡性分類(lèi)。

圖1 肺結(jié)節(jié)良惡性分類(lèi)流程Fig.1 Classification process of benign and malignant lung nodules

2.1 雙路徑連接

雙路徑網(wǎng)絡(luò)是通過(guò)堆疊多個(gè)模塊化的微模塊創(chuàng)建的，在此網(wǎng)絡(luò)結(jié)構(gòu)中，每一個(gè)微模塊的結(jié)構(gòu)都是以瓶頸（bottleneck）的方式來(lái)設(shè)計(jì)，首先是1 個(gè)1×1的卷積層，然后連接1 個(gè)3×3 的卷積層，并且以1個(gè)1×1 的卷積層來(lái)結(jié)束。前一個(gè)1×1 卷積層的輸出被分成兩個(gè)部分：第一部分是以元素方式添加到殘差路徑，第二部分與密集型連接通路相連接。為了提高每一個(gè)微模塊的傾斜容量（leaning capacity），像ResNeXt 一樣，在第二層使用了組合卷積層（grouped convolution layer）。這樣的設(shè)計(jì)有助于減緩密集型連接通路的寬度增量和GPU 的內(nèi)存消耗。

雙路連接結(jié)合了殘差學(xué)習(xí)和密集連接的優(yōu)勢(shì)。殘差學(xué)習(xí)中的快捷連接是消除深度網(wǎng)絡(luò)中梯度消失現(xiàn)象的有效方法。從學(xué)習(xí)的特征共享角度來(lái)看，殘差學(xué)習(xí)可以實(shí)現(xiàn)特征重用，而密集連接則具有利用新功能的優(yōu)勢(shì)。此外，因?yàn)椴恍枰匦聦W(xué)習(xí)冗余特征圖，密集連接的網(wǎng)絡(luò)比殘差學(xué)習(xí)具有更少的參數(shù)。如圖2所示。

圖2 3D DPN 網(wǎng)絡(luò)框架Fig.2 Framework of 3D DPN network

在實(shí)現(xiàn)過(guò)程中，DPN 網(wǎng)絡(luò)中特征分為兩個(gè)部分：一部分特征用于殘差結(jié)構(gòu)，采用xk表示；一部分用于Dense 連接，采用yk表示。對(duì)于每個(gè)步驟，x 表示輸入；是指以隱藏狀態(tài)為輸入并輸出提取信息的特征提取函數(shù)；(x)為誤差；ht表示遞歸神經(jīng)網(wǎng)絡(luò)在第t 步的隱藏狀態(tài)，并使用k 作為當(dāng)前步驟的索引。雙路徑連接特征變化可以用公式（1）表示：

式中：xk為殘差網(wǎng)絡(luò)的數(shù)學(xué)表達(dá)式；

yk為密集連接網(wǎng)絡(luò)的數(shù)學(xué)表達(dá)式；d(k)為DPN 網(wǎng)絡(luò)的數(shù)學(xué)表達(dá)式；

gk為轉(zhuǎn)換函數(shù)，將收集到的信息恢復(fù)到當(dāng)前隱藏狀態(tài)；

v(x)為特征學(xué)習(xí)函數(shù)。

2.2 模型設(shè)計(jì)

雙路徑連接將殘差學(xué)習(xí)的特征重用和密集連接的新特征利用集成到一個(gè)統(tǒng)一的結(jié)構(gòu)中，該結(jié)構(gòu)在ImageNet 數(shù)據(jù)集上取得了成功。受雙路徑網(wǎng)絡(luò)在ImageNet 上成功的啟發(fā)，課題組設(shè)計(jì)了一個(gè)用于肺部CT 結(jié)節(jié)分類(lèi)的深度網(wǎng)絡(luò)。

如圖3 所示，本研究將雙路徑連接塊與VGG16結(jié)合，形成一個(gè)U 形結(jié)構(gòu)的深度網(wǎng)絡(luò)。首先，將尺寸為48×48×32 的肺結(jié)節(jié)圖片，通過(guò)雙線(xiàn)性插值法將圖片大小變?yōu)?24×224×32。使用2 層卷積層，卷積核的數(shù)量為64，大小為3×3×3 提取特征。接著，在第二個(gè)卷積層到最后一個(gè)卷積層之間加入DPN 網(wǎng)絡(luò)，在DPN 特征分配時(shí)，選擇殘差網(wǎng)絡(luò)作為主干，分給密集連接網(wǎng)絡(luò)較少數(shù)據(jù)，因?yàn)闅埐罹W(wǎng)絡(luò)比密集連接網(wǎng)絡(luò)更有用，并且減少密集連接網(wǎng)絡(luò)的輸入可以減緩密集連接網(wǎng)絡(luò)的參數(shù)成倍增長(zhǎng)而占用大量顯存。為了進(jìn)一步提高模型的擬合能力，減少模型參數(shù)的復(fù)雜度，在VGG16 的第3 個(gè)卷積層后又接了一個(gè)DPN網(wǎng)絡(luò)，并利用MaxPooling 減少特征圖的尺寸。

圖3 3D DPU-VGG16 網(wǎng)絡(luò)設(shè)計(jì)圖Fig.3 3D DPU-VGG16 network

原始VGG16 網(wǎng)絡(luò)由于全連接層的存在導(dǎo)致模型的輸入尺寸固定，對(duì)圖片進(jìn)行縮放會(huì)影響模型對(duì)圖像特征的提取，為此本文利用卷積層代替VGG16 中的全連接層，如圖4 所示，建立4 個(gè)卷積通道，大小為1×1 的卷積核用于減少模型的復(fù)雜度，大小為3×3、5×5 的卷積核用于提取不同尺度的特征。第1 個(gè)卷積通道由大小為1×1 和3×3 兩種卷積核組成；第2 個(gè)卷積通道由大小為1×1 和5×5 兩種卷積核組成；第3 個(gè)卷積通道由大小為1×1 的卷積核組成；第4 個(gè)卷積通道由MaxPooling 和1×1 的卷積核組成。利用PCA 對(duì)融合后的4 個(gè)通道的特征進(jìn)行降維。最后把得到的128 維特征送入SVM 分類(lèi)器中進(jìn)行分類(lèi)。

圖4 卷積通道圖Fig.4 Convolution channel diagram

3 實(shí)驗(yàn)與分析

本文使用的服務(wù)器操作系統(tǒng)為CentOS 7.3，GPU顯卡為NVIDIA GeForce GTX 1080，使用的深度學(xué)習(xí)框架為Keras 和Tensorflow。為了有效提取CT 數(shù)據(jù)中的3D 特征，提高分類(lèi)的準(zhǔn)確性，在預(yù)處理階段將Luna16 數(shù)據(jù)集中的CT 數(shù)據(jù)轉(zhuǎn)化為CT 圖片，經(jīng)去噪、增強(qiáng)、分割、肺結(jié)節(jié)提取等步驟后，得到肺部CT 圖像。從三通道CT 圖像裁剪的每個(gè)64×64 結(jié)節(jié)塊，以水平和豎直方向都為16 的步幅，采樣為4 個(gè)48×48 的塊。通過(guò)這種裁剪策略可以增加訓(xùn)練集的數(shù)量以防止過(guò)擬合，更加有效地學(xué)習(xí)結(jié)節(jié)的周?chē)卣?，同時(shí)對(duì)于每個(gè)結(jié)節(jié)塊不會(huì)增加過(guò)多的噪聲信息。課題組利用遷移學(xué)習(xí)的思想，把VGGNet 預(yù)訓(xùn)練模型的參數(shù)遷移到肺結(jié)節(jié)良惡性分類(lèi)的新模型中。對(duì)增強(qiáng)之后的數(shù)據(jù)進(jìn)行5 倍交叉驗(yàn)證來(lái)評(píng)估模型。數(shù)據(jù)被隨機(jī)分為5 個(gè)相同數(shù)量的子集，每個(gè)子集包含整個(gè)數(shù)據(jù)集的20%。在訓(xùn)練過(guò)程中4 個(gè)子集作為訓(xùn)練集，另外一個(gè)子集作為驗(yàn)證。原始學(xué)習(xí)率為0.001，每次更新后學(xué)習(xí)率衰減為0.000 1。還設(shè)置了dropout 層（rate=0.2），以防止模型過(guò)擬合。當(dāng)驗(yàn)證數(shù)據(jù)集上的損失在10 個(gè)epoch 之后沒(méi)有減少時(shí)，訓(xùn)練停止。

3.1 實(shí)驗(yàn)數(shù)據(jù)集處理

課題組采用的是Luna16 數(shù)據(jù)集，從官網(wǎng)下載全部Luna16 數(shù)據(jù)后，文件subset0.zip-subset9.zip 包含所有888 例CT 數(shù)據(jù)，annotations.csv 包含所有1 186個(gè)結(jié)節(jié)標(biāo)注信息（坐標(biāo)和直徑），candidates.csv 包含551 065 個(gè)候選結(jié)節(jié)信息（坐標(biāo)和類(lèi)別標(biāo)簽）。CT 數(shù)據(jù)以.mhd、.raw 格式存儲(chǔ)，因此要先轉(zhuǎn)化為圖像格式，本文使用png 格式。CT 圖像利用斷層掃描技術(shù)成像獲取的是患者肺部3 維數(shù)據(jù)，為了獲取更多的原始圖像信息，課題組利用3D CT 數(shù)據(jù)作為模型的輸入。

3.1.1 預(yù)處理

肺結(jié)節(jié)數(shù)據(jù)預(yù)處理步驟如下。

1）圖像去噪。設(shè)置窗寬窗位（-1 000，600）去除CT 圖像中的噪聲，例如骨頭的亮點(diǎn)、CT 床的金屬線(xiàn)等。生成肺結(jié)節(jié)圖像，讀取annotations.csv 文件中的坐標(biāo)和直徑，以坐標(biāo)為中心，直徑為長(zhǎng)，生成正方體區(qū)域，最后輸出為圖像文件。

2）對(duì)圖像進(jìn)行圖像增強(qiáng)和圖像分割操作后得到肺部圖像。

3）準(zhǔn)備肺結(jié)節(jié)良惡性分類(lèi)數(shù)據(jù)。以該坐標(biāo)為中心?。?2，32，32）大小區(qū)域圖像做為候選肺結(jié)節(jié)圖像，并根據(jù)標(biāo)簽值（0 或1）將圖像分為兩類(lèi)。

3.1.2 數(shù)據(jù)擴(kuò)充

通過(guò)對(duì)Luna16 數(shù)據(jù)集的初步處理后，得到的肺結(jié)節(jié)圖像有1 350 個(gè)，非肺結(jié)節(jié)圖像有549 714 個(gè)，正負(fù)樣本數(shù)量差別較大，為了平衡正負(fù)樣本，首先將1 351 例肺結(jié)節(jié)數(shù)據(jù)分成訓(xùn)練數(shù)據(jù)（80%）和測(cè)試數(shù)據(jù)（20%），然后對(duì)肺結(jié)節(jié)訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)進(jìn)行數(shù)據(jù)擴(kuò)充（肺結(jié)節(jié)訓(xùn)練數(shù)據(jù)有2 162 例，肺結(jié)節(jié)測(cè)試數(shù)據(jù)有540 例），對(duì)549 714 例非肺結(jié)節(jié)數(shù)據(jù)隨機(jī)采樣得到5 400 例后，再將其分成非肺結(jié)節(jié)訓(xùn)練數(shù)據(jù)（80%）和測(cè)試數(shù)據(jù)（20%）（非肺結(jié)節(jié)訓(xùn)練數(shù)據(jù)有4 320 例，非肺結(jié)節(jié)測(cè)試數(shù)據(jù)有1 080 例），最后將兩類(lèi)訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)分別進(jìn)行合并，得到最終的訓(xùn)練集和測(cè)試集。

3.2 評(píng)估標(biāo)準(zhǔn)

課題組用準(zhǔn)確率、敏感性、特異性、敏感性和特異性與坐標(biāo)軸圍成的封閉圖形的面積作為評(píng)估模型分類(lèi)性能好壞的指標(biāo)。TP、FP 定義為真陽(yáng)性和假陽(yáng)性，F(xiàn)N、TN 分別表示假陰性和真陰性。

準(zhǔn)確率（accuracy）Acc：模型對(duì)結(jié)節(jié)正確分類(lèi)的能力，

敏感性（sensitivity）SE：模型正確識(shí)別惡性結(jié)節(jié)的識(shí)別能力，

敏感性（specificity）SP：模型正確識(shí)別良性結(jié)節(jié)的識(shí)別能力，

AUC（area under the curve）：ROC（receiver operating characteristic curve）曲線(xiàn)面積，AUC 越大模型的分類(lèi)效果越好。

3.3 數(shù)據(jù)集大小對(duì)模型的影響

在深度學(xué)習(xí)任務(wù)中，訓(xùn)練樣本大小對(duì)模型至關(guān)重要。首先在不同大小的樣本數(shù)據(jù)上評(píng)估模型性能。將數(shù)據(jù)集進(jìn)行了不同倍數(shù)的擴(kuò)充：一倍數(shù)據(jù)集、兩倍數(shù)據(jù)集和3 倍數(shù)據(jù)集。原始數(shù)據(jù)集中惡性結(jié)節(jié)的數(shù)量為1 350。使用數(shù)據(jù)擴(kuò)充方法將惡性結(jié)節(jié)的數(shù)量分別擴(kuò)充到2 700 和4 050。

表1 數(shù)據(jù)集大小對(duì)模型性能的影響Table 1 Effects of the size of the data set on the performance of the model

從表1 可以看出，隨著正樣本數(shù)量的增加，模型的綜合性能提高。但是正樣本數(shù)量為2 700 個(gè)時(shí)，模型的性能幾乎和正樣本數(shù)量為4 050 的模型性能一樣好，造成這種現(xiàn)象的原因可能是訓(xùn)練數(shù)據(jù)的增加使得噪聲對(duì)模型的影響增加，同時(shí)數(shù)據(jù)量過(guò)大容易造成模型的過(guò)擬合。因此，提高模型性能不能單單增加數(shù)據(jù)量，還要考慮其他因素，比如模型的深度卷積層數(shù)量的選擇。由于計(jì)算機(jī)計(jì)算性能的限制，在這個(gè)本文中，使用2 700 個(gè)正樣本、5 400 個(gè)負(fù)樣本作為實(shí)驗(yàn)數(shù)據(jù)。

3.4 DPN 數(shù)量對(duì)模型的影響

圖像分類(lèi)的相關(guān)研究表明，網(wǎng)絡(luò)的深度越大，模型獲得的性能越強(qiáng)?；谏疃葘?duì)模型的重要性，進(jìn)行相應(yīng)的實(shí)驗(yàn)，探索DPN 與模型結(jié)節(jié)分類(lèi)表現(xiàn)之間的關(guān)系。在本文中，通過(guò)添加更多的DPN 來(lái)增加網(wǎng)絡(luò)深度。課題組設(shè)置3 組實(shí)驗(yàn)，使用2 700 個(gè)正樣本，5 400 個(gè)負(fù)樣本作為實(shí)驗(yàn)數(shù)據(jù)，卷積核全部采用3×3，在VGG16 網(wǎng)絡(luò)的基礎(chǔ)上分別增加1 個(gè)、2 個(gè)、3 個(gè)DPN，實(shí)驗(yàn)結(jié)果如表2 所示。表2 可以說(shuō)明，對(duì)于特定的圖像分類(lèi)任務(wù)，直接增加網(wǎng)絡(luò)深度只能在特定點(diǎn)獲得更好的性能，而不能一直改善。導(dǎo)致這一現(xiàn)象的原因是隨著DPN 數(shù)量的增多，ResNet 部分難以從高層信息挖掘底層特征，DenNet 提取更多的新特征，使得特征冗余，導(dǎo)致模型過(guò)擬合。

表2 DPN 數(shù)量對(duì)模型性能的影響Table 2 Effects of DPN quantity on model performance

3.5 多通道處理對(duì)模型的影響

傳統(tǒng)VGG16 只能輸入固定尺寸的圖片。圖像的擴(kuò)大或者縮小會(huì)造成原始像素信息的丟失，為了讓VGG16 能夠適應(yīng)不同尺寸的圖像，設(shè)置了4 通道卷積網(wǎng)路。為了驗(yàn)證本文提出的4 通道網(wǎng)絡(luò)的有效性。在LIDC- IDRI 數(shù)據(jù)集中隨機(jī)選取176 個(gè)病人的CT圖像中提取200 直徑在10 mm 以上的肺結(jié)節(jié)作為實(shí)驗(yàn)數(shù)據(jù)，并設(shè)置了一組對(duì)比實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果圖5 所示。

圖5 肺結(jié)節(jié)位置對(duì)診斷結(jié)果的影響Fig.5 Effects of the location of lung nodules on the diagnosis

通過(guò)圖5 所示實(shí)驗(yàn)結(jié)果可以看出，本文提出的3D DPU-VGG16 模型對(duì)于與肺部輪廓相鄰或者不相鄰的結(jié)節(jié)的診斷能力都高于ResNet 和DenseNet。同時(shí)還可以發(fā)現(xiàn)3D DPU-VGG16 對(duì)與肺部輪廓沒(méi)有連接關(guān)系的肺結(jié)節(jié)的診斷準(zhǔn)確率為0.90，對(duì)于與肺部輪廓相鄰的結(jié)節(jié)診斷能力只有0.80。從而說(shuō)明 3D DPU-VGG16 對(duì)相對(duì)獨(dú)立的結(jié)節(jié)診斷能力較好。

3.6 不同分類(lèi)器和輸出特征尺寸對(duì)模型的影響

大多數(shù)基于卷積神經(jīng)網(wǎng)絡(luò)的算法使用softmax 或Sigmoid 輸出分類(lèi)概率。在本節(jié)中，進(jìn)行相關(guān)實(shí)驗(yàn)以研究各種分類(lèi)器對(duì)最終分類(lèi)準(zhǔn)確性的影響。本文采用另外兩個(gè)分類(lèi)器支持向量機(jī)（SVM）和隨機(jī)森林（random forest，RF）進(jìn)行實(shí)驗(yàn)。對(duì)于SVM 分類(lèi)器，使用rbf 作為核函數(shù)。本文還評(píng)估了輸出特征尺寸對(duì)最終分類(lèi)性能的影響。最終的特征維數(shù)設(shè)置為32,64, 128, 256。詳細(xì)結(jié)果如表3 所示。使用SVM 分類(lèi)器的128 個(gè)輸出功能以89.2%的精度達(dá)到了最佳性能。這可能是因?yàn)镾VM 分類(lèi)器可以有效地對(duì)輸出特征進(jìn)行類(lèi)，并將特征隱式映射到高維特征空間。另外值得注意的是，不同輸出特征的尺寸可能對(duì)模型性能產(chǎn)生較大的影響。最終選擇SVM 作為分類(lèi)器，選擇輸出特征的維數(shù)為128 維。

表3 不同分類(lèi)器和特征輸出尺寸對(duì)模型的影響Table 3 Effects of different classifiers and feature output sizes on the model

3.7 肺結(jié)節(jié)大小對(duì)診斷結(jié)果的影響

為了研究本文提出的模型的魯棒性，課題組從LIDC-IDRI 數(shù)據(jù)集中隨機(jī)選取150 個(gè)病人的CT 圖像提取200 個(gè)肺結(jié)節(jié)作為獨(dú)立測(cè)試集，將這200 個(gè)肺結(jié)節(jié)數(shù)據(jù)根據(jù)直徑的大小分為如下5 類(lèi)：0～5 mm、＞5～8 mm、＞8～10 mm、＞10～20 mm、＞20～30 mm，并且將每個(gè)范圍內(nèi)的結(jié)節(jié)數(shù)據(jù)分別在本文提出的算法3D DPU-VGG16、ResNet18 和DenseNet 進(jìn)行測(cè)試。從圖6 可以看出，與ResNet18、DenseNet 相比，本文提出的3D DPU-VGG16 結(jié)節(jié)分類(lèi)能力有所提升，可以發(fā)現(xiàn)本算法對(duì)直徑為10 mm 以上的肺結(jié)節(jié)診斷效果好，體現(xiàn)了算法的有效性。模型對(duì)小結(jié)節(jié)的診斷AUC 只有0.79，表明本算法對(duì)小結(jié)節(jié)具有一定的診斷能力。

圖6 肺結(jié)節(jié)大小對(duì)模型診斷結(jié)果的影響Fig.6 Effects of the lung nodule size on model diagnosis results

3.8 與其他模型的比較

課題組在原有VGG16 基礎(chǔ)上增加了兩個(gè)DPN結(jié)構(gòu)，增加了模型的深度，有利于提高模型的擬合能力。另外，DPN 結(jié)構(gòu)結(jié)合了ResNet 和DenseNet 的優(yōu)點(diǎn)，ResNet 可以實(shí)現(xiàn)特征重用，能在一定程度上消除梯度彌散，提高模型的擬合能力。DenseNet 能夠從高層特征中提取底層特征，從而能夠提高模型的準(zhǔn)確度。

為了證明本文提出的算法的有效性，將本文提出的模型和一些經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行了對(duì)比。首先，利用3D 數(shù)據(jù)分別對(duì)VGG16 以及本文提出的DPU-VGG16 模型進(jìn)行訓(xùn)練，然后將3D 數(shù)據(jù)改為2D 數(shù)據(jù)，并對(duì)DPU-VGG16 模型進(jìn)行訓(xùn)練，選擇SVM 作為3 種模型的分類(lèi)器。最終得到3D DPUVGG16、DPU-VGG16、3D VGG16 的 ROC 曲線(xiàn)圖，如圖7 所示。

圖7 ROC 對(duì)比圖Fig.7 ROC comparison

表4 對(duì)這3 種模型的Acc, SE, SP, AUC 進(jìn)行了對(duì)比。從圖7 中可以看出，3D DPU-VGG16 的AUC 達(dá)到了90%，3D VGG16 的AUC 為0.80，DPU-VGG16的AUC 為0.68。這些數(shù)據(jù)表明本文提出的算法是有效的。DPU-VGG16 和3D DPU-VGG16 模型性能參數(shù)對(duì)比結(jié)果表明：相對(duì)于二維CT 數(shù)據(jù)，三維CT 數(shù)據(jù)包含更多的特征，更加適用于肺結(jié)節(jié)良惡性分類(lèi)的問(wèn)題。

表4 模型性能參數(shù)對(duì)比Table 4 Comparison of model performance parameters

4 結(jié)語(yǔ)

肺結(jié)節(jié)良惡性分類(lèi)由于其形狀，大小和位置的不同而具有挑戰(zhàn)性，課題組提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的結(jié)節(jié)良惡性分類(lèi)模型3D DPU-VGG16。實(shí)驗(yàn)結(jié)果證明了模型的有效性。在LUNA16 數(shù)據(jù)集上的對(duì)比實(shí)驗(yàn)表明，本文提出的模型可以獲得比同類(lèi)型算法更好的性能，證明了3D DPU-VGG16 的有效性。LIDC-IDRI 數(shù)據(jù)集中肺結(jié)節(jié)的直徑對(duì)診斷結(jié)果的影響表明，本文提出的算法對(duì)直徑較大的結(jié)節(jié)診斷效果更好，對(duì)較小的結(jié)節(jié)有一定的檢測(cè)能力，體現(xiàn)了3D DPU-VGG16 的有效性和普適性。因此如何提高小結(jié)節(jié)診斷的敏感性將是未來(lái)研究的重點(diǎn)方向。