基于改進(jìn)殘差結(jié)構(gòu)的肺結(jié)節(jié)檢測(cè)方法

石陸魁，馬紅祺，張朝宗，樊世燕

（1.河北工業(yè)大學(xué)人工智能與數(shù)據(jù)科學(xué)學(xué)院，天津 300401；2.河北省科學(xué)技術(shù)情報(bào)研究院，石家莊 050000）

（*通信作者電子郵箱shilukui@scse.hebut.edu.cn）

0 引言

近年來(lái)，肺癌患者的死亡率一直位居腫瘤患者發(fā)病率及死亡率的首位［1］。肺癌是由肺組織內(nèi)不可控的細(xì)胞不規(guī)則生長(zhǎng)所造成的疾病，這種不規(guī)則生長(zhǎng)所形成的肺組織通常被稱(chēng)為肺結(jié)節(jié)，是肺癌早期階段的征象，因此CT 圖像肺結(jié)節(jié)檢測(cè)對(duì)發(fā)現(xiàn)早期肺癌具有極其重要的價(jià)值。

傳統(tǒng)肺結(jié)節(jié)檢測(cè)方法中，候選結(jié)節(jié)特征提取的算法有很多，比較經(jīng)典的算法有閾值法［2-3］、區(qū)域增長(zhǎng)法［4-5］、形態(tài)學(xué)法［6-7］、聚類(lèi)法［8］等。在去除假陽(yáng)性方面，常用的方法有支持向量機(jī)［9］、K-近鄰［10］等。傳統(tǒng)肺結(jié)節(jié)檢測(cè)方法過(guò)程復(fù)雜，檢測(cè)結(jié)果依賴(lài)于每個(gè)環(huán)節(jié)的執(zhí)行質(zhì)量和執(zhí)行效率，肺結(jié)節(jié)的形狀、尺寸及紋理等特征均需人工提取，自動(dòng)化程度較低，如果選擇的肺結(jié)節(jié)特征不合適，就有可能遺漏部分結(jié)節(jié)信息，從而影響肺結(jié)節(jié)檢測(cè)結(jié)果。

近年來(lái)，卷積神經(jīng)網(wǎng)絡(luò)由于其提取圖像特征能力強(qiáng)、參數(shù)量小、訓(xùn)練時(shí)間短及泛化能力強(qiáng)等特點(diǎn)，被廣泛應(yīng)用于醫(yī)學(xué)影像診斷領(lǐng)域。相較于傳統(tǒng)方法，深度學(xué)習(xí)方法可以自動(dòng)提取數(shù)據(jù)的高級(jí)抽象特征，輸出的特征可以直接用于識(shí)別、分類(lèi)和檢測(cè)，自動(dòng)化程度高，也能達(dá)到較高的準(zhǔn)確率。在肺結(jié)節(jié)檢測(cè)方面，研究人員提出了多視角卷積神經(jīng)網(wǎng)絡(luò)［11］、多尺度卷積神經(jīng)網(wǎng)絡(luò)［12］、多輸入卷積神經(jīng)網(wǎng)絡(luò)［13］、3D 卷積神經(jīng)網(wǎng)絡(luò)（3D Convolutional Neural Network，3D CNN）［14-15］以及二維卷積神經(jīng)網(wǎng)絡(luò)（2D Convolutional Neural Network，2D CNN）與3D CNN結(jié)合的網(wǎng)絡(luò)結(jié)構(gòu)［16］等模型，這些研究都是利用卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)檢測(cè)肺結(jié)節(jié)的目的。在這些研究中，由于CT圖像本質(zhì)上是3D 的，2D 網(wǎng)絡(luò)會(huì)忽略肺結(jié)節(jié)的空間特征，影響肺結(jié)節(jié)檢測(cè)準(zhǔn)確率，3D CNN 可以考慮到CT圖像的三維特性，提取到肺結(jié)節(jié)的三維特征，更好地結(jié)合圖像的層間信息。但是卷積核尺寸限制網(wǎng)絡(luò)所能達(dá)到的最大感受野，更多專(zhuān)注于細(xì)節(jié)和局部特征，丟失了一定的全局信息，且3D網(wǎng)絡(luò)的參數(shù)很多，從而導(dǎo)致模型復(fù)雜度很大。除此之外，由于肺部CT 圖像數(shù)據(jù)量不足，正負(fù)樣本不平衡，網(wǎng)絡(luò)的過(guò)度復(fù)雜會(huì)導(dǎo)致模型過(guò)擬合現(xiàn)象嚴(yán)重，平均假陽(yáng)性率高，影響檢測(cè)結(jié)果。

為此，本文采用Faster R-CNN［17］，結(jié)合U-Net［18］的優(yōu)點(diǎn)，利用深度可分離卷積［19］設(shè)計(jì)了一個(gè)改進(jìn)殘差結(jié)構(gòu)3D Res-DSC（3D Residual Depth Separation Convolution），并將此運(yùn)用于肺結(jié)節(jié)檢測(cè)模型。該模型首先對(duì)肺部CT圖像進(jìn)行數(shù)據(jù)預(yù)處理，將肺實(shí)質(zhì)與肺間質(zhì)分割；然后把增強(qiáng)后的數(shù)據(jù)輸入到具有改進(jìn)殘差結(jié)構(gòu)和U-Net 結(jié)構(gòu)相結(jié)合的Faster R-CNN 模型中進(jìn)行訓(xùn)練，得到訓(xùn)練好的模型；最后通過(guò)十折交叉驗(yàn)證得出檢測(cè)結(jié)果，實(shí)現(xiàn)肺結(jié)節(jié)的精準(zhǔn)檢測(cè)。

1 基于3D Res-DSC的肺結(jié)節(jié)檢測(cè)模型

肺結(jié)節(jié)檢測(cè)模型主要分為四個(gè)步驟：首先對(duì)原始CT圖像進(jìn)行數(shù)據(jù)預(yù)處理，統(tǒng)一分辨率，去除噪聲、空洞等干擾因素；然后提取肺實(shí)質(zhì)，減小圖像的搜索空間；接下來(lái)使用基于改進(jìn)殘差結(jié)構(gòu)3D Res-DSC 的檢測(cè)模型提取肺結(jié)節(jié)特征，去除假陽(yáng)性結(jié)節(jié)的干擾；最終得到肺結(jié)節(jié)檢測(cè)結(jié)果。

1.1 數(shù)據(jù)來(lái)源

本文采用LUNA16 競(jìng)賽數(shù)據(jù)集。LUNA16［20］是公開(kāi)可用的肺結(jié)節(jié)數(shù)據(jù)集LIDC-LDRI［21］的子集，LIDC-LDRI 幾乎包含了所有低劑量肺動(dòng)脈CT的相關(guān)信息，包括多位醫(yī)生對(duì)結(jié)節(jié)大小、位置、診斷結(jié)果、結(jié)節(jié)紋理、結(jié)節(jié)邊緣等信息的標(biāo)注。而LUNA16是從LIDC-LDRI中刪除了層厚大于3 mm 的CT、層間距不一致或者缺失的層，只保留檢測(cè)標(biāo)注，共計(jì)888 例低劑量肺部CT 圖像，其中共有1 186 個(gè)結(jié)節(jié)標(biāo)簽。LUNA16 將這888例CT 圖像顯式地分為0～9 共10 個(gè)子集，方便進(jìn)行十折交叉驗(yàn)證。

1.2 數(shù)據(jù)預(yù)處理和肺實(shí)質(zhì)分割

為了減小肺結(jié)節(jié)的檢測(cè)范圍，減少運(yùn)算量并便于后續(xù)提取肺結(jié)節(jié)特征，需要對(duì)計(jì)算機(jī)斷層掃描所得到的原始肺部CT圖像進(jìn)行預(yù)處理操作，以實(shí)現(xiàn)肺實(shí)質(zhì)分割。預(yù)處理主要分為五步：

1）加載原始CT 數(shù)據(jù)和數(shù)據(jù)掩碼，對(duì)數(shù)據(jù)掩碼非零部分進(jìn)行重采樣，將分辨率統(tǒng)一。

2）在肺部CT 圖像處理中，由于肺的灰度值HU（Hounsfield Unit，亨氏單位）值在-500 左右，因此將HU 值在[-1200，600]內(nèi)的區(qū)域保留（從空氣到骨骼），超出此范圍的區(qū)域可以認(rèn)定為與肺部疾病無(wú)關(guān)，因此為了便于歸一化，將原始數(shù)據(jù)范圍外的數(shù)據(jù)置為-1200 HU 或600 HU，保證數(shù)據(jù)范圍在[-1200，600]HU，再將數(shù)據(jù)歸一化至[0，255]。

3）對(duì)掩碼進(jìn)行膨脹操作，去除肺內(nèi)的小空洞。

4）將重采樣后的數(shù)據(jù)轉(zhuǎn)化為體素坐標(biāo)，對(duì)其應(yīng)用新的分辨率。

5）刪除背景區(qū)域，分割出肺實(shí)質(zhì)，將預(yù)處理后的數(shù)據(jù)和標(biāo)簽用數(shù)據(jù)特定格式.npy 的格式存儲(chǔ)，完成數(shù)據(jù)預(yù)處理部分。

1.3 3D Res-DSC結(jié)構(gòu)

1.3.1 模型總體架構(gòu)

在自然圖像檢測(cè)領(lǐng)域，多數(shù)研究采用現(xiàn)有的網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行訓(xùn)練，而醫(yī)學(xué)圖像檢測(cè)與自然圖像檢測(cè)的差別較大。自然圖像檢測(cè)的類(lèi)別非常多，它的目標(biāo)是用更深的網(wǎng)絡(luò)提高目標(biāo)的特征表示能力；醫(yī)學(xué)圖像的目標(biāo)檢測(cè)，是針對(duì)一個(gè)特定的類(lèi)別，更多的是一些細(xì)粒度類(lèi)別的東西以及更多網(wǎng)絡(luò)結(jié)構(gòu)的技巧，所以醫(yī)學(xué)圖像的檢測(cè)網(wǎng)絡(luò)不能太深，因此需要重新搭建一個(gè)適用于肺結(jié)節(jié)檢測(cè)的網(wǎng)絡(luò)模型。

為了使卷積神經(jīng)網(wǎng)絡(luò)適應(yīng)肺結(jié)節(jié)檢測(cè)任務(wù)，本文的改進(jìn)主要從兩個(gè)方面著手：首先由于Faster R-CNN 在解決復(fù)雜的計(jì)算機(jī)視覺(jué)問(wèn)題上取得了很好的效果，并被廣泛應(yīng)用在許多領(lǐng)域［22-23］，因此本文采用Faster R-CNN 作為基礎(chǔ)檢測(cè)網(wǎng)絡(luò)。將預(yù)處理后得到的肺實(shí)質(zhì)圖像輸入到改進(jìn)U-Net結(jié)構(gòu)（U-Net-Like）作為特征提取主框架，然后將提取結(jié)果送入RPN 等后端檢測(cè)網(wǎng)絡(luò)執(zhí)行目標(biāo)檢測(cè)，從而得出肺結(jié)節(jié)檢測(cè)結(jié)果。采用基于3D Res-DSC的肺結(jié)節(jié)檢測(cè)模型如圖1所示。

圖1 基于3D Res-DSC的肺結(jié)節(jié)檢測(cè)模型Fig.1 Pulmonary nodule detection model based on 3D Res-DSC

在基于3D Res-DSC 結(jié)構(gòu)的肺結(jié)節(jié)檢測(cè)模型中，特征提取網(wǎng)絡(luò)參照U-Net結(jié)構(gòu)加以改進(jìn)，形成本文采用的U-Net-Like結(jié)構(gòu)，如圖2 所示。U-Net-Like 結(jié)構(gòu)包括4 個(gè)卷積層、2 個(gè)反卷積層、4 個(gè)池化層和6 個(gè)3D Res-DSC 結(jié)構(gòu)。由于GPU 內(nèi)存限制，將整張CT圖像輸入到網(wǎng)絡(luò)不太現(xiàn)實(shí)，因此需要對(duì)圖像進(jìn)行切割。首先將預(yù)處理后的CT圖像隨機(jī)地分割出96 ×96 ×96的結(jié)節(jié)和非結(jié)節(jié)立方體數(shù)據(jù)輸入到網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，網(wǎng)絡(luò)的第一層和第二層卷積層的卷積核尺寸是3×3×3，步幅為1；接下來(lái)是四層步幅為2 的最大池化層和3D Res-DSC 層，將特征圖降維至6 ×6 ×6；然后再經(jīng)過(guò)兩層反卷積和3D Res-DSC 操作，將特征圖升維至24 ×24 ×24；最后經(jīng)過(guò)兩層3×3×3 的卷積層，輸出特征圖大小為24 ×24 ×24。將輸出特征圖輸入到RPN 網(wǎng)絡(luò)中進(jìn)行后續(xù)目標(biāo)檢測(cè)的訓(xùn)練。訓(xùn)練過(guò)程同時(shí)檢測(cè)出候選結(jié)節(jié)，并判定該候選結(jié)節(jié)是否為真實(shí)結(jié)節(jié)。測(cè)試過(guò)程是將訓(xùn)練后的模型應(yīng)用到測(cè)試集做測(cè)試，得出預(yù)測(cè)肺結(jié)節(jié)的坐標(biāo)及概率，與真實(shí)肺結(jié)節(jié)標(biāo)簽做對(duì)比，得出測(cè)試結(jié)果。

圖2 基于3D Res-DSC的U-Net-Like結(jié)構(gòu)Fig.2 Structure of U-Net-Like based on 3D Res-DSC

1.3.2 改進(jìn)的殘差結(jié)構(gòu)

ResNet 是一種常見(jiàn)的CNN 結(jié)構(gòu)模型。它的主要思想是在網(wǎng)絡(luò)中增加了直連通道，以保留之前網(wǎng)絡(luò)層的一定比例的輸出，實(shí)現(xiàn)特征重用，是消除深層網(wǎng)絡(luò)中梯度消失現(xiàn)象的一種有效方法［24］。因此基于殘差結(jié)構(gòu)思想，本文提出一種改進(jìn)的殘差結(jié)構(gòu)3D Res-DSC，該結(jié)構(gòu)保留原有基礎(chǔ)殘差結(jié)構(gòu)的直連通道，使用矩形卷積核、深度可分離卷積以及預(yù)激活模塊，利用這三者的優(yōu)勢(shì)，提高肺結(jié)節(jié)檢測(cè)模型的檢出率，降低模型的計(jì)算量和復(fù)雜度。改進(jìn)的殘差結(jié)構(gòu)示意圖如圖3所示。

圖3 基礎(chǔ)殘差結(jié)構(gòu)與3D Res-DSC結(jié)構(gòu)示意圖Fig.3 Schematic diagrams of basic residual block structure and 3D Res-DSC structure

首先，本文用3×5大小的矩形卷積核替換基礎(chǔ)殘差結(jié)構(gòu)中的3×3 卷積核，相比原有的殘差結(jié)構(gòu)，矩形卷積核可以獲得更大的感受野，關(guān)注肺結(jié)節(jié)全局特征，并捕獲更多的空間上下文。

其次，矩形卷積核會(huì)導(dǎo)致模型的計(jì)算量和復(fù)雜度有所增加，這可以通過(guò)采用深度可分離卷積操作來(lái)簡(jiǎn)化網(wǎng)絡(luò)結(jié)構(gòu)，控制模型的計(jì)算量和復(fù)雜度。深度可分離卷積將標(biāo)準(zhǔn)卷積分解為深度卷積和逐點(diǎn)卷積：深度卷積就是在普通卷積的基礎(chǔ)上，將卷積按照通道數(shù)進(jìn)行分組后分別進(jìn)行卷積；然后使用逐點(diǎn)卷積，即1×1大小的卷積核，保證特征圖大小不變，單獨(dú)對(duì)通道數(shù)進(jìn)行卷積，從而實(shí)現(xiàn)卷積操作區(qū)域和通道相分離，原理圖如圖4 所示。深度可分離卷積可以在確保肺結(jié)節(jié)檢測(cè)的準(zhǔn)確率情況下降低模型的計(jì)算量和復(fù)雜度，使肺結(jié)節(jié)檢測(cè)模型符合輕量級(jí)發(fā)展的要求。

圖4 深度可分離卷積操作原理圖Fig.4 Operation schematic diagram of deep separable convolution

最后，將基礎(chǔ)殘差結(jié)構(gòu)中的后激活改為預(yù)激活，預(yù)激活模塊包含BN（Batch Normalization）和ReLU（Rectified Linear Unit）。原始的殘差單元盡管已經(jīng)對(duì)信號(hào)進(jìn)行了標(biāo)準(zhǔn)化，但是這個(gè)信號(hào)很快被合并到了快捷連接上，組合的信號(hào)并不是被標(biāo)準(zhǔn)化的，這個(gè)非標(biāo)準(zhǔn)化的信號(hào)又被用作下一個(gè)卷積層的輸入。這就導(dǎo)致提取到的肺結(jié)節(jié)特征的復(fù)雜化，從而導(dǎo)致過(guò)擬合嚴(yán)重。因此，在基礎(chǔ)殘差結(jié)構(gòu)的基礎(chǔ)上，將BN 算法處理后的肺結(jié)節(jié)數(shù)據(jù)通過(guò)ReLU 激活函數(shù)進(jìn)行激活，添加到每個(gè)卷積操作之前，保證所有卷積層的輸入都是經(jīng)過(guò)標(biāo)準(zhǔn)化和激活操作。ReLU 激活操作不僅可以增加兩個(gè)卷積層間的非線(xiàn)性關(guān)系，也可以在保證網(wǎng)絡(luò)稀疏性的同時(shí)減少參數(shù)間的相互依存關(guān)系。BN 算法可以起到正則化的作用，改善特征復(fù)雜性。因此，在預(yù)激活模塊的作用下，肺結(jié)節(jié)的特征信息可以在整個(gè)網(wǎng)絡(luò)里自由地前向傳播和后向傳播。

1.3.3 損失函數(shù)

本文模型所使用的損失函數(shù)由兩部分組成：分類(lèi)損失（Lcls）和回歸損失（Lreg）。分類(lèi)損失Lcls是交叉熵函數(shù)，定義如下：

其中：

式中：n為批量大小，wn為權(quán)重，yn為anchor box的真值標(biāo)簽，為預(yù)測(cè)概率。而回歸損失為：

其中：ti是一個(gè)向量，表示預(yù)測(cè)的結(jié)節(jié)框的4 個(gè)參數(shù)化坐標(biāo)；是與positive anchor對(duì)應(yīng)的真實(shí)結(jié)節(jié)框的坐標(biāo)向量。H使用平滑L1損失函數(shù)：

其中：σ=3，。

2 實(shí)驗(yàn)與結(jié)果分析

2.1 網(wǎng)絡(luò)評(píng)估指標(biāo)

實(shí)驗(yàn)中采用靈敏度（Sensitivity，Sen）、無(wú)限制接收者操作特征曲線(xiàn)下面積（Free-response area under the Receiver Operating Characteristic curve，F(xiàn)ROC）得分、平均假陽(yáng)性個(gè)數(shù)（average number of False Positives，F(xiàn)P）以及平均假陽(yáng)性個(gè)數(shù)下的平均召回率（Challenge Performance Metric，CPM）指標(biāo)來(lái)評(píng)估肺結(jié)節(jié)檢測(cè)算法的性能。靈敏度公式如下：

式中：Sen為靈敏度，TP為所有被正確檢出的結(jié)節(jié)的個(gè)數(shù)，F(xiàn)N為非肺結(jié)節(jié)被分為肺結(jié)節(jié)的個(gè)數(shù)，TP+FN為所有被檢出結(jié)節(jié)的個(gè)數(shù)。FROC 得分代表了檢測(cè)召回率和可容忍假陽(yáng)性個(gè)數(shù)的綜合指標(biāo)，F(xiàn)ROC 得分越高，模型的性能越好。FP指檢測(cè)結(jié)果中出現(xiàn)的假陽(yáng)性結(jié)節(jié)的數(shù)量，該值越小說(shuō)明模型生成的平均假陽(yáng)性數(shù)越少，模型性能越好。此外，取FROC 曲線(xiàn)上橫軸為1/8，1/4，1/2，1，2，4，8FP/s（False Positives per scan）的點(diǎn)的平均召回率作為評(píng)價(jià)指標(biāo)CPM，CPM指標(biāo)公式如下：

式中：Rc（i）為容忍CT 圖像中平均出現(xiàn)i個(gè)假陽(yáng)性肺結(jié)節(jié)時(shí)肺結(jié)節(jié)的召回率。

2.2 實(shí)驗(yàn)設(shè)置

現(xiàn)使用LUNA16 數(shù)據(jù)集的十組數(shù)據(jù)集，取其中九組病例作為訓(xùn)練集，剩余一組病例作為測(cè)試集，對(duì)提出的檢測(cè)模型進(jìn)行十折交叉驗(yàn)證。在訓(xùn)練中，針對(duì)每折驗(yàn)證，通過(guò)隨機(jī)翻轉(zhuǎn)圖像、按比例裁剪圖像方法對(duì)數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)，以緩解正負(fù)樣本不均衡的問(wèn)題。對(duì)于每個(gè)模型，總共訓(xùn)練200 個(gè)批次。此外，使用隨機(jī)梯度下降優(yōu)化器對(duì)模型進(jìn)行優(yōu)化，其中隨機(jī)梯度下降的動(dòng)量為0.9，權(quán)重衰減系數(shù)設(shè)為0.000 1。批處理大小參數(shù)受到GPU 存儲(chǔ)器的限制設(shè)置為8。采用學(xué)習(xí)率衰減策略，初始學(xué)習(xí)率設(shè)為0.01，當(dāng)運(yùn)行到67 批次變?yōu)?.001，134批次之后為0.000 5，160 批次之后為0.000 1。實(shí)驗(yàn)比較了優(yōu)化器、矩形卷積核、深度可分離卷積、預(yù)激活操作激活函數(shù)及結(jié)果的影響，并驗(yàn)證了所提出的3D Res-DSC結(jié)構(gòu)有效性。

本文實(shí)驗(yàn)使用的操作系統(tǒng)環(huán)境為Ubuntu16.04 系統(tǒng)，GPU 顯卡為NVIDIA GeForce GTX 1080Ti，所有實(shí)驗(yàn)都是基于Python 的Pytorch深度學(xué)習(xí)庫(kù)來(lái)實(shí)現(xiàn)。

2.3 實(shí)驗(yàn)結(jié)果及分析

2.3.1 優(yōu)化器對(duì)模型的影響

針對(duì)Faster R-CNN 模型中優(yōu)化函數(shù)選擇的問(wèn)題，比較了隨機(jī)梯度下降（SGD）、Adam、AdaGrad、AdaDelta四種優(yōu)化函數(shù)的實(shí)驗(yàn)效果。在其他參數(shù)設(shè)置相同的情況下，采用SGD、Adam、AdaGrad、AdaDelta 四種優(yōu)化器函數(shù)在部分?jǐn)?shù)據(jù)集上分別進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表1所示。

從表1 可以看出，在靈敏度性能上，前三者的性能相同，略低于AdaDelta；在FROC 性能方面SGD 和Adam 算法不相上下；SGD優(yōu)化器函數(shù)能達(dá)到最好的FP值和CPM指標(biāo)。綜合四種參數(shù)的實(shí)驗(yàn)結(jié)果，在后邊的實(shí)驗(yàn)中采用SGD優(yōu)化器函數(shù)。

表1 優(yōu)化器函數(shù)對(duì)模型的影響Tab.1 Influence of optimizer function on model

2.3.2 矩形卷積核對(duì)檢測(cè)結(jié)果的影響

為了比較基礎(chǔ)殘差結(jié)構(gòu)中的卷積核大小對(duì)實(shí)驗(yàn)結(jié)果產(chǎn)生的影響，分別使用3×3 卷積核、3×5 矩形卷積核進(jìn)行實(shí)驗(yàn)。圖5是十折交叉驗(yàn)證下每折數(shù)據(jù)的實(shí)驗(yàn)結(jié)果，表2是十折交叉驗(yàn)證的綜合結(jié)果。

表2 不同尺寸卷積核條件下的綜合指標(biāo)結(jié)果Tab.2 Results of comprehensive indexes under convolution kernels of different sizes

從圖5 十折交叉驗(yàn)證的獨(dú)立結(jié)果來(lái)看，矩形卷積核的靈敏度共有8 折數(shù)據(jù)結(jié)果高于正方形卷積核，F(xiàn)P平均假陽(yáng)性個(gè)數(shù)有6 折數(shù)據(jù)少于正方形卷積核，而FROC 得分和CPM 指標(biāo)與正方形卷積核相比呈現(xiàn)持平狀態(tài)。綜合來(lái)看，使用矩形卷積核提高了肺結(jié)節(jié)檢測(cè)精度，降低了平均假陽(yáng)性個(gè)數(shù)。由表2 十折交叉驗(yàn)證的總體結(jié)果可知，使用矩形卷積核能達(dá)到較高的靈敏度和較低的假陽(yáng)性率，F(xiàn)ROC 得分和CPM 指標(biāo)保持在較平穩(wěn)的水平。實(shí)驗(yàn)結(jié)果表明，適當(dāng)?shù)卦黾泳矸e核大小，可以增大卷積操作的感受野，更廣泛地提取肺結(jié)節(jié)特征，提高檢測(cè)效果。

圖5 十折交叉驗(yàn)證下，不同卷積核條件下的靈敏度、FROC得分、FP值以及CPM指標(biāo)比較Fig.5 Comparison of sensitivity，F(xiàn)ROC score，F(xiàn)P value and CPM index under different convolution kernel conditions under 10-fold cross-validation

2.3.3 深度可分離卷積對(duì)檢測(cè)結(jié)果的影響

采用矩形卷積核在提高精度的同時(shí)，也增加了網(wǎng)絡(luò)的復(fù)雜度，這可以利用深度可分離卷積操作來(lái)解決。為了測(cè)試深度可分離卷積操作的效果，選取部分?jǐn)?shù)據(jù)進(jìn)行測(cè)試，實(shí)驗(yàn)（A）表示在基礎(chǔ)殘差結(jié)構(gòu)上的結(jié)果，實(shí)驗(yàn)（B）表示在基礎(chǔ)殘差結(jié)構(gòu)的結(jié)構(gòu)上使用矩形卷積核的結(jié)果，實(shí)驗(yàn)（C）表示在基礎(chǔ)殘差結(jié)構(gòu)上使用深度可分離卷積的結(jié)果，實(shí)驗(yàn)（D）表示使用矩形卷積核、深度可分離卷積和預(yù)激活操作的改進(jìn)殘差結(jié)構(gòu)的結(jié)果，實(shí)驗(yàn)結(jié)果表3 所示。其中用RCK（Rectangular Convolution Kernel）表示矩形卷積核操作，DSC（Depth Separable Convolution）代表深度可分離卷積操作，PAO（PreActivation Operation）表示預(yù)激活操作。

由表3 可以看出，在部分測(cè)試集上，當(dāng)基礎(chǔ)殘差結(jié)構(gòu)增加深度可分離卷積操作后，靈敏度稍有下降，但是FROC 得分、CPM 指標(biāo)提高了近5 個(gè)百分點(diǎn)。而在計(jì)算量和復(fù)雜度方面，當(dāng)單獨(dú)使用深度可分離卷積操作時(shí)，生成模型大小約為基礎(chǔ)殘差結(jié)構(gòu)的1/13。而單獨(dú)使用矩形卷積核操作時(shí)，生成的網(wǎng)絡(luò)模型大小相比基礎(chǔ)殘差結(jié)構(gòu)增加了近3/5。通過(guò)結(jié)合矩形卷積核、深度可分離卷積和預(yù)激活操作，3D Res-DSC 模型不但提高檢測(cè)效果，且生成模型的規(guī)模大幅度降低。結(jié)果表明：相比基礎(chǔ)殘差結(jié)構(gòu)，使用深度可分離卷積操作，可以保證肺結(jié)節(jié)檢測(cè)的精度的同時(shí)，模型計(jì)算量和復(fù)雜度大幅度降低。

表3 深度可分離卷積在部分測(cè)試集上的性能測(cè)試結(jié)果以及模型大小Tab.3 Performance test results and model sizes of deep separable convolutions on some test sets

2.3.4 預(yù)激活對(duì)檢測(cè)結(jié)果的影響

預(yù)激活的作用主要是改善模型的正則化，減少模型的過(guò)擬合。為了驗(yàn)證預(yù)激活操作對(duì)模型的有效性，選取部分?jǐn)?shù)據(jù)進(jìn)行測(cè)試。實(shí)驗(yàn)（A）表示在基礎(chǔ)殘差結(jié)構(gòu)上的結(jié)果，實(shí)驗(yàn)（B）表示在基礎(chǔ)殘差結(jié)構(gòu)的基礎(chǔ)上增加預(yù)激活操作的結(jié)果，實(shí)驗(yàn)（C）表示在預(yù)激活的基礎(chǔ)上使用矩形卷積核的結(jié)果，結(jié)果如表4 所示。從表4中可以看出，當(dāng)使用預(yù)激活操作時(shí)，靈敏度保持平穩(wěn)的同時(shí)，F(xiàn)ROC 得分增加近一個(gè)百分點(diǎn)；在此基礎(chǔ)上再增加矩形卷積核，進(jìn)一步提高了靈敏度和FROC。結(jié)果表明通過(guò)增加預(yù)激活操作可以提高模型的檢測(cè)效果。

表4 采用預(yù)激活操作在部分測(cè)試集上的性能測(cè)試結(jié)果Tab.4 Performance test results on some test sets using pre-activation operation

2.3.5 3D Res-DSC結(jié)構(gòu)實(shí)驗(yàn)結(jié)果

為了驗(yàn)證3D Res-DSC 結(jié)構(gòu)的有效性，在888 例病例中的1 186 個(gè)結(jié)節(jié)上進(jìn)行十折交叉驗(yàn)證，實(shí)驗(yàn)結(jié)果如圖6、7 和表5所示。

在圖6中，F(xiàn)ROC 曲線(xiàn)橫軸代表平均在每個(gè)CT 圖像中可容忍檢測(cè)出的假陽(yáng)性肺結(jié)節(jié)（False Positives per scan，F(xiàn)P/s），縱軸代表檢測(cè)正確肺結(jié)節(jié)占所有肺結(jié)節(jié)的比率，即召回率。FROC 曲線(xiàn)得分越高，模型的性能越好。由曲線(xiàn)可以看出，在檢出率和假陽(yáng)性方面，3D Res-DSC 結(jié)構(gòu)優(yōu)于基礎(chǔ)殘差結(jié)構(gòu)。數(shù)據(jù)顯示，基礎(chǔ)殘差結(jié)構(gòu)模型的平均假陽(yáng)性個(gè)數(shù)為64，而3D Res-DSC 結(jié)構(gòu)模型的平均假陽(yáng)性個(gè)數(shù)降低到51，在提高了檢出率的同時(shí)降低了假陽(yáng)性率。

圖6 3D Res-DSC和基礎(chǔ)殘差塊在反映靈敏度與平均假陽(yáng)性個(gè)數(shù)關(guān)系的FROC曲線(xiàn)Fig.6 FROC curves of 3D Res-DSC and basic residual block on reflecting relationship between sensitivity and average number of false positives

由表5可以看出，相比基礎(chǔ)殘差結(jié)構(gòu)模型，3D Res-DSC 改進(jìn)殘差結(jié)構(gòu)模型將靈敏度提高了3.8個(gè)百分點(diǎn)，F(xiàn)ROC 得分提高了3.43個(gè)百分點(diǎn)，CPM指標(biāo)也提高了近4個(gè)百分點(diǎn)。

表5 基礎(chǔ)殘差塊與3D Res-DSC的綜合性能指標(biāo)對(duì)比Tab.5 Comparison of comprehensive performance indexes of basic residual block and 3D Res-DSC structure

由圖7可以看出，對(duì)每折數(shù)據(jù)，3D Res-DSC 結(jié)構(gòu)都提高了靈敏度和FROC得分。

圖7 基礎(chǔ)殘差塊與3D Res-DSC的靈敏度、FROC得分、FP值及CPM指標(biāo)比較Fig.7 Comparison of sensitivity，F(xiàn)ROC score，F(xiàn)P value and CPM index of basic residual block and 3D Res-DSC

為了直觀(guān)地展示基于3D Res-DSC 結(jié)構(gòu)的肺結(jié)節(jié)檢測(cè)模型的效果，需要檢測(cè)出肺結(jié)節(jié)的可疑區(qū)域以后，將其在原始CT 圖像上顯示出來(lái)，具體做法為找出肺結(jié)節(jié)對(duì)應(yīng)的切片，并圈出結(jié)節(jié)。首先，讀取原始CT 圖像的信息，里面包含CT 圖像的全部信息。根據(jù)原始圖像標(biāo)簽信息，框出該CT圖像切片中肺結(jié)節(jié)的位置所在。其次，根據(jù)模型生成的檢測(cè)結(jié)果，圈出檢測(cè)后各個(gè)切片的肺結(jié)節(jié)所在位置。需要強(qiáng)調(diào)的是，由于檢測(cè)結(jié)果中存在假陽(yáng)性結(jié)節(jié)，因此檢測(cè)出的肺結(jié)節(jié)不止有一個(gè)，且分布于不同的切片，有些結(jié)節(jié)位于同一張切片，一般來(lái)講，單張切片的肺結(jié)節(jié)個(gè)數(shù)不會(huì)超過(guò)三個(gè)。對(duì)于位置相近的切片，將肺結(jié)節(jié)的位置集合在同一張切片上，以供檢驗(yàn)。

兩種結(jié)構(gòu)的模型檢測(cè)結(jié)果展示如圖8 所示。在圖8中，（a）是真實(shí)的肺結(jié)節(jié)標(biāo)簽，（b）是基礎(chǔ)殘差塊模型的檢測(cè)結(jié)果，（c）是3D Res-DSC結(jié)構(gòu)的檢測(cè)結(jié)果。在測(cè)試病例1，2中，基于基礎(chǔ)殘差結(jié)構(gòu)的模型和基于3D Res-DSC 結(jié)構(gòu)的模型均可檢測(cè)到真陽(yáng)性肺結(jié)節(jié)，但前者的假陽(yáng)性數(shù)量明顯多于后者。在測(cè)試病例3中，基于基礎(chǔ)殘差結(jié)構(gòu)的模型沒(méi)有檢測(cè)出真陽(yáng)性肺結(jié)節(jié)，然而基于3D Res-DSC 結(jié)構(gòu)的模型可以檢測(cè)到真實(shí)的肺結(jié)節(jié)位置。結(jié)果表明，基于3D Res-DSC 結(jié)構(gòu)的模型提高了肺結(jié)節(jié)檢測(cè)的靈敏度，降低平均假陽(yáng)性個(gè)數(shù)。

圖8 兩種結(jié)構(gòu)的模型檢測(cè)結(jié)果Fig.8 Detection results of models based on basic residual block and 3D Res-DSC structures

2.4 與其他方法的比較

為了驗(yàn)證算法的有效性，將本文算法的檢測(cè)結(jié)果與其他檢測(cè)方法進(jìn)行了比較，實(shí)驗(yàn)結(jié)果如表6所示。

表6 不同方法在LUNA16數(shù)據(jù)集上的結(jié)果比較Tab.6 Comparison of different algorithms on LUNA16 dataset

文獻(xiàn)［25］首先將肺結(jié)節(jié)進(jìn)行三維重建，然后將不同視角的2.5D切片輸入到深度信念網(wǎng)絡(luò)中進(jìn)行訓(xùn)練，最后通過(guò)不同的融合策略完成肺結(jié)節(jié)的識(shí)別。該方法雖然達(dá)到了較高的靈敏度，但是并未充分利用肺結(jié)節(jié)的三維特征。文獻(xiàn)［19］使用二維卷積神經(jīng)網(wǎng)絡(luò)來(lái)學(xué)習(xí)肺結(jié)節(jié)的圖像特征，相比傳統(tǒng)算法，二維卷積神經(jīng)網(wǎng)絡(luò)所達(dá)到的準(zhǔn)確率有了大幅提升，但是基于單一的2D切片所構(gòu)造的模型無(wú)法充分獲取結(jié)節(jié)的立體信息，所以達(dá)不到理想的結(jié)果。文獻(xiàn)［26］采用基礎(chǔ)殘差結(jié)構(gòu)和DPN雙路徑網(wǎng)絡(luò)結(jié)構(gòu)，達(dá)到了較高的檢測(cè)結(jié)果，但是模型復(fù)雜度和平均假陽(yáng)性相對(duì)較高。文獻(xiàn)［27］使用三維特征金字塔網(wǎng)絡(luò)，網(wǎng)絡(luò)層數(shù)較深，模型復(fù)雜度高，且只關(guān)注FROC 得分指標(biāo)，并沒(méi)有綜合考慮其他檢測(cè)指標(biāo)。本文提出的3D Res-DSC 方法，取得了較高的靈敏度，降低了假陽(yáng)性指標(biāo)，且模型復(fù)雜度也有了較大幅度的降低。在表6中，文獻(xiàn)［25］、文獻(xiàn)［19］中只給出了靈敏度一個(gè)評(píng)價(jià)指標(biāo)，這里也只列出該指標(biāo)。文獻(xiàn)［26］中涉及到雙路徑網(wǎng)絡(luò)和殘差網(wǎng)絡(luò)兩個(gè)肺結(jié)節(jié)檢測(cè)模型，表中第3行和第4行分別列出來(lái)了兩個(gè)模型的結(jié)果。

從實(shí)驗(yàn)結(jié)果可以看出，本文所提出的基于改進(jìn)殘差結(jié)構(gòu)的3D Res-DSC 卷積神經(jīng)網(wǎng)絡(luò)肺結(jié)節(jié)檢測(cè)模型不但在靈敏度、FROC 得分、平均假陽(yáng)性個(gè)數(shù)以及CPM 指標(biāo)方面優(yōu)于其他算法；而且該模型復(fù)雜度低，計(jì)算量小，具有較高的計(jì)算效率。

3 結(jié)語(yǔ)

肺結(jié)節(jié)是肺癌早期階段的征象，從CT圖像中準(zhǔn)確地檢測(cè)肺結(jié)節(jié)對(duì)肺癌預(yù)防和治療具有重要的作用。為了有效檢測(cè)CT 圖像中的肺結(jié)節(jié)，本文以Faster R-CNN 為基礎(chǔ)，結(jié)合CT 數(shù)據(jù)的三維特性以及U-Net 編碼解碼器結(jié)構(gòu)，提出了一個(gè)基于三維改進(jìn)殘差結(jié)構(gòu)3D Res-DSC 的Faster R-CNN 模型。該模型通過(guò)使用矩形卷積核、深度可分離卷積操作以及預(yù)激活操作改進(jìn)殘差結(jié)構(gòu)，對(duì)各種復(fù)雜特征的肺結(jié)節(jié)圖像具有更強(qiáng)的特征提取能力，同時(shí)降低了模型的計(jì)算量。在LUNA16 數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，所提模型在提高了肺結(jié)節(jié)檢測(cè)的靈敏度的同時(shí)，有效降低了肺結(jié)節(jié)檢測(cè)結(jié)果的平均假陽(yáng)性個(gè)數(shù)，同時(shí)降低了模型的復(fù)雜度，能夠有效提取3D醫(yī)療圖像中的肺結(jié)節(jié)。下一步將在數(shù)據(jù)規(guī)模擴(kuò)充、總體網(wǎng)絡(luò)結(jié)構(gòu)以及參數(shù)的優(yōu)化等多個(gè)方面對(duì)模型進(jìn)一步優(yōu)化。