基于區(qū)域建議網(wǎng)絡(luò)的肺結(jié)節(jié)檢測(cè)及其去假陽(yáng)性

楊柳, 楊勇*, 葉宏偉, 王小狀

(1.杭州電子科技大學(xué)自動(dòng)化學(xué)院， 杭州 310018； 2.浙江明峰智能醫(yī)療科技有限公司， 杭州 310018)

肺結(jié)節(jié)被認(rèn)為是原發(fā)性肺癌的一個(gè)重要指標(biāo)。盡早發(fā)現(xiàn)肺結(jié)節(jié)，能夠?qū)o助診斷肺部癌癥以及治療提供很大的幫助。

深度學(xué)習(xí)方法在圖像處理領(lǐng)域取得了巨大的成功[1]，以深度學(xué)習(xí)為基礎(chǔ)的計(jì)算機(jī)輔助診斷(computer aided diagnosis，CAD)系統(tǒng)在醫(yī)學(xué)影像的識(shí)別與目標(biāo)檢測(cè)方面達(dá)到了很高的準(zhǔn)確率。隨著深度學(xué)習(xí)技術(shù)的快速發(fā)展，越來(lái)越多的網(wǎng)絡(luò)模型被應(yīng)用于肺結(jié)節(jié)檢測(cè)中，相關(guān)研究也越來(lái)越深入[2-3]。深度學(xué)習(xí)比起傳統(tǒng)候選結(jié)節(jié)檢測(cè)方法，能夠更有效地提取肺結(jié)節(jié)特征，提高讀片的速度和準(zhǔn)確度。卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)是醫(yī)學(xué)圖像檢測(cè)的主要算法，關(guān)于醫(yī)學(xué)圖像的網(wǎng)絡(luò)模型改進(jìn)是目前醫(yī)學(xué)圖像檢測(cè)的研究重點(diǎn)[4]。

目前業(yè)界普遍使用兩個(gè)階段的深度學(xué)習(xí)目標(biāo)檢測(cè)方法輔助識(shí)別肺結(jié)節(jié)，第一個(gè)階段是生成候選結(jié)節(jié)區(qū)域，得到一個(gè)有可能包含待檢肺結(jié)節(jié)的預(yù)選框；第二階段是去除假陽(yáng)性結(jié)節(jié)，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行真假結(jié)節(jié)樣本分類，降低候選的假陽(yáng)性結(jié)節(jié)率。大致發(fā)展?fàn)顩r簡(jiǎn)述如下：Li等[5]提出了基于編碼-解碼器結(jié)構(gòu)和ResNet[6]的3D區(qū)域建議網(wǎng)絡(luò)(region proposal network，RPN)進(jìn)行檢測(cè)。盡管ResNet特征提取能力強(qiáng)，但在小型結(jié)節(jié)檢測(cè)上還存在局限性。唐思源等[7]提出Faster R-CNN多特征融合算法，但最終靈敏度還有待提高，且肺實(shí)質(zhì)區(qū)域分割步驟可以改進(jìn)為深度學(xué)習(xí)方法。胡新穎等[8]在特征提取網(wǎng)絡(luò)的最后一層增加反卷積層提升檢測(cè)效果，但在假陽(yáng)性超過(guò)5 FPs/scan后的靈敏度有所不足。鄧忠豪等[9]使用改進(jìn)的 UNet++網(wǎng)絡(luò)提取候選結(jié)節(jié)，結(jié)合了淺層特征和深層特征，但輸入圖像沒(méi)有充分利用肺結(jié)節(jié)的三維信息。這些方法在多尺度檢測(cè)提高靈敏度等方面仍存在改善空間。去除假陽(yáng)性肺結(jié)節(jié)也是一個(gè)重要課題。為了解決較高的假陽(yáng)性問(wèn)題，Kim等[10]通過(guò)多層級(jí)三維深度卷積神經(jīng)網(wǎng)絡(luò)(3D deep convolutional neural network，3D DCNN)進(jìn)行假陽(yáng)性過(guò)濾，然而多層級(jí)網(wǎng)絡(luò)的使用對(duì)去假陽(yáng)過(guò)程來(lái)說(shuō)略顯復(fù)雜。劉迪等[11]候選網(wǎng)絡(luò)檢測(cè)效果較好，但在去假陽(yáng)階段采用的是二元邏輯回歸，去除效果還有提升空間。楊靖祎等[12]設(shè)計(jì)了TDN-CNN模型，應(yīng)用了稠密連接強(qiáng)化特征利用，模型有效但競(jìng)爭(zhēng)性指標(biāo)(competition performance metric，CPM)還待提高。

現(xiàn)提出改進(jìn)的Faster R-CNN網(wǎng)絡(luò)，采用多尺度方法[13]，輸出大小兩個(gè)尺度，分別用于R-CNN網(wǎng)絡(luò)和RPN網(wǎng)絡(luò)的輸入，以提高對(duì)微小肺結(jié)節(jié)的檢出率。特征提取網(wǎng)絡(luò)主要框架采用基于3D UNet++網(wǎng)絡(luò)[14]和ResNeXt的殘差網(wǎng)絡(luò)塊[6]及組卷積結(jié)構(gòu)(group convolution)，并嵌入了SE(squeeze-and-excitation)結(jié)構(gòu)[5]。由于肺結(jié)節(jié)較小，特征提取過(guò)程容易丟失部分特征，3D UNet++具有多重跳躍連接，可以將低層特征圖(feature map)與高層特征圖結(jié)合起來(lái)，以期望能幫助解碼器更好地修復(fù)生成肺結(jié)節(jié)目標(biāo)的細(xì)節(jié)，獲得多個(gè)尺度的信息。特征提取網(wǎng)絡(luò)的殘差網(wǎng)絡(luò)塊和組卷積進(jìn)一步結(jié)合不同層面的肺結(jié)節(jié)特征，提升準(zhǔn)確率。在殘差網(wǎng)絡(luò)塊中，通過(guò)SE結(jié)構(gòu)實(shí)現(xiàn)注意力機(jī)制(attention)，期望使得有效的特征圖權(quán)重變大，提升候選區(qū)域選取的靈敏度。提取結(jié)節(jié)特征之后，再采用3D RPN網(wǎng)絡(luò)和R-CNN網(wǎng)絡(luò)生成候選結(jié)節(jié)[15-16]。

在去假陽(yáng)性網(wǎng)絡(luò)方面，現(xiàn)有的去假陽(yáng)性網(wǎng)絡(luò)模型大部分使用的是3D CNN網(wǎng)絡(luò)結(jié)構(gòu)，對(duì)其他網(wǎng)絡(luò)結(jié)構(gòu)的去假陽(yáng)性模型研究較少，也缺乏對(duì)假陽(yáng)性網(wǎng)絡(luò)的集中性比較?，F(xiàn)選用基于3D DCNN的去假陽(yáng)性網(wǎng)絡(luò)，并將該假陽(yáng)性網(wǎng)絡(luò)與多種網(wǎng)絡(luò)模型進(jìn)行比對(duì)和效果評(píng)估。

1 算法論述

1.1候選結(jié)節(jié)檢測(cè)網(wǎng)絡(luò)

1.1.1 特征提取網(wǎng)絡(luò)

首先，輸入圖像需要通過(guò)一個(gè)特征提取網(wǎng)絡(luò)，然后將特征提取網(wǎng)絡(luò)的結(jié)果輸入RPN網(wǎng)絡(luò)和RCNN網(wǎng)絡(luò)進(jìn)行進(jìn)一步提取和訓(xùn)練。特征提取網(wǎng)絡(luò)由ResNeXt[17]模塊、SE模塊[5，18]以及3D UNet++網(wǎng)絡(luò)組成。最后，以多尺度輸出作為特征提取網(wǎng)絡(luò)的結(jié)果。特征提取網(wǎng)絡(luò)的Backbone是3D UNet++網(wǎng)絡(luò)，由多個(gè)3D SEResidual Block構(gòu)成。3D SEResidual Block的結(jié)構(gòu)如圖1中的右上角虛線框圖所示，由兩個(gè)卷積層、兩個(gè)批量歸一化層(batch normalization，BN)、兩個(gè)線性整流層(ReLU)、殘差網(wǎng)絡(luò)塊以及SE模塊組成。SE模塊實(shí)現(xiàn)了注意力機(jī)制，其最重要的兩個(gè)地方是全連接層和相乘特征融合假設(shè)。SE模塊通過(guò)其殘差塊結(jié)構(gòu)，能夠保留多個(gè)層次的信息，這對(duì)微小結(jié)節(jié)的處理起到了很大幫助。除此之外，3D SEResidual Block還采納了分組卷積[19]結(jié)構(gòu)，構(gòu)建了32個(gè)分組，減少了參數(shù)量。將多個(gè)3D SEResidual Block 作為特征提取網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)結(jié)構(gòu)，不僅提高了特征利用率，而且降低了特征冗余度。再結(jié)合ResNeXt殘差網(wǎng)絡(luò)塊，能進(jìn)一步提取結(jié)節(jié)特征。

圖1 網(wǎng)絡(luò)的結(jié)構(gòu)以及運(yùn)行流程Fig.1 Network structure and operation process

肺結(jié)節(jié)大部分為小目標(biāo)，為了提高對(duì)小目標(biāo)的檢測(cè)能力，采用了特征金字塔網(wǎng)絡(luò)(feature pyramid network, FPN)[20]的思想，選取了兩個(gè)不同尺度的結(jié)果進(jìn)行訓(xùn)練。FPN的感興趣區(qū)域(region of interest，RoI)層可以對(duì)P2、P3、P4、P5由淺至深不同尺度的特征金字塔圖像制定不同尺度的RoI。對(duì)于不同大小的RoI，使用不同的特征圖。由于大目標(biāo)不容易丟失，即使是深層的特征圖(P5層)，特征依然較大，所以可以選用深層的特征圖作為大尺度目標(biāo)的結(jié)果；用淺層的特征金字塔層(P2層)作為小尺度目標(biāo)的結(jié)果[21]。為了獲取不同尺度的肺結(jié)節(jié)信息，選取了深層和淺層的特征圖，即選取了大小兩個(gè)尺度的結(jié)果作為輸出。在此應(yīng)用UNet++網(wǎng)絡(luò)模型(如圖1左下角網(wǎng)絡(luò)模型所示)，充分利用跳躍連接方法[22]，將大尺度特征結(jié)合小尺度特征，并結(jié)合深層的結(jié)果(圖1中的輸出結(jié)果1)到RPN網(wǎng)絡(luò)進(jìn)行處理；考慮肺結(jié)節(jié)的形狀小、語(yǔ)義特征少的特殊性，在網(wǎng)絡(luò)中盡可能使用淺層的、保留了早期特征的特征圖，因此將保留了大尺度信息的結(jié)果(圖1中的輸出結(jié)果2)進(jìn)行池化操作后，送入R-CNN網(wǎng)絡(luò)進(jìn)行進(jìn)一步裁剪并訓(xùn)練。RPN網(wǎng)絡(luò)訓(xùn)練了65個(gè)epoch后，加入R-CNN網(wǎng)絡(luò)共同訓(xùn)練，生成RoI，得到候選結(jié)節(jié)，輸入去假陽(yáng)性網(wǎng)絡(luò)中去除假陽(yáng)性結(jié)節(jié)。這不僅確保了去假陽(yáng)性網(wǎng)絡(luò)有一個(gè)小的接受域，可以學(xué)習(xí)本質(zhì)上不同于結(jié)節(jié)候選篩選網(wǎng)絡(luò)的特征表示，而且還允許了共享一些特征提取塊。

1.1.2 檢測(cè)網(wǎng)絡(luò)及其損失函數(shù)

改進(jìn)后的Faster R-CNN特征提取網(wǎng)絡(luò)的最后一層，由3D RPN提供候選區(qū)域選取。首先使用不同大小和長(zhǎng)寬比例的錨點(diǎn)，在RPN層上構(gòu)造5×5×5、10×10×10、20×20×20、30×30×30和50×50×50大小的候選框。對(duì)每個(gè)錨點(diǎn)計(jì)算交并比 (intersection over union，IoU)，若IoU>0.5，就認(rèn)為這是一個(gè)正樣本。分配標(biāo)簽以及每個(gè)正樣本錨點(diǎn)對(duì)應(yīng)的真實(shí)坐標(biāo)(ground truth)。于是，傳入RPN網(wǎng)絡(luò)的樣本數(shù)據(jù)被整理為錨定框(anchor box)以及每個(gè)錨定框是否有結(jié)節(jié)的二分類標(biāo)簽，計(jì)算得到二分類和坐標(biāo)回歸的損失。RPN網(wǎng)絡(luò)將每個(gè)肺結(jié)節(jié)樣本映射為一個(gè)概率值，3個(gè)坐標(biāo)值和結(jié)節(jié)直徑大小。最后將二分類和坐標(biāo)回歸的損失統(tǒng)一起來(lái)，作為RPN網(wǎng)絡(luò)的目標(biāo)訓(xùn)練。RPN網(wǎng)絡(luò)的分類損失函數(shù)是使用了結(jié)合負(fù)樣本挖掘(online hard example mining)方法[23]的二分類交叉熵，結(jié)合的負(fù)樣本挖掘方法能夠得到難分負(fù)樣本的標(biāo)簽，增加負(fù)樣本在交叉熵?fù)p失函數(shù)中的權(quán)重。回歸損失采用了平滑L1損失函數(shù)(smoothL1 loss function)，該損失函數(shù)相比于L2損失函數(shù)，對(duì)于離群點(diǎn)、異常值(outlier)更不敏感，能夠讓損失對(duì)于離群點(diǎn)更加魯棒。由于錨定框可能會(huì)在同一個(gè)目標(biāo)上生成多個(gè)重疊的錨定框，所以需要對(duì)RPN網(wǎng)絡(luò)進(jìn)行非極大值抑制[24]運(yùn)算，去掉檢測(cè)任務(wù)中重復(fù)的檢測(cè)框，保留正樣本概率最大的檢測(cè)框。RPN網(wǎng)絡(luò)得到候選區(qū)域后，被傳入R-CNN子網(wǎng)絡(luò)，進(jìn)行比RPN網(wǎng)絡(luò)更精確的多分類和坐標(biāo)回歸損失計(jì)算。如圖1的步驟4所示，F(xiàn)aster R-CNN的候選結(jié)節(jié)預(yù)測(cè)結(jié)果會(huì)被裁剪為48×48×48的切片，應(yīng)用于去假陽(yáng)性網(wǎng)絡(luò)中作為數(shù)據(jù)集。在去假陽(yáng)性網(wǎng)絡(luò)的訓(xùn)練過(guò)程中，引入樣本平衡的策略，在訓(xùn)練到一定epoch后，更改正負(fù)樣本的采樣比例為1∶1，以平衡采樣正負(fù)樣本在訓(xùn)練中的出現(xiàn)概率。實(shí)驗(yàn)過(guò)程中采用的是3D DCNN的去假陽(yáng)性網(wǎng)絡(luò)。

1.2 去假陽(yáng)性網(wǎng)絡(luò)

網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示，使用了與候選檢測(cè)網(wǎng)絡(luò)不同的卷積層，采用最大池化層(max pooling)來(lái)進(jìn)行下采樣，以及dropout層來(lái)防止過(guò)擬合。除此之外，對(duì)比了包括3D DCNN在內(nèi)的多種假陽(yáng)性網(wǎng)絡(luò)的效果。最后，使用去假陽(yáng)率和靈敏度等指標(biāo)對(duì)這些去假陽(yáng)性網(wǎng)絡(luò)進(jìn)行評(píng)價(jià)。

圖2 3D DCNN去假陽(yáng)性網(wǎng)絡(luò)結(jié)構(gòu)Fig.2 3D DCNN removing false positive network structure

2 實(shí)驗(yàn)結(jié)果與對(duì)比分析

2.1 前處理

為減少不必要的干擾和計(jì)算復(fù)雜度，在提取肺結(jié)節(jié)RoI之前，需要從CT圖像中分割出肺實(shí)質(zhì)。肺實(shí)質(zhì)分割能保留CT圖像中雙肺邊界之內(nèi)的圖像，去除雙肺邊界的外部區(qū)域，消除不相關(guān)的干擾，準(zhǔn)確提取肺結(jié)節(jié)RoI。先對(duì)每個(gè)輸入圖像進(jìn)行二值分割掩法預(yù)處理，使用閾值[-1 200,600]截?cái)喾尾緾T圖。標(biāo)準(zhǔn)化后，使用已經(jīng)訓(xùn)練好的肺實(shí)質(zhì)分割網(wǎng)絡(luò)來(lái)分割出肺實(shí)質(zhì)區(qū)域。對(duì)該區(qū)域的數(shù)據(jù)使用最近鄰插值的方法進(jìn)行重采樣，隨后進(jìn)行形態(tài)學(xué)的膨脹處理，再用一定像素值填充非肺實(shí)質(zhì)區(qū)域。最后得到干凈的肺實(shí)質(zhì)分割圖像，保存為numpy數(shù)據(jù)格式。將肺結(jié)節(jié)的位置坐標(biāo)、大小轉(zhuǎn)換為體素坐標(biāo)。目前研究中常常通過(guò)對(duì)圖像進(jìn)行不同角度的旋轉(zhuǎn)、隨機(jī)剪裁以達(dá)到數(shù)據(jù)成倍擴(kuò)增，防止過(guò)擬合，有效提升網(wǎng)絡(luò)性能[25]。在進(jìn)入RPN網(wǎng)絡(luò)之前，將肺結(jié)節(jié)圖片裁剪出來(lái)，找到肺結(jié)節(jié)的外接立方體，轉(zhuǎn)換成128×128×128的切片，并采用隨機(jī)翻轉(zhuǎn)和縮放的方法進(jìn)行額外的數(shù)據(jù)增強(qiáng)，其比例為0.75～1.25，擴(kuò)充數(shù)據(jù)集，以便更好地提取微小結(jié)節(jié)特征。

2.2 數(shù)據(jù)集

實(shí)驗(yàn)數(shù)據(jù)集來(lái)自于LUNA16[3]，是最大公用肺結(jié)節(jié)數(shù)據(jù)集 LIDC-IDRI[26]的子集。LUNA16包含888例CT掃描，1 186個(gè)標(biāo)記結(jié)節(jié)，從LIDC數(shù)據(jù)集除去層厚大于2.5 mm的CT掃描獲得。直徑小于3 mm和非結(jié)節(jié)都不作為檢測(cè)樣本。平均結(jié)節(jié)直徑為8.79 mm。對(duì)該數(shù)據(jù)集肺結(jié)節(jié)的直徑頻率分布進(jìn)行了統(tǒng)計(jì)，結(jié)果如圖3所示。計(jì)算得到9 mm以下的肺結(jié)節(jié)占了71.67%，說(shuō)明大部分結(jié)節(jié)相對(duì)來(lái)說(shuō)是較小的。因此，增強(qiáng)網(wǎng)絡(luò)對(duì)小目標(biāo)的檢測(cè)能力是十分有必要的。

2.3 評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)結(jié)果采用敏感度、FROC曲線和CPM作為實(shí)驗(yàn)性能的評(píng)價(jià)指標(biāo)。FROC曲線主要反映的是靈敏度和每次掃描后每幅圖像假陽(yáng)性肺結(jié)節(jié)數(shù)量的關(guān)系，其橫坐標(biāo)為每個(gè)CT影像的平均假陽(yáng)性數(shù)量(average number of false positives per scan，F(xiàn)P/scan)，表示在達(dá)到最高敏感度時(shí)，平均每例的假陽(yáng)性數(shù)量，縱坐標(biāo)為敏感度。CPM指標(biāo)計(jì)算在0.125、0.25、0.5、1、2、4和8 FP/scan這7個(gè)具有代表性點(diǎn)上的平均敏感度，具有較高的社會(huì)認(rèn)可度[27]。

圖3 肺結(jié)節(jié)直徑和直徑出現(xiàn)頻率的直方圖Fig.3 A histogram of the diameter and frequency of pulmonary nodules

2.4 候選結(jié)節(jié)網(wǎng)絡(luò)實(shí)驗(yàn)檢測(cè)結(jié)果

通過(guò)“10折交叉驗(yàn)證”驗(yàn)證了算法性能。實(shí)驗(yàn)中采用隨機(jī)梯度下降訓(xùn)練200個(gè)epoch。訓(xùn)練的過(guò)程分為兩個(gè)部分：在前65個(gè)epoch只訓(xùn)練RPN網(wǎng)絡(luò)部分，后面的部分RPN網(wǎng)絡(luò)和R-CNN網(wǎng)絡(luò)一同訓(xùn)練。在R-CNN網(wǎng)絡(luò)中進(jìn)行最后的分類和回歸的計(jì)算。選擇在NVIDIA GeForce RTX 2080Ti上訓(xùn)練網(wǎng)絡(luò)，batch size為32，初始學(xué)習(xí)率為0.01。對(duì)數(shù)據(jù)樣本進(jìn)行了數(shù)據(jù)增強(qiáng)，包括結(jié)節(jié)半徑范圍內(nèi)翻轉(zhuǎn)，以及[90°，180°，270°]的隨機(jī)旋轉(zhuǎn)。設(shè)置大小為128×128×128的切片(patch)作為輸入圖像。

表1報(bào)告了本文方法和其他方法的檢測(cè)性能。Liao等[28]采用的是 3D RPN網(wǎng)絡(luò)來(lái)直接預(yù)測(cè)結(jié)節(jié)的邊界框，對(duì)模型進(jìn)行端到端訓(xùn)練。Zhu等[29]采用了雙路徑模塊對(duì)U-Net網(wǎng)絡(luò)進(jìn)行改進(jìn)，能夠有效地學(xué)習(xí)節(jié)點(diǎn)特征。譚雨蒙等[30]是將U-Net的改進(jìn)版UNet++用于肺結(jié)節(jié)檢測(cè)的結(jié)果。DIAG ConvNet網(wǎng)絡(luò)、ZENT網(wǎng)絡(luò)以及Aidence網(wǎng)絡(luò)的結(jié)果來(lái)源于文獻(xiàn)[3]，其對(duì)基于LUNA16數(shù)據(jù)集的肺結(jié)節(jié)檢測(cè)方法進(jìn)行了一個(gè)全面比對(duì)。Dou等[31]利用3D FCN網(wǎng)絡(luò)在線過(guò)濾樣本，快速篩選出候選對(duì)象，然后使用3D殘差網(wǎng)絡(luò)，區(qū)分候選對(duì)象是否是真正的結(jié)節(jié)。Li等[5]提出的DeepSEED網(wǎng)絡(luò)采納了同樣帶有SE模塊的卷積神經(jīng)網(wǎng)絡(luò)。楊懷金等[32]研究了一種融合流形學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行肺結(jié)節(jié)檢測(cè)，提升準(zhǔn)確度并彌補(bǔ)泛化能力，最高靈敏度為0.911。

從表1中可以看出，本文算法CPM為0.879，優(yōu)于其他的方法。此外，在7個(gè)平均假陽(yáng)性數(shù)量中的5個(gè)獲得了最好的結(jié)果，驗(yàn)證了本文算法的有效性。在臨床實(shí)踐中，平均假陽(yáng)性數(shù)量在1～4的靈敏度是最有參考價(jià)值的[33]，而本文方法在1～4 FP/scan下的靈敏度都高于其他算法，特別是在4 FP/scan下，靈敏度達(dá)到了98.2%，在8 FP/scan下，靈敏度達(dá)到了98.8%，顯示了其在臨床應(yīng)用中的潛力。圖4為部分檢出結(jié)節(jié)的病理切片結(jié)果展示，其中紅框內(nèi)是本文模型所預(yù)測(cè)結(jié)節(jié)，白框是標(biāo)注結(jié)節(jié)。圖像結(jié)果表明，正確預(yù)測(cè)出來(lái)的結(jié)節(jié)位置與真實(shí)結(jié)節(jié)位置差異不大，所預(yù)測(cè)的標(biāo)注框直徑也能夠把結(jié)節(jié)完整地框出來(lái)。

表1 各算法的候選結(jié)節(jié)網(wǎng)絡(luò)效果比對(duì)Table 1 Comparison of network effect of candidate nodules for each algorithm

圖4 部分檢出結(jié)節(jié)的病理切片F(xiàn)ig.4 Partial pathological sections of nodules detected

2.5 去假陽(yáng)性網(wǎng)絡(luò)效果比對(duì)

將表2中所示的每個(gè)網(wǎng)絡(luò)作為去假陽(yáng)性網(wǎng)絡(luò)，接在本文算法中的候選檢測(cè)網(wǎng)絡(luò)結(jié)果之后，以去除假陽(yáng)性結(jié)節(jié)，進(jìn)一步精確肺結(jié)節(jié)的檢測(cè)結(jié)果。表2是各個(gè)去假陽(yáng)性網(wǎng)絡(luò)進(jìn)行假陽(yáng)性結(jié)節(jié)去除后，得到的CPM值以及其去假陽(yáng)率。每個(gè)網(wǎng)絡(luò)去除結(jié)節(jié)時(shí)所選取的閾值不同，但都是在保證原有的CPM不降低、去假陽(yáng)率盡量高的條件下選取的。該處的去假陽(yáng)率定義為：假設(shè)未加入去假陽(yáng)性網(wǎng)絡(luò)時(shí)，假陽(yáng)性結(jié)節(jié)個(gè)數(shù)為x，加入后，假陽(yáng)性結(jié)節(jié)個(gè)數(shù)為y，則去假陽(yáng)率Rf計(jì)算公式為

Rf=(x-y)/x×100%

(1)

由表2可知，3D DCNN網(wǎng)絡(luò)的CPM達(dá)到最高。3D DCNN網(wǎng)絡(luò)的去假陽(yáng)率高于CNN網(wǎng)絡(luò)6.753%，高于同CPM的DPN網(wǎng)絡(luò)8.975%，達(dá)到了15.556%，是幾種網(wǎng)絡(luò)里面去假陽(yáng)性結(jié)節(jié)效果最好的。這證明了3D DCNN網(wǎng)絡(luò)作為去假陽(yáng)性網(wǎng)絡(luò)的優(yōu)越性。ShuffleNet網(wǎng)絡(luò)表現(xiàn)最差，幾乎沒(méi)有去掉假陽(yáng)性結(jié)節(jié)，而跟它近似CPM值的SENet+ResNeXt網(wǎng)絡(luò)則去掉了6.325%的假陽(yáng)性結(jié)節(jié)。SENet+ResNeXt網(wǎng)絡(luò)和ResNeXt網(wǎng)絡(luò)的CPM值相同，但前者的去假陽(yáng)率高了1.966%，說(shuō)明SE模塊在去假陽(yáng)率方面有微小的效果。除此之外，從平均假陽(yáng)性數(shù)量能夠看出，3D DCNN方法所得到的平均假陽(yáng)性數(shù)量最低，這進(jìn)一步表明了它的去假陽(yáng)性效果。Peng等[34]的方法獲得的平均敏感度和最高敏感度分別為0.872和0.983，與本文算法差異不大，但其平均假陽(yáng)性數(shù)量達(dá)到了22。與謝未央等[35]的方法提到的VGG、C3D、VGG+FPN結(jié)果比對(duì)，均能取得最高敏感度和最低平均假陽(yáng)性數(shù)量。

圖5整合了每個(gè)網(wǎng)絡(luò)的FROC曲線進(jìn)行對(duì)比。可以看出，由于CPM差別不大，所以曲線整體來(lái)說(shuō)沒(méi)有很大的差異。3D DCNN網(wǎng)絡(luò)的曲線表現(xiàn)得最好，在2～8 FP/scan的檢查點(diǎn)均最先達(dá)到拐點(diǎn)，該結(jié)果也與它在表2的數(shù)據(jù)相對(duì)應(yīng)。CNN網(wǎng)絡(luò)的效果則緊隨3D DCNN網(wǎng)絡(luò)。DPN網(wǎng)絡(luò)SENet+ResNeXt網(wǎng)絡(luò)近乎重疊，效果較相近。3D DCNN的去假陽(yáng)率最高，但在0～1 FP/scan的CPM取值點(diǎn)低于DPN網(wǎng)絡(luò)，這說(shuō)明DPN網(wǎng)絡(luò)在較低FPs的靈敏度表現(xiàn)較好。SENet+ResNeXt的靈敏度效果略好于ResNeXt。ShuffleNet的效果最差，相對(duì)來(lái)說(shuō)最不適合于去假陽(yáng)性結(jié)節(jié)，這也和它在表2中的表現(xiàn)相吻合。

圖5 各個(gè)假陽(yáng)性網(wǎng)絡(luò)的FROC曲線對(duì)比Fig.5 Comparison of FROC curves of each false positive network

表2 各網(wǎng)絡(luò)應(yīng)用于去除假陽(yáng)性肺結(jié)節(jié)的效果Table 2 Effect of various networks applied to the removal of false positive pulmonary nodules

3 討論

采用了3D RPN網(wǎng)絡(luò)，這是由于3D卷積可以對(duì)3D數(shù)據(jù)從(x,y,z)3個(gè)方向上進(jìn)行編碼，整個(gè)3D網(wǎng)絡(luò)能比2D網(wǎng)絡(luò)更能提取到CT重構(gòu)后的特征。原始的U-Net結(jié)構(gòu)盡管使用跳躍連接保留了部分細(xì)節(jié)，但下采樣沒(méi)有其他分支，僅使用了單一尺度下提取的特征底層特征，底層特征做了少量處理就直接進(jìn)行了特征融合。這樣就忽視了多尺度特征的提取，無(wú)法充分利用信息。采用UNet++結(jié)構(gòu)集成不同深度的U-Net來(lái)降低網(wǎng)絡(luò)深度，并利用新的跳躍連接方式，在解碼器子網(wǎng)絡(luò)上聚合不同語(yǔ)義尺度的特征。在上采樣過(guò)程中，原來(lái)的空間信息無(wú)法恢復(fù)，所以使用多個(gè)跳躍連接來(lái)連接編碼器和解碼器。為了進(jìn)一步利用結(jié)節(jié)的多尺度特征，輸出了大尺度和小尺度結(jié)節(jié)的特征圖進(jìn)行訓(xùn)練，有助于保留微小肺結(jié)節(jié)的特征。SE模塊的加入提升了候選結(jié)節(jié)檢測(cè)網(wǎng)絡(luò)的效果，可能是由于它為每個(gè)通道提供了不同系數(shù)來(lái)相乘，讓模型變得復(fù)雜，有助于挖掘更深的特征。但SE模塊沒(méi)有考慮空間權(quán)重，故加入了跳躍連接、殘差網(wǎng)絡(luò)等模型，將空間和通道都考慮到，但又控制了運(yùn)算量。

DPN網(wǎng)絡(luò)結(jié)合了ResNeXt與DenseNet的部分網(wǎng)絡(luò)結(jié)構(gòu)，去除假陽(yáng)性的效果比ResNeXt網(wǎng)絡(luò)更強(qiáng)，這可能是由于它結(jié)合的DenseNet網(wǎng)絡(luò)讓它對(duì)特征的利用更加充分。ShuffleNet網(wǎng)絡(luò)采用了逐點(diǎn)群卷積和重組通道的方法，比起ResNexXt在結(jié)構(gòu)方面有所創(chuàng)新，但是作為去假陽(yáng)性網(wǎng)絡(luò)表現(xiàn)卻不足。綜合了CPM值以及去假陽(yáng)率的結(jié)果，最終得出使用3D DCNN作為去假陽(yáng)性網(wǎng)絡(luò)效果較好。

4 結(jié)論

描述了改進(jìn)特征提取網(wǎng)絡(luò)的Faster R-CNN肺結(jié)節(jié)檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)。該方法分為候選結(jié)節(jié)檢測(cè)和去假陽(yáng)性結(jié)節(jié)兩個(gè)階段。結(jié)果表明，該方法具有較強(qiáng)的競(jìng)爭(zhēng)力，可以進(jìn)一步與其他方法結(jié)合使用，提高檢測(cè)性能。除此之外，將現(xiàn)有的一些網(wǎng)絡(luò)模型應(yīng)用于去除假陽(yáng)性肺結(jié)節(jié)，并對(duì)它們的效果做了比較，彌補(bǔ)了目前對(duì)于去假陽(yáng)網(wǎng)絡(luò)對(duì)比研究較少的缺口，在該方面具有一定的參考意義。

提出的方法可以進(jìn)一步擴(kuò)展到其他類型的三維醫(yī)學(xué)圖像。在今后的工作中，還將針對(duì)已經(jīng)檢測(cè)出的結(jié)節(jié)進(jìn)行分類，將結(jié)節(jié)劃分為非實(shí)性結(jié)節(jié)及各種實(shí)性亞型結(jié)節(jié)等類型[38]，使研究具有更強(qiáng)的臨床意義。