基于卷積神經(jīng)網(wǎng)絡(luò)的胸片肺結(jié)節(jié)檢測(cè)*

朱國(guó)策， 李朝鋒

(江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院,江蘇 無(wú)錫 214122)

應(yīng)用技術(shù)

基于卷積神經(jīng)網(wǎng)絡(luò)的胸片肺結(jié)節(jié)檢測(cè)*

朱國(guó)策， 李朝鋒

(江南大學(xué)物聯(lián)網(wǎng)工程學(xué)院,江蘇無(wú)錫214122)

針對(duì)目前胸片的肺結(jié)節(jié)檢測(cè)方案的檢出率較低，且存在大量的假陽(yáng)性的問(wèn)題，提出了一種新的基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的肺結(jié)節(jié)檢測(cè)方案。增強(qiáng)肺結(jié)節(jié)區(qū)域的圖像信號(hào)；選擇正、負(fù)樣本訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)模型，檢測(cè)結(jié)節(jié)時(shí)用滑動(dòng)窗口的方法對(duì)增強(qiáng)后的圖片進(jìn)行處理得到候選區(qū)域；根據(jù)候選區(qū)域的面積排除假陽(yáng)性。方案中省略了傳統(tǒng)方法中的肺區(qū)分割步驟，避免了因此可能丟失的肺結(jié)節(jié)圖像。在日本放射技術(shù)學(xué)會(huì)(JSRT)數(shù)據(jù)庫(kù)上測(cè)試結(jié)果顯示，系統(tǒng)在平均每幅圖5.0個(gè)假陽(yáng)性水平下敏感度為86 %，對(duì)不明顯和非常不明顯的結(jié)節(jié)檢出率達(dá)到了84 %，優(yōu)于當(dāng)前相關(guān)文獻(xiàn)報(bào)道的方法。

肺結(jié)節(jié)； 醫(yī)學(xué)圖像處理； 胸片； 卷積神經(jīng)網(wǎng)絡(luò)

0 引 言

肺結(jié)節(jié)計(jì)算機(jī)輔助檢測(cè)和診斷系統(tǒng)發(fā)展已久,對(duì)于當(dāng)前的檢測(cè)系統(tǒng)，最大挑戰(zhàn)是如何在提高結(jié)節(jié)檢測(cè)率的同時(shí)，降低檢測(cè)結(jié)果中的假陽(yáng)性。文獻(xiàn)[1]采用了結(jié)節(jié)增強(qiáng)的技術(shù)提高了結(jié)節(jié)的檢出率；文獻(xiàn)[2]利用虛擬雙能減影的技術(shù)提高了結(jié)節(jié)的檢出率；文獻(xiàn)[3]利用基于左右肺區(qū)對(duì)稱原理去除肋骨結(jié)構(gòu)的影響降低了假陽(yáng)性。

深度學(xué)習(xí)近年來(lái)迅猛發(fā)展，其中卷積神經(jīng)網(wǎng)絡(luò)在圖像處理領(lǐng)域取得了重要發(fā)展，尤其在圖像分類、目標(biāo)檢測(cè)等方面取得了很好的成績(jī)，保證了模型具有良好的泛化性能并獲得概率上的全局最優(yōu)[4,5]。

傳統(tǒng)的檢測(cè)系統(tǒng)大致包括圖像預(yù)處理、肺區(qū)分割和候選區(qū)域特征提取3個(gè)部分[6]。其中在肺區(qū)分割的同時(shí)也會(huì)將一部分的結(jié)節(jié)排除在外，使系統(tǒng)最終無(wú)法檢測(cè)到相應(yīng)的結(jié)節(jié)。本文提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)的肺結(jié)節(jié)檢測(cè)方案。該方案省略了肺區(qū)分割操作，避免了因肺區(qū)分割可能丟失的肺結(jié)節(jié)。

1 基于卷積神經(jīng)網(wǎng)絡(luò)的肺結(jié)節(jié)檢測(cè)方法

1.1 肺結(jié)節(jié)檢測(cè)

肺結(jié)節(jié)檢測(cè)方法包括3部分：1)圖像預(yù)處理；2)CNN模型建立；3)候選結(jié)節(jié)選取和篩選。首先用非銳化遮罩(unsharp mask,USM)銳化的方法對(duì)原圖進(jìn)行銳化[7];然后用滑動(dòng)窗口的方法切取小塊，下采樣后傳入CNN，得到該胸片上肺結(jié)節(jié)的疑似區(qū)域;最后在該區(qū)域中篩選出真結(jié)節(jié)，整體流程如圖1所示。

圖1 肺結(jié)節(jié)檢測(cè)系統(tǒng)流程

1.1.1 圖像預(yù)處理

圖像預(yù)處理的目的是使肺結(jié)節(jié)更加明顯。如圖2(a)中所示，圖中圓圈處為肺結(jié)節(jié)的位置，肺結(jié)節(jié)表現(xiàn)為一個(gè)低對(duì)比度的圓斑。使用非銳化遮罩(unsharp mask,USM)銳化的方法增強(qiáng)肺結(jié)節(jié)的圖像信號(hào)，得到圖2(b),可以發(fā)現(xiàn)，經(jīng)過(guò)USM銳化后的實(shí)驗(yàn)結(jié)果增強(qiáng)了肺結(jié)節(jié)的對(duì)比度。

圖2 圖像預(yù)處理

1.1.2 卷積神經(jīng)網(wǎng)絡(luò)模型的建立

1)網(wǎng)絡(luò)結(jié)構(gòu)

用于檢測(cè)肺結(jié)節(jié)的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，共有7層,包括1個(gè)輸入層，3個(gè)卷積層，1個(gè)池化層和1個(gè)輸出層。輸入層是從銳化后的胸片上切割出的229×229的圖像塊經(jīng)下采樣到32×32的塊。第一個(gè)卷積用20個(gè)不同的卷積核，然后是2×2的極大池化層，接著第二個(gè)卷積用了20×50個(gè)不同的卷積核，然后是2×2的極大值池化，接著第三個(gè)卷積用了50×1 000個(gè)不同的卷積核，最后是一個(gè)節(jié)點(diǎn)的輸出。

圖3 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

2)輸入層

所用網(wǎng)絡(luò)模型的輸入為32×32大小的圖像塊，從預(yù)處理后的圖像上切割大的塊之后需要將其下采樣到32×32。目的是在盡可能保留原圖像信息的同時(shí)又可以使網(wǎng)絡(luò)結(jié)構(gòu)更加簡(jiǎn)單。

3)卷積層和池化層

卷積層通過(guò)卷積計(jì)算提取出輸入圖像的特征，第一個(gè)卷積層有20個(gè)不同的卷積核，卷積計(jì)算后得到20個(gè)不同特征圖，第二個(gè)卷積層有20×50個(gè)卷積核，因此，會(huì)得到50個(gè)不同的特征圖。卷積計(jì)算中的激活函數(shù)有很多種，其中最常用的為Sigmoid函數(shù)，也可以是修正線性單元(rectified linear units，ReLU)激活函數(shù)[8]

(1)

式中w為連接權(quán)值；α為前一層的輸出。本文前兩個(gè)卷積層采用線性激活函數(shù)，第三個(gè)卷積層采用ReLU激活函數(shù)。

池化層的輸入為卷積層計(jì)算得到的特征圖。特征圖經(jīng)過(guò)池化后維度大幅度的降低。本文采用極大池化

(2)

式中Pmax為最大池；M為特征圖；K為卷積核的數(shù)量。

4)輸出層

網(wǎng)絡(luò)模型的輸出只有一個(gè)節(jié)點(diǎn)，采用Sigmoid激活函數(shù)。

5)模型的訓(xùn)練

模型的輸出層采用的目標(biāo)函數(shù)如下

(3)

式中x為輸入圖像塊；w為各層的權(quán)值；f為疑似結(jié)節(jié)預(yù)測(cè)函數(shù)；y為圖像塊是否為真實(shí)肺結(jié)節(jié)，是，為“1”；否則，為“0”。訓(xùn)練數(shù)據(jù)標(biāo)簽設(shè)置如圖4所示。然后使用誤差反向傳播和梯度下降方法對(duì)權(quán)值進(jìn)行調(diào)節(jié)。公式如下

(4)

(5)

w=w+αΔw

(6)

1.2 候選結(jié)節(jié)的選取和篩選

用滑動(dòng)窗口的方法在胸片切取小塊測(cè)試，結(jié)果如圖5所示。圖5中每一個(gè)區(qū)域均為一個(gè)疑似肺結(jié)節(jié)的區(qū)域，仔細(xì)觀察可以發(fā)現(xiàn)，在有真結(jié)節(jié)的地方，疑似區(qū)域的面積較大。原因是本文用重采樣的方法選取的訓(xùn)練數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)。如圖4所示，根據(jù)數(shù)據(jù)庫(kù)中給出的肺結(jié)節(jié)的位置切去一個(gè)正樣本，然后在此位置上、下、左、右各偏移一點(diǎn)的位置上切小塊作為正樣本，在正、負(fù)樣本嚴(yán)重不平衡的時(shí)候，通過(guò)重采樣的方法提高了正樣本的比例而且在處理疑似候選區(qū)域的時(shí)候，在肺結(jié)節(jié)的位置會(huì)獲得一個(gè)比較大的區(qū)域，有利于從大量的疑似候選區(qū)域中排除掉大量的假陽(yáng)性并保留真結(jié)節(jié)。

圖4 訓(xùn)練數(shù)據(jù)標(biāo)簽設(shè)置

圖5 卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)的結(jié)果

2 實(shí)驗(yàn)結(jié)果和分析

2.1 實(shí)驗(yàn)數(shù)據(jù)

為了更好地與其他相關(guān)研究結(jié)果比較，采用日本放射技術(shù)學(xué)會(huì)(JSRT)[9]提供的公共數(shù)據(jù)庫(kù)評(píng)估系統(tǒng)的性能。JSRT庫(kù)中的所有肺結(jié)節(jié)均經(jīng)過(guò)計(jì)算機(jī)斷層掃描(computed tomography,CT)確認(rèn)，并由3位胸部放射科醫(yī)師一致認(rèn)同。JSRT全庫(kù)共有247張，其中包含肺結(jié)節(jié)和不包含肺結(jié)節(jié)的分別是154例和93例。庫(kù)中每張圖片都是2 048像素×2 048像素的。每個(gè)像素是0.175 mm。庫(kù)中根據(jù)肺結(jié)節(jié)的明顯程度分為5類，包括：很明顯，明顯，不明顯，很不明顯，極其不明顯。實(shí)驗(yàn)中,將前3類劃為容易的一類，后2類劃為困難一類,如表1所示?？梢钥闯觯篔SRT庫(kù)中肺結(jié)節(jié)的大小差異很大，明顯程度也差異很大，有利于檢驗(yàn)本文方法的泛化能力。

表1 肺結(jié)節(jié)分布

實(shí)驗(yàn)通過(guò)受試者操作特征自由反應(yīng)(free-response receiver operating characteristic，F(xiàn)ROC)[10]曲線定量分析檢測(cè)系統(tǒng)的結(jié)節(jié)檢測(cè)性能，F(xiàn)ROC曲線可以反映肺結(jié)節(jié)檢出率和平均每幅圖像假陽(yáng)性個(gè)數(shù)的關(guān)系。為了測(cè)試模型的性能，需要確認(rèn)選取的可疑結(jié)節(jié)為真結(jié)節(jié)樣本，還是假結(jié)節(jié)樣本。則需明確定義真實(shí)結(jié)節(jié)選中的標(biāo)準(zhǔn)。JSRT數(shù)據(jù)庫(kù)中結(jié)節(jié)的大小從5～35 mm不等，參照文獻(xiàn)[11,12]中的方法，采用的標(biāo)準(zhǔn)是：如果選取的可疑結(jié)節(jié)的中心位置與真實(shí)結(jié)節(jié)中心位置的距離小于25 mm，即認(rèn)為該可疑結(jié)節(jié)為真實(shí)結(jié)節(jié)，真實(shí)結(jié)節(jié)中心位置庫(kù)中已經(jīng)給出。檢測(cè)結(jié)果如圖6所示。

圖6 肺結(jié)節(jié)檢測(cè)結(jié)果展示

2.2 結(jié)節(jié)明顯程度對(duì)實(shí)驗(yàn)結(jié)果的影響

圖7利用FROC曲線給出了系統(tǒng)對(duì)JSRT庫(kù)中所有結(jié)節(jié)和按照明顯度分類結(jié)節(jié)的檢測(cè)性能。肺結(jié)節(jié)檢出率在每幅圖像2.0個(gè)假陽(yáng)性的水平下達(dá)到57 %。對(duì)于容易結(jié)節(jié)的檢出率達(dá)到60 %，對(duì)于困難的檢出率達(dá)到53 %。影像科醫(yī)師很難檢測(cè)出困難的結(jié)節(jié)，其檢出率只有44 %[13]。本文方法的檢出率優(yōu)于醫(yī)師的檢出率，具有很高的實(shí)用價(jià)值。

圖7 結(jié)節(jié)明顯程度對(duì)實(shí)驗(yàn)結(jié)果的影響

2.3 輸入圖像塊大小對(duì)實(shí)驗(yàn)結(jié)果的影響

系統(tǒng)為了簡(jiǎn)化模型提高效率，將切出的圖像塊進(jìn)行了下采樣。本文對(duì)比了幾個(gè)不同大小圖像塊對(duì)實(shí)驗(yàn)結(jié)果的影響，如圖8所示。從圖8 FROC曲線中可以看出，當(dāng)塊的尺寸增大的時(shí)候，保存的原圖像的信息就越多，結(jié)果就越好，但增長(zhǎng)到32×32大小的時(shí)候，結(jié)果趨于穩(wěn)定，為此實(shí)驗(yàn)中選擇32×32大小的塊。

3 討論與比較

本文比較了相關(guān)報(bào)道文獻(xiàn)在JSRT數(shù)據(jù)庫(kù)上的性能，如表2所示，可以看出：在平均每幅圖5.0個(gè)假陽(yáng)性水平下，本文方法檢出率達(dá)到86 %，優(yōu)于其他方法。

表2 基于JSRT數(shù)據(jù)庫(kù)肺結(jié)節(jié)不同研究檢測(cè)性能比較

4 結(jié)束語(yǔ)

提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的在胸片上檢測(cè)肺結(jié)節(jié)的方法。首先用USM銳化方法對(duì)胸片進(jìn)行預(yù)處理，然后訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)，用滑動(dòng)窗口的方法檢測(cè)圖片中的區(qū)域得到大量疑似結(jié)節(jié)的區(qū)域，最后根據(jù)區(qū)域面積的大小篩除大量的假陽(yáng)性。實(shí)驗(yàn)結(jié)果表明：本文方法對(duì)于提高胸片上肺結(jié)節(jié)檢測(cè)的檢出率效果顯著。

[1] Chen S,Suzuki K,MacMahon H.Development and evaluation of a computer-aided diagnostic scheme for lung nodule detection in chest radiographs by means of two-stage nodule enhancement with support vector classification[J].Medical Physics,2011,38(4):1844-1858.

[2] Chen S,Suzuki K.Computerized detection of lung nodules by means of“virtual dual-energy”radiography[J].IEEE Transac-tions on Biomedical Engineering,2013,60(2):369-378.

[3] Yoshida H.Local contralateral subtraction based on bilateral symmetry of lung for reduction of false positives in computerized detection of pulmonary nodules[J].IEEE Transactions on Biome-dical Engineering,2004,51(5):778-789.

[4] Girshick R,Donahue J,Darrell T,et al.Region-based convolutional networks for accurate object detection and segmenta-tion[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2016,38(1):142-158.

[5] 宣森炎,龔小謹(jǐn),劉濟(jì)林.基于聯(lián)合卷積和遞歸神經(jīng)網(wǎng)絡(luò)的交通標(biāo)志識(shí)別[J].傳感器與微系統(tǒng),2014,33(8):30-33.

[6] Van Ginneken B,Romeny B M T H,Viergever M A.Computer-aided diagnosis in chest radiography:A survey[J].IEEE Tran-sactions on Medical Imaging,2001,20(12):1228-1241.

[7] Polesel A,Ramponi G,Mathews V J.Image enhancement via adaptive unsharp masking[J].IEEE Transactions on Image Processing,2000,9(3):505-510.

[8] Nair V,Hinton G E. Rectified linear units improve restricted Boltzmann machines[C]∥2010 Proceedings of the 27th International Conference on Machine Learning(ICML),Haifa,Israel,2010:807-814.

[9] Shiraishi J,Katsuragawa S,Ikezoe J,et al.Development of a digi-tal image database for chest radiographs with and without a lung nodule:Receiver operating characteristic analysis of radiologists’detection of pulmonary nodules[J].American Journal of Roentgenokogy,2000,174 (1):71-74.

[10] Egan J P,Greenberg G Z,Schulman A I.Operating characteristics,signal detectability,and the method of free response[J].The Journal of the Acoustical Society of America,1961,33(8):993-1007.

[11] Hardie R C,Rogers S K,Wilson T,et al.Performance analysis of a new computer aided detection system for identifying lung no-dules on chest radiographs[J].Medical Image Analysis,2008,12(3):240-258.

[12] 陳 寶,陳 勝,何 菁,等.基于虛擬雙能量減影軟組織胸片生成技術(shù)計(jì)算機(jī)輔助檢測(cè)肺結(jié)節(jié)[J].中國(guó)醫(yī)學(xué)影像技術(shù),2015,31(8):1276-1280.

[13] Schilham A M R,Van Ginneken B,Loog M.A computer-aided diagnosis system for detection of lung nodules in chest radiographs with an evaluation on a public database[J].Medical Image Ana-lysis,2006,10(2):247-258.

Lungnodulesdetectionviaconvolutionalneuralnetworksinchestradiographs*

ZHU Guo-ce， LI Chao-feng

(SchoolofInternetofThingsEngineering,JiangnanUniversity,Wuxi214122,China)

Aiming at the problem that detection rate of lung nodules detection scheme based on rabat is low and has a lot of false positives,propose a new nodules detection scheme based on convolutional neural network(CNN).In the scheme,enhance chest radiograph,and then pick positive and negative samples to train the CNN.Process the enhanced image using sliding windows method with the pre-trained network to get the region of interest(ROI),and exclude the false positives by using the size of the ROI at last.The proposed scheme omits the procedure of segmentation of lung field in traditional schemes.And this can avoid losing nodules which are excluded by the segmentation procedure.The JSRT database is used to evaluate the system.The scheme achieves a sensitivity of 86 % for all nodules and a detection rate of 84 % with 5.0 FPs per radiograph for very subtle and extremely sub-tle nodules which outperform the current reported methods.

lung nodules; medical image processing; chest radiographs(CXRs); convolutional neural network(CNN)

10.13873/J.1000—9787(2017)12—0153—04

TP 391.4

A

1000—9787(2017)12—0153—04

2017—01—06

國(guó)家自然科學(xué)基金資助項(xiàng)目(61170120)

朱國(guó)策(1990-)，男，碩士研究生，主要研究領(lǐng)域?yàn)獒t(yī)學(xué)圖像處理，深度學(xué)習(xí)，人工智能,E—mail：zgcstu@126.com。李朝鋒，通訊作者，E—mail:wxlichaofeng@126.com。