基于深度學(xué)習(xí)的肺部腫瘤圖像識(shí)別方法

高雷鳴,肖滿生,向華政

(湖南工業(yè)大學(xué) 計(jì)算機(jī)學(xué)院，湖南 株洲 412000)

0 引言

肺癌是現(xiàn)如今人類生命的危害之一，如果能在早期發(fā)現(xiàn)并醫(yī)治能大大提升肺癌病人的生存率。電子斷面檢測(cè)(CT)被用作肺癌診斷的篩查工具，有助于肺癌早期的診斷，但是分析海量肺部CT圖像信息需要醫(yī)生付出大量努力，而且早期肺部腫瘤特征不明顯，醫(yī)生在分析影像局部微小特征時(shí)會(huì)產(chǎn)生遲疑，無(wú)法對(duì)病人病情做出精確判斷。同時(shí)醫(yī)生的個(gè)人閱歷作用于整個(gè)的診斷流程，缺少系統(tǒng)化的規(guī)范，不同的醫(yī)生對(duì)于同一幅肺部CT圖像可能會(huì)產(chǎn)生分歧，所以這種診斷模式必定存在主觀成分的干擾，快速準(zhǔn)確地判斷肺部是否有腫瘤和腫瘤良性還是惡性，能夠減少前期繁瑣的檢查，防止不需要的手術(shù)，減輕患者心理和身體的痛苦，還能夠提升病人的存活率。因此，實(shí)現(xiàn)肺部腫瘤圖像的自動(dòng)檢測(cè)是一項(xiàng)非常具有研究?jī)r(jià)值和難度的工作。

當(dāng)前，主要在兩方面實(shí)現(xiàn)對(duì)肺部腫瘤圖像分類。第一是基于基礎(chǔ)學(xué)習(xí)策略的方法,采用小波分析(WT)、非參數(shù)局部紋理特征描述子等特征提取方法和核方法、多決策樹、加權(quán)稀疏編碼算法等分類方法。如F.Han[1]等人對(duì)伽柏紋理、邊緣特征和非參數(shù)局部紋理特征描述子進(jìn)行提取來(lái)訓(xùn)練稀疏穩(wěn)健分類器進(jìn)行肺部腫瘤圖像的分類。采用基于基礎(chǔ)學(xué)習(xí)策略的學(xué)習(xí)方法，無(wú)法自動(dòng)進(jìn)行特征提取且過程復(fù)雜，對(duì)專業(yè)領(lǐng)域的條件需求過高，而且由于算法局限性，對(duì)細(xì)微特征的提取方面也存在一定的難度，嚴(yán)重限制了對(duì)肺部腫瘤圖像分類。第二是利用卷積神經(jīng)網(wǎng)絡(luò)CNN進(jìn)行識(shí)別。深度學(xué)習(xí)是基礎(chǔ)學(xué)習(xí)更深領(lǐng)域的研究,其中，CNN模型在人工智能如生物身份識(shí)別[2]、人機(jī)交互識(shí)別[3-4]、醫(yī)學(xué)影像分析[5]等領(lǐng)域都獲得了突出的成就，該網(wǎng)絡(luò)可以直接對(duì)原始圖像進(jìn)行處理，自動(dòng)學(xué)習(xí)相應(yīng)的有效特征，避免了傳統(tǒng)分類方法的繁瑣性和限制性。

現(xiàn)如今，卷積神經(jīng)網(wǎng)絡(luò)已普遍運(yùn)用在醫(yī)學(xué)圖像分類。文獻(xiàn)[6]利用噪聲數(shù)據(jù)訓(xùn)練編碼器獲取肺部腫瘤圖像的特征，訓(xùn)練泛化性能強(qiáng)的編碼器，對(duì)腫瘤圖像做出良性和惡性判斷，比淺層特征提取方法取得了更高的魯棒特征；文獻(xiàn)[7]采用多標(biāo)準(zhǔn)特征提取方法訓(xùn)練網(wǎng)絡(luò)，解決了單標(biāo)準(zhǔn)特征提取的單一性和局限性，獲得了更高的分類性能；文獻(xiàn)[8]提出一種處理海量數(shù)據(jù)的模型，對(duì)網(wǎng)絡(luò)內(nèi)部進(jìn)行升級(jí)，在網(wǎng)絡(luò)中加入隱層，使模型能夠提取更具張力的特性，在面對(duì)海量圖像數(shù)據(jù)時(shí)比現(xiàn)有方法具備更高的性能。然而，由于醫(yī)學(xué)CT圖像的樣本注釋受限于匱乏的醫(yī)學(xué)專家，獲取海量注釋樣本難以實(shí)現(xiàn)，從而導(dǎo)致缺少肺部訓(xùn)練數(shù)據(jù)集，卷積神經(jīng)網(wǎng)絡(luò)依然存在無(wú)法提取更有目的性的深層特征和擬合難題。

面對(duì)上述難題，本文將樣本擴(kuò)充、遷移學(xué)習(xí)應(yīng)用于卷積神經(jīng)網(wǎng)絡(luò)模型，并在網(wǎng)絡(luò)中引入批量歸一化層，輸出層通過三層全連接層和softmax回歸進(jìn)行分類，解決特征提取的繁瑣性和網(wǎng)絡(luò)微數(shù)據(jù)過擬合性，從而提高肺部腫瘤圖像的分類精度。

1 算法描述

1.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是由神經(jīng)認(rèn)知機(jī)模型[9]進(jìn)化而來(lái)的。現(xiàn)如今，卷積神經(jīng)網(wǎng)絡(luò)已發(fā)展成為一個(gè)龐大的多層神經(jīng)網(wǎng)絡(luò)，對(duì)圖像全局特征地提取學(xué)習(xí)與分類是經(jīng)過逐層來(lái)完成的。

卷積層是局部性的低層特征提取層，如圖1所示通過卷積核從左到右、從上到下的順序依次作用于原始矩陣，并將矩陣對(duì)應(yīng)位置的元素相乘后想加，經(jīng)過多次卷積操作得到輸入矩陣的特征圖(feature map)。卷積核矩陣的數(shù)值通過不斷訓(xùn)練達(dá)到擬合。卷積計(jì)算[10]如下式：

(1)

圖1 卷積操作

池化層是對(duì)卷積層特征進(jìn)行整合分析。池化層作用于相鄰的卷積層之間，用來(lái)減少樣本和數(shù)值的量，以達(dá)到簡(jiǎn)化特征的維度、加速網(wǎng)絡(luò)訓(xùn)練效率和避免過擬合現(xiàn)象的目的。池化計(jì)算公式

(2)

式中，p()表示降維函數(shù)，β表示權(quán)重參數(shù)。

全連接層是特征加權(quán)層，對(duì)特征矩陣進(jìn)行向量相乘，綜合池化后的所有特征，整合出具有區(qū)分性和目的性的特征信息，結(jié)合softmax回歸達(dá)到對(duì)圖像分類的目的。

1.2 Softmax分類器

本文使用softmax回歸模型對(duì)肺部腫瘤圖像進(jìn)行分類?；貧w模型用假設(shè)函數(shù)lθ計(jì)算測(cè)試樣本n屬于不同種類的幾率值p(m=j|n),假設(shè)函數(shù)為：

(3)

(4)

Softmax的代價(jià)函數(shù)為:

(5)

式中,λ(λ>0)為正則化系數(shù)。I{m(i)=j}為特征函數(shù)。使用梯度法來(lái)得到式(5)最小值。

1.3 遷移學(xué)習(xí)

本文是對(duì)肺部腫瘤圖像微樣本進(jìn)行實(shí)驗(yàn)，在缺少海量實(shí)驗(yàn)數(shù)據(jù)的情況下，如果使用卷積網(wǎng)絡(luò)訓(xùn)練可能導(dǎo)致過擬合局面或者訓(xùn)練出來(lái)的網(wǎng)絡(luò)缺乏泛化能力。因此本文把遷移學(xué)習(xí)[11-12]的思想應(yīng)用于卷積神經(jīng)網(wǎng)絡(luò)，使用海量ImageNet樣本對(duì)CNN網(wǎng)絡(luò)進(jìn)行預(yù)運(yùn)算，獲得有效的參數(shù)值，然后運(yùn)用在肺部腫瘤數(shù)據(jù)集上進(jìn)行調(diào)整學(xué)習(xí)。如式(6)和(7)所示，其中Sp是預(yù)訓(xùn)練樣本區(qū)間，St是目標(biāo)樣本區(qū)間。

Sp={(a1,b1),…,(am,bm)}

(6)

(7)

遷移學(xué)習(xí)可行性是因?yàn)镃NN 通過多層結(jié)構(gòu)完成提取特征的任務(wù)，從預(yù)訓(xùn)練樣本區(qū)間提取到對(duì)目標(biāo)樣本訓(xùn)練有幫助的參數(shù)值，避免參數(shù)的頻繁變化，這樣網(wǎng)絡(luò)在訓(xùn)練時(shí)就更加迅速，有效解決過度擬合局面，提高圖像分類性能。

1.4 批量歸一化(BN)

卷積神經(jīng)網(wǎng)絡(luò)的運(yùn)算是一個(gè)極其繁瑣的過程，數(shù)據(jù)在訓(xùn)練過程會(huì)發(fā)生轉(zhuǎn)換，下層輸入?yún)?shù)會(huì)隨著上層網(wǎng)絡(luò)參數(shù)的改變進(jìn)行變化，這種頻繁的改變會(huì)導(dǎo)致神經(jīng)網(wǎng)絡(luò)出現(xiàn)收斂速率過慢，或者梯度消失等無(wú)法訓(xùn)練的情況。因此本文在網(wǎng)絡(luò)中引入批量歸一化層來(lái)解決上述問題。具體算法如下：

算法1：批處理

輸入：a:β=(a1,…，am)

輸出：規(guī)范后的網(wǎng)絡(luò)響應(yīng){bi=BNγ,β(ai)}

5.Return學(xué)習(xí)的參數(shù)γ和β。

2 網(wǎng)絡(luò)模型設(shè)計(jì)

2.1 基于深度學(xué)習(xí)的特征提取模型

本文模型如圖2所示，在每個(gè)卷積層和神經(jīng)元激活函數(shù)之間引入批量歸一化層，對(duì)輸入數(shù)據(jù)首先進(jìn)行預(yù)歸一化處理，代替原網(wǎng)絡(luò)中的局部歸一化操作，并采用ReLU作為激活函數(shù)，通過三層全連接層和Softmax分類器實(shí)現(xiàn)肺部腫瘤圖像的分類。

圖2 網(wǎng)絡(luò)結(jié)構(gòu)圖

在整個(gè)網(wǎng)絡(luò)訓(xùn)練之前，首先利用ImageNet數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練，代替了零基礎(chǔ)訓(xùn)練網(wǎng)絡(luò)的傳統(tǒng)方法，本文網(wǎng)絡(luò)訓(xùn)練的權(quán)重、偏置的默認(rèn)值使用預(yù)運(yùn)算好的參數(shù)，損失函數(shù)變化速率設(shè)置為0.01，將經(jīng)過5000次迭代后預(yù)運(yùn)算好的網(wǎng)絡(luò)遷移到肺部圖像上進(jìn)行某種程度的調(diào)整學(xué)習(xí)。

2.1.1 改進(jìn)后的網(wǎng)絡(luò)模型

卷積層1+池化層1。使用大小為11×11×96，間距為4的過濾器濾波操作，輸出55×55×96的特征map，然后采用下采樣尺度為3×3，間距為2的下采樣算法進(jìn)行降維操作，輸出27×27×96的特征map。

卷積層2+池化層2。使用大小為5×5×256，間距為1的過濾器濾波操作，輸出27×27×256的特征map，然后采用下采樣尺度為3×3，間距為2的下采樣算法進(jìn)行降維操作，輸出13×13×256的特征map。

卷積層3+卷積層4。使用大小為3×3×384，間距為1的過濾器濾波操作，輸出13×13×384的特征map，這兩層卷積層后不接池化層。

卷積層5+池化層3。使用大小為3×3×256，間距為1的過濾器濾波操作，輸出13×13×256的特征map，然后采用下采樣尺度為3×3，間距為2的下采樣算法進(jìn)行降維操作，輸出6×6×256的特征map。

2.1.2 最大池化操作

池化操作不僅具有減少特征維度、參數(shù)量的作用，還能夠保持特征不變性。有兩種池化操作：均值池化(mean-pooling)、最大值池化(max-pooling)，本文采用的是max-pooling，對(duì)領(lǐng)域特征點(diǎn)取最大值，來(lái)減弱卷積層權(quán)重值的差錯(cuò)對(duì)均值的影響，對(duì)在保持低參數(shù)計(jì)算量的情況下，到達(dá)保留更多紋理信息的目的。

2.2 肺部圖像的自動(dòng)分類

對(duì)肺部圖像的分類任務(wù)是通過全連接層和分類器完成的，如圖3所示，全連接層的開始為第五層卷積層的聚合特征，通過3層的全連接作用獲得到1000維的Softmax輸出，本文在全連接層中加入Dropout使某些神經(jīng)元停止工作，使網(wǎng)絡(luò)學(xué)習(xí)更具表達(dá)性的特征，以減少過擬合局面，達(dá)到正則化效果。同時(shí)使用ReLU避免梯度消失局面。

圖3 分類器模型圖

3 實(shí)驗(yàn)結(jié)果分析

3.1 實(shí)驗(yàn)環(huán)境

本文采用Caffe平臺(tái)。模型是在Intel i7-9000K CPU，NVIDIA GeForce RTX 2070上進(jìn)行學(xué)習(xí)完成的。前期數(shù)據(jù)的處理用Matlab完成。

3.2 數(shù)據(jù)集

3.2.1 數(shù)據(jù)來(lái)源

本文實(shí)驗(yàn)使用肺結(jié)節(jié)數(shù)據(jù)集LIDC,LIDC整合了醫(yī)學(xué)界專家的對(duì)肺結(jié)節(jié)病例的診斷信息。每個(gè)病例都包含50～250張肺部CT圖像和一個(gè)注釋文件，專家標(biāo)注的診斷信息權(quán)威且詳細(xì)。嚴(yán)格按照專業(yè)醫(yī)師注明選取肺部CT樣本4000例，健康CT樣本占20%，良惡性腫瘤樣本占80%。

3.2.2 數(shù)據(jù)處理

在卷積神經(jīng)網(wǎng)路中需要保證特征輸出圖大小是一致的，需要將肺部圖像進(jìn)行歸一化預(yù)處理操作，壓縮為227×227，將樣本進(jìn)行排序并按照一定的數(shù)量將肺部CT圖像劃分為訓(xùn)練樣本和測(cè)試樣本。其中訓(xùn)練樣本占70%例，測(cè)試樣本占30%例。

3.2.3 樣本擴(kuò)充

為了解決數(shù)據(jù)量不足對(duì)網(wǎng)絡(luò)運(yùn)算導(dǎo)致的過擬合局面，本文對(duì)LIDC樣本集作出以下處理：將肺部腫瘤圖像水平、垂直翻轉(zhuǎn)、轉(zhuǎn)動(dòng)135°/270°、縮放比例、加入高斯噪聲、裁剪、移位等操作，將已有的訓(xùn)練樣本集轉(zhuǎn)化為新的樣本集，以達(dá)到快速擴(kuò)充樣本集的目的，減少高頻特征對(duì)網(wǎng)絡(luò)的影響，提升網(wǎng)絡(luò)模型的學(xué)習(xí)能力。

3.3 評(píng)價(jià)標(biāo)準(zhǔn)

本文使用準(zhǔn)確率ACC、敏感性SNR、特異度SPR、AUC面積和訓(xùn)練時(shí)間來(lái)判定該分類系統(tǒng)的性能。

真陽(yáng)性率TPR為準(zhǔn)確篩選良惡性數(shù)據(jù)的百分比，真陰性率TNR為準(zhǔn)確篩選健康數(shù)據(jù)的百分比，假陽(yáng)性率FPR為錯(cuò)誤篩選良惡性數(shù)據(jù)的百分比，假陰性率FNR為錯(cuò)誤篩選健康數(shù)據(jù)的百分比。則SPR、SNR、ACC的公式如下：

(8)

(9)

(10)

3.4 實(shí)驗(yàn)結(jié)果分析

首先實(shí)驗(yàn)選擇在同一數(shù)據(jù)集不同訓(xùn)練模型上進(jìn)行比較，將本文所提方法與LeNet-5[13]，ResNet[14]，AlexNet[15]，VGGNet[16]，GooLeNet[17]5種模型進(jìn)行對(duì)照，表1展現(xiàn)了卷積神經(jīng)網(wǎng)絡(luò)在6種方法上的訓(xùn)練時(shí)間和測(cè)試準(zhǔn)確率，通過實(shí)驗(yàn)可以看出，本文所設(shè)計(jì)網(wǎng)絡(luò)和方法獲取了更有效和表達(dá)性的肺部圖像特征，比其他5種模型實(shí)現(xiàn)了更好的分類準(zhǔn)確度。在訓(xùn)練時(shí)間方面，本文所提方法的訓(xùn)練時(shí)間明顯低于其他5種方法，網(wǎng)絡(luò)具有更好的分類性能。

表1 模型訓(xùn)練時(shí)間與準(zhǔn)確率

本文用相同的肺部圖像數(shù)據(jù)集對(duì)AlexNet模型和改進(jìn)的網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，驗(yàn)證批量歸一化層的使用對(duì)模型穩(wěn)定性和模型訓(xùn)練速率的作用。通過圖3可以得出改進(jìn)模型的準(zhǔn)確率的上升速率和訓(xùn)練損失值下降速率都比AlexNet模型的快很多，而且網(wǎng)絡(luò)訓(xùn)練過程快速平穩(wěn)。說(shuō)明批量歸一化層不僅可以避免梯度消失，維持網(wǎng)絡(luò)平穩(wěn)性，加速網(wǎng)絡(luò)訓(xùn)練速率和學(xué)習(xí)能力。

本文采用以下方法進(jìn)行網(wǎng)絡(luò)運(yùn)算來(lái)觀察遷移學(xué)習(xí)對(duì)模型性能的作用：

1)利用肺部樣本對(duì)改進(jìn)的模型使用零基礎(chǔ)的運(yùn)算方法；

2)利用ImageNet樣本對(duì)改進(jìn)的模型實(shí)行初始運(yùn)算，用已經(jīng)訓(xùn)練好的參數(shù)作為模型訓(xùn)練的輸入值。

如表2所示，利用遷移學(xué)習(xí)的方法模型各方面的性能都更優(yōu)，在面對(duì)小規(guī)模數(shù)據(jù)集訓(xùn)練時(shí)用較短時(shí)間提取到了更有效的信息，有益于網(wǎng)絡(luò)在肺部圖像小樣本判斷中達(dá)到準(zhǔn)確的識(shí)別分類。

表2 網(wǎng)絡(luò)不同運(yùn)算方法性能比較

本文對(duì)AlexNet模型和改進(jìn)的模型分別采用原始樣本和樣本擴(kuò)充的方法進(jìn)行運(yùn)算來(lái)觀察樣本擴(kuò)充方式對(duì)網(wǎng)絡(luò)性能的作用。如表3所示，采用樣本擴(kuò)充的運(yùn)算方法，網(wǎng)絡(luò)獲得了更好的學(xué)習(xí)能力，說(shuō)明了樣本擴(kuò)充很好地減少了數(shù)據(jù)不平衡過少難題，驗(yàn)證了樣本擴(kuò)充的功能性。

4 結(jié)束語(yǔ)

本文基于肺部腫瘤圖像分類對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)模型

表3 網(wǎng)絡(luò)不同運(yùn)算方法性能比較

圖3 本文方法和AlexNet的測(cè)試準(zhǔn)確率和損失值

優(yōu)化改進(jìn)，在利用遷移學(xué)習(xí)和樣本擴(kuò)充基礎(chǔ)上，并在網(wǎng)絡(luò)每層數(shù)據(jù)輸入前預(yù)先歸一化處理，防止傳統(tǒng)特征提取和分類的限制性，減少了高頻特征對(duì)網(wǎng)絡(luò)模型的影響，而且有效減少了網(wǎng)絡(luò)在數(shù)據(jù)缺乏時(shí)導(dǎo)致的過擬合局面，使卷積神經(jīng)網(wǎng)絡(luò)運(yùn)用非常有限的醫(yī)學(xué)樣本，提升了肺部腫瘤模型的分類準(zhǔn)確率和效率，且網(wǎng)絡(luò)健壯性得到了提升，為醫(yī)生判斷提供良好的協(xié)助作用。在今后的研究中，對(duì)網(wǎng)絡(luò)內(nèi)部構(gòu)造和網(wǎng)絡(luò)學(xué)習(xí)能力往深層次擴(kuò)展，進(jìn)一步提升模型的分類精準(zhǔn)度，并運(yùn)用于大規(guī)模醫(yī)學(xué)圖像的分類。