基于深度學(xué)習(xí)的肺部醫(yī)療圖像識(shí)別

曹珍貫，李銳，張宗唐

基于深度學(xué)習(xí)的肺部醫(yī)療圖像識(shí)別

曹珍貫，李銳，張宗唐

（安徽理工大學(xué) 電氣與信息工程學(xué)院，安徽 淮南 232000）

肺結(jié)節(jié)作為肺癌早期診斷的重要特征，對(duì)其識(shí)別和類型判斷具有重要意義。目前使用遷移學(xué)習(xí)的識(shí)別算法存在著源數(shù)據(jù)集與目標(biāo)數(shù)據(jù)集差距過(guò)大問(wèn)題，對(duì)于肺結(jié)節(jié)特征提取不足，導(dǎo)致效果不佳。故此提出了基于卷積神經(jīng)網(wǎng)絡(luò)的改進(jìn)神經(jīng)網(wǎng)絡(luò)模型。將預(yù)訓(xùn)練的GooLeNet Inception V3網(wǎng)絡(luò)與設(shè)計(jì)的特征融合層結(jié)合，提高網(wǎng)絡(luò)對(duì)特征的提取能力；為確定最佳組合方式，對(duì)各組以準(zhǔn)確率為標(biāo)準(zhǔn)進(jìn)行測(cè)試。實(shí)驗(yàn)在LUNA16肺結(jié)節(jié)數(shù)據(jù)集上進(jìn)行。進(jìn)行分組測(cè)試結(jié)果表明，改進(jìn)的網(wǎng)絡(luò)準(zhǔn)確率達(dá)88.80%，敏感度達(dá)87.15%。在識(shí)別準(zhǔn)確率和敏感性指標(biāo)上，與GooLeNet Inception V3算法相比，分別提高了2.72, 2.19個(gè)百分點(diǎn)。在不同數(shù)據(jù)集比例下進(jìn)行實(shí)驗(yàn)，同樣達(dá)到了更優(yōu)的效果，具有更好的泛化能力。可以給臨床診斷提供相對(duì)客觀的指標(biāo)依據(jù)。

醫(yī)學(xué)圖像；深度學(xué)習(xí)；遷移學(xué)習(xí)；GooLeNet

目前，肺癌的發(fā)病率和致死率每年都在不斷增加。根據(jù)美國(guó)癌癥協(xié)會(huì)數(shù)據(jù)，每年大約14%以上的新發(fā)癌癥屬于肺癌類型。在惡性腫瘤中，肺癌以最高的發(fā)病率和死亡率居于榜首。肺結(jié)節(jié)作為與肺癌有密切關(guān)系的多器官多系統(tǒng)疾病，很有可能是肺癌的早期特征。因此，對(duì)于肺結(jié)節(jié)的檢測(cè)對(duì)診斷早期肺癌有重要參考意義[1-2]。

計(jì)算機(jī)斷層掃描（Computed Tomography，CT）作為常用在肺結(jié)節(jié)評(píng)估的成像方式，要求醫(yī)生具有專業(yè)的醫(yī)學(xué)影像知識(shí)和臨床經(jīng)驗(yàn)。同時(shí)由于不同醫(yī)生的診斷也具有個(gè)體差異[3]，近些年計(jì)算機(jī)輔助診斷（Computer-Aided Diagnosis，CAD）技術(shù)作為輔助醫(yī)療工具被廣泛應(yīng)用，能夠給出相對(duì)客觀的評(píng)價(jià)指標(biāo)，輔助醫(yī)生做出診斷。

早期的研究方法多為使用特征提取的方法，即提取圖片中的感興趣區(qū)域（Region of Interest，ROI），從形狀、灰度、紋理等特征分析結(jié)節(jié)特性，人工提取特征方法費(fèi)時(shí)費(fèi)力[4]。隨著機(jī)器學(xué)習(xí)領(lǐng)域的快速發(fā)展，以卷積神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)算法廣泛應(yīng)用：一種是基于候選區(qū)域的兩階段檢測(cè)算法，如RCNN；另一種是基于回歸的一階段檢測(cè)算法，如YOLO[5-6]系列。Francis等[7]提出使用YOLO檢測(cè)框架來(lái)檢測(cè)CT中的結(jié)節(jié)，通過(guò)使用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）來(lái)預(yù)測(cè)多個(gè)敘述框，并在LIDC-IDRI（肺影像數(shù)據(jù)庫(kù)聯(lián)盟）數(shù)據(jù)集上進(jìn)行測(cè)試，敏感度為89%。現(xiàn)階段常使用在其他數(shù)據(jù)集上訓(xùn)練過(guò)的卷積網(wǎng)絡(luò)來(lái)提取目標(biāo)數(shù)據(jù)集的特征，常用網(wǎng)絡(luò)包括CNN、YOLO、FCN、R-CNN[8-9]等。

目前使用的遷移學(xué)習(xí)方法可以取得較好的效果，但是源數(shù)據(jù)集與目標(biāo)數(shù)據(jù)集差距過(guò)大，特征提取存在改進(jìn)的空間。因此，本文設(shè)計(jì)一種改進(jìn)的GooLeNet Inception V3網(wǎng)絡(luò)的深度神經(jīng)網(wǎng)絡(luò)模型來(lái)識(shí)別肺結(jié)節(jié)。

本文的主要工作在于建立特征融合層和相關(guān)參數(shù)的優(yōu)化，將目標(biāo)網(wǎng)絡(luò)與建立的融合層相結(jié)合，更好地提取目標(biāo)數(shù)據(jù)集的特征。

1 數(shù)據(jù)集

本文使用LUNA16數(shù)據(jù)集。作為公用肺結(jié)節(jié)數(shù)據(jù)集LIDC-IDRI[10]的子集，LUNA16包括888位病人CT圖像，分成10個(gè)子集存儲(chǔ)。每套圖像由mhd和raw文件組成，mhd給出圖像基本信息，raw儲(chǔ)存像素信息。CT圖像實(shí)例如圖1所示。

圖1 LUNA16圖像實(shí)例

2 改進(jìn)的肺結(jié)節(jié)識(shí)別模型

2.1 GooLeNet網(wǎng)絡(luò)算法

2012年Szegedy等[11]提出GooLeNet網(wǎng)絡(luò)，相比AlexNet、VGG等網(wǎng)絡(luò)，GooLeNet具有更深的網(wǎng)絡(luò)結(jié)構(gòu)和更少的參數(shù)量（見(jiàn)表1）。GooLeNet通過(guò)調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)（見(jiàn)圖2），設(shè)計(jì)Inception層，大幅降低了參數(shù)量，從而提高訓(xùn)練效率。

表1 常用神經(jīng)網(wǎng)絡(luò)參數(shù)對(duì)比

圖2 GooLeNet的網(wǎng)絡(luò)結(jié)構(gòu)圖

2.2 改進(jìn)的RGIV3網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

GooLeNet Inception V3[10,12]是在ImageNet數(shù)據(jù)集訓(xùn)練得到的模型，與本文使用的LUNA16數(shù)據(jù)集差距較大，直接使用效果不佳，故設(shè)計(jì)融合層來(lái)減小兩數(shù)據(jù)集差距過(guò)大對(duì)識(shí)別的影響。通過(guò)該特征融合層對(duì)網(wǎng)絡(luò)學(xué)習(xí)的特征信息進(jìn)行非線性擬合，更好地學(xué)習(xí)圖片特征。

設(shè)計(jì)的融合層由3個(gè)全連接層和一個(gè)Dropout層組成，結(jié)構(gòu)如圖3所示。將該層與GooLeNet Inception V3網(wǎng)絡(luò)組合，下文中，原GooLeNet Inception V3稱為GIV3，組合后網(wǎng)絡(luò)稱為RGIV3。

根據(jù)經(jīng)驗(yàn)，節(jié)點(diǎn)數(shù)應(yīng)在1024, 512, 256, 128中選擇，隱藏率在0.4, 0.5, 0.6中選擇。為確定最佳組合方式，本文針對(duì)節(jié)點(diǎn)參數(shù)和隱藏率的不同組合進(jìn)行實(shí)驗(yàn)，共30組分別進(jìn)行實(shí)驗(yàn)，以準(zhǔn)確率為選擇標(biāo)準(zhǔn)。實(shí)驗(yàn)結(jié)果如表2所示。根據(jù)結(jié)果，本文選擇參數(shù)組合為1024和512，隱藏率為0.5。

圖3 改進(jìn)后RGIV3結(jié)構(gòu)圖

表2 節(jié)點(diǎn)數(shù)與隱藏率組合實(shí)驗(yàn)結(jié)果

由于目標(biāo)數(shù)據(jù)集樣本量較少，訓(xùn)練新的模型容易出現(xiàn)過(guò)擬合，實(shí)驗(yàn)中采用在ImageNet等大型數(shù)據(jù)庫(kù)訓(xùn)練后的權(quán)值作為初始化依據(jù)，通過(guò)較低的學(xué)習(xí)率進(jìn)行微調(diào)。

2.3 網(wǎng)絡(luò)權(quán)值更新方法

選擇隨機(jī)梯度下降（Stochastic Gradient Descent，SGD）方法更新權(quán)值，即沿學(xué)習(xí)率反方向靠近損失函數(shù)的最小值時(shí)的參數(shù)[9]。更新公式如下：

3 實(shí)驗(yàn)及結(jié)果分析

3.1 數(shù)據(jù)集預(yù)處理

LUNA16的原始數(shù)據(jù)由圖像數(shù)據(jù)（.raw）和標(biāo)注數(shù)據(jù)（.mhd）組成，由于神經(jīng)網(wǎng)絡(luò)無(wú)法直接讀取該格式圖像，把mhd格式圖像轉(zhuǎn)換為通用BMP格式圖像。通過(guò)轉(zhuǎn)換得到與CT切片數(shù)量相同的RGB格式圖像，每張圖片顯示了一張切片的完整圖像信息。從標(biāo)注文件中可以得到結(jié)節(jié)的位置信息和性質(zhì)信息，通過(guò)位置信息和切片深度可以快速定位切片及結(jié)節(jié)位置[13]。病人在進(jìn)行CT檢查時(shí)，由于姿勢(shì)不同導(dǎo)致圖像出現(xiàn)翻轉(zhuǎn)，需要根據(jù)標(biāo)注數(shù)據(jù)調(diào)整圖片使其正臥，同時(shí)修改坐標(biāo)信息。

由于數(shù)據(jù)集較小，需要通過(guò)數(shù)據(jù)增強(qiáng)的方式擴(kuò)充數(shù)據(jù)集。本文使用有監(jiān)督類的數(shù)據(jù)增強(qiáng)方式，對(duì)轉(zhuǎn)換的BMP格式圖像進(jìn)行數(shù)據(jù)增強(qiáng)以擴(kuò)充數(shù)據(jù)集，并通過(guò)微調(diào)學(xué)習(xí)率的方式防止過(guò)擬合。

肺實(shí)質(zhì)指肺內(nèi)各支氣管及其終端的肺泡結(jié)構(gòu)，即肺內(nèi)空氣接觸的腔隙和管壁。在CT影像中，指的是肺部白色輪廓的黑色部分。本文的研究目標(biāo)為識(shí)別肺結(jié)節(jié)，所以僅需對(duì)肺實(shí)質(zhì)部分進(jìn)行分析，肺外部輪廓部分可能會(huì)給神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)帶來(lái)影響，故對(duì)影像進(jìn)行提取肺實(shí)質(zhì)操作[14]。

如圖4為L(zhǎng)UNA16數(shù)據(jù)集中的一張?jiān)紨?shù)據(jù)切片。經(jīng)過(guò)二值化、腐蝕膨脹等操作將肺實(shí)質(zhì)與肺部輪廓分割開來(lái)如右圖，在去除輪廓后僅以肺實(shí)質(zhì)進(jìn)行后續(xù)處理[15]。

圖4 原圖像和處理后肺實(shí)質(zhì)圖像

3.2 實(shí)驗(yàn)過(guò)程

實(shí)驗(yàn)在Windows 10系統(tǒng)下進(jìn)行，CPU為Inter Core i5-6200U@ 2.30GHz，使用Tensorflow框架和slim微調(diào)模型，Python3.6版本。

實(shí)驗(yàn)過(guò)程中訓(xùn)練使用了750個(gè)病人的CT資料，測(cè)試使用了150個(gè)病人資料。共提取出肺結(jié)節(jié)圖像2000張和健康組織圖像2000張，通過(guò)數(shù)據(jù)增強(qiáng)的方式擴(kuò)充數(shù)據(jù)集，共有肺結(jié)節(jié)圖像5000張，健康組織5000張。調(diào)整尺寸固定為330×330。分別采用80%作為訓(xùn)練集，20%作為測(cè)試集；70%作為訓(xùn)練集，30%作為測(cè)試集；60%作為訓(xùn)練集，40%作為測(cè)試集。每組訓(xùn)練至損失函數(shù)一致，分別測(cè)試并對(duì)比分析模型性能。其中80%組在slim模型上訓(xùn)練了2776步，將損失函數(shù)降至0.38，準(zhǔn)確率達(dá)88.8%，其他組別結(jié)果如表4。

實(shí)驗(yàn)中，使用設(shè)計(jì)的RGIV3網(wǎng)絡(luò)在訓(xùn)練集和驗(yàn)證集上進(jìn)行訓(xùn)練，并在測(cè)試集進(jìn)行驗(yàn)證。為了避免陷入局部最優(yōu)，對(duì)學(xué)習(xí)率采取逐步遞減的方法。即當(dāng)每迭代200次，對(duì)學(xué)習(xí)率進(jìn)行調(diào)整。

3.3 實(shí)驗(yàn)結(jié)果分析

根據(jù)實(shí)驗(yàn)結(jié)果得到真陽(yáng)性（True Positive，TP）、真陰性（True Negative，TN）、假陽(yáng)性（False Positive，F(xiàn)P）和假陰性（False Negative，F(xiàn)N），并選擇了3個(gè)評(píng)價(jià)指標(biāo)來(lái)評(píng)價(jià)模型性能[14-16]：準(zhǔn)確率（Accuracy，Acc）、敏感度（Sensitivity，Sen）、特異度（Specificity，Spe），計(jì)算式如下：

準(zhǔn)確率表現(xiàn)了預(yù)測(cè)結(jié)果與真實(shí)結(jié)果的相符程度，敏感性體現(xiàn)了模型識(shí)別肺結(jié)節(jié)的能力。特異性則是對(duì)無(wú)肺結(jié)節(jié)的圖像的識(shí)別能力。GIV3與RGIV3的訓(xùn)練過(guò)程如圖5所示，根據(jù)圖5可看出，RGIV3具有更快的收斂速度，模型性能更加穩(wěn)定，同時(shí)結(jié)合準(zhǔn)確率，改進(jìn)的RGIV3模型在數(shù)據(jù)集上取得了更好的效果。

圖5 訓(xùn)練過(guò)程（總體損失loss變化）

在80%作為訓(xùn)練集，20%作為測(cè)試集時(shí)，各模型的效果對(duì)比如表3所示。

表3 模型效果對(duì)比 %

通過(guò)表3所示，本文改進(jìn)的模型在準(zhǔn)確率和敏感性上分別為88.80%和87.15%，相較于傳統(tǒng)的GIV模型分別提高了2.72%和2.19%。達(dá)到了較優(yōu)的識(shí)別效果。

為更全面評(píng)估改進(jìn)的RGIV3模型性能，在不同訓(xùn)練集與測(cè)試集的比例下進(jìn)行了實(shí)驗(yàn)，結(jié)果如表4所示。

表4 不同數(shù)據(jù)比例下模型效果對(duì)比 %

根據(jù)上表所示，結(jié)合訓(xùn)練過(guò)程分析，改進(jìn)的RGIV3相比原GIV模型存在較好的識(shí)別效果，在80%，70%，60%的數(shù)據(jù)比例下均優(yōu)于GIV3的識(shí)別效果，同時(shí)收斂速度更快，具有更好的性能。

4 結(jié)束語(yǔ)

本文使用一種改進(jìn)的神經(jīng)網(wǎng)絡(luò)模型，對(duì)LUNA16數(shù)據(jù)集使用一部分進(jìn)行肺結(jié)節(jié)的檢測(cè)。通過(guò)GIV3網(wǎng)絡(luò)與設(shè)計(jì)的特征融合層的相結(jié)合，提高了網(wǎng)絡(luò)對(duì)于特征的提取能力，在一定程度上緩解了由于源數(shù)據(jù)集與目標(biāo)數(shù)據(jù)集之間差距較大，導(dǎo)致遷移學(xué)習(xí)的效果不佳。在對(duì)比實(shí)驗(yàn)中，本文的模型相較于已有的其他模型，具有較好的識(shí)別效果。由于數(shù)據(jù)集規(guī)模較小，存在一定的過(guò)擬合情況，通過(guò)數(shù)據(jù)增強(qiáng)擴(kuò)充數(shù)據(jù)集以及微調(diào)

學(xué)習(xí)率的方式，可以有效緩解。在后續(xù)的研究中，可將計(jì)算特征與語(yǔ)義特征相聯(lián)系，為肺結(jié)節(jié)給予定量評(píng)估，為醫(yī)生提供診斷依據(jù)。

[1] 楊懷金，夏克文，劉方原，等. 融合卷積神經(jīng)網(wǎng)絡(luò)和流形學(xué)習(xí)的肺結(jié)節(jié)檢測(cè)[J]. 科學(xué)技術(shù)與工程，2021, 21(01): 260-268.

[2] 葉楓，王路遙，洪衛(wèi)，等. 基于SE-CapsNet的肺結(jié)節(jié)良惡性診斷研究[J]. 中國(guó)生物醫(yī)學(xué)工程學(xué)報(bào)，2021, 40(01): 71-80.

[3] 曹蕾，黎維娟，馮前進(jìn). 基于LDA和SVM的肺結(jié)節(jié)CT圖像自動(dòng)檢測(cè)與診斷[J]. 南方醫(yī)科大學(xué)學(xué)報(bào)，2011, 31(02): 324-328.

[4] 唐力. 基于肺部圖像識(shí)別的計(jì)算機(jī)輔助分類方法研究[D]. 哈爾濱：哈爾濱理工大學(xué)，2021.

[5] 王乾梁，石宏理. 基于改進(jìn)YOLO V3的肺結(jié)節(jié)檢測(cè)方法[J]. 中國(guó)醫(yī)學(xué)物理學(xué)雜志，2021, 38(09): 1179-1184.

[6] 陳婧，葉曉丹. 肺結(jié)節(jié)MRI檢查的研究進(jìn)展和臨床應(yīng)用[J]. 中國(guó)中西醫(yī)結(jié)合影像學(xué)雜志，2021, 19(05): 506-510.

[7] FRANCIS G, KO J P. Pulmonary nodules: detection, assessment, and CAD[J]. American Journal of Roentgenology, 2008, 191(4): 1057-1069.

[8] LIU D, ZHU S, LIU B, et al. Improvement of CT target scanning quality for pulmonary nodules by PDCA management method[J]. Mathematical Problems in Engineering, 2021(6): 1-9.

[9] 孟以爽. 基于深度學(xué)習(xí)的醫(yī)療圖像識(shí)別[D]. 上海：上海交通大學(xué)，2018.

[10] 何新宇，張曉龍. 基于深度神經(jīng)網(wǎng)絡(luò)的肺炎圖像識(shí)別模型[J]. 計(jì)算機(jī)應(yīng)用，2019, 39(06): 1680-1684.

[11] SZEGEDY C，LIU W，JIA Y Q，et al. Going deeper with convolutions[J]. IEEE Computer Society, 2015: 1-9．

[12] OHNO Y, NISHIO M, KOYAMA H, et al. Dynamic contrast-enhanced CT and MRI for pulmonary nodule assessment[J]. American Journal of Roentgenology, 2014, 202(3): 515-529.

[13] SOUTO M, TAHOCES P G, SUAREZ CUENCA J J, et al. Automatic detection of pulmonary nodules on computed tomography: a preliminary study[J]. Radiologia, 2008, 50(5): 387-392.

[14] ZHANG C, LI J, HUANG J, et al. Computed tomography image under convolutional neural network deep learning algorithm in pulmonary nodule detection and lung function examination[J]. Journal of healthcare engineering, 2021, 2021: 3417285.

[15] LEE C H, JWO J S. Automatic segmentation for pulmonary nodules in CT images based on multifractal analysis[J]. IET Image Processing, 2020, 14(7): 1347-1353.

[16] ITOUJI E, KONO M, ADACHI S, et al. The role of CT and MR imaging in the diagnosis of lung cancer[J]. Gan to Kagaku Ryoho Cancer & Chemotherapy, 1997, 24 Suppl 3: 353-358.

Lung medical image recognition based on deep learning

CAO Zhen-guan，LI Rui，ZHANG Zong-tang

(School of Electrical and Information Engineering, Anhui University of Science & Technology, Anhui Huainan 232000, China)

As an important feature of early diagnosis of lung cancer, pulmonary nodules are of great significance to its recognition and classification. At present, there is a large gap between the source data set and the target data set in the recognition algorithm of transfer learning, and the feature extraction of pulmonary nodules is insufficient, resulting in poor effect. This paper proposes an improved neural network model based on convolutional neural network. The pre-trained GooLeNet Inception V3 network is combined with the designed feature fusion layer to improve the network's feature extraction capability. In order to determine the best combination method, each group is tested based on accuracy. The experiment was performed on the LUNA16 dataset of pulmonary nodules. After grouping test, the accuracy and sensitivity of the improved network are 88.80% and 87.15% respectively. Compared with GooLeNet Inception V3 algorithm, the recognition accuracy and sensitivity are improved by 2.72 and 2.19 percentage points respectively. Experiments under different proportions of data sets also achieve better results and have better generalization ability. It can provide relatively objective index basis for clinical diagnosis.

medical image；deep learning；transfer learning；GooLeNet

2021-10-22

安徽省科技重大專項(xiàng)項(xiàng)目——礦山職工全過(guò)程智能健康管理關(guān)鍵技術(shù)研究及應(yīng)用示范（201903a07020013）；安徽理工大學(xué)2021年研究生創(chuàng)新基金（2021CX2072）

曹珍貫（1979-），男，浙江泰州人，副教授，博士，主要從事智能控制研究，caozhenguan@163.com。

TP391.4

A

1007-984X(2022)02-0044-06