使用胸片檢測新型冠狀肺炎的深度集成網(wǎng)絡(luò)

朱萬鵬，雷秀娟

(陜西師范大學(xué) 計算機科學(xué)學(xué)院，陜西 西安 710119)

0 引 言

2019年，自新型冠狀肺炎(Corona Virus Disease 2019，COVID-19)第一次爆發(fā)以來，該疾病已經(jīng)在全球范圍內(nèi)迅速蔓延。COVID-19主要以干咳、發(fā)熱、乏力等方面為主要表現(xiàn)，此外，還包括了疼痛、鼻塞、流鼻涕、呼吸急促、急性呼吸綜合征和腹瀉等癥狀。

由于COVID-19具有很強的傳播性，在早期實現(xiàn)對COVID-19的檢測具有十分重要的意義。目前作為主要標(biāo)準(zhǔn)的是逆轉(zhuǎn)錄聚合酶鏈反應(yīng)(Reverse Transcription Polymerase Chain Reaction，RT-PCR)檢測方法。然而RT-PCR雖然是一個較好的檢測形式，并且準(zhǔn)確率、檢測能力等方面有了很大的提升，但是RT-PCR技術(shù)仍然存在很大的缺點，比如操作要求較高、耗時長、陽性率較低，同時RT-PCR檢測高度依賴于檢測環(huán)境和標(biāo)本采集程序，靈敏度較低，檢測能力有限[1]。因此，開發(fā)能夠在早期進(jìn)行合理檢測并且具有成本效益的診斷技術(shù)對于檢測病毒、阻止病毒的傳播至關(guān)重要[2-3]。

隨著全球醫(yī)療系統(tǒng)領(lǐng)域技術(shù)的逐步發(fā)展革新，自動篩查功能已經(jīng)得到了廣泛的應(yīng)用?？焖贆z測被證明是限制這種疾病傳播最有效的方法，在影像學(xué)成像方法中，CT掃描提供了肺部的三維視圖，能夠發(fā)現(xiàn)COVID-19在疾病進(jìn)展的不同階段的表現(xiàn)。然而，CT篩查費用昂貴，并且患者暴露在輻射中，有一定的危害[4]。相反，胸部X光影像作為較易獲得的醫(yī)學(xué)影像，十分適合在緊急狀況下進(jìn)行診斷和檢測，是研究肺部及其健康狀況的有效方式之一[5]。X光作為基本的診療手段，具有耗時短、成本低等特點，有利于更好地篩查新冠肺炎患者[6]。

近年來，深度學(xué)習(xí)在許多疾病的診斷中應(yīng)用得越來越廣泛[7]。Hu等人提出了一種弱監(jiān)督深度框架從CT圖像中檢測。該框架使用VGG-16進(jìn)行特征提取和多尺度學(xué)習(xí)，以解決病灶散射和大小變化的問題[8]。Buhmann等人提出的集合模型目前被用于執(zhí)行預(yù)測任務(wù)(例如，回歸和分類)[9]。方等人使用CT探索了放射組學(xué)在篩查COVID-19中的價值[10]。徐等人提出了一種用于肺野分割的優(yōu)化主動形狀模型(Active Shape Model，ASM)，與其他ASM相比，該模型的性能有了顯著提高[11]。劉等人提出了一種適于非平穩(wěn)肺音信號的特征提取方法，將4種肺音信號進(jìn)行了識別，研究表明該算法的識別性能是高效的[12]。在另一項研究中，Shin等人利用深度卷積神經(jīng)網(wǎng)絡(luò)(Convolution Neural Network，CNN)解決了胸腹淋巴結(jié)檢測和肺間質(zhì)疾病分類的問題。他們開發(fā)了不同的CNN架構(gòu)，并獲得了令人滿意的結(jié)果[13]。A Narin等人創(chuàng)建了一個深度卷積神經(jīng)網(wǎng)絡(luò)來自動檢測X射線圖像上的COVID-19[14]。T.Ozturk等人提出了一種稱為DarkCovidNet的深度神經(jīng)網(wǎng)絡(luò)，用于自動檢測X射線圖像上的COVID-19病例，獲得了較好的結(jié)果[15]。Apostolopoulos和mpesia提供了一種利用胸部X線攝影技術(shù)檢測COVID-19的模型，該模型是基于深度學(xué)習(xí)與CNN開發(fā)的，準(zhǔn)確率達(dá)到了96.78%[16]。Souza等人開發(fā)了一種胸部X光圖像中肺部分割的自動方法。使用了兩種基于深層CNN的方法，分割精度達(dá)到了94%[17]。

1 材料和方法

該文提出了一種集成網(wǎng)絡(luò)對COVID-19進(jìn)行檢測，其中1.2.1節(jié)是結(jié)合深度可分離卷積和基本的深度學(xué)習(xí)方法提出的基本卷積神經(jīng)網(wǎng)絡(luò)，1.2.2節(jié)是深度集成網(wǎng)絡(luò)，1.2.3節(jié)是該文提出的深度集成融合網(wǎng)絡(luò)。

1.1 集成網(wǎng)絡(luò)

該模型融合深度可分離卷積、卷積自編碼器和VGG-16構(gòu)建集成網(wǎng)絡(luò)。2017年，Xception網(wǎng)絡(luò)的提出引出了深度可分離卷積，并且在ImageNet上進(jìn)行了訓(xùn)練，在減少參數(shù)的情況下實現(xiàn)了較好的性能。該文提出的模型同時利用了已經(jīng)在ImageNet上訓(xùn)練過的VGG-16網(wǎng)絡(luò)，將它與其他模型進(jìn)行融合，從而利用了VGG-16已經(jīng)存在的特征優(yōu)勢。VGG-16由16層網(wǎng)絡(luò)結(jié)構(gòu)組成，主要用于圖像的識別和分類[18]。自編碼器(Autoencoder，AE)是一類在無監(jiān)督學(xué)習(xí)上能夠?qū)W習(xí)到輸入數(shù)據(jù)高效表示的人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Networks，ANNs)，其功能是通過將輸入信息作為學(xué)習(xí)目標(biāo)，對輸入的信息進(jìn)行表征學(xué)習(xí)(Representation Learning)[19]。

1.2 提出的模型

1.2.1 深度可分離卷積神經(jīng)網(wǎng)絡(luò)

本節(jié)闡述了基本深度學(xué)習(xí)方法的具體細(xì)節(jié)，包含了兩類基本的深度學(xué)習(xí)方法。提出的深度可分離卷積神經(jīng)網(wǎng)絡(luò)分層結(jié)構(gòu)如表1所示。

表1 提出的基礎(chǔ)模型CNN

續(xù)表1

使用softmax激活函數(shù)解釋上一層得到的激活函數(shù)的可能值，計算文中三分類的概率分布。文中的輸出范圍是0～1，所有的概率總和是1。softmax函數(shù)的定義如下：

(1)

1.2.2 深度融合網(wǎng)絡(luò)

信息融合是從數(shù)據(jù)融合出發(fā)的，可以分為多傳感器信息融合、不同特征圖的多特征融合、多種生物源融合、醫(yī)學(xué)信號或醫(yī)學(xué)圖像融合[20-21]。對于前文中提出的網(wǎng)絡(luò)，該文將它們的特征融合，本節(jié)將三種特征提取器進(jìn)行連接。該文提出使用一個融合層，將來自于VGG-16、卷積自編碼器和1.2.1節(jié)中提出的深度可分離網(wǎng)絡(luò)的特征進(jìn)行融合。使用了Concatenate操作，將來自三種特征提取器進(jìn)行集合，實現(xiàn)了多頭特征，之后再將每個分支中提取的特征分別賦給融合層和分類層。

1.2.3 提出的融合模型

特征融合是將不同方法提取的同一樣本的特征進(jìn)行組合的方法。若設(shè)G={ξ|ξ∈N}是n個已經(jīng)帶好標(biāo)簽的樣本空間，如果目前已經(jīng)知道向量?={x|x∈k}，β={y|y∈p}，…，ζ={m|m∈q},其中?、β等分別為采用不同深度學(xué)習(xí)方法提取的相同輸入的I樣本的特征向量。因而，從不同來源提取的特征融合矢量空間可計算為：

(2)

在本研究中，對數(shù)據(jù)進(jìn)行預(yù)處理后，將數(shù)據(jù)集提供給模型。該模型由三個主要分支組成：第一個分支有五個卷積塊，在1.2.1節(jié)當(dāng)中給出了具體介紹；第二分支是VGG-16遷移學(xué)習(xí)網(wǎng)絡(luò)，其輸出將用于融合層；第三個分支是自編碼器部分，提取自編碼器學(xué)習(xí)到的特征。模型在三個分支之后是融合層，將卷積自編碼器的第二層、第三層輸出分別與深度可分離卷積網(wǎng)絡(luò)的第二塊和第三塊的輸出連接起來，作為深度可分離網(wǎng)絡(luò)的下一層的輸入。之后再利用融合層將三個分支的特征進(jìn)行信息融合。最后，利用全連接層對融合特征進(jìn)行處理并對數(shù)據(jù)進(jìn)行分類。在本部分中，使用了4個密集層，分別是512、128、64和3個具有ReLU激活功能的神經(jīng)元。前三個密集層的輸出在其結(jié)果中有一個下降率，分別等于0.7、0.5和0.3。為了提高模型處理數(shù)據(jù)和提取高質(zhì)量特征的能力，采用了一種新的來自不同來源的特征融合方法：

(1)選擇第二、三個卷積塊的輸出作為融合源，對數(shù)據(jù)分布有一個整體的視角。這些特征有助于模型考慮未經(jīng)處理和原始的信息，并在預(yù)測中使用它們。

(2)將深度可分離卷積塊和卷積自編碼器的第二、三卷積塊的輸出特征輸入到相應(yīng)的融合層中，以獲得更準(zhǔn)確的信息。該特性提供了要建模的數(shù)據(jù)集的詳細(xì)視圖，并幫助模型處理高級分類特性。

(3)由于在最近的研究中，預(yù)訓(xùn)練的網(wǎng)絡(luò)在肺炎檢測中得到了廣泛的應(yīng)用，并且可以創(chuàng)建高質(zhì)量和可泛化的特征，所以在融合層中使用了VGG16的輸出。

該文提出的融合模型的整體視圖如圖1所示，采用的算法偽代碼如圖2所示。

提出的模型通過將多個模型進(jìn)行融合，采用了交叉熵?fù)p失函數(shù)判斷模型在整個樣本上的表現(xiàn)，它的定義如下：

(3)

其中，M代表類別的數(shù)量，yic代表符號函數(shù)，如果樣本i的真實值類別是c則取1，反之取0，pic表示的是觀測的樣本i屬于c的預(yù)測的概率。

1.3 性能評估

本研究采用的性能指標(biāo)是準(zhǔn)確性、精確度、敏感性、特異性和F-1評分等，這些指標(biāo)使用了以下術(shù)語：真陽性(True Positive，TP)：表示新冠肺炎、正常和肺炎病例分別被正確預(yù)測為COVID-19、正常和肺炎。真陰性(True Negative，TN)：表示正?；蚍窝撞±徽_預(yù)測為正常或肺炎。假陽性(False Positive，F(xiàn)P)：表示該病例為正?；蚍窝赘腥静±A(yù)計為COVID-19病例。假陰性(False Negative，F(xiàn)N)：表示該病例為COVID-19，預(yù)計為正?；蚍窝撞±?/p>

它們的定義分別如下：

Accuracy=(TP+TN)/(TN+FP+TP+FN)

(4)

Sensitivity=TP/(TP+FN)

(5)

Specificity=TN/(TN+FP)

(6)

Precise=TP/TP+FP

(7)

F1-score=(2*TP)/(2*TP+FP+FN)

(8)

圖1 融合模型的整體視圖

The proposed fusion model implements pseudo codeInput:224×224×3 Chest X-ray.Output:Classification results.Feature Extraction Layer: Branch1:Conv1←First depth separable convolution block←Input imageConv2←Second depth separable convolution block←Conv1X←Concatenation of (Conv2, encoder layer 2)Conv3←Second depth separable convolution block←XX←Concatenation of (Conv3, encoder layer 3)Conv4←Second depth separable convolution block←Conv1Conv5←Second depth separable convolution block←Conv1Branch2:Self encoder features←convolutional self encoder block←Input imageBranch3:VGG16 features←VGG16 Block←Input ImageFusion Layer:X←Concatenation of ( Conv5, VGG features, Self encoder features)Classification Layer:X←Dense(X, units=512, activation=ReLU)X←Dropout(X, rate=0.7)X←Dense(X, units=128, activation=ReLU)X←Dropout(X, rate=0.5)X←Dense(X, units=64, activation=ReLU)X←Dropout(X, rate=0.3)Output←Dense(X, units=3, activation=softmax)

2 實 驗

本節(jié)描述了使用的實驗裝置并且將對第一節(jié)中提出的深度集成網(wǎng)絡(luò)使用不同的病例的X射線進(jìn)行分析，以探索提出的模型的穩(wěn)健性。

2.1 實驗裝置

將所獲取的數(shù)據(jù)集，即胸部X光圖像轉(zhuǎn)化為224×224×3的像素值，整體的數(shù)據(jù)集按80%和20%比例分別用于訓(xùn)練和測試。采用了五折交叉驗證的辦法進(jìn)行實驗。

2.2 數(shù)據(jù)集

數(shù)據(jù)集被組織分為3個文件夾(新冠肺炎，肺炎，正常)。由于無法獲得大量特定數(shù)據(jù)集，因此從不同來源獲取了COVID-19的X射線樣本。首先，使用GitHub存儲庫、Radiopaedia、意大利放射學(xué)會、Figshare數(shù)據(jù)存儲庫網(wǎng)站共收集了1 401個COVID-19樣本。其次，從Mendeley收集了912個增強圖像，而不是明確使用數(shù)據(jù)增強技術(shù)。最后，從Kaggle獲得了2 313例正常和肺炎病例的樣本。實驗中總共使用了6 939個樣本，每種情況下使用2 313個樣本，將數(shù)據(jù)集的分辨率調(diào)整為224像素，同時將它按80%和20%的比例分別用于訓(xùn)練和測試(數(shù)據(jù)集可以從https://data.mendeley.com/datasets/mxc6vb7svm獲得)。

2.3 結(jié)果分析

本研究分別將1.2節(jié)的三個模型都進(jìn)行了實驗，評價各個模型的性能。表2描述了提出的模型的總體準(zhǔn)確率、特異性、靈敏度、精度和F1-score。如表2所示，提出的三種體系當(dāng)中以1.2.3節(jié)中的融合集成模型性能最為優(yōu)越。對于COVID-19病例的精度、特異性、靈敏度和準(zhǔn)確率都為最優(yōu)。對于COVID-19病例的特異性為97.01%、靈敏度為90.06%、F1-score為92.86%，整體的檢驗準(zhǔn)確率達(dá)到了93.10%。

表2 各個體系的性能指標(biāo)

圖3(a)、(b)、(c)分別展示了DSCNN、M-fusionnet和提出融合模型的混淆矩陣。在圖3(a)中，在總共的1 380張圖片中有189張圖片產(chǎn)生了誤分類，其中157張被誤分類為COVID-19病例。在圖3(b)中，在總共的1 380張圖片中有139張圖片產(chǎn)生了誤分類，其中60張被誤分類為COVID-19病例。在圖3(c)中，在總共的1 380張圖片中有52張圖片產(chǎn)生了誤分類，其中4張被誤分類為COVID-19病例。在上述的混淆矩陣當(dāng)中，該文提出的融合模型可獲得比較好的效果，誤分類的病例很少，具有更好的真陽性和真陰性。

圖3 DSCNN、M-fusionnet和提出融合模型的混淆矩陣

圖4～圖6分別展示了DSCNN、M-fusionnet和提出的融合模型的準(zhǔn)確率和Loss隨迭代次數(shù)的變化趨勢。該文采用的是5折交叉驗證，對fusionnet和提出融合模型訓(xùn)練的迭代次數(shù)為125。

圖4 DSCNN的準(zhǔn)確度與Loss

圖5 M-fusionnet的準(zhǔn)確度與Loss

圖6 提出的融合模型的準(zhǔn)確度與Loss

從圖4～圖6中可以看到，DSCNN在訓(xùn)練和驗證的準(zhǔn)確性分別達(dá)到了97.48%和93.18%。M-fusionnet的訓(xùn)練和驗證的準(zhǔn)確性達(dá)到了92.65%和90.52%。而提出的融合模型，它的訓(xùn)練集和驗證集的準(zhǔn)確率達(dá)到了97.29%和96.23%。

在該文提出的體系結(jié)構(gòu)中，DSCNN的交叉熵在訓(xùn)練和驗證中分別是0.07和0.11。M-fusionnet的交叉熵在訓(xùn)練和驗證中分別是0.08和0.09。而提出的融合模型的交叉熵在訓(xùn)練和驗證中分別是0.09和0.11。它們都達(dá)到了基本擬合的狀態(tài)。

圖7是DSCNN、M-fusionnet和提出的融合模型的ROC曲線(area under the ROC curve，AUC)。從圖像中可以看到，ROC曲線下的面積對于COVID-19、Normal和Pneumonia都超過了97%，其中提出的融合模型的COVID-19的AUC值達(dá)到了98.49%。

圖7 DSCNN、M-fusionnet、提出的融合模型的ROC曲線下面積

通過上述的實驗結(jié)果表明，提出的融合模型具有較好的性能，從圖像中可以看到，ROC曲線下的面積對于COVID-19、Normal和Pneumonia分別是98.49%、99.73%和98.45%，是最優(yōu)的。表明提出的融合模型具有很好的魯棒性。

3 討 論

第二部分分別對DSCNN、M-fusionnet和提出的融合模型進(jìn)行了實驗。對三種模型都進(jìn)行了單獨的實驗，結(jié)果以性能指標(biāo)以及混淆矩陣等形式呈現(xiàn)。從結(jié)果分析中可以得知，提出的融合模型獲得了最高的準(zhǔn)確率，達(dá)到了96.15%。并且在圖7的ROC曲線也證明了提出的融合模型的優(yōu)越性，并且在其他性能指數(shù)上，該模型也表現(xiàn)了較好的優(yōu)勢。實驗結(jié)果表明，提出的融合模型具有優(yōu)良的性能，對于使用胸部X光射線圖像去自動區(qū)分COVID-19病例與肺炎病例和正常病例具有顯著的效果。

同時，將提出的系統(tǒng)與現(xiàn)有的一些系統(tǒng)在精度等方面進(jìn)行對比，也將現(xiàn)有的提出的各種模型例如VGG16、MobileNetV1、SVM和VGG19等結(jié)合文中的實驗數(shù)據(jù)集進(jìn)行了相關(guān)實驗，實驗性能對比如表3所示。該文使用了6 939張胸部X光射線影像，相比于其他文獻(xiàn)中的數(shù)據(jù)更豐富。提出的融合模型整體的準(zhǔn)確率達(dá)到了96.15%，對于COVID-19的檢測精度達(dá)到了91.24%，展現(xiàn)了更好的性能，優(yōu)于VGG16、MobileNetV1、SVM和VGG19等實驗?zāi)Ｐ汀?/p>

表3 現(xiàn)存系統(tǒng)與提出的系統(tǒng)對比實驗

4 結(jié)束語

該文提出了一種多分類器融合的深度集成網(wǎng)絡(luò)，用于從胸部X光中有效地對COVID-19、其他肺炎和正常進(jìn)行檢測。與傳統(tǒng)的卷積網(wǎng)絡(luò)不同，該文使用了深度可分離神經(jīng)網(wǎng)絡(luò)，同時該模型還結(jié)合了VGG16、卷積自編碼器分支以提高分類網(wǎng)絡(luò)的性能，確保魯棒性強、穩(wěn)健的特性。5折交叉驗證結(jié)果表明，提出的融合網(wǎng)絡(luò)相比于單獨的深度可分離神經(jīng)網(wǎng)絡(luò)等具有較優(yōu)性能，該模型的三分類準(zhǔn)確率達(dá)到了96.15%，對于COVID-19的檢測精度為91.24%，F(xiàn)1指數(shù)為94.92%，敏感性為98.92%，ROC權(quán)限的AUC值對于COVID-19、Pneumonia和Normal均超過了0.98。對現(xiàn)有的部分模型進(jìn)行了對比，提出的體系具有較好的性能，能夠幫助醫(yī)療從業(yè)者減少工作量，為抗擊疫情做出貢獻(xiàn)。