基于深度學(xué)習(xí)的COVID-19智能診斷系統(tǒng)

賈 楠，李 燕，郭靜霞，徐 立，白金牛

(1.內(nèi)蒙古科技大學(xué) 包頭醫(yī)學(xué)院計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，內(nèi)蒙古 包頭 014040；2.包頭市中心醫(yī)院，內(nèi)蒙古 包頭 014040)

0 引言

自2019年12月以來，新冠肺炎仍在全球蔓延。所以快速、準(zhǔn)確地識(shí)別出新冠肺炎對于患者的及時(shí)醫(yī)治以及控制疫情的傳播具有非常重要的意義。目前新冠肺炎檢測的金標(biāo)準(zhǔn)是逆轉(zhuǎn)錄聚合酶鏈反應(yīng)(RT-PCR)[1]，但在實(shí)踐中常常會(huì)由于采樣質(zhì)量或者病毒的載量出現(xiàn)假陰性或弱陽性結(jié)果，從而導(dǎo)致較高的復(fù)檢率，容易延誤治療，增加其他人員感染的風(fēng)險(xiǎn)。利用胸部X光片(CXR)也可以很好地進(jìn)行新冠肺炎的輔助診斷。CXR是最常見的診斷放射學(xué)檢查之一，CXR成像比CT成像更容易獲得。因?yàn)镃T掃描儀價(jià)格高昂且維護(hù)成本較高，而CXR系統(tǒng)相對較為便宜，且在鄉(xiāng)鎮(zhèn)一級的醫(yī)院也普遍存在。但想通過CXR影像來識(shí)別患者是否感染新型冠狀病毒，非常依賴放射科醫(yī)生的經(jīng)驗(yàn)。即便是訓(xùn)練有素的放射科醫(yī)生也很容易犯錯(cuò)誤，因?yàn)槠渌愋偷姆窝缀托鹿诜窝淄哂邢嗨频囊曈X特征。因此，用深度學(xué)習(xí)的方法構(gòu)建一個(gè)模型支持放射科醫(yī)生的決策過程，加速新冠篩查，幫助減少診斷錯(cuò)誤具有非常重要的意義。

深度學(xué)習(xí)通過使用卷積神經(jīng)網(wǎng)絡(luò)可實(shí)現(xiàn)對醫(yī)學(xué)影像特征的自動(dòng)提取，具有強(qiáng)大的表征能力[2]。因此將深度學(xué)習(xí)應(yīng)用于針對胸片的新冠肺炎檢測也是當(dāng)下研究的熱點(diǎn)。Narin等[3]運(yùn)用ResNet50、ResNet101、ResNet152、InceptionV3和Inception-ResNetV2五個(gè)模型，通過五折交叉驗(yàn)證對胸片進(jìn)行訓(xùn)練，實(shí)現(xiàn)了COVID-19、正常(健康)、病毒性肺炎和細(xì)菌性肺炎四分類任務(wù)。實(shí)驗(yàn)結(jié)果顯示ResNet50模型獲得了最高的分類準(zhǔn)確率。Wang等[4]基于DenseNet-121構(gòu)造了一個(gè)深度學(xué)習(xí)管道，除了可區(qū)分由COVID-19引起的病毒性肺炎和其它類型的肺炎外，可以對新冠肺炎的嚴(yán)重程度進(jìn)行評估。Wang等[5]利用神經(jīng)網(wǎng)絡(luò)搜索技術(shù)構(gòu)建了COVID-Net模型，實(shí)現(xiàn)了正常(Normal)、其它肺炎(Non-COVID)、新冠肺炎(COVID-19)的三分類檢測任務(wù)，并取得了不錯(cuò)的結(jié)果。Siddhartha等[6]，提出了一種名為COVIDLite的方法，該方法在圖像預(yù)處理階段運(yùn)用白平衡與限制對比度自適應(yīng)直方圖均衡化相結(jié)合，在神經(jīng)網(wǎng)絡(luò)構(gòu)建中又采用了深度可分離卷積，最終實(shí)現(xiàn)了Normal、Non-COVID、COVID-19的三分類準(zhǔn)確率為97.12%。Oh等[7]提出了一種基于patch的深度神經(jīng)網(wǎng)絡(luò)架構(gòu)，可以在小數(shù)據(jù)集上穩(wěn)定地訓(xùn)練，從而解決了新冠肺炎數(shù)據(jù)集較少的問題。

本文將構(gòu)建一個(gè)輕量化的神經(jīng)網(wǎng)絡(luò)模型，該模型在滿足檢測精度的前提下，參數(shù)量要盡可能的小。同時(shí)為了使所訓(xùn)練的模型不是僅僅停留在實(shí)驗(yàn)室，而是能夠真正地運(yùn)用到臨床輔助診斷中，本文還將搭建一套方便醫(yī)院影像工作人員使用的web系統(tǒng)。

1 智能診斷系統(tǒng)結(jié)構(gòu)及原理

本系統(tǒng)原理如圖1所示。包括如下5個(gè)模塊，1)數(shù)據(jù)集的整理和劃分；2)分割模型；3)圖像預(yù)處理；4)分類模型；5)模型部署。

圖1 智能診斷系統(tǒng)原理圖

具體說明如下：1)數(shù)據(jù)集整理和劃分是將收集到影像數(shù)據(jù)按照類別進(jìn)行整理，一個(gè)類別對應(yīng)一個(gè)文件夾，文件夾中存入相應(yīng)類別的影像。然后將整理后的影像按照一定比例劃分為訓(xùn)練集、驗(yàn)證集和測試集；2)用訓(xùn)練集訓(xùn)練一個(gè)肺部分割模型，實(shí)現(xiàn)胸部X光片的肺部區(qū)域的分割；3)對分割后的肺部影像進(jìn)行圖像預(yù)處理，擴(kuò)充訓(xùn)練樣本的數(shù)量，提高模型的泛化能力；4)基于處理后的影像數(shù)據(jù)訓(xùn)練一個(gè)新冠肺炎檢測三分類模型；5)將分割模型和分類模型進(jìn)行組合部署，滿足實(shí)際應(yīng)用需求。

2 COIVD-19深度學(xué)習(xí)檢測技術(shù)與方法

2.1 數(shù)據(jù)集介紹

本研究訓(xùn)練模型使用的是類別為COVID-19、Non-COVID、Normal的三分類數(shù)據(jù)集。一方面此類公開數(shù)據(jù)集較多；另一方面這種分類方法，有助于臨床醫(yī)生對COVID-19進(jìn)行初篩分診，如果檢測為COVID-19可通過RT-PCR進(jìn)一步進(jìn)行確診。同時(shí)COVID-19和其它肺炎采取的治療方案不同，如此分類還有助于醫(yī)生快速采取相應(yīng)的治療策略。數(shù)據(jù)集詳細(xì)說明如下：

COVID-QU-Ex Dataset[8-12]，是本文訓(xùn)練模型的數(shù)據(jù)集。該數(shù)據(jù)集來源于kaggle網(wǎng)站，包含33 920 張胸部x光片，其中COVID-19為11 956張，Non-COVID為11 263張，Normal為10 701張，并且所有影像均包含肺部邊緣輪廓分割掩膜。本研究將該數(shù)據(jù)集進(jìn)行訓(xùn)練集、驗(yàn)證集和測試集的劃分。影像示例如圖2所示，數(shù)據(jù)集詳細(xì)統(tǒng)計(jì)見表1。

(a)～(c)分別為新冠肺炎患者、其它肺炎患者和正常人胸部x光片；(d)～(f)分別為新冠肺炎患者、其它肺炎患者和正常人肺部邊界區(qū)域。圖2 COVID-QU-Ex Dataset影像示例

表1 COVID-QU-Ex Dataset詳細(xì)統(tǒng)計(jì)

此外為了驗(yàn)證模型的泛化能力和穩(wěn)定性，本論文還用COVID CXR Image Dataset[13-15]對模型進(jìn)行了測試。該數(shù)據(jù)集也來源于kaggle網(wǎng)站，數(shù)據(jù)集包括Normal、Non-COVID和CVOID-19患者的胸部X光片的后前方(PA)視圖。共有1823張CXR影像，包含536張COVID-19影像，619張Non-COVID影像和668張Normal影像。數(shù)據(jù)集中COVID-19病例的年齡范圍為18～75歲。

2.2 檢測方法

該研究利用深度學(xué)習(xí)對CXR影像進(jìn)行分類的工作流程如圖3所示。首先利用COVID-QU-Ex Dataset數(shù)據(jù)集中的肺部胸片以及肺部分割掩膜，訓(xùn)練一個(gè)UNet分割模型，UNet模型在醫(yī)學(xué)圖像分割領(lǐng)域表現(xiàn)優(yōu)異，該模型能夠很好地實(shí)現(xiàn)CXR影像肺部區(qū)域(ROI區(qū)域)的自動(dòng)分割。其次將自動(dòng)提取后的ROI區(qū)域送入圖像分類模型，最終實(shí)現(xiàn)Normal 、Non-COVID、 COVID-19的三分類。

圖3 工作流程圖

本研究比較了當(dāng)下流行的10種主流深度學(xué)習(xí)分類模型。詳細(xì)的實(shí)驗(yàn)數(shù)據(jù)見文中第3部分。在以上10種模型的對比實(shí)驗(yàn)中，發(fā)現(xiàn)針對COVID-QU-Ex Dataset數(shù)據(jù)集，同系列的模型并不是模型深度越深，模型精度越高。而是隨著模型深度增加到一定程度，精度不增反而略微下降。以RestNet系列為例，模型在驗(yàn)證集上的準(zhǔn)確率如下：RestNet18為0.947、RestNet34為0.948、RestNet50為0.946、RestNet101為0.946。圖4、圖5分別為RestNet系列在訓(xùn)練集和驗(yàn)證集上直觀展示。

圖4 訓(xùn)練集準(zhǔn)確率

圖5 驗(yàn)證集準(zhǔn)確率

受此啟發(fā)，針對該分類任務(wù)，構(gòu)建模型時(shí)可以不用設(shè)計(jì)過深的網(wǎng)絡(luò)，同樣也能達(dá)到較好的分類效果，這樣就可以控制模型的大小，方便模型在終端部署。為此本文以MobileNetV2[16]為基礎(chǔ)，增加了CA(coordinate attention)[17]注意力機(jī)制，構(gòu)建了一個(gè)新的模型用于CXR影像新冠肺炎檢測任務(wù)，并將其命名為MBCA-COVIDNET。

2.3 MBCA-COVIDNET模型結(jié)構(gòu)

該模型的整體結(jié)構(gòu)如圖6所示。

圖6 MBCA-COVIDNET網(wǎng)絡(luò)結(jié)構(gòu)示意圖

圖6中，k代表卷積核大??；卷積中的s代表卷積步距；BN代表批歸一化；RLU6、Non-Linear、Sigmoid代表非線性激活函數(shù)；t代表隱藏層的擴(kuò)展因子；n代表bottleneck的重復(fù)次數(shù)；圖中左側(cè)MBCA-COVIDNET中包含7個(gè)bottleneck層，需要注意的是每個(gè)bottleneck層中標(biāo)識(shí)出的s是對應(yīng)的第一個(gè)bottleneck模塊中的卷積步距，其它bottleneck模塊s均為1；Avg Pool代表全局平均池化；DW Conv2d代表深度可分離卷積；C代表通道數(shù)；H代表特征圖的高度；W代表特征圖的寬度；r為代表特征圖的縮放因子。

2.3.1 CA模塊

CA是將位置信息嵌入到通道注意力中。與通道注意力機(jī)制不同，傳統(tǒng)的通道注意力機(jī)制是通過二維全局平均池化將每個(gè)通道上對應(yīng)的空間信息(H×W)壓縮為1個(gè)具體的數(shù)值，最終維度變?yōu)?×1×C的向量，這種操作會(huì)損失物體的空間信息。而CA將通道注意力分解為兩個(gè)一維特征編碼的過程，分別沿著兩個(gè)空間方向聚合特征。這種方法可以在一個(gè)空間方向上捕獲長距離依賴，同時(shí)在另一個(gè)空間方向上保留精確的位置信息，它們可以互補(bǔ)地應(yīng)用到輸入特征圖來增強(qiáng)感興趣的目標(biāo)表示。具體實(shí)現(xiàn)過程如圖6所示，首先將輸入特征圖分別在寬度和高度兩個(gè)方向進(jìn)行全局平均池化，分別獲得在寬度和高度兩個(gè)方向的特征圖zw和zh，公式如下所示：

(1)

(2)

然后將特征圖zw的最后兩個(gè)維度調(diào)換，再將其與特征圖zh拼接在一起并送入卷積模塊，卷積核為 1×1，輸出維度降低為原來的C/r，r為通道的縮放比率，并將經(jīng)過批量歸一化處理的特征圖F1經(jīng)過非線性激活函數(shù)得到形如 1×(W+H)×C/r的特征圖f，f∈RC/r×(H+W)，公式如下所示：

f=δ(F1([zh，zw]))

(3)

式中，zh為高度方向上的特征圖，zw為寬度方向上的特征圖，[. ，.]為在空間維度上的拼接操作，F(xiàn)1為對輸入特征進(jìn)行1×1卷積并進(jìn)行批歸一化操作，δ為非線性激活函數(shù)。

接著，沿著空間維度將f切分為兩個(gè)單獨(dú)的張量fh∈RC/r×H和fw∈RC/r×W再利用兩個(gè)1×1卷積將特征圖fh和fw變換到和輸入x同樣的通道數(shù)。

gh=σ(Fh(fh))

(4)

gw=σ(Fw(fw))

(5)

式中，fh為沿高度方向?qū)切分的特征，fw為沿寬度方向?qū)切分的特征，F(xiàn)h、Fw表示分別對fh和fw進(jìn)行1×1卷積，并將特征通道數(shù)從C/r變回為C，σ為sigmoid函數(shù)。

最后對gh和gw進(jìn)行拓展，作為注意力權(quán)重與輸入相乘，CA模塊的最終輸出可以表述如下式：

(6)

2.3.2 改進(jìn)MobileNetV2結(jié)構(gòu)

為了進(jìn)一步提高M(jìn)obileNetV2模型分類的準(zhǔn)確率，在原模型的每個(gè)bottleneck模塊中加入了CA模塊，加入位置如圖6所示。CA模塊中BN層后的非線性激活函數(shù)采用RELU6激活函數(shù)。

2.4 數(shù)據(jù)預(yù)處理和數(shù)據(jù)增強(qiáng)

圖像預(yù)處理，本實(shí)驗(yàn)將所有的影像縮放到224*224，數(shù)據(jù)集中的絕大部分圖像都比該尺寸要大，也有個(gè)別圖像的尺寸小于224*224，為將圖像擴(kuò)大至224*224，實(shí)現(xiàn)輸入模型的圖像尺寸統(tǒng)一，采用了最近鄰插值。

為了更好地訓(xùn)練模型，提高模型的精度，在實(shí)驗(yàn)中也嘗試了醫(yī)學(xué)影像中常用的數(shù)據(jù)增強(qiáng)方法，如直方圖均衡化、Gamma變換、TrivialAugment[18]等。

1)直方圖均衡化：直方圖表示的是圖片灰度值的分布，直方圖均衡化是將原圖經(jīng)過某種變換，得到一幅灰度直方圖為均勻分布的新圖像的方法。其基本思想是對在圖像中像素個(gè)數(shù)多的灰度級進(jìn)行展寬，而對像素個(gè)數(shù)少的灰度級進(jìn)行縮減，從而達(dá)到清晰圖像的目的。

2)Gamma變換：Gamma變換是對輸入圖像灰度值進(jìn)行非線性操作，使輸出圖像灰度值與輸入圖像灰度值呈指數(shù)關(guān)系。Gamma變換就是用來圖像增強(qiáng)，其提升了暗部細(xì)節(jié)，通過非線性變換，讓圖像從曝光強(qiáng)度的線性響應(yīng)變得更接近人眼感受的響應(yīng)，對過曝或過暗的圖像進(jìn)行矯正。

3)TrivialAugment：TrivialAugment是一種自動(dòng)增強(qiáng)策略。它不像AutoAugment和RandAugment需要搜索空間，其不需要任何搜索，整個(gè)方法非常簡單，每次隨機(jī)選擇一個(gè)圖像增強(qiáng)操作，然后隨機(jī)確定它的增強(qiáng)幅度，并對圖像進(jìn)行增強(qiáng)。TrivialAugment的圖像增強(qiáng)集合和RandAugment基本一樣，只不過其定義了一套更寬的增強(qiáng)幅度，目前torchvision中已經(jīng)實(shí)現(xiàn)了TrivialAugmentWide。

2.5 模型評估指標(biāo)

針對胸片的三分類任務(wù)，采用如下7個(gè)評估指標(biāo)對模型進(jìn)行評估：正確率(Accuracy)、精度(Precision)、靈敏度(Sensitivity)、F1Score、特異度(Specificity)、參數(shù)量(Parameters)、計(jì)算量(MACs)。

(7)

Accuracy為所有被分類正確的影像數(shù)量與所有影像數(shù)量的比值。

(8)

Precision為被分類為正例的影像中，實(shí)際為正例的比例。

(9)

Sensitivity為影像中所有正例被分類正確的比例，用來衡量模型對正例的識(shí)別能力。

(10)

F1Score兼顧了分類模型的精確率和召回率，可以看作是模型精確率和召回率的一種調(diào)和平均，它的最大值是1，最小值是0。

(11)

Specificity為影像中所有的負(fù)例被分類正確的比例，衡量模型對負(fù)例的識(shí)別能力。

公式(7)～(11)中TP表示實(shí)際上是正例，預(yù)測結(jié)果也是正例的數(shù)量；TN表示實(shí)際上是負(fù)例，預(yù)測結(jié)果也是負(fù)例的數(shù)量；FP表示實(shí)際上是負(fù)例，預(yù)測結(jié)果為正例的數(shù)量；FN表示實(shí)際上是正例，預(yù)測結(jié)果為負(fù)例的數(shù)量。

Parameters為模型內(nèi)部總的參數(shù)數(shù)量，用來衡量模型的大小；MACs為乘加累積次數(shù)，1MACs等于1個(gè)乘法和1個(gè)加法。

3 實(shí)驗(yàn)結(jié)果與分析

3.1 實(shí)驗(yàn)步驟

本研究所有實(shí)驗(yàn)均基于Python3.9.5和pytorch1.11.0的深度學(xué)習(xí)框架實(shí)現(xiàn)，具體硬件設(shè)備配置：顯卡為NVIDIAGeForceRTX 3080 LaptopGPU，顯存16 G，電腦內(nèi)存32 G，CPU為AMDRyzen 9 5900HX。

針對COVID-QU-Ex Dataset數(shù)據(jù)集的影像分類任務(wù)，對比了如下幾個(gè)模型，RestNet系列(RestNett18、RestNet34、RestNet50、RestNet101)、EfficientNet系列(EfficientNetB0、EfficientNetB3)、MoblieNetV2、MobileNetV3、SwinTransformer、ConvNext_small以及新設(shè)計(jì)的MBCA-COVIDNET模型。所有這些模型訓(xùn)練的參數(shù)設(shè)置如下：訓(xùn)練迭代次數(shù)(epoch)30，因?yàn)?0次模型已經(jīng)收斂，再繼續(xù)進(jìn)行訓(xùn)練，模型精度沒有繼續(xù)提升；batchsize為64，因?yàn)槭苡趯?shí)驗(yàn)硬件設(shè)備所限，該大小可使得所有基線模型在當(dāng)前GPU(16 G)下訓(xùn)練；初始學(xué)習(xí)率為5×10-4，由于所有基線模型都采用遷移學(xué)習(xí)，都用到在ImageNet1K上的預(yù)訓(xùn)權(quán)重，所以初始學(xué)習(xí)率不易過大；優(yōu)化器選用效果較好的AdamW，weight_decay設(shè)置為5×10-2，AdamW是在Adam的基礎(chǔ)上引入了L2正則化，可有效地減小過擬合，針對該訓(xùn)練數(shù)據(jù)集，實(shí)驗(yàn)證明AdamW要優(yōu)于SGD；學(xué)習(xí)率下降策略采用warmup+Cosine的下降策略，熱身訓(xùn)練為1個(gè)epoch。實(shí)驗(yàn)證明該下降策略相比等間隔調(diào)整學(xué)習(xí)率(StepLR)能夠帶來精度的提升。同時(shí)所有模型訓(xùn)練時(shí)均不采用任何圖像增強(qiáng)技術(shù)，只是將數(shù)據(jù)集中的圖像大小縮放為224*224作為模型輸入。

3.2 實(shí)驗(yàn)結(jié)果

基于上述統(tǒng)一設(shè)置的訓(xùn)練參數(shù)，訓(xùn)練得到的10個(gè)神經(jīng)網(wǎng)絡(luò)模型在COVID-QU-Ex Dataset測試集上的性能表現(xiàn)如表2所示，各模型的混淆矩陣如圖7所示。從表2中可以看出MBCA-COVIDNET的模型的正確率為97.02%，是所有模型最高的，ConvNext_small模型的正確率為96.99%，僅從正確率這個(gè)指標(biāo)看前者只比后者僅提升了0.03%。但是對比模型的參數(shù)量可以發(fā)現(xiàn)MBCA-COVIDNET模型的參數(shù)量僅為2.67 M，而ConvNext_small模型的參數(shù)量為49.46 M，前者的參數(shù)量遠(yuǎn)小于后者。對比MACs指標(biāo)，前者為0.33 G，后者為8.7 G，前者的計(jì)算量也遠(yuǎn)小于后者。

表2 各深度學(xué)習(xí)模型在COVID-QU-Ex數(shù)據(jù)集上的性能對比

圖7 各深度學(xué)習(xí)模型在COVID-QU-Ex數(shù)據(jù)集上的混淆矩陣

對比MBCA-COVIDNET模型和MoblieNetV2模型，可以發(fā)現(xiàn)正確率前者比后者提升了0.47%，參數(shù)量前者僅比后者多0.44 M，計(jì)算量前者比后者多0.01。同時(shí)也證明了MoblieNetV2加入CA注意力機(jī)制的有效性。

通過觀察MBCA-COVIDNE模型在測試集上的混淆矩陣，可以發(fā)現(xiàn)，2 395例COVID-19測試影像中正確預(yù)測2 376例，4例預(yù)測為Non-COVID類別，15例預(yù)測為Normal類別。預(yù)測正確率為99.41%，靈敏度為99.21%，特異度為99.68%，F(xiàn)1Score為99.31%；2 253例Non-COVID測試影像中正確預(yù)測2 160例，7例預(yù)測為COVID-19類別，86例預(yù)測為Normal類別。預(yù)測正確率為96.13%，靈敏度為95.87%，特異度為98.08%，F(xiàn)1Score為96.0%；2 140例Normal測試影像中正確預(yù)測2 050例，7例預(yù)測為COVID-19類別，83例預(yù)測為Non-COVID類別。預(yù)測正確率為95.30%，靈敏度為95.79%，特異度為97.83%，F(xiàn)1Score為95.54%。實(shí)驗(yàn)證明該模型對COVID-19影像分類正確率要高于其它2個(gè)類別。而其它2個(gè)類別的影像分類正確率低的原因，主要是模型將部分Non-COVID類別影像預(yù)測為Normal類別，將部分Normal類別影像預(yù)測為Non-COVID類別造成的。

3.3 消融實(shí)驗(yàn)

為了更好地訓(xùn)練一個(gè)輕量化的模型，本研究做了如下3個(gè)消融實(shí)驗(yàn)。

1)針對CA模塊中的非線性激活函數(shù)，對比了RELU、RELU6、SiLU、LeakyReLU、Mish 5個(gè)激活函數(shù)，結(jié)果表明RELU6激活函數(shù)效果更好一些，具體情況詳見表3。

表3 CA模塊中不同激活函數(shù)的性能對比

2)為了驗(yàn)證在COVID-QU-Ex數(shù)據(jù)集上CA注意力模塊優(yōu)于其它注意力模塊，以MobileNetV2為基礎(chǔ)，對比了加入SE模塊、CBAM模塊以及CA模塊后的效果，結(jié)果表明MobileNetV2+CA的正確率要優(yōu)于MobileNetV2+CBAM和MobileNetV2+SE，而且針對該數(shù)據(jù)集MobileNetV2+CBAM和MobileNetV2的正確率差別不大，具體情況如表4所示。

表4 MobileNetV2中加入不同注意力模塊的性能對比

3)本文也嘗試了兩種不同的數(shù)據(jù)增強(qiáng)策略，第一種用到了Albumentations[19]庫中RandomGamma、RandomBrightnessContrast、CLAHE、Blur、MotionBlur、MedianBlur、HorizontalFlip、ShiftScaleRotate數(shù)據(jù)增強(qiáng)方法的組合；第二種用的是TrivialAugment。同時(shí)訓(xùn)練模型的迭代次數(shù)也從之前的30次增加到了50次，使得模型更好的收斂。實(shí)驗(yàn)結(jié)果表TrivialAugment數(shù)據(jù)增強(qiáng)的效果更優(yōu)，詳見表5。

表5 不同數(shù)據(jù)增強(qiáng)策略的性能對比

3.4 類激活圖可視化

由于神經(jīng)網(wǎng)絡(luò)模型需要大量的數(shù)據(jù)來訓(xùn)練，是以數(shù)據(jù)驅(qū)動(dòng)的方式創(chuàng)建的，因此通常認(rèn)為神經(jīng)網(wǎng)絡(luò)是一個(gè)“黑盒”，其做出的分類缺乏可解釋性。為了對MBCA-COVIDNET模型的分類決策進(jìn)行解釋，本研究利用Grad-CAM[20]技術(shù)，在胸片上進(jìn)行了類激活圖可視化，如圖8所示。從圖中可以看出該模型關(guān)注的影像區(qū)域較為合理，覆蓋了肺部感染區(qū)域，能夠輔助醫(yī)生發(fā)現(xiàn)病灶，有助于醫(yī)生對患者的診斷和治療。

(a)～(c)為數(shù)據(jù)集中新冠肺炎患者原始胸部X光片樣例；(d)～(f)為新冠肺炎患者肺部邊界區(qū)域；(g)～(i)為新冠肺炎患者類激活圖。圖8 MBCA-COVIDNET新冠影像類激活圖

4 結(jié)束語

本文利用MobileNet網(wǎng)絡(luò)結(jié)構(gòu)并與CA注意力模塊相結(jié)合，構(gòu)建了一個(gè)針對胸片的COVID-19檢測模型MBCA-COVIDNET。該模型在COVID-QU-Ex Dataset數(shù)據(jù)集上的三分類任務(wù)中，采用了TrivialAugment圖像預(yù)處理、遷移學(xué)習(xí)以及一系列訓(xùn)練技巧，最終在測試集上取得了97.98%的準(zhǔn)確率，該模型比之前較先進(jìn)的COVIDLite模型提升了0.8個(gè)百分點(diǎn)，同時(shí)該模型的參數(shù)量和計(jì)算量也均處于較低水平，易于在各種硬件上進(jìn)行部署。

為了更好地演示該模型，利用Hugging Face[21]開源軟件開發(fā)了一個(gè)COVID-19智能輔助診斷演示系統(tǒng)。該開源軟件可以非常容易的將訓(xùn)練好的模型托管到Hugging Face Spaces中，只需編寫一個(gè)app.py文件，就可以很方便地隨時(shí)隨地進(jìn)行系統(tǒng)的演示，軟件界面如圖9所示。

圖9 Hugging Face系統(tǒng)界面

同時(shí)，為了使訓(xùn)練好的模型能夠真正地應(yīng)用于臨床實(shí)踐，而不是停留在實(shí)驗(yàn)室階段，利用Flask開發(fā)了一個(gè)COVID-19的web應(yīng)用程序，F(xiàn)lask是一個(gè)使用 Python 編寫的輕量級 Web 應(yīng)用框架。該系統(tǒng)能夠輔助醫(yī)院工作人員，快速的判斷CXR影像的類別。具體操作步驟如下：1)點(diǎn)擊選擇文件按鈕，加載一張待檢測的影像；2)點(diǎn)擊預(yù)測按鈕，系統(tǒng)會(huì)使用訓(xùn)練好的模型，對該影像進(jìn)行預(yù)測，并且給出預(yù)測為各個(gè)類別的概率。經(jīng)過實(shí)際測試該系統(tǒng)在普通的筆記本電腦上就可以部署并且能夠流暢運(yùn)行，具有極佳的用戶體驗(yàn)。系統(tǒng)界面如圖10所示。

圖10 COVID-19深度學(xué)習(xí)檢測系統(tǒng)界面

本研究的局限性：1)訓(xùn)練好的模型未能在更多的數(shù)據(jù)集上做測試，特別是當(dāng)前新冠病毒進(jìn)行了多次變異，針對感染變異后新冠病毒患者的胸部X光片，該模型的泛化能力有待進(jìn)一步驗(yàn)證；2)訓(xùn)練模型的數(shù)據(jù)集來源單一，沒能做到多中心；3)訓(xùn)練模型完全依賴于胸部X光片未能結(jié)合患者的臨床相關(guān)數(shù)據(jù)；4)該模型最終功能只實(shí)現(xiàn)對胸部X光片進(jìn)行新冠肺炎、其它肺炎、正常三分類任務(wù)，未能指出新冠肺炎感染的嚴(yán)重程度。

下一步研究工作可在現(xiàn)有研究的基礎(chǔ)上，收集、標(biāo)注新冠肺炎感染區(qū)域并訓(xùn)練一個(gè)感染區(qū)域分割模型，從而實(shí)現(xiàn)利用胸部X光片對新冠肺炎感染嚴(yán)重程度進(jìn)行量化分析。