改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的COVID-19CT影像分類方法研究

吳辰文，梁雨欣，田鴻雁

蘭州交通大學(xué) 電子與信息工程學(xué)院，蘭州 730070

2019年12月初在中國湖北省武漢市出現(xiàn)與SARS病毒高度類似的病例，世界衛(wèi)生組織（WHO）將SARSCov-2[1]這種病毒感染導(dǎo)致的疾病起名為新型冠狀病毒（coronavirus disease 2019，COVID-19），新冠肺炎患者在感染后的前4至10天臨床表現(xiàn)為呼吸困難、發(fā)熱、干咳等癥狀。在治療過程中，還沒有特定的有效和安全的藥物及治療方法。大多數(shù)醫(yī)院會對患者進(jìn)行逆轉(zhuǎn)錄聚合酶鏈反應(yīng)[2]（RT-PCR）檢測，但是該檢測得出結(jié)果會花費(fèi)大量時間，有報(bào)道稱其假陰性率很高，并且全世界大多數(shù)感染地區(qū)缺乏診斷試劑盒。除了RT-PCR檢測，計(jì)算機(jī)斷層掃描[3]（CT）檢測更加快捷簡便，已經(jīng)成為輔助診斷和醫(yī)治COVID-19的重要手段之一，國家衛(wèi)生委員會確認(rèn)湖北省將肺炎的影像學(xué)表現(xiàn)納入臨床診斷標(biāo)準(zhǔn)，保證了CT掃描影像對COVID-19嚴(yán)重程度的診斷意義。COVID-19胸部CT影像的突出表現(xiàn)為磨玻璃樣混濁（GGO）、彌漫性肺泡損傷、病灶內(nèi)合并血管增粗、病灶累及多個肺葉以及胸膜下部區(qū)域，呈“瘋狂鋪路”狀等[4]。因此，開發(fā)計(jì)算機(jī)診斷輔助系統(tǒng)來檢測新冠肺炎病例是非常重要的，既可以用于促進(jìn)新冠肺炎患者的即時分流和治療，又能防止疾病的廣泛和快速傳播。截止2021年6月初，已有200多個國家感染新冠肺炎，國內(nèi)累計(jì)確診超過10萬例，累計(jì)治愈超過9萬5千例；全球累計(jì)確診超過1.73億例，累計(jì)治愈超過1.39億例。全國疫情數(shù)據(jù)如表1所示。

表1 截止2021年6月8日全球疫情數(shù)據(jù)Table 1 Global epidemic data as of June 8，2021

目前，深度學(xué)習(xí)在醫(yī)療領(lǐng)域的運(yùn)用越來越普遍，卷積神經(jīng)網(wǎng)絡(luò)在解決醫(yī)學(xué)圖像處理以及計(jì)算機(jī)視覺等領(lǐng)域的問題時效果尤為顯著，卷積神經(jīng)網(wǎng)絡(luò)由許多卷積層堆疊組成，用于從圖像數(shù)據(jù)中自動提取特征。該方法已用于各種醫(yī)學(xué)圖像，如乳腺病變、腦和皮膚病變的分割以及肺結(jié)節(jié)的分割應(yīng)用；另一方面，通過深度學(xué)習(xí)和計(jì)算機(jī)視覺對疾病進(jìn)行診斷比放射科醫(yī)生準(zhǔn)確得多。因此在放射學(xué)中應(yīng)用深度學(xué)習(xí)技術(shù)有助于獲得更準(zhǔn)確的診斷，將卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用到新冠肺炎CT影像檢測中可以大大提高檢測速度及精度。眾所周知，基于深度學(xué)習(xí)的算法是基于大量樣本數(shù)據(jù)的，卷積神經(jīng)網(wǎng)絡(luò)在數(shù)據(jù)集上獲得較好效果的同時，依賴大量的數(shù)據(jù)和計(jì)算資源。因此，在有限公開的數(shù)據(jù)集下，經(jīng)過一系列數(shù)據(jù)增強(qiáng)方法來擴(kuò)充數(shù)據(jù)集是一項(xiàng)非常有必要的工作。林成創(chuàng)等人[5]系統(tǒng)性地梳理當(dāng)前圖像增廣技術(shù)的相關(guān)研究并且介紹了每類增廣研究中的代表性研究成果；Rajaraman等人[6]通過使用弱標(biāo)記的CXR影像來擴(kuò)展用于監(jiān)督學(xué)習(xí)的訓(xùn)練數(shù)據(jù)分布，發(fā)現(xiàn)通過將簡單的弱標(biāo)記增強(qiáng)訓(xùn)練數(shù)據(jù)加入源數(shù)據(jù)集中可以顯著提高性能；Ganesan等人[7]提出包括傳統(tǒng)的數(shù)據(jù)增強(qiáng)技術(shù)，如翻轉(zhuǎn)、旋轉(zhuǎn)、彈性變形、隨機(jī)裁剪以及基于生成對抗網(wǎng)絡(luò)的合成數(shù)據(jù)生成方法；Loey等人[8]采用GAN來生成多的X光影像，并選取了三種深度遷移模型進(jìn)行研究，以盡可能高的準(zhǔn)確率從可用的X光影像中檢測出該病毒。深度學(xué)習(xí)模型在醫(yī)學(xué)影像中被普遍應(yīng)用，因?yàn)樗鼈兛梢宰詣犹崛√卣骰蛘咄ㄟ^一些預(yù)先訓(xùn)練的網(wǎng)絡(luò)來提取特征。王坤等人[9]利用支持向量機(jī)、神經(jīng)網(wǎng)絡(luò)和隨機(jī)森林三種方法對肝臟CT影像進(jìn)行分類取得很好的效果；Nardelli等人[10]應(yīng)用三維CNN的方法將胸部CT影像中的血管分類為動脈和靜脈，還將提議的方法與隨機(jī)森林分類器進(jìn)行對比得到了更高的精度；Singh等人[11-12]基于粒子群優(yōu)化的自適應(yīng)神經(jīng)模糊推理系統(tǒng)（ANFIS）提高了分類的精度；Hamdan等人[13]提出COVIDX-Net方法包含了七個深度學(xué)習(xí)模型的比較分析，該研究使用VGG19和DenseNet201獲得了最高90%的準(zhǔn)確率，然而，這項(xiàng)研究受到了小數(shù)據(jù)集的限制；此外，Sethy等人[14]使用ResNet50和支持向量機(jī)（SVM）分類，運(yùn)用X射線影像診斷COVID-19，實(shí)驗(yàn)中使用了50張胸部X光影像；Narin等人[15]創(chuàng)建了深度卷積神經(jīng)網(wǎng)絡(luò)來自動檢測X射線影像中的COVID-19，他們使用了基于遷移學(xué)習(xí)的方法和深度體系結(jié)構(gòu)，如ResNet50、Inception v3等，由于患者的規(guī)模非常有限，網(wǎng)絡(luò)模型深度過大會造成過度擬合風(fēng)險上升?；谏鲜霰尘埃疚奶岢隽送ㄟ^CGAN技術(shù)對有限數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)，并且將殘差塊融入到U-Net網(wǎng)絡(luò)中，結(jié)合多層感知器以此建立一種新的網(wǎng)絡(luò)架構(gòu)基于CT影像檢測COVID-19。

1 材料

1.1 數(shù)據(jù)集

本實(shí)驗(yàn)所用源數(shù)據(jù)為公開數(shù)據(jù)集COVID-19 CT（https：//github.com/UCSD-AI4H/COVID-CT），其中包含來自216名患者的349個COVID-19影像和397個非COVID-19影像，使用條件生成對抗網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)增強(qiáng)以擴(kuò)大數(shù)據(jù)集的樣本數(shù)量，減少發(fā)生過擬合現(xiàn)象，數(shù)據(jù)分布如表2所示。CT影像數(shù)據(jù)集示例如圖1所示，圖左為COVID-19 CT影像，圖右為非COVID-19 CT影像。

圖1 CT影像數(shù)據(jù)集示例Fig.1 Example of CT image dataset

表2 CT影像的數(shù)據(jù)集分布Table 2 Data set distribution of CT images

1.2 數(shù)據(jù)預(yù)處理

實(shí)驗(yàn)中執(zhí)行的預(yù)處理操作包括：（1）對CT影像進(jìn)行閾值化，以移除非常亮的像素；（2）對CT影像進(jìn)行15°旋轉(zhuǎn)、水平翻轉(zhuǎn)（處理胸部兩側(cè)的肺炎癥狀）、寬度偏移、高度偏移、縮放和隨機(jī)裁剪（獲取更深的像素關(guān)系）等；（3）對CT影像進(jìn)行標(biāo)準(zhǔn)化，使像素值統(tǒng)一在（0，1）范圍內(nèi)，以降低計(jì)算復(fù)雜度；（4）對CT影像進(jìn)行中值濾波以去除噪聲和保留邊緣；（5）對數(shù)據(jù)集通過條件生成對抗網(wǎng)絡(luò)進(jìn)行數(shù)據(jù)增強(qiáng)以擴(kuò)充數(shù)據(jù)集，降低過擬合風(fēng)險。對數(shù)據(jù)利用數(shù)據(jù)增強(qiáng)方法增強(qiáng)后的效果如圖2所示。

圖2 數(shù)據(jù)增強(qiáng)效果示例Fig.2 Example of data enhancement effect

2 方法

2.1 數(shù)據(jù)增強(qiáng)方法

2.1.1 生成對抗網(wǎng)絡(luò)

生成對抗網(wǎng)絡(luò)GAN（generative adversarial network）這個網(wǎng)絡(luò)模型首次出現(xiàn)在2014年，是由Goodfellow等人發(fā)明的一種深度學(xué)習(xí)模型[16]。生成器（Generator）和判別器（Discriminator）這兩部分組成了GAN。已經(jīng)有大量的實(shí)驗(yàn)證明GAN可以有效處理數(shù)據(jù)集中樣本量過少的問題。Frid-Adar等人[17]利用GAN生成合成醫(yī)學(xué)圖像，以此提升分類性能的精度；Gurumurthy等人[18]提出一種基于GAN的體系結(jié)構(gòu)用于有限的訓(xùn)練數(shù)據(jù)場景，其結(jié)果是模型能夠在生成的樣本中實(shí)現(xiàn)多樣性。Shin等人[19]同樣利用GAN作為數(shù)據(jù)增強(qiáng)方式來說明它可以在腫瘤分割方面對性能進(jìn)行改進(jìn)。GAN的構(gòu)造如圖3所示。

圖3 生成對抗網(wǎng)絡(luò)結(jié)構(gòu)Fig.3 Generative adversarial network structure

GAN損失函數(shù)V(D,G)由判別器最大化損失函數(shù)和生成器最小化損失函數(shù)構(gòu)成：

式中，x表示實(shí)際的圖像；z表示噪聲圖像；D(x)表示判別器對實(shí)際圖像的判斷值；D(G(z))表示判別器對生成圖像G(z)的判斷值；Pdata(x)表示實(shí)際圖像的分布；Pz(z)表示噪聲圖像分布；Ex~Pdata(x)表示x服從實(shí)際圖像分布取樣的期望；Ez~Pz(z)表示z服從噪聲圖像分布取樣的期望。

生成器它是以x作為模型輸入，對x進(jìn)行卷積操作可以提取到圖像特征信息，生成的z服從實(shí)際圖像分布的圖像G(z)。生成器的損失函數(shù)V(G)越小，則G(z)與x越類似。判別器G(z)將和x同時作為輸入，需要判斷G(z)與x是否一致。判別器的損失函數(shù)V(D)在[0，1]之間，如果V(D)為1則生成的圖像G(z)與實(shí)際圖像x一致；如果V(D)為0則G(z)與x完全不一致。V(D)越大，G(z)與x越相似。判別器使G(z)盡可能地類似于x，最終得到D(x)。生成器和判別器兩者通過博弈，最終使得生成器生成的G(z)無限接近于x。

2.1.2 條件生成對抗網(wǎng)絡(luò)

CGAN是由兩個不同類型的網(wǎng)絡(luò)組成的，分別是生成器網(wǎng)絡(luò)和判別器網(wǎng)絡(luò)，其結(jié)構(gòu)如圖4所示。傳統(tǒng)的生成對抗網(wǎng)絡(luò)模型每次只能學(xué)習(xí)一類數(shù)據(jù)，對于含有多個類的樣本集需要逐層學(xué)習(xí)，因此該模型存在效率低下的缺陷，而CGAN模型通過將相同的條件添加到生成器和判別器中，使GAN具備生成多類數(shù)據(jù)的生成能力。本文中使用的生成器網(wǎng)絡(luò)由6個轉(zhuǎn)置卷積層、5個ReLU層、5個批歸一化層和末尾的Tanh層組成。而判別器網(wǎng)絡(luò)由6個卷積層、5個leaky ReLU和4個批歸一化組成，本文使用的CGAN構(gòu)造如圖5所示。與傳統(tǒng)的GAN相比，CGAN修改了它的總體損失函數(shù)，如公式（2）：

圖4 條件生成對抗網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 Conditional generative adversarial network structure

圖5 本文使用的條件生成對抗網(wǎng)絡(luò)結(jié)構(gòu)Fig.5 Conditional generative adversarial network structure used in this article

由于公開的COVID-19 CT影像數(shù)據(jù)集有限，本文使用CGAN網(wǎng)絡(luò)來克服COVID-19數(shù)據(jù)集中有限數(shù)量的CT影像造成的過擬合問題，它將數(shù)據(jù)集影像增加到了原始樣本的6倍。數(shù)據(jù)增強(qiáng)有助于實(shí)現(xiàn)更好的分割精度和性能矩陣，實(shí)現(xiàn)的性能測量將在實(shí)驗(yàn)結(jié)果部分討論。

2.2 改進(jìn)的U-Net網(wǎng)絡(luò)

2.2.1 U-Net網(wǎng)絡(luò)

U-Net網(wǎng)絡(luò)是一個基于CNN的端到端結(jié)構(gòu)的圖像分割網(wǎng)絡(luò)，該網(wǎng)絡(luò)廣泛應(yīng)用在醫(yī)學(xué)圖像分割上。U-Net是一個近乎對稱的U字型模型，U左邊為下采樣，是一個編碼過程，右邊為上采樣，是一個解碼過程，其構(gòu)造如圖6所示。很多實(shí)驗(yàn)證明U-Net非常適用于醫(yī)學(xué)圖像的語義分割，貢榮麟等人[20]基于一種改進(jìn)的U-Net算法通過融合自監(jiān)督學(xué)習(xí)和有監(jiān)督分割實(shí)現(xiàn)混合監(jiān)督學(xué)習(xí)來實(shí)現(xiàn)乳腺超聲圖像的分割，以此提升圖像分割準(zhǔn)確性；紀(jì)玲玉等人[21]在U-Net網(wǎng)絡(luò)的編碼部分使用了帶有卷積注意的Resnet34模塊，使輸出特征更加結(jié)構(gòu)化，提升了血管分割的精度；邢妍妍等人[22]以U-Net網(wǎng)絡(luò)為基礎(chǔ)結(jié)合U-Net++最后一層特征，設(shè)計(jì)融合型的神經(jīng)網(wǎng)絡(luò)用于超聲胎兒頭部邊緣檢測。編碼部分是為了得到更深層特征（即low resolution features，低分辨率特征），類似一種壓縮操作。解碼部分將編碼后的深層特征還原回原始圖像大小的最終輸出圖像。

圖6 U-Net網(wǎng)絡(luò)結(jié)構(gòu)Fig.6 U-Net network structure

U-Net網(wǎng)絡(luò)構(gòu)造主要由卷積層、最大池化層、反卷積層和ReLU激活函數(shù)組成。鑒于醫(yī)學(xué)圖像界限模糊的特點(diǎn)，梯度較為復(fù)雜，因此底層信息對于精準(zhǔn)分割尤為重要，U-Net這種網(wǎng)絡(luò)模型可以很好地將高層的語義信息和淺層的位置信息融合起來。

2.2.2 改進(jìn)的U-Net網(wǎng)絡(luò)

（1）殘差塊

為了解決深度神經(jīng)網(wǎng)絡(luò)層次越深，會造成訓(xùn)練時出錯率越多以及訓(xùn)練時間越長的問題，2016年He等人[23]在ImageNet圖像識別競賽中提出了殘差網(wǎng)絡(luò)（ResNet）這一模型，通過在網(wǎng)絡(luò)中添加一個直連通道直接將輸入結(jié)果添加到底層。其思想如公式（3）所示：

其中，x為輸入，F(xiàn)(x)為隱藏層的輸出結(jié)果，C(x)為底層映射。該殘差塊的結(jié)構(gòu)如圖7所示。

圖7 殘差塊結(jié)構(gòu)Fig.7 Residual block structure

（2）改進(jìn)的U-Net網(wǎng)絡(luò)

在U-Net中融入殘差網(wǎng)絡(luò)中的殘差塊，很大程度上避免了過擬合現(xiàn)象的出現(xiàn)，并且可以有效減少網(wǎng)絡(luò)結(jié)構(gòu)的層次加深導(dǎo)致的梯度消失問題，進(jìn)而能夠提升模型的分割性能。本文采用了一種改進(jìn)的BIN殘差塊，以便在每次卷積后進(jìn)行批標(biāo)準(zhǔn)化處理。BN層可以提升網(wǎng)絡(luò)的泛化能力并且加速網(wǎng)絡(luò)模型的訓(xùn)練，如公式（4）：

其中，x∈?N×C×H×W為BN層輸入，γ∈?C和β∈?C是從數(shù)據(jù)中學(xué)習(xí)到的映射參數(shù)，u(x)∈?C和σ(x)∈?C分別為輸入的平均值和標(biāo)準(zhǔn)差。

Huang等人[24]提出IN層（instance-normalization）模型可以達(dá)到更快的訓(xùn)練速度。IN層的計(jì)算公式為公式（7）~（9）：

Ioffe等人[25]通過說明BN的具體操作流程證明加入BN層可以大幅度加速模型的收斂。如公式（10）、（11）所示：

其中，μB和分別表示數(shù)據(jù)集的均值和方差。將歸一化的數(shù)據(jù)輸入網(wǎng)絡(luò)，則在后續(xù)過程中不需要再調(diào)整網(wǎng)絡(luò)學(xué)習(xí)來適應(yīng)數(shù)據(jù)分布的變化。

本文將通道數(shù)相同的BN層和IN層同時添加到殘差塊的兩層網(wǎng)絡(luò)中，使用BIN殘差塊替換了原模型中的所有基于BN的殘差塊，使得殘差塊同時滿足IN層和BN層的特點(diǎn)，首先會增大模型的收斂速度，模型可以不再依賴精細(xì)的參數(shù)初始化過程；其次，可以選擇較大的學(xué)習(xí)率來解決反向傳播過程中的梯度爆炸問題；另外，將會減少dropout層的使用頻率，在一定程度上提升模型的泛化能力。兩種殘差塊結(jié)構(gòu)對比如圖8所示。圖8（a）為基于BN層的殘差塊結(jié)構(gòu)，圖8（b）為基于BIN層的殘差塊結(jié)構(gòu)，其中BIN層由32通道的BN層和32通道的IN層組成，加入BN層和IN層不僅可以加速損失的收斂速度，也可以保留學(xué)習(xí)到的特征的語義信息。

圖8 殘差塊結(jié)構(gòu)對比Fig.8 Comparison of residual block structure

改進(jìn)的U-Net網(wǎng)絡(luò)使用的激活函數(shù)為sigmoid函數(shù)，損失函數(shù)Loss基于Dicecoeffient系數(shù)，如公式（12）、（13）所示：

2.3 本文模型

本文所用算法主要包含三個步驟：（1）預(yù)處理。首先對收集到的COVID-19 CT數(shù)據(jù)集進(jìn)行一系列基礎(chǔ)預(yù)處理操作，主要包含翻轉(zhuǎn)、旋轉(zhuǎn)、偏移、縮放等。然后利用條件生成對抗網(wǎng)絡(luò)對數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)以增加樣本數(shù)量。（2）模型訓(xùn)練。本文模型是分割模型和分類模型的組合。具體來說，使用分割模型來獲得肺部病變區(qū)域，然后使用分類模型來確定每個病變區(qū)域是否是新冠肺炎癥狀。分割模型是一個改進(jìn)的U-Net網(wǎng)絡(luò)，編碼器部分交替使用了卷積和池化操作以此降低空間維度，將編碼層和解碼層中的全連接層全部替換為卷積操作，這樣可以更好地提取層級特征。采用了兩個3×3的卷積、一個3×3的BIN殘差塊以及一個2×2的池化操作。進(jìn)行卷積操作來對圖像進(jìn)行初步的特征提取，第一層卷積減少通道數(shù)，并將數(shù)據(jù)送入下一個卷積進(jìn)行處理，恢復(fù)特征映射的通道。殘差塊將輸入特征和兩層卷積后的結(jié)果相加，有效地減小了梯度消失。采用池化操作的目的是減少參數(shù)，防止過擬合。而解碼器部分與編碼器部分對稱用以恢復(fù)池化操作造成的空間維度和目標(biāo)上的細(xì)節(jié)損失，包含兩個3×3的卷積、一個3×3的BIN殘差塊，最后加入1×1的卷積層做最后的分類。通過反卷積操作可以減半channel的數(shù)目，并且加倍特征圖的分辨率。改進(jìn)的U-Net網(wǎng)絡(luò)的輸出是一個32×32×1 024的張量，最后通過一個展平操作將數(shù)據(jù)轉(zhuǎn)換成一維張量來執(zhí)行分類。而多層感知器（multiple perceptron，MLP）由兩個分別含有128和64個神經(jīng)元的Dense層組成，以ReLU作為激活函數(shù)。最后是一個以sigmoid作為激活函數(shù)，含有1個神經(jīng)元的Dense層用于圖像分類。將CT影像輸入到該網(wǎng)絡(luò)模型平均1.79 s可以得到準(zhǔn)確的分類。（3）性能評估：通過一系列的評價指標(biāo)評估所提出算法的優(yōu)劣。并且利用Grad-CAM技術(shù)如圖9所示。

圖9 本文提出的BUF-Net網(wǎng)絡(luò)模型流程圖Fig.9 Flow chart of BUF-Net network model proposed in this paper

2.4 實(shí)驗(yàn)設(shè)計(jì)

2.4.1 實(shí)驗(yàn)環(huán)境

本實(shí)驗(yàn)選擇在Windows10操作系統(tǒng)上實(shí)現(xiàn)，通過在Tensorflow[26]后端上使用keras庫[27]來開發(fā)和運(yùn)行深度學(xué)習(xí)網(wǎng)絡(luò)進(jìn)行實(shí)驗(yàn)驗(yàn)證，其中有CUDA10.0和CUDNN8加速包的支持。實(shí)驗(yàn)運(yùn)行的環(huán)境為python3.7，i5-8265U 2.30 GHz CPU，內(nèi)存為8 GB。

2.4.2 實(shí)驗(yàn)設(shè)置

在實(shí)驗(yàn)中，通過改進(jìn)的U-Net網(wǎng)絡(luò)模型結(jié)合多層感知器對COVID-19 CT影像進(jìn)行特征提取并分類，模型在訓(xùn)練過程中將初始學(xué)習(xí)率設(shè)置為0.001，動量設(shè)置為0.9。另外，還使用了提前停止策略技術(shù)即結(jié)果連續(xù)達(dá)到某個準(zhǔn)確值就可以提前停止訓(xùn)練，以此防止網(wǎng)絡(luò)過擬合，設(shè)置為40，模型訓(xùn)練100個epoch。選取隨機(jī)梯度下降（SGD）優(yōu)化器，其學(xué)習(xí)速率衰減率等于初始學(xué)習(xí)速率除以訓(xùn)練周期數(shù)。通過隨機(jī)網(wǎng)格搜索方法優(yōu)化模型的以下超參數(shù)：（1）動量；（2）SGD優(yōu)化器的初始學(xué)習(xí)速率。

2.4.3 評價指標(biāo)

為了驗(yàn)證本文提出的根據(jù)CT影像檢測新冠肺炎的方法，采取五種不同的評估指標(biāo)進(jìn)行評估：正確率（Accuracy）、精確度（Precision）、敏感性（Sensitivity）、F1評分（F1-score）、特異性（Specificity）。其中，正確率是指正確辨識的樣本數(shù)在所有樣本數(shù)中占多少百分比。如式（14）所示；精確度如式（15）所示，是指正確辨識的樣本數(shù)在所有判定為正確樣本數(shù)中的比例；敏感性即召回率用來度量有多少個正例被正確辨別，如式（16）所示；靈敏度和精確度都可以從混淆矩陣中導(dǎo)出，F(xiàn)1-評分是精確度和敏感度的綜合評估因子，如式（17）所示；特異性表示在所有的負(fù)例中被分對的部分所占的比例，如式（18）所示；AUC則表示“ROC曲線下面積”，與ACC相比，AUC對類別失衡的敏感性較低。

其中，TP表示被正確劃分為正例的數(shù)量；TN表示被正確劃分為負(fù)例的數(shù)量；FP表示被錯誤劃分為正例的數(shù)量，也稱誤報(bào)率；FN表示被錯誤劃分為負(fù)例的數(shù)量，也稱漏報(bào)率。

3 結(jié)果

使用五倍交叉驗(yàn)證方案來驗(yàn)證模型性能，將訓(xùn)練數(shù)據(jù)隨機(jī)分為五部分，在這五部分中，有四個部分被指定為訓(xùn)練集，其余部分被指定為驗(yàn)證集。這個過程重復(fù)了5次來訓(xùn)練和測試本文提出方法的性能。為了更直觀地說明本文提出模型（BUF-Net）的有效性，將該算法與其他文獻(xiàn)中提出的幾種算法進(jìn)行比較，表3為每個模型的性能指標(biāo)（敏感性、準(zhǔn)確率、F1值和敏感度）?？梢钥吹奖疚奶岢瞿Ｐ偷木_度和準(zhǔn)確率表現(xiàn)較好，分別為97.1%和93.1%，特異性值對比另外幾種模型結(jié)果較差。另外，其他模型大多沒有利用Grad-CAM技術(shù)對分類結(jié)果進(jìn)行可視化。

表3 BUF-Net算法與其他算法的比較Table 3 Comparison of BUF-Net algorithm with other algorithms %

混淆矩陣也是一種性能度量方法，它能更深入地了解所提出模型所實(shí)現(xiàn)的測試精度。圖10表示原數(shù)據(jù)集A以及經(jīng)過數(shù)據(jù)增強(qiáng)后數(shù)據(jù)集B的混淆矩陣對比圖，結(jié)果表明，經(jīng)過CGAN數(shù)據(jù)增強(qiáng)之后，所提出模型對大部分樣本都進(jìn)行了正確的分類，達(dá)到了97.1%的精確度。改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)和使用原始U-Net網(wǎng)絡(luò)結(jié)合多層感知器模型的收斂性對比如圖11所示，可以看出使用BIN殘差塊替換原殘差塊之后模型的收斂性更好，和加入BIN殘差塊之前相比，在第4到第18輪次收斂速度大幅度提升，迭代到第26輪次之后，收斂速度基本保持不變。圖12為本文提出模型與其他經(jīng)典算法分別在原始數(shù)據(jù)集和經(jīng)過數(shù)據(jù)增強(qiáng)數(shù)據(jù)集兩種場景的性能對比，結(jié)果顯示AlexNet在場景1下的靈敏度最高，為87.9%，該指標(biāo)指的是正確分類COVID-19 CT的能力。而GoogleNet的特異性較好，經(jīng)過數(shù)據(jù)增強(qiáng)后該值略有增加。而較數(shù)據(jù)增強(qiáng)之前，VGGNet16的精確率有大幅度的提高，從75%提高到90%。VGG16和GoogleNet都有16層，包含了大量的參數(shù)。本文提出的模型在正確率、精確率、敏感性和F1指數(shù)這四個指標(biāo)中都有明顯的提高，從整體實(shí)驗(yàn)結(jié)果中可以得出BUF-Net模型的綜合性能較其他算法表現(xiàn)較好，經(jīng)過數(shù)據(jù)增強(qiáng)后性能有顯著提升，達(dá)到了93%的準(zhǔn)確率，較CGAN數(shù)據(jù)增強(qiáng)之前提高了9%的準(zhǔn)確率。因此可以得出結(jié)論條件生成對抗網(wǎng)絡(luò)是進(jìn)行數(shù)據(jù)增強(qiáng)的有效方法。圖13（a）顯示了本文提出算法的ROC曲線，BUF-Net的AUC值達(dá)到了0.932。圖13（b）為訓(xùn)練過程中的準(zhǔn)確率和損失的對比曲線，為了防止過擬合，采取了提前停止策略技術(shù)將輪次設(shè)置為40，從圖中看出大概在30輪次準(zhǔn)確率和損失值達(dá)到平衡點(diǎn)，損失從1.3降低到0.13左右不再有變化。

圖10 混淆矩陣Fig.10 Confusion matrix

圖11 收斂性對比Fig.11 Convergence comparison

圖12 性能對比Fig.12 Performance comparison

圖13 BUF-Net的ROC曲線和模型訓(xùn)練曲線Fig.13 ROC curve and model training curve of BUF-Net

通過梯度加權(quán)激活圖（Grad-CAM）對輸出結(jié)果可視化，以此生成分類區(qū)域，可以更直觀地看出CT影像中肺結(jié)節(jié)的感染分布。Grad-CAM[33]是一種基于梯度的可視化方法，CAM方法僅限于特定的架構(gòu)，其中平均池化層將卷積層與一個全連接層連接起來。在這種方法中，給定類的梯度是根據(jù)訓(xùn)練模型中最深的卷積層提取的特征計(jì)算的，并被輸入到全局平均池化層，以獲得決策所涉及的重要權(quán)重，然后會產(chǎn)生一個二維熱圖，它是將圖像分類到各自類別的特征映射的加權(quán)組合。可視化結(jié)果如圖14所示。紅色和淺藍(lán)色區(qū)域代表由深層神經(jīng)網(wǎng)絡(luò)激活的區(qū)域，深紫色背景代表未激活區(qū)域。根據(jù)Grad-CAM可以明顯看出所提出模型對于檢測COVID-19 CT有很好的作用。

圖14 Grad-CAM可視化結(jié)果Fig.14 Grad-CAM visualization results

4 討論和結(jié)論

本文的結(jié)果表明，相比于傳統(tǒng)方法，深度學(xué)習(xí)方法能夠改善診斷效率、提高治療質(zhì)量。本文提出的經(jīng)過改進(jìn)的分割聯(lián)合分類的網(wǎng)絡(luò)結(jié)構(gòu)雖然可以有效提升準(zhǔn)確度，但是還存在著一些不足，本研究針對的數(shù)據(jù)集樣本量依然較小，結(jié)果易出現(xiàn)過擬合現(xiàn)象，所以未來工作需要考慮在更大的數(shù)據(jù)集上應(yīng)用深度模型，另外需要探究更多的數(shù)據(jù)增強(qiáng)的方法，進(jìn)一步驗(yàn)證本文提出研究方法的性能。

本文提出了一種新穎的方法，通過條件生成對抗網(wǎng)絡(luò)對數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)來降低由于原始數(shù)據(jù)集樣本量少造成的過擬合風(fēng)險；另外，將增強(qiáng)后的CT影像數(shù)據(jù)集輸入到改進(jìn)的U-Net網(wǎng)絡(luò)中進(jìn)行醫(yī)學(xué)分割，再結(jié)合多層感知器進(jìn)行二元分類。通過與其他幾種網(wǎng)絡(luò)模型的評估指標(biāo)進(jìn)行比較，說明條件生成對抗網(wǎng)絡(luò)是一種有效的數(shù)據(jù)增強(qiáng)的方法，本文提出的改進(jìn)模型綜合性能最優(yōu)，達(dá)到了93.1%的分類準(zhǔn)確率。最后，利用Grad-CAM技術(shù)對輸出結(jié)果進(jìn)行可視化，更直觀地說明通過CT影像檢測COVID-19的重要作用以及本文提出的BUF-Net算法對于預(yù)測COVID-19 CT影像的有效性。