改進(jìn)U-Net的新冠肺炎圖像分割方法

宋 瑤，劉 俊

1.智能信息處理與實(shí)時(shí)工業(yè)系統(tǒng)湖北省重點(diǎn)實(shí)驗(yàn)室（武漢科技大學(xué)），武漢 430065

2.武漢科技大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，武漢 430065

2019年12月，新型冠狀病毒肺炎（簡稱“新冠肺炎”）疫情出現(xiàn)，隨后新冠肺炎在局部地區(qū)擴(kuò)散并迅速蔓延至全世界，引起了全球的密切關(guān)注[1]。世衛(wèi)組織將此新疾病命名為“2019年冠狀病毒病”，簡稱：COVID-19。被病毒感染的人數(shù)正在全球急劇增加，截至2020 年10 月11日，美國約翰·霍普金斯大學(xué)實(shí)時(shí)統(tǒng)計(jì)數(shù)據(jù)顯示，全球報(bào)告的新型冠狀病毒病例已超過3 800 萬例，死亡病例超過100萬例。世界衛(wèi)生組織（World Health Organization，WHO）宣布疫情為國際關(guān)注的突發(fā)公共衛(wèi)生事件，于2020年3月11日確認(rèn)為大流行病，這在國際社會(huì)引起了極大的公共衛(wèi)生關(guān)注[2]。因此，快速檢測和隔離感染者對(duì)于限制病毒的傳播至關(guān)重要。

逆轉(zhuǎn)錄聚合酶鏈反應(yīng)（RT-PCR）被確立為COVID-19篩選的金標(biāo)準(zhǔn)[3]。RT-PCR能夠檢測通過鼻咽拭子、口咽拭子，支氣管肺泡灌洗液或氣管抽吸物獲得的標(biāo)本中的病毒RNA。但是，最近的各種研究表明，RT-PCR 檢測的靈敏度較低，約為71%，因此需要重復(fù)檢測才能準(zhǔn)確診斷。此外，由于缺少所需的材料，RT-PCR篩查非常耗時(shí)又增加了可用性限制[4]。

用于COVID-19篩查的RT-PCR的替代解決方案是醫(yī)學(xué)成像，例如X 射線或計(jì)算機(jī)斷層掃描（Computed Tomography，CT）。近年來，醫(yī)學(xué)成像技術(shù)取得了長足的進(jìn)步，現(xiàn)已成為診斷和多種疾病定量評(píng)估的常用方法。特別是，胸部CT 篩查已成為肺炎的常規(guī)診斷工具。此外，CT成像在COVID-19定量評(píng)估以及疾病監(jiān)測中也起著重要作用。在CT圖像上，感染初期COVID-19感染區(qū)域可通過肺部玻璃結(jié)節(jié)（Ground Glass Opacity，GGO）區(qū)分，感染后期可通過肺實(shí)變來區(qū)分[5]。與RT-PCR相比，多項(xiàng)研究表明，CT 對(duì)COVID-19 篩查更為敏感和有效，即使沒有臨床癥狀，胸部CT成像對(duì)COVID-19檢測也更加敏感。一般情況下，醫(yī)生通過觀看患者的CT影像圖，診斷患者肺部是否已感染新冠肺炎。

但感染初期的肺部玻璃結(jié)節(jié)在CT影像圖中特征不明顯，需要經(jīng)驗(yàn)豐富的醫(yī)生才能準(zhǔn)確識(shí)別并標(biāo)定出感染區(qū)域。如果醫(yī)生經(jīng)驗(yàn)不足或者診斷不夠認(rèn)真仔細(xì)都可能導(dǎo)致對(duì)COVID-19的誤診。因此，自動(dòng)分割技術(shù)可以輔助醫(yī)生診斷，降低醫(yī)生的勞動(dòng)強(qiáng)度，提高COVID-19診斷準(zhǔn)確率，為患者治療爭取寶貴時(shí)間。

1 相關(guān)工作

近年來，隨著人工智能技術(shù)的發(fā)展，圖像分割越來越多地采用深度學(xué)習(xí)技術(shù)，取得了優(yōu)于傳統(tǒng)分割技術(shù)的分割效果。特別是卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）[6]的出現(xiàn)，為圖像特征提取帶來全新的解決方法。2015年，Long等[7]在CNN的基礎(chǔ)上，創(chuàng)造性地提出了一種全卷積神經(jīng)網(wǎng)絡(luò)（Fully Convolutional Network，F(xiàn)CN）。他們將傳統(tǒng)CNN 中的全連接層轉(zhuǎn)化成一個(gè)個(gè)的卷積層，對(duì)圖像進(jìn)行像素級(jí)的分類，從而解決了語義級(jí)別的圖像分割問題。Ronneberger 等[8]提出的U-Net網(wǎng)絡(luò)模型采用編碼器-解碼器結(jié)構(gòu)，編碼器部分通過卷積和逐級(jí)下采樣提取圖像層級(jí)的特征對(duì)輸入圖像進(jìn)行編碼；解碼器通過卷積和逐級(jí)上采樣將編碼信號(hào)映射成相應(yīng)的二值分割掩模，得到較好的分割結(jié)果。與FCN相比，U-Net能夠在較少樣本量的情況下完成模型訓(xùn)練并實(shí)現(xiàn)圖像分割。受U-Net模型啟發(fā)，許多研究者對(duì)U-Net 網(wǎng)絡(luò)進(jìn)行了改進(jìn)。文獻(xiàn)[9]中提出了U-Net++模型，通過增加編碼器和解碼器之間的細(xì)粒度信息來重新設(shè)計(jì)跳躍連接；文獻(xiàn)[10]中提出的3D-UNet 把U-Net中所有的2D卷積替換成3D卷積塊，還用了Batch Normalization 防止梯度爆炸；文獻(xiàn)[11]中以U-net 為基礎(chǔ)提出Attention-Unet，在解碼器部分使用了注意力機(jī)制，可以將注意力集中在感興趣區(qū)域；文獻(xiàn)[12]中提出R2U-Net，將循環(huán)卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)殘差卷積神經(jīng)網(wǎng)絡(luò)結(jié)合，使網(wǎng)絡(luò)提取到更好的特征；文獻(xiàn)[13]中將DAC模塊和RMP模塊與編碼器-解碼器結(jié)構(gòu)相結(jié)合以捕獲更高級(jí)的抽象特征和保留更多的空間信息。這些基于U-Net 模型的改進(jìn)，都在一定程度上提升了對(duì)特定圖像的分割性能。

最近有一些針對(duì)肺部的CT 圖像分割的方法。文獻(xiàn)[14]中提出Inf-Net 從肺部CT 圖片中自動(dòng)分割感染區(qū)域。利用并行部分解碼器（Parallel Partial Decoder，PPD）用于聚合高級(jí)特征（結(jié)合上下文信息）并生成全局圖。然后，利用隱式逆向注意力（Reverse Attention，RA）和顯示邊緣注意力對(duì)邊界進(jìn)行建模和增強(qiáng)表征。此外，為了緩解標(biāo)記數(shù)據(jù)不足的問題，提出了一種基于隨機(jī)選擇傳播策略的半監(jiān)督分割框架。在文獻(xiàn)[15]中，準(zhǔn)備了包含20 個(gè)案例的3D CT 數(shù)據(jù)的新數(shù)據(jù)集，其中包含1 800+個(gè)帶注釋的切片，并提供了一些預(yù)先訓(xùn)練的base模型，可以作為現(xiàn)成的3D分割方法。文獻(xiàn)[16]中提出了一種編/解碼模式的肺分割算法，向網(wǎng)絡(luò)模型中輸入多尺度圖像，使用殘差網(wǎng)絡(luò)結(jié)構(gòu)作為編碼模塊，在編碼和解碼之間利用空洞空間金字塔池化（ASPP）充分提取上文多尺度信息；最后利用級(jí)聯(lián)操作，將捕捉到的信息與編碼層信息級(jí)聯(lián)，結(jié)合注意力機(jī)制從而提高分割精度。文獻(xiàn)[17]中提出了一種基于改進(jìn)的U-Net網(wǎng)絡(luò)的肺結(jié)節(jié)分割方法。該方法通過引入密集連接，加強(qiáng)網(wǎng)絡(luò)對(duì)特征的傳遞與利用，同時(shí)采用改進(jìn)的混合損失函數(shù)以緩解類不平衡問題。

盡管已經(jīng)有一些深度學(xué)習(xí)方法為診斷肺炎和肺部分割提供幫助，但是在新冠肺炎CT 切片中與感染分割相關(guān)的工作仍然很少。因?yàn)榇嬖谝韵聨讉€(gè)問題：新冠肺炎CT 切片中感染病灶的大小和位置時(shí)刻變化，目標(biāo)病灶區(qū)域小，邊界模糊，磨玻璃區(qū)域邊界通常對(duì)比度低且外觀模糊，難以識(shí)別。而且由于在短時(shí)間內(nèi)很難獲取CT切片中肺部感染的高質(zhì)量像素級(jí)分割注釋，所以很難收集足夠的數(shù)據(jù)集來訓(xùn)練深度模型。大部分COVID-19 公開數(shù)據(jù)集中在診斷上，只有極少數(shù)據(jù)集提供了分割標(biāo)簽[14]。

僅僅使用原始U-Net 對(duì)其訓(xùn)練，存在梯度消失、特征利用率低等問題，最終導(dǎo)致模型的分割準(zhǔn)確率難以提高。為了解決上述問題，本文提出了一種改進(jìn)的U-Net網(wǎng)絡(luò)的新冠肺炎病灶區(qū)域分割算法。

本文根據(jù)基本的編碼器-解碼器結(jié)構(gòu)并結(jié)合EfficientNet[18]模型設(shè)計(jì)了一種改進(jìn)的深度卷積神經(jīng)網(wǎng)絡(luò)模型模型，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示，由編碼器、解碼器和跳躍連接（Skip Connection）組成。編碼器部分使用了EfficientNet-B0 作為特征提取器，EfficientNet 網(wǎng)絡(luò)通過優(yōu)化網(wǎng)絡(luò)寬度、網(wǎng)絡(luò)深度和增大分辨率來達(dá)到提升指標(biāo)的優(yōu)點(diǎn)，大幅度地減少模型參數(shù)量和計(jì)算量，提高了模型的泛化能力。使用DUsampling結(jié)構(gòu)代替解碼層路徑中的傳統(tǒng)上采樣方法，利用了分割標(biāo)簽空間中的冗余優(yōu)勢恢復(fù)編碼路徑中丟失的細(xì)粒度信息，加快網(wǎng)絡(luò)收斂速度，增大特征圖的分辨率。傳統(tǒng)的分割網(wǎng)絡(luò)僅僅在最后的Softmax層計(jì)算預(yù)測結(jié)果GroundTruth之間的損失，再通過反向傳播更新優(yōu)化網(wǎng)絡(luò)。但DUpsampling 結(jié)構(gòu)在上采樣部分就提前計(jì)算特征圖與GroundTruth之間的損失，再通過反向傳播使解碼層中的低分辨率特征圖融入高層次語義特征，通過跳躍鏈接融合更好的中級(jí)和高級(jí)語義特征，更好地恢復(fù)細(xì)節(jié)。

圖1 Efficient-Unet網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Efficient-Unet network structure

該算法加強(qiáng)了網(wǎng)絡(luò)對(duì)特征的傳遞與利用，能夠有效緩解新冠肺炎病灶中感染區(qū)域小，磨玻璃邊界模糊，難以識(shí)別和漏檢等問題。本文利用COVID-19 公開數(shù)據(jù)集對(duì)改進(jìn)網(wǎng)絡(luò)的有效性進(jìn)行驗(yàn)證，結(jié)果表明該網(wǎng)絡(luò)能夠顯著提高CT圖像下新冠肺炎肺部病灶分割的準(zhǔn)確率。

2 本文方法

2.1 編碼器-解碼器結(jié)構(gòu)

編碼－解碼器結(jié)構(gòu)是語義分割領(lǐng)域最流行的框架之一，其能夠端到端地分割整幅圖片。編碼器-解碼器體系結(jié)構(gòu)將主干CNN 視為編碼器，負(fù)責(zé)將原始輸入圖像編碼為較低分辨率的特征圖，之后，使用解碼器從較低分辨率的特征圖中恢復(fù)逐像素預(yù)測。

2.1.1 編碼模塊

EfficientNets是一系列模型（即EfficientNet-B0到B7），它們是通過按比例放大的基礎(chǔ)網(wǎng)絡(luò)（通常稱為EfficientNet-B0）得到的，即在網(wǎng)絡(luò)的所有維度，即寬度（Width）、深度（Depth）和分辨率（Resolution）中采用復(fù)合縮放方法。EfficientNets由于其在性能上的優(yōu)勢而備受關(guān)注。該系列模型在效率和準(zhǔn)確性上超越了之前所有的卷積神經(jīng)網(wǎng)絡(luò)模型。寬度是指任何一層中的通道數(shù)，深度是指CNN 中的層數(shù)，而分辨率與圖像的大小相關(guān)。使用復(fù)合縮放的直覺是縮放網(wǎng)絡(luò)的任何尺寸（例如寬度、深度或圖像分辨率）都可以提高精度，但是對(duì)于較大的模型，精度增益將降低。為了系統(tǒng)地?cái)U(kuò)展網(wǎng)絡(luò)的規(guī)模，復(fù)合縮放使用復(fù)合系數(shù)，該系數(shù)控制有多少資源可用于模型縮放，并且通過復(fù)合系數(shù)按以下方式縮放維度：

其中φ是復(fù)合系數(shù)，而α、β和γ是可以通過網(wǎng)格搜索固定的每個(gè)維度的縮放系數(shù)。確定縮放系數(shù)后，將這些系數(shù)應(yīng)用于基準(zhǔn)網(wǎng)絡(luò)（EfficientNet-B0），以進(jìn)行縮放以獲得所需的目標(biāo)模型大小。例如，在EfficientNet-B0 的情況下，設(shè)置φ=1 時(shí)，在α·β2·γ2的約束下，用網(wǎng)格搜索得出最優(yōu)值，即α=1.2,β=1.1和γ=1.15。通過更改公式（1）中的φ值，可以放大EfficientNet-B0以獲得EfficientNet-B1 至B7。EfficientNet-B0 基線體系結(jié)構(gòu)的特征提取由幾個(gè)移動(dòng)翻轉(zhuǎn)瓶頸卷積（MBConv）塊，內(nèi)置的壓縮和激發(fā)（SE），批處理歸一化和Swish激活組成，表1為EfficientNet-B0模型中各層的參數(shù)設(shè)置。

表1 EfficientNet-B0網(wǎng)絡(luò)層Table 1 EfficientNet-B0 network layers

MBConv是通過神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索得到的，如圖2所示，該模塊結(jié)構(gòu)與深度分離卷積（Depth Wise Separable Convolution）[19]相似，由深度可分離卷積和SENet構(gòu)成。

圖2 MBConv結(jié)構(gòu)Fig.2 MBConv structure

MBConv 中的壓縮和激勵(lì)操作（稱為SE 模塊[20]）是基于注意力的特征圖操作。如圖3所示，SE模塊首先對(duì)特征圖執(zhí)行壓縮操作，然后在通道維度方向上執(zhí)行全局平均池化操作（Global Average Pooling），獲取特征圖通道維度方向的全局特征。然后對(duì)全局特征執(zhí)行激發(fā)操作，使用激活比率(R)乘以全局特征維度(C)個(gè)1×1的卷積使其卷積，學(xué)習(xí)各個(gè)通道間的關(guān)系，然后通過Sigmoid激活函數(shù)獲得不同通道的權(quán)重，最后將其乘以原始特征圖得到最終特征。本質(zhì)上，SE 模塊是在通道維度上做注意力操作或者門操作，這種注意力機(jī)制使得模型可以更多的關(guān)注更多信息的信息通道特征，同時(shí)抑制那些不重要的通道特征。

圖3 SE結(jié)構(gòu)Fig.3 SE sturcture

對(duì)肺炎圖像進(jìn)行預(yù)處理后，利用卷積神經(jīng)網(wǎng)絡(luò)對(duì)預(yù)處理圖像進(jìn)行訓(xùn)練。增大網(wǎng)絡(luò)深度是訓(xùn)練許多神經(jīng)網(wǎng)絡(luò)經(jīng)常使用的方法，這樣能捕捉更豐富、更復(fù)雜的特征并且適應(yīng)新任務(wù)來進(jìn)行學(xué)習(xí)。然而，增加網(wǎng)絡(luò)的深度會(huì)帶來梯度消失的問題。增加網(wǎng)絡(luò)寬度，即特征圖通道數(shù)增多，更多的卷積核可以得到更多豐富的特征，增強(qiáng)了網(wǎng)絡(luò)的表征能力，更寬的網(wǎng)絡(luò)往往能夠?qū)W習(xí)到更加豐富的特征，并且很容易訓(xùn)練。但是對(duì)于網(wǎng)絡(luò)結(jié)構(gòu)過寬且深度較淺的網(wǎng)絡(luò)，在特征提取過程中很難學(xué)習(xí)到更高層次的特征。卷積神經(jīng)網(wǎng)絡(luò)對(duì)于具有高分辨率的輸入圖像也可以捕捉細(xì)粒度特征，這樣能豐富網(wǎng)絡(luò)的感受野來提升網(wǎng)絡(luò)。上述網(wǎng)絡(luò)的寬度、深度及圖像的分辨率3個(gè)指標(biāo)都可以提高精度，但對(duì)于較大的模型，精確度會(huì)降低，所以需要協(xié)調(diào)和平衡不同維度之間的關(guān)系，而不是常規(guī)的單維度縮放。EfficientNet成功地將網(wǎng)絡(luò)寬度、深度及提高圖像的分辨率通過縮放系數(shù)對(duì)分類模型進(jìn)行3 個(gè)維度的縮放，自適應(yīng)地優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)。EfficientNet模型包含從B0 到B7 的8 個(gè)模型，每個(gè)后續(xù)模型編號(hào)均指代具有更多參數(shù)和更高準(zhǔn)確性的變量。EfficientNet 體系結(jié)構(gòu)使用遷移學(xué)習(xí)來節(jié)省時(shí)間和計(jì)算能力，因此，它提供了比已知模型更高的精度值。這是由于在深度、寬度和分辨率上使用了巧妙的縮放比例。本文使用了B0模型，因?yàn)樗?.3 m參數(shù)，使用B1之后的模型，模型的參數(shù)會(huì)增加，但已經(jīng)飽和，效率不高。

本文并未網(wǎng)絡(luò)權(quán)重上進(jìn)行隨機(jī)初始化，而是在EfficientNet 模型中實(shí)例化了ImageNet[21]的預(yù)訓(xùn)練權(quán)重，從而加快了訓(xùn)練過程。ImageNet 的預(yù)訓(xùn)練權(quán)重在圖像分析領(lǐng)域表現(xiàn)出了非凡的成就，因?yàn)樗^1 400 萬幅涵蓋折衷類的圖像。優(yōu)化過程將在新的訓(xùn)練階段微調(diào)初始訓(xùn)練前權(quán)重，以便可以將訓(xùn)練前的模型擬合到特定的感興趣區(qū)域。

2.1.2 解碼模塊

在解碼器還原圖像尺寸的過程中，將傳統(tǒng)的上采樣操作換成DUpsampling 結(jié)構(gòu)[22]，一種基于數(shù)據(jù)依賴的新型上采樣結(jié)構(gòu)。如圖4所示，上采樣結(jié)構(gòu)通常存在于分割網(wǎng)絡(luò)的解碼層中，其功能是將特征圖恢復(fù)至原始圖像的尺寸。盡管雙線性插值和最近鄰插值的上采樣操作可以在一定程度上捕獲和恢復(fù)卷積層提取的特征，缺點(diǎn)是其在準(zhǔn)確恢復(fù)逐像素預(yù)測中的能力有限。雙線性上采樣不考慮每個(gè)像素的預(yù)測之間的相關(guān)性，因?yàn)樗c數(shù)據(jù)無關(guān)，這種弱數(shù)據(jù)的卷積解碼器無法生成相對(duì)高質(zhì)量的特征圖。DUpsampling 利用了分割標(biāo)簽空間中的冗余優(yōu)勢，能夠從相對(duì)粗糙的CNN 輸出中準(zhǔn)確地恢復(fù)逐像素預(yù)測，從而減輕了卷積解碼器對(duì)精確響應(yīng)的需求。更重要的是，它使融合特征的分辨率與最終預(yù)測的分辨率解耦。這種解耦使解碼器可以利用任意特征聚合，因此可以利用更好的特征聚合，從而盡可能提高分割性能。

圖4 DUpsampling結(jié)構(gòu)Fig.4 DUpsampling structure

這種新穎上采樣方法可以生成逐像素預(yù)測，消除了來自底層CNN 的計(jì)算效率低下的高分辨率特征圖，這使得編碼模塊無需減少其步長從而使得計(jì)算時(shí)間和內(nèi)存占用大幅度改善。同時(shí)由于DUpsampling的高效，使得解碼器能夠?qū)⑷诤系奶卣飨虏蓸又凛^小的分辨率，這不但減小了解碼器的內(nèi)存占用而且將待融合的特征與最終預(yù)測解耦，這種解耦使得解碼器能夠利用任意的特征聚合從而獲得最優(yōu)結(jié)果。

3 實(shí)驗(yàn)與分析

本文的模型在TensorFlow 和Keras 框架下實(shí)現(xiàn)，硬件環(huán)境：CPU 為I7 8700K 處理器，GPU 為NVIDIAGet-Force 1080Ti。首先通過對(duì)比實(shí)驗(yàn)選擇最適合的損失函數(shù)、訓(xùn)練模型，利用快照集成得到不同的模型，將模型集成。最后，將本文的網(wǎng)絡(luò)和其他網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行性能對(duì)比測試。

3.1 數(shù)據(jù)集介紹

上采樣的具體操作如下：將H×W×C的圖像上采成2H×2W×N/4 的圖像，圖2 中，RH×W×C表示CT 圖像經(jīng)過編碼輸出的特征圖，H、W、C分別表示特征圖的高度、寬度、以及通道數(shù)。1×C代表針對(duì)特征圖F中的每個(gè)像素維度，將其乘上一個(gè)待訓(xùn)練矩陣W，其維度為C×N，最終會(huì)得到一個(gè)1×N的特征表示，再將向量Rearrange為2×2×N/4 的表示，也就完成了上采樣的過程，R表示經(jīng)DUpsampling結(jié)構(gòu)2倍上采樣后得到的特征圖，經(jīng)過重排后就相當(dāng)于對(duì)原始的每個(gè)像素進(jìn)行2倍的上采樣。上面的W是根據(jù)已知的訓(xùn)練標(biāo)簽得到的。在訓(xùn)練集中真正的分割表示是已知，對(duì)每個(gè)分割圖進(jìn)行一個(gè)矩陣轉(zhuǎn)換，將其轉(zhuǎn)化稱為與Encoder 模塊得到的特征圖相同的維度上。其過程表達(dá)式如下：

本文采用COVID-19CT分割數(shù)據(jù)集[23]，其中包含兩個(gè)版本。此數(shù)據(jù)集的第一個(gè)版本包含40 例COVID-19患者的100幅軸向CT圖像，所有圖像均標(biāo)記為COVID-19 類。該數(shù)據(jù)集具有四種類型的真實(shí)分割蒙版，稱為“磨玻璃結(jié)節(jié)”（掩膜值=1），“肺實(shí)變”（掩膜值=2），“胸膜積液”（掩膜值=3）和“背景”（掩膜值=4）。原始的CT圖像和所有地面真相蒙版的尺寸為512×512。數(shù)據(jù)集的第二個(gè)版本已擴(kuò)展到829 張圖像（來自9 位患者），其中373 張被標(biāo)記為COVID-19，其余圖像被標(biāo)記為正常。此數(shù)據(jù)集的第二個(gè)版本中圖像和掩膜的尺寸大小為630×630。將這兩個(gè)版本合并在一起，總共包含49 個(gè)人，一共929張樣本。

如圖5 中顯示了來自此數(shù)據(jù)集的兩個(gè)樣本圖像。第一列的圖像表示原始圖像，后四列分別代表及對(duì)應(yīng)的4種類型的COVID-19蒙版。圖（a）和圖（b）的圖像表示一個(gè)COVID-19 患者樣本圖像和一個(gè)正常人的樣本圖像。真實(shí)分割掩膜中的磨玻璃混濁和肺實(shí)變?yōu)辄S色，而黑色像素表示健康區(qū)域（請(qǐng)注意，如果磨玻璃混濁和肺實(shí)變掩膜是完全黑色的，則表示給定的CT 圖像屬于健

圖5 數(shù)據(jù)集樣本Fig.5 Dataset sample

矩陣P是矩陣W的反變換，其中v表示的是真正的分割結(jié)果中的區(qū)域表示，是重新構(gòu)建的v，神經(jīng)網(wǎng)絡(luò)以標(biāo)準(zhǔn)隨機(jī)梯度下降（SGD）迭代地優(yōu)化其目標(biāo)，矩陣P和W可以通過最小化v和之間的誤差得到，形式化定義如公式（3）：康人）。繪制紅色和黑色邊界輪廓是為了更好地顯示包含COVID-19中的磨玻璃混濁和肺實(shí)變的部分，而不是原始圖像的一部分。

在對(duì)上述幾種類型的掩膜進(jìn)行了仔細(xì)檢查和分析之后，本文決定只專注于真實(shí)磨玻璃掩膜，因?yàn)椋阂环矫?，后面兩種掩膜對(duì)疾病的診斷和病灶分割來說并沒有太大作用，肺實(shí)變掩膜有大量缺失；另一方面，僅僅通過磨玻璃區(qū)域也是可以作為輔助診斷COVID-19。

3.1.1 預(yù)處理

預(yù)處理包括：調(diào)窗處理和灰度值標(biāo)準(zhǔn)化。調(diào)窗處理是針對(duì)不同的器官選擇合適的CT 窗口，本文中將所有大于窗口CT 值修改為窗口最大值，所有小于窗口最小值的CT值修改為窗口最小值。本文針對(duì)肺炎病灶分割選擇CT 值范圍為[-1 500，500]。灰度值標(biāo)準(zhǔn)化是將灰度值減去灰度值的均值，再除以標(biāo)準(zhǔn)差，這樣可以方便處理數(shù)據(jù)和加快模型收斂?；叶戎岛蜆?biāo)準(zhǔn)差均通過統(tǒng)計(jì)訓(xùn)練數(shù)據(jù)計(jì)算得到。如圖6 中顯示了預(yù)處理前后數(shù)據(jù)集一（藍(lán)色）和數(shù)據(jù)集二（黃色）的CT值分布直方圖。

圖6 預(yù)處理前后對(duì)比Fig.6 Comparison of before and after pretreatment

3.1.2 數(shù)據(jù)增強(qiáng)

當(dāng)只有少量訓(xùn)練樣本可用時(shí)，數(shù)據(jù)增強(qiáng)對(duì)于訓(xùn)練網(wǎng)絡(luò)所需的不變性和魯棒性至關(guān)重要。本文應(yīng)用隨機(jī)旋轉(zhuǎn)、隨機(jī)剪裁、隨機(jī)水平翻移動(dòng)等圖像增強(qiáng)方法來處理訓(xùn)練集中的圖像和掩膜。訓(xùn)練集包含1 810張圖和分割掩膜；驗(yàn)證集包含150 張圖像和分割掩膜，測試集包含10 張圖像，所有訓(xùn)練集和測試圖像大小統(tǒng)一為256×256，并進(jìn)行歸一化處理。

3.2 評(píng)價(jià)指標(biāo)

為了多角度充分說明本文算法的性能，本文采用了3種用于評(píng)估醫(yī)療影像分割效果的評(píng)估指標(biāo)來衡量細(xì)分模型的性能，包括準(zhǔn)確率、召回率、Dice 系數(shù)，這些度量標(biāo)準(zhǔn)也廣泛用于醫(yī)學(xué)領(lǐng)域。定義如下：

其中，TP（True Positives）表示被正確檢測為正樣本的像素?cái)?shù)量；FP（False Positives）表示被錯(cuò)誤檢測為正樣本的像素?cái)?shù)量；FN（False Negatives）表示被錯(cuò)誤檢測為負(fù)樣本的像素?cái)?shù)量；TN（True Negatives）表示被正確檢測為為負(fù)樣本的像素?cái)?shù)量。A是分割結(jié)果像素構(gòu)成的集合，B是實(shí)際數(shù)據(jù)集標(biāo)簽像素構(gòu)成的集合。將Dice 系數(shù)（DSC）作為主要評(píng)價(jià)指，Dice系數(shù)的取值范圍是[0，1]，Dice其值越大，兩幅圖像越相似，分割效果越準(zhǔn)確。

3.3 參數(shù)設(shè)置及訓(xùn)練

采用Adam優(yōu)化器進(jìn)行優(yōu)化，除學(xué)習(xí)速率外其余參數(shù)采用默認(rèn)配置。其中，batch-size設(shè)置為12；初始學(xué)習(xí)率設(shè)置為0.001；動(dòng)量參數(shù)設(shè)置為0.9。如圖7 展示了在訓(xùn)練過程中本文算法在訓(xùn)練集和驗(yàn)證集上的損失值與訓(xùn)練迭代次數(shù)的關(guān)系。從圖中可以看出，網(wǎng)絡(luò)的損失值隨著訓(xùn)練迭代次數(shù)的增加而降低，當(dāng)訓(xùn)練迭代次數(shù)超過30時(shí)，驗(yàn)證集的損失值趨于穩(wěn)定。因此，本文實(shí)驗(yàn)中的訓(xùn)練迭代次數(shù)設(shè)置為30。

圖7 損失值與迭代次數(shù)變化Fig.7 Change in loss value and number of iterations

3.3.1 不同損失函數(shù)的對(duì)比分析

實(shí)驗(yàn)發(fā)現(xiàn)本文模型的分割性能和損失函數(shù)的選擇有關(guān)，因此為了獲得最合適的損失函數(shù)，得到最好的分割性能，本文針對(duì)二值交叉熵?fù)p失函數(shù)、Dice 相似系數(shù)損失函數(shù)和組合損失函數(shù)進(jìn)行了對(duì)比實(shí)驗(yàn)。表2 列出了在3 種不同損失函數(shù)下的分割效果，實(shí)驗(yàn)發(fā)現(xiàn)，當(dāng)采用組合損失函數(shù)均可以達(dá)到最優(yōu)的分割結(jié)果，其原因在于肺部磨玻璃區(qū)域在圖像上的占比面積較小，使用單一的損失函數(shù)進(jìn)行優(yōu)化時(shí)，磨玻璃區(qū)域所對(duì)應(yīng)的梯度變化容易受到其他背景區(qū)域梯度的影響，導(dǎo)致網(wǎng)絡(luò)訓(xùn)練困難，而組合損失函數(shù)綜合了兩種損失函數(shù)的特點(diǎn)，在網(wǎng)絡(luò)反向傳播過程中能夠?qū)﹄y以學(xué)習(xí)的樣本進(jìn)行穩(wěn)定且有針對(duì)的優(yōu)化，從而能夠緩解類別不平衡的問題，提升模型的分割性能。

表2 損失函數(shù)對(duì)比Table 2 Loss function comparison %

3.3.2 模型快照集成

眾所周知，神經(jīng)網(wǎng)絡(luò)的集成比單個(gè)網(wǎng)絡(luò)更健壯和準(zhǔn)確。但是，訓(xùn)練多個(gè)深度網(wǎng)絡(luò)進(jìn)行模型平均在計(jì)算上很費(fèi)時(shí)費(fèi)力。快照集成（Snapshot Ensembling）[24]這是一種無需任何額外培訓(xùn)成本即可獲得神經(jīng)網(wǎng)絡(luò)集成的簡單方法。它的主要概念是訓(xùn)練一個(gè)模型，不斷降低學(xué)習(xí)率，利用SGD收斂到局部最小值，并保存當(dāng)前模型權(quán)重的快照。然后，迅速提高學(xué)習(xí)率，逃離當(dāng)前的最優(yōu)點(diǎn)。此過程重復(fù)進(jìn)行直到完成循環(huán)。余弦退火學(xué)習(xí)率是一種在訓(xùn)練過程中，如圖8所示，調(diào)整學(xué)習(xí)率的方法，隨著epoch 的增加，learning rate 先急速下降，再陡然提升。為CNN創(chuàng)建模型快照的主要方法之一是在單次循環(huán)余弦退火訓(xùn)練中收集多個(gè)模型。每個(gè)時(shí)期的循環(huán)余弦退火的學(xué)習(xí)率定義為：

圖8 學(xué)習(xí)率變化Fig.8 Learning rate change

其中α(t)是在時(shí)期t的學(xué)習(xí)率，t是迭代次數(shù)，α0 是初始學(xué)習(xí)率，T是訓(xùn)練迭代的總數(shù)，M是循環(huán)周期。訓(xùn)練M個(gè)訓(xùn)練周期后，我們得到M個(gè)模型快照f1,f1,…,fM，每個(gè)快照都將用于集合預(yù)測中。

3.4 實(shí)驗(yàn)結(jié)果及分析

3.4.1 快照集成的對(duì)比分析

由于模型的分割性能和學(xué)習(xí)率的選擇有關(guān)，而隨著學(xué)習(xí)率的循環(huán)變化，模型的效果也是循環(huán)變化。每個(gè)集成包括一次訓(xùn)練中生成的總共M個(gè)模型快照，因此為了尋找最合適的模型集成循環(huán)周期M，得到最好的分割性能，本文對(duì)比實(shí)驗(yàn)了3種模型組成。

由表3 可見，M=3 的情況下比其他基本模型產(chǎn)生了更好的結(jié)果?？梢钥闯鰡为?dú)模型的準(zhǔn)確率是83.79%，召回率是77.32%，Dice值是84.29%；M=3 時(shí)準(zhǔn)確率是84.38%，召回率是78.64%，Dice 值是85.87%；M=4 時(shí)準(zhǔn)確率是84.24%，召回率是80.43%，Dice 值是85.12%。每個(gè)集成都包含來自以后周期的快照，因?yàn)檫@些快照受到了最多的訓(xùn)練，因此可能會(huì)收斂到更好的最小值。但是并不是集合更多的模型都可以提供更好的性能，當(dāng)?shù)?個(gè)模型添加到集合中時(shí)，觀察到各指標(biāo)均有下降。因此，本文實(shí)驗(yàn)中的M選擇為3。

表3 模型集成周期對(duì)比Table 3 Model ensembles cycle comparison %

3.4.2 改進(jìn)上采樣前后對(duì)比分析

如表4 所示，用DUpsampling 替換傳統(tǒng)上采樣方法前后相比，在衡量模型分割能力的指標(biāo)準(zhǔn)確率上，DUpsampling比傳統(tǒng)方法提高了1.04 個(gè)百分點(diǎn)，在召回率這一指標(biāo)上，DUpsampling比傳統(tǒng)方法提高了2.09 個(gè)百分點(diǎn)，在DSC 這一指標(biāo)上，DUpsampling 比傳統(tǒng)方法提高了2.39 個(gè)百分點(diǎn)，解碼器計(jì)算量也減少了50%左右，說明了DUsampling在恢復(fù)特征圖尺寸的同時(shí)，提升了分割精度，降低了計(jì)算復(fù)雜度和計(jì)算量。

表4 傳統(tǒng)上采樣方法改進(jìn)前后對(duì)比Table 4 Comparison of traditional sampling method before and after improvements

3.4.3 不同分割方法的分析

為了驗(yàn)證改進(jìn)的Efficient-UNet 模型的分割性能，將本文與FCN、U-Net、SegNet[25]和CE-Net[26]4 種分割網(wǎng)絡(luò)進(jìn)行對(duì)比。根據(jù)相同的網(wǎng)絡(luò)參數(shù)設(shè)置，分別對(duì)以上5種網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并利用測試集對(duì)訓(xùn)練好的模型性能進(jìn)行測試。實(shí)驗(yàn)結(jié)果如表5所示。

表5 Efficient-UNet與其他網(wǎng)絡(luò)對(duì)比Table 5 Efficient-UNet compared with other networks %

本文所提方法在Precision、Recall 和DSC 上均有提升。相比于基礎(chǔ)網(wǎng)絡(luò)FCN，所提方法在Precision、Recall和DSC 上分別提升了9.92 個(gè)百分點(diǎn)、11.19 個(gè)百分點(diǎn)和12.19 個(gè)百分點(diǎn)。與網(wǎng)絡(luò)SegNet 相比，在Precision、Recall和DSC上也分別提升了8.6個(gè)百分點(diǎn)、9.51個(gè)百分點(diǎn)和12.19 個(gè)百分點(diǎn)。這是由于FCN 和SegNet 沒有考慮全局的上下文信息和像素與像素之間的關(guān)系，沒有充分利用各層網(wǎng)絡(luò)所提取的圖像特征，網(wǎng)絡(luò)對(duì)于編碼器部分所提取到的特征，只是單純地進(jìn)行了上采樣操作將其恢復(fù)到輸入圖像大小，忽略了空間一致性，會(huì)導(dǎo)致邊緣模糊以及空間丟失，因此模型的分割結(jié)果比較粗糙。與網(wǎng)絡(luò)U-Net相比，Precision提升了1.39個(gè)百分點(diǎn)，Recall提升了0.08個(gè)百分點(diǎn)，DSC提升了2.66個(gè)百分點(diǎn)。與FCN和SegNet 相比，U-Net 中引入了跳躍連接，網(wǎng)絡(luò)得以將淺層的簡單特征和高層的抽象特征結(jié)合起來，這有助于補(bǔ)充空間的細(xì)節(jié)。但是由于肺炎圖像數(shù)量少，且磨玻璃區(qū)域具有邊緣模糊，目標(biāo)小等特點(diǎn)，對(duì)其提取特征較為困難，僅使用原始U-Net訓(xùn)練，存在梯度消失，特征利用率低等問題。CE-Net可以看出經(jīng)過算法改進(jìn)很大程度上改善了以上缺點(diǎn)，使分割精細(xì)程度大大提升。

由于本文算法在U-Net 上進(jìn)行改進(jìn)，故本文選取U-Net模型作為對(duì)比，在訓(xùn)練過程中，比較兩者對(duì)于系統(tǒng)資源的占用情況，如表6 所示?？梢钥闯?，與U-Net 相比，改進(jìn)后的模型無論在顯存占用、GPU使用率還是訓(xùn)練時(shí)間上都更加具有優(yōu)勢。

表6 Efficient-UNet與U-Net系統(tǒng)資源占用情況對(duì)比Table 6 Occupation of system resources of U-Net and Efficient-UNet

如圖9 選擇6 個(gè)不同的CT 圖像分割結(jié)果的可視化?？梢钥闯?，幾種方法對(duì)于磨玻璃的細(xì)節(jié)均有漏分和過多分割的現(xiàn)象，圖（a）是輸入模型的肺部圖像，圖（b）是醫(yī)生標(biāo)注的肺部磨玻璃輪廓金標(biāo)準(zhǔn)，圖（c）是使用本文算法對(duì)肺部磨玻璃分割的結(jié)果。與網(wǎng)絡(luò)CENet相比，所提方法在Precision提升0.81個(gè)百分點(diǎn)，DSC提升了0.91 個(gè)百分點(diǎn)。說明本文所提方法在新冠肺炎病灶分割上確實(shí)更精確。對(duì)比觀察圖中，磨玻璃在圖像中所占比例較小，且其像素值與背景區(qū)域中的肺部積液和血管等組織相近，未改進(jìn)的網(wǎng)絡(luò)容易受到與病灶相似的干擾區(qū)域的影響，錯(cuò)誤地將背景區(qū)域預(yù)測為病灶區(qū)域。相比之下，本文提出的改進(jìn)后的網(wǎng)絡(luò)能夠有效地區(qū)分磨玻璃區(qū)域與其他肺部組織，對(duì)磨玻璃輪廓的分割更為精確。

圖9 不同模型的磨玻璃分割結(jié)果Fig.9 Segmentation results of ground-glass in different models

4 結(jié)束語

磨玻璃是新冠肺炎早期階段的特征，從CT 圖像中準(zhǔn)確地檢測磨玻璃對(duì)新冠肺炎預(yù)防和治療具有重要的作用。為了有效檢測CT 圖像中的病灶信息，本文以EfficientNet-B0 為backbone，結(jié)合編碼器-解碼器結(jié)構(gòu)，提出了一種改進(jìn)的深度卷積神經(jīng)網(wǎng)絡(luò)模型。該模型通過使用深度可分離卷積、壓縮和激勵(lì)操作操作和DUpsampling上采樣操作改進(jìn)傳統(tǒng)編碼-解碼模型，對(duì)各種復(fù)雜細(xì)小的肺炎磨玻璃圖像具有更強(qiáng)的特征提取能力，同時(shí)降低了模型的計(jì)算量。在對(duì)比實(shí)驗(yàn)中，本文模型在訓(xùn)練集和測試集上均表現(xiàn)出比其他已有模型更好的分割效果和泛化能力，能夠有效提取CT 圖像中的新冠肺炎病灶區(qū)域。下一步，將考慮到醫(yī)療圖像的特殊性，在數(shù)據(jù)規(guī)模擴(kuò)充、總體網(wǎng)絡(luò)結(jié)構(gòu)以及參數(shù)的優(yōu)化等多個(gè)方面對(duì)模型進(jìn)一步優(yōu)化。