基于卷積神經(jīng)網(wǎng)絡(luò)的肺野分割和肺炎篩查

武卓越，田雪琴，侯瀟芮,崔 磊,田雪葉,王文晶

(1.西北大學(xué) 信息科學(xué)與技術(shù)學(xué)院,陜西 西安 710127；2.石家莊理工職業(yè)學(xué)院 互聯(lián)網(wǎng)應(yīng)用技術(shù)學(xué)院,河北 石家莊 050228；3.西北大學(xué) 數(shù)學(xué)學(xué)院,陜西 西安 710127；4.西安交通大學(xué)第一附屬醫(yī)院 婦產(chǎn)科,陜西 西安 710061)

X光胸片和胸部CT(computed tomography, CT)都是診斷胸部疾病的常用手段,但由于胸部CT費(fèi)用較高,在實(shí)際使用過程中受到一定程度的限制[1],而X射線以其費(fèi)用較低、輻射較小的優(yōu)勢成為國內(nèi)外使用最廣泛的影像學(xué)檢查方法之一。全球每年可產(chǎn)生數(shù)百萬張X光胸片,但放射科醫(yī)生的數(shù)量面臨近7萬人的缺口,這極大地增加了放射科醫(yī)生的工作量[2]。隨著人工智能的快速發(fā)展,計(jì)算機(jī)輔助診斷(computer aided diagnosis, CAD)技術(shù)成為現(xiàn)代醫(yī)學(xué)影像的研究熱點(diǎn), 各種計(jì)算機(jī)輔助診斷系統(tǒng)被開發(fā)出來用于輔助臨床決策,以減輕放射科醫(yī)生的工作壓力, 具有很高的臨床價(jià)值[3-4]。肺野分割是X光胸片CAD系統(tǒng)的一個重要步驟，面臨著諸多挑戰(zhàn),造成其分割效果欠佳的主要原因:一方面X光胸片上存在氣管、血管、肺靜脈等其他組織陰影及偽影,如圖1A中所示;另一方面肺部疾病會造成X光胸片在病灶區(qū)域存在局部灰度值異常問題,如圖1B中所示,紅框區(qū)域?yàn)槔w維化病灶,綠框區(qū)域?yàn)殁}化病灶。

圖1 X光胸片示意圖Fig.1 Schematic diagram of chest X-ray

由于X光胸片受組織偽影及病灶引起的局部灰度值異常的影響,基于閾值、聚類、主動形狀模型等傳統(tǒng)分割方法[5-8]并不能獲得理想的分割效果。近年來，深度學(xué)習(xí)算法在自然圖像分割任務(wù)[9-10]和視頻分割任務(wù)[11-12]上都表現(xiàn)出了良好的性能,部分研究者也將深度學(xué)習(xí)算法應(yīng)用于肺野分割任務(wù)[13-17]。其中，Hooda等人提出了一種有效的全卷積網(wǎng)絡(luò)(fully convolutional networks,FCN)變體,用于胸片中肺野的分割[14]。Rashid等人使用基于U-Net的方法從X光胸片中提取肺野區(qū)域,并使用后處理步驟填充孔洞,將左右肺分開[15]。Souza等人提出了一種粗分割與精細(xì)化分割相結(jié)合的兩階段肺野分割方法[16]。但是使用這些方法分割出的肺野都存在內(nèi)部空洞、邊緣不完整等問題,因此，本文提出了基于多尺度卷積和特征金字塔[18]的肺野分割網(wǎng)絡(luò)(lung field segmentation network based on multi-scale convolution and feature pyramid, MSCFP-Net),其中，基于多尺度卷積的多尺度卷積模塊用于提取不同尺度的上下文信息,基于特征金字塔的多尺度特征融合模塊對不同尺度的特征圖進(jìn)行融合,保留了豐富的空間信息和語義信息,從而可以精準(zhǔn)地完成胸部X光片肺野分割任務(wù)。

肺野分割是X光胸片計(jì)算機(jī)輔助診斷系統(tǒng)的一個重要步驟,Dallal等人提出了一種基于肺野分割的肺部影像學(xué)指標(biāo)計(jì)算方法[19]；Baltruschat等人通過肺野分割提供的肺部位置信息將圖像裁剪至肺部區(qū)域,標(biāo)準(zhǔn)化了觀察外觀,提高了后續(xù)分類任務(wù)的精度[20]。因此,肺野分割作為一個預(yù)處理步驟在CAD系統(tǒng)中發(fā)揮著重要的作用。本文將X光胸片計(jì)算機(jī)自動分析從肺野分割任務(wù)拓展到了肺炎篩查任務(wù)上,旨在通過肺野分割提高肺炎篩查任務(wù)的精度。2020年初,新冠肺炎在全球不斷傳播,研究者們開始嘗試使用深度學(xué)習(xí)技術(shù)進(jìn)行新冠肺炎檢測[21-22]。其中，Wang等人為了將普通肺炎患者和新冠肺炎患者區(qū)分開,整合了5個X光胸片數(shù)據(jù)集,提出了CovidX數(shù)據(jù)集,并研發(fā)了COVID-Net用于新冠肺炎篩查[22]。為了將X光胸片計(jì)算機(jī)自動分析從輪廓檢測任務(wù)拓展到肺炎篩查這項(xiàng)病灶分析任務(wù)上,本文在文獻(xiàn)[22]的研究基礎(chǔ)上,對5個公開的胸片數(shù)據(jù)集進(jìn)行了整合,得到了肺炎數(shù)據(jù)集，包含正常胸片、普通肺炎胸片和新冠肺炎胸片3個類別。與正常胸片相比,普通肺炎樣本數(shù)尤其是新冠肺炎樣本數(shù)過少,這會導(dǎo)致模型更加偏向于將肺炎樣本預(yù)測為正常樣本,產(chǎn)生肺炎樣本分類準(zhǔn)確率低的問題。在深度學(xué)習(xí)領(lǐng)域,研究者們通常通過隨機(jī)裁剪[23]、翻轉(zhuǎn)[24]、隨機(jī)擦除[25]等數(shù)據(jù)增強(qiáng)方法來解決訓(xùn)練數(shù)據(jù)不足的問題。其中，隨機(jī)擦除通過“擦除”訓(xùn)練集圖像上的隨機(jī)區(qū)域來向樣本中添加噪聲,從而提高了分類、檢測任務(wù)的精度。受上述方法啟發(fā),本文提出了一種基于肺野分割的數(shù)據(jù)增強(qiáng)方法,這種數(shù)據(jù)增強(qiáng)方法充分利用了肺炎征象都發(fā)生在左右肺部這樣的先驗(yàn)知識,首先，通過肺野分割得到胸片左右肺的位置信息,進(jìn)而分別“擦除”左右肺的隨機(jī)區(qū)域,達(dá)到增加樣本多樣性的目的。

綜上所述,為了解決現(xiàn)有X光胸片肺野分割網(wǎng)絡(luò)的不足,本文從網(wǎng)絡(luò)結(jié)構(gòu)和損失函數(shù)的角度出發(fā)對目前流行的編碼-解碼框架進(jìn)行改進(jìn),從而精準(zhǔn)地完成了X光胸片肺野分割任務(wù)。同時，在肺野分割的基礎(chǔ)上開展了肺炎篩查任務(wù)。具體貢獻(xiàn)如下:

1)提出了一個基于多尺度卷積和特征金字塔的肺野分割網(wǎng)絡(luò),此網(wǎng)絡(luò)框架是以編碼-解碼結(jié)構(gòu)為基礎(chǔ),加入了基于特征金字塔的多尺度特征融合模塊和基于多尺度卷積的多尺度卷積模塊,從而充分利用了多尺度信息進(jìn)行精準(zhǔn)的肺野分割。

2)提出一種同時兼顧局部和整體分割效果的損失函數(shù),實(shí)驗(yàn)表明，本文提出的肺野分割框架的性能優(yōu)于流行的肺野分割算法。

3)提出了一種基于肺野分割的數(shù)據(jù)增強(qiáng)方法用于提高肺炎分類任務(wù)的準(zhǔn)確率,實(shí)驗(yàn)表明，使用本文提出的數(shù)據(jù)增強(qiáng)方法可以將新冠肺炎的檢出率至少提高2.2%。

1 肺野分割和肺炎篩查方法

1.1 MSCFP-Net:基于多尺度卷積和特征金字塔的肺野分割網(wǎng)絡(luò)

為解決現(xiàn)有肺野分割方法在X光胸片上分割出的肺野存在內(nèi)部空洞、邊緣不完整等問題,本文提出了一種基于多尺度卷積和特征金字塔的肺野分割網(wǎng)絡(luò),其網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。該網(wǎng)絡(luò)以編碼-解碼結(jié)構(gòu)為基礎(chǔ),加入了基于特征金字塔的多尺度特征融合模塊和基于多尺度卷積的多尺度卷積模塊。

1.1.1 編碼解碼結(jié)構(gòu) MSCFP-Net以X光胸片圖像作為輸入, 其編碼器由5個編碼器模塊構(gòu)成, 第1～4個編碼器模塊都是由2個3×3卷積組成, 第5個編碼器模塊由1個3×3卷積組成,相鄰編碼器模塊之間有2×2的最大池化操作, 每個卷積后都有1個BN(batch normalization)層和ReLU激活函數(shù)。經(jīng)過這5個編碼器模塊依次輸出特征圖D0、D1、D2、D3和D4。其解碼器由4個解碼器模塊組成,每個解碼器模塊都是由2個3×3卷積組成, 并且每個卷積后都有1個BN層和ReLU激活函數(shù)。當(dāng)多尺度卷積模塊輸出特征圖D5后,經(jīng)過上采樣、通道拼接等操作,各個解碼器模塊分別輸出了特征圖U0、U1、U2和U3。

1.1.2 多尺度卷積模塊 為了提取更加豐富的語義信息來改進(jìn)分割結(jié)果,本文在傳統(tǒng)的編碼-解碼結(jié)構(gòu)上加入多尺度卷積模塊，以提取不同尺度的上下文信息。多尺度卷積模塊含有4個并行的具有不同空洞率的空洞卷積模塊,包括1個3×3的卷積模塊,1個空洞率為2的3×3卷積模塊,1個空洞率為4的3×3卷積模塊以及1個空洞率為6的3×3卷積模塊。4個并行的卷積模塊擁有相同的參數(shù)量,但通過設(shè)置不同的空洞率便可以提取到不同尺度的上下文信息。從圖2可以看到，MSCFP-Net將編碼器最后一個下采樣模塊獲得的特征圖D4分別輸入4個并行的空洞卷積模塊中,獲得了4個不同尺度的特征圖。將這4個不同尺度的特征圖進(jìn)行拼接得到特征圖F,然后，使用1×1的卷積將特征圖F的通道數(shù)變化到與特征圖D4相同,得到多尺度卷積模塊輸出的特征圖D5。

圖2 基于多尺度卷積和特征金字塔的肺野分割網(wǎng)絡(luò)框架圖Fig.2 Lung segmentation network based on multi-scale convolution and feature pyramid

1.1.3 基于特征金字塔的多尺度特征融合模塊

傳統(tǒng)的全卷積神經(jīng)網(wǎng)絡(luò)將最后一個解碼器模塊得到的特征圖直接上采樣到原圖尺寸，得到每個像素的分類結(jié)果,這種網(wǎng)絡(luò)結(jié)構(gòu)沒有充分利用不同尺度的上下文信息。因此,本文從特征金字塔理論出發(fā)對網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn),將解碼器中4個解碼器模塊輸出的特征圖進(jìn)行融合,獲得了具有豐富空間信息和語義信息的特征圖。具體來說,若輸入網(wǎng)絡(luò)的原圖為X,解碼器中4個解碼器模塊輸出的特征圖分別為U0、U1、U2、U3。首先，分別將特征圖U0、U1、U2、U3上采樣到與原圖X尺寸相同；然后，將特征圖U0、U1、U2、U3進(jìn)行拼接獲得特征圖U′；最后，經(jīng)過1×1的卷積獲得分割結(jié)果。

1.1.4 損失函數(shù) 肺野分割任務(wù)的本質(zhì)是對每個像素點(diǎn)進(jìn)行分類，常用的損失函數(shù)有均方差(mean-square error, MSE)損失函數(shù)和交叉熵(cross entropy)損失函數(shù),但是這些損失函數(shù)都只考慮了局部的分割效果。為了使網(wǎng)絡(luò)既關(guān)注單個像素點(diǎn)的分類準(zhǔn)確率,又兼顧整張X光胸片的分割效果,本文提出了如式(1)所示的損失函數(shù)。

(1)

(2)

(3)

1.2 基于肺野分割的數(shù)據(jù)增強(qiáng)

為了解決肺炎數(shù)據(jù)集中因肺炎樣本過少造成肺炎樣本分類準(zhǔn)確率低的問題,本文從增加訓(xùn)練集樣本多樣性的角度出發(fā),提出了一種基于肺野分割的數(shù)據(jù)增強(qiáng)方法。在訓(xùn)練肺炎分類網(wǎng)絡(luò)時,這種數(shù)據(jù)增強(qiáng)方法分別以概率p“擦除”X光胸片左右肺的隨機(jī)區(qū)域的像素,而所需要的左右肺的位置信息則由肺野分割結(jié)果提供。圖3為基于肺野分割的數(shù)據(jù)增強(qiáng)方法的流程,在訓(xùn)練肺炎分類網(wǎng)絡(luò)前,本文將訓(xùn)練集中所有的X光胸片輸入訓(xùn)練好的MFCSP-Net中進(jìn)行肺野分割,得到每一張X光胸片的肺野分割結(jié)果圖。在訓(xùn)練肺炎分類網(wǎng)絡(luò)時,對X光胸片做了基于肺野分割的在線數(shù)據(jù)增強(qiáng)。數(shù)據(jù)增強(qiáng)過程：首先，依據(jù)X光胸片對應(yīng)的肺野分割圖確定此X光胸片中左右肺的位置；然后，在X光胸片左右肺上分別隨機(jī)選取N×N的矩形區(qū)域；最后，分別以概率p將選取的區(qū)域的像素值變化為0。

圖3 基于肺野分割的數(shù)據(jù)增強(qiáng)方法Fig.3 Data augmentation based on lung field segmentation

2 實(shí)驗(yàn)驗(yàn)證

為了驗(yàn)證本文所提肺野分割算法的有效性,分別在Montgomery數(shù)據(jù)集[26]和JSRT(Japanese society of radiological technology)數(shù)據(jù)集[27]上進(jìn)行了肺野分割實(shí)驗(yàn)。同樣，為了驗(yàn)證基于肺野分割的數(shù)據(jù)增強(qiáng)方法的有效性,本文在肺炎數(shù)據(jù)集上進(jìn)行了肺炎分類實(shí)驗(yàn)。

2.1 數(shù)據(jù)集

2.1.1 肺野分割數(shù)據(jù)集 肺野分割實(shí)驗(yàn)使用了2個公開數(shù)據(jù)集,其中一個是Montgomery數(shù)據(jù)集,共含有138張X光胸片,并且每張X光胸片都對應(yīng)一張肺野掩模圖像,使用的另一個數(shù)據(jù)集是JSRT數(shù)據(jù)集,此數(shù)據(jù)集含有247張X光胸片,同樣地，每張X光胸片也對應(yīng)一張肺野掩模圖像。本文分別將Montgomery數(shù)據(jù)集、JSRT數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測試集,具體劃分方法如表1所示。

表1 Montgomery和JSRT數(shù)據(jù)集的劃分方式Tab.1 The division of Montgomery and JSRT dataset

2.1.2 肺炎數(shù)據(jù)集 本文在Wang等人[22]研究的基礎(chǔ)上,對5個公開的胸片數(shù)據(jù)集進(jìn)行整合,得到了肺炎數(shù)據(jù)集。肺炎數(shù)據(jù)集含有正常胸片、普通肺炎胸片和新冠肺炎胸片3個類別。其中，正常胸片有8 062張,肺炎胸片有5 501張,新冠肺炎胸片有562張。本文將肺炎數(shù)據(jù)集劃分為訓(xùn)練集、驗(yàn)證集和測試集,具體劃分方法如表2所示，可以看到，訓(xùn)練集中正常胸片有7 862張,普通肺炎胸片有5 301張,而新冠肺炎胸片僅有362張,新冠肺炎胸片數(shù)量過少。

表2 數(shù)據(jù)集劃分方式Tab.2 The division of pneumonia dataset

2.2 實(shí)驗(yàn)設(shè)置

所有的實(shí)驗(yàn)均在一臺裝有 Ubuntu 18.04 的服務(wù)器上進(jìn)行,CPU型號為Intel Core i7-6800k,GPU型號為 RTX2080Ti,內(nèi)存大小為64 GB。

在肺野分割實(shí)驗(yàn)中,肺野分割網(wǎng)絡(luò)的輸入大小為512×512，批量大小設(shè)置為 2,初始學(xué)習(xí)率為 0.001,使用Adam優(yōu)化器優(yōu)化損失函數(shù),直到模型訓(xùn)練100代停止訓(xùn)練。同時，為了避免在訓(xùn)練過程中出現(xiàn)過擬合問題,本文對X光胸片進(jìn)行旋轉(zhuǎn)、移動、剪切、縮放和翻轉(zhuǎn)等數(shù)據(jù)增強(qiáng)操作。

在肺炎分類實(shí)驗(yàn)中, 數(shù)據(jù)增強(qiáng)步驟的“擦除”概率p取0.5, 擦除區(qū)域的面積為肺野面積的1/15,輸入網(wǎng)絡(luò)的X光胸片大小為256×256,批量大小設(shè)置為15，初始學(xué)習(xí)率設(shè)為0.01。在訓(xùn)練過程中使用指數(shù)衰減法不斷降低學(xué)習(xí)率,交叉熵作為損失函數(shù),采用Adam作為優(yōu)化器,直到模型訓(xùn)練50代停止。

2.3 肺野分割實(shí)驗(yàn)

2.3.1 肺野分割算法對比 本文在JSRT數(shù)據(jù)集和Montgomery數(shù)據(jù)集上將MSCFP-Net和流行的肺野分割方法進(jìn)行了對比，評價(jià)指標(biāo)選擇PA(pixel accuracy)和Dice(Dice similarity coefficient),PA反映分類正確的像素點(diǎn)數(shù)占所有的像素點(diǎn)數(shù)的比例,Dice用于度量兩個集合的相似性。實(shí)驗(yàn)結(jié)果如表3所示，可以看到，本文MSCFP-Net在JSRT數(shù)據(jù)集上的PA指標(biāo)和Dice指標(biāo)分別為98.76%和97.94%,在Montgomery 數(shù)據(jù)集上的PA指標(biāo)和Dice指標(biāo)分別為98.96%和97.85%,優(yōu)于其他肺野分割方法。

為了更直觀地顯示MSCFP-Net的分割效果,本文將肺野金標(biāo)準(zhǔn)、MSCFP-Net的肺野分割圖、U-Net的肺野分割圖進(jìn)行了可視化，如圖4所示。其中，圖4A為胸部X光片圖,圖4B為每張X光胸片對應(yīng)的肺野金標(biāo)準(zhǔn),圖4C為U-Net的分割結(jié)果,圖4D為MSCFP-Net的分割結(jié)果。根據(jù)圖4第1行、第2行標(biāo)出的矩形區(qū)域可以看出，MSCFP-Net的分割結(jié)果在邊緣上比U-Net更加光滑,根據(jù)第3行、第4行標(biāo)出的圓形區(qū)域可以看出，MSCFP-Net的分割結(jié)果不存在孔洞。

本文所提的肺野分割網(wǎng)絡(luò)以編碼-解碼結(jié)構(gòu)為基礎(chǔ),加入了多尺度特征融合模塊和多尺度卷積模塊,這兩個模塊雖然會降低網(wǎng)絡(luò)效率，但卻在一定程度上解決了分割出的肺野邊緣不完整或內(nèi)部存在孔洞的問題,并且在實(shí)際使用過程中可以達(dá)到0.21 s分割一張胸片的速度,滿足快速處理的需求。

表3 各方法實(shí)驗(yàn)結(jié)果對比Tab.3 Experimental results comparison of different methods

圖4 實(shí)驗(yàn)結(jié)果對比圖Fig.4 Experimental results comparison

2.3.2 肺野分割的消融實(shí)驗(yàn) 為了證明MSCFP-Net中各個模塊的有效性,本文在Montgomery數(shù)據(jù)集上進(jìn)行了消融實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如表4所示。結(jié)果表明，較Rashid[15]等提出的基于U-Net的方法，當(dāng)在編碼-解碼網(wǎng)絡(luò)中加入多尺度特征融合模塊后，PA指標(biāo)提高了0.41%,Dice指標(biāo)提高了2.19%,在加入多尺度卷積模塊后,網(wǎng)絡(luò)性能得到進(jìn)一步的提升,而當(dāng)同時加入了多尺度融合模塊和多尺度卷積模塊,并使用本文提出的損失函數(shù)來訓(xùn)練網(wǎng)絡(luò),獲得的模型達(dá)到了最好的性能。

表4 MSCFP-Net消融實(shí)驗(yàn)結(jié)果Tab.4 Ablation experiment results

2.4 肺炎分類實(shí)驗(yàn)

肺炎數(shù)據(jù)集上的分類準(zhǔn)確率如表5所示,可以看到，在使用基于肺野分割的數(shù)據(jù)增強(qiáng)方法后，Resnet-18、Resnet-34、Resnet-50的分類準(zhǔn)確率分別提高了1.4%、1.1%、1.1%。同時，為了證明基于肺野分割的數(shù)據(jù)增強(qiáng)方法適用于各種卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),本文也在輕量化模型MobileNet上進(jìn)行了實(shí)驗(yàn)，結(jié)果表明,使用基于肺野分割的數(shù)據(jù)增強(qiáng)方法可以將MobileNet分類準(zhǔn)確率提高1.4%。

表5 肺炎分類結(jié)果Tab.5 Results of pneumonia classification

為了更好地展示本文所提基于肺野分割的數(shù)據(jù)增強(qiáng)方法能夠有效避免漏診問題的發(fā)生,即模型不會偏向于將肺炎樣本預(yù)測為正常樣本,本文分別對Resnet-50和MobileNet的混淆矩陣進(jìn)行了可視化。其中，圖5A和圖5B分別為Resnet-50不使用數(shù)據(jù)增強(qiáng)和使用數(shù)據(jù)增強(qiáng)的混淆矩陣熱圖,可以看到，使用數(shù)據(jù)增強(qiáng)后，新冠肺炎檢出率提高5.8%,圖5C和圖5D分別為MobileNet不使用數(shù)據(jù)增強(qiáng)和使用數(shù)據(jù)增強(qiáng)方法的混淆矩陣,使用數(shù)據(jù)增強(qiáng)后，新冠肺炎檢出率提高了2.2%。

3 結(jié)語

由于目前語義分割網(wǎng)絡(luò)分割出的肺野都存在內(nèi)部空洞或者邊緣不光滑等問題,本文提出了一種基于多尺度卷積和特征金字塔的肺野分割算法,用于從胸部X光片中分割肺野。該網(wǎng)絡(luò)以編碼-解碼結(jié)構(gòu)為基礎(chǔ),設(shè)計(jì)并添加了多尺度特征融合模塊和多尺度卷積模塊, 并且在訓(xùn)練網(wǎng)路時使用了考慮局部和整體分割效果的損失函數(shù),實(shí)驗(yàn)表明，本文提出的方法較現(xiàn)有主流肺野分割方法獲得了更好的分割效果。同時，本文將肺野分割網(wǎng)絡(luò)進(jìn)一步應(yīng)用到肺炎篩查任務(wù)中,提出了一種基于肺野分割的數(shù)據(jù)增強(qiáng)方法,有效提高了新冠肺炎的檢出率。

圖5 混淆矩陣熱力圖Fig.5 Heat map of confusion matrix