基于改進(jìn)U-net網(wǎng)絡(luò)的氣胸分割方法

余 昇，王康健，何靈敏，胥智杰，王修暉

1.中國(guó)計(jì)量大學(xué) 信息工程學(xué)院，杭州 310018

2.中國(guó)計(jì)量大學(xué) 浙江省電磁波信息技術(shù)與計(jì)量檢測(cè)重點(diǎn)實(shí)驗(yàn)室，杭州 310018

氣胸屬于胸外科和呼吸內(nèi)科急癥[1]，是肺部常見疾病之一，約有30%~39%的胸部外傷患者存在氣胸，大多是由鈍性胸部損傷、潛在肺部疾病造成的。氣胸是指空氣從肺部泄漏到肺和胸壁之間的一種病狀，會(huì)對(duì)肺部產(chǎn)生壓迫阻止肺部的正常擴(kuò)展，導(dǎo)致病人呼吸困難甚至不能呼吸。如果不治療，就會(huì)導(dǎo)致死亡。在歐美等西方國(guó)家，平均每年大約有13萬~21萬例氣胸[2]，而且復(fù)發(fā)率高達(dá)35%[3]。更可怕的是，該疾病的發(fā)作沒有任何明顯的征兆。因此，如何有效地檢測(cè)潛在氣胸成為一個(gè)很有價(jià)值的問題。

診斷該疾病的傳統(tǒng)方法是由放射科醫(yī)生通過胸部X光（胸片）根據(jù)經(jīng)驗(yàn)用肉眼進(jìn)行檢測(cè)。但是因?yàn)闅庑氐牟≡钚螤?、大小有很大差異，通常與肋骨、鎖骨等組織重疊，而且基于人工的檢測(cè)結(jié)果易受醫(yī)生經(jīng)驗(yàn)等主觀影響，在臨床上存在較大的漏診。即便對(duì)于經(jīng)驗(yàn)豐富的放射科醫(yī)生來說，閱片也是一項(xiàng)復(fù)雜、耗時(shí)的任務(wù)，且存在漏檢的風(fēng)險(xiǎn)。據(jù)報(bào)道[2]美國(guó)平均每年約有7.4萬氣胸患者因延遲診斷或誤診而耽誤治療，同時(shí)在中國(guó)對(duì)于少量或微量的氣胸，也存在較大的漏診情況[4]。因此希望借助于計(jì)算機(jī)輔助診斷（computer-aided diagnosis，CAD）系統(tǒng)，實(shí)現(xiàn)X線氣胸的自動(dòng)檢測(cè)，協(xié)助醫(yī)生提高診斷效率和準(zhǔn)確率，減少漏診。

實(shí)際應(yīng)用中，實(shí)現(xiàn)胸部X線氣胸的自動(dòng)檢測(cè)面臨以下問題：受患者氣胸形狀、大小、拍攝角度、圖像質(zhì)量以及放射參數(shù)等因素影響，胸片圖上氣胸的特征變得模糊。此外，氣胸容易與皮膚褶皺、肩胛骨、鎖骨以及胸腔引流位置重疊，也在一定程度上干擾氣胸特征的提取。而傳統(tǒng)的氣胸檢測(cè)方法需要手動(dòng)設(shè)計(jì)不同的特征提取算法，如：Geva等[5]首先對(duì)局部異常進(jìn)行紋理分析處理。在紋理分析過程中提取帶標(biāo)記的圖像小塊，然后將局部分析值合并到新的全局圖像表示中，再用于圖像層面的異常訓(xùn)練和檢測(cè)?；诜蔚莫?dú)特形狀，考慮到典型氣胸異常的特征，提出了結(jié)合局部和全局紋理特征分析方法。Sanada等[6]首先確定易出現(xiàn)輕微氣胸的上肺各區(qū)域的感興趣區(qū)域（ROIs）。然后，通過在有限的方向范圍內(nèi)選擇邊緣梯度來確定的后肋和胸膜的位置，并去除包括在邊緣增強(qiáng)圖像中的肋邊緣。最后利用霍夫變換檢測(cè)出氣胸引起的細(xì)微曲線。Chan等[7]首先利用局部二值模式從肺圖像中提取特征，然后利用支持向量機(jī)對(duì)氣胸進(jìn)行分類。另一方面提出了一種基于多尺度強(qiáng)度紋理分割的氣胸自動(dòng)檢測(cè)方法：通過去除胸腔圖像中的背景和噪聲，對(duì)肺異常區(qū)域進(jìn)行分割。這些特征提取的過程十分復(fù)雜，且提取的特征可能存在信息涵蓋不全等現(xiàn)象，從而導(dǎo)致氣胸的檢測(cè)精度不高。因?yàn)樯鲜鰵庑貦z測(cè)方法對(duì)特征提取的準(zhǔn)確性要求非常嚴(yán)格，而氣胸特征提取的準(zhǔn)確性決定了檢測(cè)結(jié)果的精度，導(dǎo)致傳統(tǒng)氣胸檢測(cè)方法的魯棒性不夠。

隨著深度學(xué)習(xí)的發(fā)展，以卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）為代表的神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺領(lǐng)域的成功應(yīng)用為CNN在醫(yī)學(xué)圖像病變檢測(cè)方面的應(yīng)用奠定了基礎(chǔ)。CNN一般由輸入層、卷積層、池化層、激活層以及全連接層組成，自動(dòng)學(xué)習(xí)從原始輸入到期望輸出間的特征映射。相較于傳統(tǒng)算法復(fù)雜的特征提取過程，CNN在高級(jí)抽象特征提取上的能力更顯著，尤其是對(duì)細(xì)粒度圖像的識(shí)別具有極大的優(yōu)勢(shì)和潛力[8]。Wang等[9]首次提出用殘差網(wǎng)絡(luò)（residual network，ResNet）來檢測(cè)胸部疾病，并公開了一個(gè)超大規(guī)模的胸部數(shù)據(jù)集：ChestXray14，該算法在氣胸檢測(cè)上取得了較好的結(jié)果，曲線下面積（area under curve，AUC）為0.79。雖然現(xiàn)有基于深度學(xué)習(xí)的氣胸檢測(cè)方法能有效提升檢測(cè)性能，但是因?yàn)閭鹘y(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)主要用來處理分類問題或者回歸問題。當(dāng)使用CNN來檢測(cè)疾病時(shí)，因?yàn)槿狈忉屝?，?duì)醫(yī)生的幫助有限。Long等[10]在CNN的基礎(chǔ)上，創(chuàng)造性地提出了一種全卷積神經(jīng)網(wǎng)絡(luò)（fully convolutional network，F(xiàn)CN）。他們用卷積層替換CNN中的全連接層以獲得圖像中每個(gè)像素的分類結(jié)果，最終實(shí)現(xiàn)圖像分割。U-net[11]是下采樣和上采樣結(jié)合的編解碼結(jié)構(gòu)的分割模型，在2015年ISBI細(xì)胞追蹤競(jìng)賽中獲得了冠軍，被廣泛應(yīng)用于醫(yī)學(xué)影像學(xué)中。Oktay等[12]在U-net的基礎(chǔ)上引入注意力機(jī)制提出Attention Unet，對(duì)編碼器在各個(gè)分辨率上的特征與解碼器中對(duì)應(yīng)特征進(jìn)行拼接之前，使用了一個(gè)注意力模塊，重新調(diào)整了編碼器的輸出特征。注意力權(quán)重傾向于在目標(biāo)器官區(qū)域取得大的值，在背景區(qū)域取得較小的值，提高了圖像分割的精度。Xiao等[13]提出了一個(gè)帶有注意力機(jī)制和跳躍連接結(jié)構(gòu)的ResUnet模型用于處理視網(wǎng)膜血管分割中小而薄的血管分割困難以及視盤區(qū)識(shí)別能力低等問題。Chen等[14]提出了空洞空間金字塔池化結(jié)構(gòu)，該結(jié)構(gòu)能夠獲取不同尺度的特征信息，結(jié)合多種先進(jìn)的方法設(shè)計(jì)了DeepLabV3+，是目前最優(yōu)秀的通用分割網(wǎng)絡(luò)。然而，雖然圖像分割在醫(yī)學(xué)影像學(xué)中有被應(yīng)用的先例，但在氣胸分割方面還沒有得到很好的應(yīng)用。

本文的主要?jiǎng)?chuàng)新如下：

（1）網(wǎng)絡(luò)結(jié)構(gòu)：基于U-net網(wǎng)絡(luò)架構(gòu)，結(jié)合MBConv-Block編碼模塊和一種新的解碼模塊設(shè)計(jì)了EfficientUnet卷積神經(jīng)網(wǎng)絡(luò)X線氣胸分割模型。該模型能有效提取圖像特征，預(yù)測(cè)圖像中是否含有氣胸并進(jìn)行圖像語(yǔ)義分割。

（2）損失函數(shù)：在語(yǔ)義分割中Dice相似系數(shù)（Dice similarity coefficient，DSC）損失函數(shù)的基礎(chǔ)上，結(jié)合Focal損失函數(shù)，組成混合損失函數(shù)。該混合損失函數(shù)保證了網(wǎng)絡(luò)能夠穩(wěn)定且有針對(duì)地對(duì)難以學(xué)習(xí)的樣本進(jìn)行優(yōu)化，從而緩解類不平衡問題，改善網(wǎng)絡(luò)的分割結(jié)果。

（3）閾值分割策略：針對(duì)小面積氣胸的漏檢及誤檢，提出三重閾值分割策略，降低假陰性的概率。

（4）由于成像設(shè)備、個(gè)體自身差異的影響，醫(yī)學(xué)圖像一般會(huì)含有很多噪聲。對(duì)胸片進(jìn)行對(duì)比度限制自適應(yīng)直方圖均衡化，去除噪點(diǎn)并還原圖像細(xì)節(jié)。

1 基于卷積神經(jīng)網(wǎng)絡(luò)的氣胸分割方法

本文結(jié)合了目前深度學(xué)習(xí)領(lǐng)域中的最佳工作，提出了一種結(jié)合MBConvBlock編碼器模塊的EfficientUnet卷積神經(jīng)網(wǎng)絡(luò)X線氣胸分割模型。對(duì)輸入的胸部X線圖像進(jìn)行處理，從而預(yù)測(cè)胸片中是否含有氣胸。針對(duì)卷積神經(jīng)網(wǎng)絡(luò)存在解釋性不夠的問題，進(jìn)行圖像語(yǔ)義分割，并給檢測(cè)含有氣胸的胸片輸出相對(duì)應(yīng)的掩碼，最后通過游程編碼（RLE）可視化掩碼，醫(yī)生可以很直觀地判斷患者是否患有氣胸并降低診斷的假陰性概率。

1.1 EfficientUnet

基于卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)的任務(wù)，無論是目標(biāo)檢測(cè)還是分類的算法，特征提取部分永遠(yuǎn)是最重要的基礎(chǔ)。目前的深度學(xué)習(xí)理論已經(jīng)證明增加特征提取的網(wǎng)絡(luò)深度可以獲得更多的語(yǔ)義信息，提高分類準(zhǔn)確度。除了傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)模型，也可以利用空間金字塔模型，通過融合多個(gè)不同尺度的特征圖得到更加豐富的特征信息來提高分類準(zhǔn)確度。而與目標(biāo)檢測(cè)或分類算法不同的是，圖像語(yǔ)義分割算法不僅需要獲取目標(biāo)的特征信息做到像素級(jí)的分類，而且還需對(duì)圖像進(jìn)行還原到原尺寸的恢復(fù)，圖像像素位置信息恢復(fù)得更加準(zhǔn)確，分割結(jié)果更好。

本文從特征提取部分和恢復(fù)像素位置信息兩個(gè)方面入手，根據(jù)基本的U-net網(wǎng)絡(luò)結(jié)構(gòu)，結(jié)合MBConv-Block編碼器模塊和新的解碼模塊設(shè)計(jì)了一種改進(jìn)的EfficientUnet模型，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 EfficientUnet網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 EfficientUnet network structure

本文采用的MBConvBlock編碼器模塊來自于EfficientNet[15]卷積神經(jīng)網(wǎng)絡(luò)。該模型在ImageNet數(shù)據(jù)集上獲得84.4%的Top-1精度和97.1%的Top-5精度，超越了此前表現(xiàn)最好的GPipe，并且速度相比GPipe提高了6.1倍。和已有的CNN模型進(jìn)行對(duì)比，EfficientNet模型準(zhǔn)確率更高、效率更高，其參數(shù)量和FLOPS都下降了一個(gè)數(shù)量級(jí)。而且模型大小方面，EfficientNet也比其他模型要小得多。對(duì)比工業(yè)界使用最多的ResNet-50[16]，準(zhǔn)確率也是勝出一籌（ResNet-50的76.0%，EfficientNet-B4的82.6%）。如表1所示。

表1 模型性能對(duì)比Table 1 Model performance comparison

EfficientNet模型綜合考慮網(wǎng)絡(luò)深度、網(wǎng)絡(luò)寬度以及圖片分辨率這三個(gè)影響卷積神經(jīng)網(wǎng)絡(luò)處理圖片性能的因素。單獨(dú)增加其中任意一項(xiàng)都會(huì)提高結(jié)果的精度，但是任意一項(xiàng)參數(shù)的不斷增加又會(huì)導(dǎo)致參數(shù)增加的精度回報(bào)率降低，所以抽象出網(wǎng)絡(luò)深度、寬度、分辨率這三個(gè)維度的最優(yōu)組合問題，其定義如下：

其中，N代表整個(gè)卷積網(wǎng)絡(luò)，d、w、r分別是網(wǎng)絡(luò)高度、網(wǎng)絡(luò)寬度、分辨率的倍率，X i為輸入張量，＜Hi,Wi,C i＞為網(wǎng)絡(luò)的輸出維度（省略了Batch維度）。文獻(xiàn)[15]通過三個(gè)維度的網(wǎng)絡(luò)搜索，最后得到了EfficientNet-B0。在計(jì)算量相當(dāng)?shù)那闆r下得到了比之前提出的模型更高的精度，更小的模型體積（參數(shù)數(shù)量），兼顧了速度和精度。

EfficientNet-B0主體是由16個(gè)MBConvBlock堆疊構(gòu)成，MBConvBlock的結(jié)構(gòu)如圖2左側(cè)所示，其總體的設(shè)計(jì)思路是Inverted Residuals結(jié)構(gòu)和殘差結(jié)構(gòu)，每個(gè)模塊主要包含四個(gè)卷積層，一個(gè)深度可分離卷積和一次特征融合操作。在3×3網(wǎng)絡(luò)結(jié)構(gòu)前利用1×1卷積升維，在3×3網(wǎng)絡(luò)結(jié)構(gòu)后增加了一個(gè)關(guān)于通道的注意力機(jī)制，最后利用1×1卷積降維后增加一個(gè)殘差邊。對(duì)于輸入MBConvBlock模塊的特征圖，在每經(jīng)過一系列卷積操作后，所產(chǎn)生的特征圖便與最原始的特征圖進(jìn)行融合形成新的特征圖，最后再將特征圖輸入下一個(gè)MBConv-Block模塊。此外，每個(gè)卷積層后面均添加了批量歸一化（batch normalization，BN）層和（Swish）激活層[16]，定義如公式（2）所示：

圖2 編碼/解碼模塊示意圖Fig.2 Schematic diagram of encoding/decoding module

其中，批量歸一化層是為了解決網(wǎng)絡(luò)的訓(xùn)練效果容易受到初始數(shù)據(jù)分布的影響，模型泛化能力差等問題而提出的，會(huì)對(duì)輸入數(shù)據(jù)進(jìn)行歸一化操作。EfficientNet-B0是整個(gè)系列的基石，其他的版本都是在B0基礎(chǔ)上增加MBConvBlock的數(shù)量。EfficientNet根據(jù)不同尺度的圖片構(gòu)建了8個(gè)模型，本文根據(jù)實(shí)驗(yàn)效果選擇了EfficientNet-B3。

傳統(tǒng)的解碼器（Decoder）對(duì)提取到的特征映射進(jìn)行插值重構(gòu)得到每個(gè)像素的二分類結(jié)果。本文擴(kuò)展路徑所用的解碼模塊是通過多次測(cè)試出來的最優(yōu)結(jié)構(gòu)，如圖2右側(cè)所示。解碼器模塊主要包含兩個(gè)3×3卷積和兩個(gè)scSE（spatial and channel squeeze&excitation block）注意力機(jī)制模塊[17]。scSE將空間注意力機(jī)制（sSE）模塊和通道注意力機(jī)制（cSE）模塊并聯(lián)，結(jié)合空間和通道注意力機(jī)制。具體就是將輸入特征圖分別通過sSE和cSE模塊后，然后將兩個(gè)模塊的輸出相加，得到更為精準(zhǔn)的Feature map，scSE的結(jié)構(gòu)如圖3所示。每個(gè)卷積層后面均添加了批量歸一化層和修正線性單元（rectified linear unit，ReLu）激活層。激活層之后加入scSE模塊可以帶來細(xì)粒度的語(yǔ)義分割提升，能夠讓分割邊緣更加平滑。在EfficientUnet的擴(kuò)展路徑中，反卷積的輸出層先合并左邊特征提取網(wǎng)絡(luò)的跳躍接模塊，然后通過解碼器結(jié)構(gòu)進(jìn)行擠壓激活操作，增加層與層之間的聯(lián)系。最后利用上采樣和反卷積到原圖像大小，通過分割輸出模塊產(chǎn)生所需掩碼的通道數(shù)，做像素級(jí)的分類。

圖3 scSE模塊示意圖Fig.3 Schematic diagram of scSE module

1.2 損失函數(shù)

在以Dice指數(shù)為指標(biāo)的二分類醫(yī)學(xué)圖像分割任務(wù)中，常用的損失函數(shù)是Dice相似系數(shù)損失函數(shù)，其定義如下：

Dice相似系數(shù)損失函數(shù)能夠指導(dǎo)網(wǎng)絡(luò)通過不斷學(xué)習(xí)，讓預(yù)測(cè)結(jié)果逐漸逼近真實(shí)結(jié)果。但是一旦預(yù)測(cè)結(jié)果中有部分像素預(yù)測(cè)錯(cuò)誤，會(huì)導(dǎo)致預(yù)測(cè)目標(biāo)的梯度變化劇烈，甚至出現(xiàn)無法收斂的情況。訓(xùn)練誤差曲線非?；靵y，很難看出關(guān)于收斂的信息，從而使得網(wǎng)絡(luò)的訓(xùn)練變得困難。另外，雖然Dice相似系數(shù)損失函數(shù)能在一定程度上緩解類不平衡問題，但是對(duì)于微小氣胸效果不夠顯著。因此本文提出一種改進(jìn)的混合損失函數(shù)解決該問題，損失函數(shù)分為兩部分，表達(dá)式如公式（4）所示：

LFocal是Focal損失函數(shù)[18]，其引入主要是為了緩解類別不平衡問題。ypred反映了模型對(duì)這個(gè)樣本的識(shí)別能力；α代表類別權(quán)重，用來平衡正負(fù)樣本的比例不均，經(jīng)過多次實(shí)驗(yàn)設(shè)定為10；(1-ypred)γ代表難度權(quán)重，調(diào)節(jié)參數(shù)γ來減少易分類樣本的損失；對(duì)于ypred越大的樣本，越要抑制它對(duì)loss的貢獻(xiàn)。Focal損失函數(shù)的定義如下：

訓(xùn)練時(shí)迭代次數(shù)的選擇對(duì)網(wǎng)絡(luò)的分割性能十分重要。如果訓(xùn)練迭代次數(shù)太少，圖片中的氣胸特征信息沒有被充分挖掘，模型無法很好地?cái)M合訓(xùn)練數(shù)據(jù)的分布會(huì)出現(xiàn)欠擬合狀態(tài)。但是，如果訓(xùn)練迭代次數(shù)過多，模型過度依賴訓(xùn)練數(shù)據(jù)的分布會(huì)容易出現(xiàn)過擬合狀態(tài)（Overfitting），即神經(jīng)網(wǎng)絡(luò)過分追求擬合效果，學(xué)習(xí)到了在訓(xùn)練數(shù)據(jù)中完全沒有意義的特征。為了防止上述情況，訓(xùn)練過程中通過對(duì)比驗(yàn)證集上的Loss值，自動(dòng)選擇小的保存模型權(quán)重。通過觀察實(shí)驗(yàn)過程中驗(yàn)證集上的Loss的變化確定合適的訓(xùn)練迭代次數(shù)。圖4展示了在訓(xùn)練過程中EfficientUnet在訓(xùn)練集和驗(yàn)證集上的損失值隨著訓(xùn)練迭代次數(shù)變化的曲線圖。從圖中可以看出網(wǎng)絡(luò)的損失值隨著訓(xùn)練迭代次數(shù)的增加而不斷降低，當(dāng)訓(xùn)練迭代次數(shù)接近60時(shí)，驗(yàn)證集的損失值趨于穩(wěn)定。因此，本文第一階段實(shí)驗(yàn)中的訓(xùn)練迭代次數(shù)設(shè)置為60。

圖4 EfficientUnet損失值變化Fig.4 Change of EfficientUnet loss value

1.3 三重閾值策略

語(yǔ)義分割模型的輸出為Sigmod激活函數(shù)輸出的每個(gè)像素的分類概率，因此關(guān)鍵需要對(duì)每一個(gè)像素點(diǎn)判斷其是否為氣胸像素。針對(duì)小面積氣胸的漏檢情況，本文提出一種新的閾值策略：三重閾值策略。本策略主要對(duì)模型最后的輸出采用了三重不同的閾值策略：對(duì)經(jīng)過最大閾值（top score threshold）的掩碼圖片，統(tǒng)計(jì)整張圖片中預(yù)測(cè)為氣胸像素的面積和，若小于該最小面積閾值（min contour area），則認(rèn)為是無氣胸圖片。如圖5左側(cè)所示，對(duì)于相同的閾值參數(shù)：最大閾值0.5，最小面積閾值3，上面這張圖的氣胸像素面積為4，認(rèn)定該圖片含有氣胸。而下面這張圖的氣胸像素面積為2，認(rèn)定為不含氣胸圖片。這是目前圖像分割領(lǐng)域比較主流的閾值策略，相比原始的單閾值策略更加嚴(yán)謹(jǐn)，但是對(duì)于醫(yī)學(xué)圖像分割任務(wù)來說適用性不夠。本文在此基礎(chǔ)上追加了一個(gè)最小閾值（bottom score threshold），經(jīng)過雙重閾值篩選后再次判斷像素輸出概率值大于最小閾值0.3就會(huì)被最終認(rèn)定為是氣胸像素。算法流程如圖5右側(cè)所示，發(fā)現(xiàn)使用該策略后最終兩張圖都檢測(cè)出含有氣胸。此舉是為了在滿足傳統(tǒng)的閾值判斷前提下，適當(dāng)降低分割閾值，盡量檢測(cè)可能存在的病灶區(qū)域。該策略雖然可能會(huì)增大檢測(cè)結(jié)果中假陽(yáng)性的概率，導(dǎo)致模型評(píng)估指標(biāo)降低。但是從實(shí)際醫(yī)學(xué)的角度來看，在可能存在氣胸的情況下，對(duì)病人來說假陰性比假陽(yáng)性更嚴(yán)重。

圖5 雙重/三重閾值策略Fig.5 Dual/triple threshold strategy

2 實(shí)驗(yàn)與分析

2.1 實(shí)驗(yàn)設(shè)置

2.1.1 數(shù)據(jù)集及評(píng)價(jià)指標(biāo)

本文實(shí)驗(yàn)所用的SIIM-ACR Pneumothorax數(shù)據(jù)集是由美國(guó)醫(yī)學(xué)圖像信息學(xué)會(huì)（society for imaging informatics in medicine，SIIM）和美國(guó)放射學(xué)院（American college of radiology，ACR）提供的，開源在Kaggle平臺(tái)。數(shù)據(jù)集包含12 089個(gè)DICOM文件作為訓(xùn)練集，3 205個(gè)DICOM文件作為測(cè)試集（digital imaging and communications in medicine，DICOM），即醫(yī)學(xué)數(shù)字成像和通信。DICOM被廣泛應(yīng)用于放射醫(yī)療，心血管成像以及放射診療診斷設(shè)備（X射線、CT、核磁共振、超聲等），并且在眼科和牙科等其他醫(yī)學(xué)領(lǐng)域得到越來越深入廣泛的應(yīng)用。所有患者的醫(yī)學(xué)圖像都以DICOM文件格式進(jìn)行存儲(chǔ)。這個(gè)格式包含患者的PHI（protected health information）信息，例如姓名、性別、年齡，以及其他圖像相關(guān)信息。醫(yī)學(xué)圖像設(shè)備生成DICOM文件，醫(yī)生使用DICOM閱讀器（能夠顯示DICOM圖像的計(jì)算機(jī)軟件）閱讀并對(duì)圖像中發(fā)現(xiàn)的問題進(jìn)行診斷。

實(shí)驗(yàn)分成兩個(gè)階段，第一階段將訓(xùn)練集劃分成10 712個(gè)DICOM文件的訓(xùn)練集，1 377個(gè)DICOM文件的測(cè)試集。使用了3種評(píng)價(jià)指標(biāo)：Dice、Recall、Precision，表達(dá)式如式（6）~（8）：

TP、TN、FP和FN分別表示真陽(yáng)性、真陰性、假陽(yáng)性和假陰性的數(shù)量。Dice指標(biāo)是醫(yī)學(xué)圖像中的常見指標(biāo)，可用于比較預(yù)測(cè)的分割結(jié)果與其對(duì)應(yīng)的真實(shí)情況之間的像素方式一致性，常用于評(píng)價(jià)圖像分割算法的好壞。準(zhǔn)確率是指被正確預(yù)測(cè)為氣胸的像素總數(shù)占被預(yù)測(cè)為氣胸的像素總數(shù)的比例。召回率是指被正確預(yù)測(cè)為氣胸的像素總數(shù)占實(shí)際像素總數(shù)的比例。上述指標(biāo)用于氣胸分割結(jié)果的綜合評(píng)估，它們的值越大代表分割結(jié)果越好。第二階段將第一階段的訓(xùn)練集和測(cè)試集合并成新的訓(xùn)練集，另有包含3 205個(gè)DICOM文件的測(cè)試集。因?yàn)闇y(cè)試集的標(biāo)簽未公開，所以第二階段的實(shí)驗(yàn)結(jié)果以競(jìng)賽中排行榜得分為準(zhǔn)，即測(cè)試集中所有圖像的Dice系數(shù)的平均值。

2.1.2 實(shí)驗(yàn)環(huán)境

硬件環(huán)境為NVIDIA TITAN X顯卡，128 GB運(yùn)行內(nèi)存，Intel E5-2678V3處理器。軟件環(huán)境為Ubuntu16系統(tǒng)，Python3.6，Tensorflow1.12.0和Pytorch1.1開發(fā)環(huán)境。

2.2 實(shí)驗(yàn)細(xì)節(jié)

數(shù)據(jù)預(yù)處理：首先利用Pydicom庫(kù)將全部DICOM文件轉(zhuǎn)換成PNG文件。原圖大小為1 024×1 024，先將圖片縮放成512×512，為了加快訓(xùn)練時(shí)梯度下降求最優(yōu)解的速度對(duì)圖像再進(jìn)行標(biāo)準(zhǔn)化（Normalize）：mean=（0.485，0.456，0.406），std=（0.229，0.224，0.225）。為了進(jìn)一步提升細(xì)節(jié)特征，方便神經(jīng)網(wǎng)絡(luò)提取更多特征，同時(shí)能夠較好地抑制醫(yī)學(xué)圖像成像過程中產(chǎn)生噪點(diǎn)，本文采用對(duì)比度限制自適應(yīng)直方圖均衡化（CLAHE）算法對(duì)圖像進(jìn)行處理進(jìn)行后續(xù)研究[19]。直方圖均衡化算法（AHE）會(huì)將圖像采集過程中的噪點(diǎn)增強(qiáng)，且增強(qiáng)幅度較大。CLAHE同普通的自適應(yīng)直方圖均衡化不同的地方主要是其對(duì)比度限幅。這個(gè)特性也可以應(yīng)用到全局直方圖均衡化中，即構(gòu)成所謂的限制對(duì)比度直方圖均衡。在CLAHE中，對(duì)于每個(gè)小區(qū)域都使用對(duì)比度限幅來克服AHE的過度放大噪音的問題。另外經(jīng)過對(duì)比度限制自適應(yīng)直方圖均衡化之后，圖像的對(duì)比度會(huì)有所增強(qiáng)，圖像的細(xì)節(jié)能更清晰地展現(xiàn)出來，方便神經(jīng)網(wǎng)絡(luò)提取特征。從圖6中可以看出處理后的圖像噪點(diǎn)減少很多，而且氣胸區(qū)域顯得更加明顯。

圖6 對(duì)比度限制自適應(yīng)直方圖均衡化效果Fig.6 Contrast constrained adaptive histogram equalization

遷移學(xué)習(xí)以及數(shù)據(jù)增強(qiáng)：神經(jīng)網(wǎng)絡(luò)對(duì)特征的學(xué)習(xí)需要大量經(jīng)過人工標(biāo)記樣本的訓(xùn)練以及測(cè)試樣本，如用于視覺對(duì)象識(shí)別的ImageNet數(shù)據(jù)集[20]包含1 000個(gè)類別的超過120萬張高分辨率圖片。大部分情況下，數(shù)據(jù)集的規(guī)模是無法滿足深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練要求的，往往會(huì)出現(xiàn)過擬合的現(xiàn)象。導(dǎo)致模型在測(cè)試集上的表現(xiàn)遠(yuǎn)沒有在訓(xùn)練集上的那么好，網(wǎng)絡(luò)不具有魯棒性。本文使用多種數(shù)據(jù)增強(qiáng)方法擴(kuò)大數(shù)據(jù)集，增強(qiáng)模型的抗過擬合和抗干擾能力，包括：高斯噪聲、隨機(jī)放射變換、隨機(jī)垂直或水平翻轉(zhuǎn)。另外為了加快模型的學(xué)習(xí)速度，本實(shí)驗(yàn)使用遷移學(xué)習(xí)，將已經(jīng)在ImageNet數(shù)據(jù)集上訓(xùn)練好的EfficientNet參數(shù)作為特征提取模型的初始參數(shù)，在此基礎(chǔ)上進(jìn)行微調(diào)（fine tune），繼承模型從ImageNet數(shù)據(jù)集上學(xué)習(xí)到的特征提取能力。

滑動(dòng)采樣訓(xùn)練策略：在原數(shù)據(jù)集中，有氣胸的圖片只占到了約28.37%，因此正負(fù)樣本數(shù)量是不均衡的，對(duì)模型的收斂速度以及效果會(huì)造成較大影響。因此在訓(xùn)練中，對(duì)數(shù)據(jù)進(jìn)行了滑動(dòng)采樣策略（sliding sample rate）。具體來說，就是在當(dāng)前訓(xùn)練批次（batch），對(duì)數(shù)據(jù)進(jìn)行隨機(jī)采樣，使正負(fù)樣本達(dá)到1∶1的比例，如圖7所示。

圖7 滑動(dòng)采樣訓(xùn)練策略Fig.7 Sliding sampling training strategy

實(shí)驗(yàn)超參數(shù)設(shè)置：使用了Adam優(yōu)化器，batch-size設(shè)置為2，初始學(xué)習(xí)率為0.000 1。學(xué)習(xí)率衰減方式為ReduceLROnPlateau，當(dāng)連續(xù)訓(xùn)練3個(gè)epoch而模型性能不提升時(shí)，學(xué)習(xí)率衰減為原來的1/10。損失函數(shù)的參數(shù)以及訓(xùn)練迭代的次數(shù)按照1.2節(jié)中提到的策略設(shè)置。

2.3 對(duì)比模型

為了驗(yàn)證本文方法在氣胸X光圖像上的分割性能，將本文方法與現(xiàn)有方法U-net方法[11]、Attention Unet方法[12]、ResUnet方法[13]、DeepLabV3+方法[14]進(jìn)行了對(duì)比實(shí)驗(yàn)。兩個(gè)階段上述網(wǎng)絡(luò)的訓(xùn)練過程和EfficientUnet網(wǎng)絡(luò)的訓(xùn)練過程完全相同，均采用5折交叉驗(yàn)證（5-foldcross-validation），分別訓(xùn)練預(yù)處理后的5份數(shù)據(jù)集。兩個(gè)階段實(shí)驗(yàn)分別訓(xùn)練60和100個(gè)epoch（停止標(biāo)準(zhǔn)與第一階段實(shí)驗(yàn)相同），保存得分最高的模型。

2.4 分割性能對(duì)比及分析

訓(xùn)練完成后，在SIIM-ACR Pneumothorax測(cè)試集上評(píng)估算法的分割性能。兩個(gè)階段的實(shí)驗(yàn)分別按照2.1.1小節(jié)中的評(píng)分標(biāo)準(zhǔn)和競(jìng)賽評(píng)分的標(biāo)準(zhǔn)（mean Dice）進(jìn)行評(píng)估，兩個(gè)階段的對(duì)比實(shí)驗(yàn)結(jié)果如表2、表3所示。

表2 第一階段實(shí)驗(yàn)結(jié)果對(duì)比Table 2 Phase 1 comparison of experimental results

表3 第二階段實(shí)驗(yàn)結(jié)果對(duì)比Table 3 Phase 2 comparison of experimental results

第一階段實(shí)驗(yàn)在測(cè)試集上達(dá)到的Dice相似系數(shù)值、精確率和召回率分別為85.95%、93.40%和88.72%（不使用三重分割閾值策略），可以看出本文提出的Efficient-Unet相比之前提出的一系列醫(yī)學(xué)圖像分割網(wǎng)絡(luò)性能均有較大的提升。與原始的Unet算法相比，分別提升了6.67、1.87和6.19個(gè)百分點(diǎn)。對(duì)比最先進(jìn)的DeepLabV3+方法也有一定的提升，分別提升了0.96、1.05和0.29個(gè)百分點(diǎn)。第二階段實(shí)驗(yàn)EfficientUnet在測(cè)試集上達(dá)到的Dice相似系數(shù)值對(duì)比U-net方法、Attention Unet方法、ResUnet方法、DeepLabV3+方法分別提升9.41、6.32、1.49和0.69個(gè)百分點(diǎn)。實(shí)驗(yàn)結(jié)果表明，本文提出的網(wǎng)絡(luò)結(jié)構(gòu)能夠改善對(duì)氣胸的分割效果。

為了驗(yàn)證三重閾值分割策略的有效性，做了一系列實(shí)驗(yàn)。表4展示了分割結(jié)果在不同閾值參數(shù)下對(duì)EfficientUnet性能的影響，第一行是使用雙重閾值分割策略的結(jié)果，作為基準(zhǔn)。從實(shí)驗(yàn)結(jié)果來看，三重閾值分割的效果與三個(gè)閾值的設(shè)置密切相關(guān)，改變參數(shù)會(huì)使三種指標(biāo)均呈現(xiàn)不同的變化。作為分割任務(wù)，Dice相似系數(shù)值是衡量結(jié)果好壞的主要參考指標(biāo)。從表中可以看出當(dāng)最大閾值（表中為Top）取值為0.5、最小面積閾值（表中為Area）取值為2 500、最小閾值（表中為Bottom）取值為0.35時(shí)，網(wǎng)絡(luò)的性能表現(xiàn)最佳。與使用雙重閾值策略的EfficientUnet算法相比，三個(gè)指標(biāo)分別提升了1.26、0.24和1.41個(gè)百分點(diǎn)。分析可知，相比雙重閾值，表4第二行這種“寬容”的小參數(shù)設(shè)置能有效提高對(duì)小面積氣胸的檢測(cè)效果，Dice相似系數(shù)值和精確率都有較明顯的提升。使用“嚴(yán)格”的大參數(shù)設(shè)置能有效提高召回率，但是Dice相似系數(shù)值和精確率基本沒有改善，甚至有降低的表現(xiàn)。

表4 不同閾值參數(shù)對(duì)結(jié)果的影響Table 4 Influence of different threshold parameters on results

實(shí)驗(yàn)發(fā)現(xiàn)，最大閾值取0.5時(shí)，總體效果比取其他值都要好。分析得到最大閾值的取值和網(wǎng)絡(luò)訓(xùn)練時(shí)閾值的取值相關(guān)。本實(shí)驗(yàn)網(wǎng)絡(luò)訓(xùn)練時(shí)采用的閾值為0.5，故使用該策略分割時(shí)最大閾值應(yīng)該選用網(wǎng)絡(luò)訓(xùn)練時(shí)使用的閾值。另外，最小面積閾值取2 500和最小閾值取0.35作為組合時(shí)，是實(shí)驗(yàn)中各最大閾值分組中效果最好的。雖然該策略能有效提高分割的效果，但是增加了調(diào)參的難度。需要通過實(shí)驗(yàn)挑選有效的參數(shù)，不然效果反而會(huì)變差。

五種網(wǎng)絡(luò)的分割結(jié)果的可視化如圖8所示，圖中第一列是輸入模型的胸透圖片以及醫(yī)療專家標(biāo)注的氣胸輪廓真實(shí)標(biāo)簽，最后一列是使用EfficientUnet結(jié)合三重閾值策略對(duì)氣胸分割的結(jié)果。文獻(xiàn)[12]和文獻(xiàn)[13]方法相較于U-net，分割效果均有一定的提升。但是只能實(shí)現(xiàn)對(duì)氣胸的大致定位，分割效果不夠精細(xì)。對(duì)比觀察圖中前兩行的圖像，當(dāng)氣胸在圖像中所占比例較小，且含有多個(gè)病灶區(qū)域時(shí)，上述方法均存在較大的漏檢情況。未改進(jìn)的U-net網(wǎng)絡(luò)由于每一層所提取的特征通常只被學(xué)習(xí)一次，不同層次的特征之間聯(lián)系不夠密切，因此網(wǎng)絡(luò)對(duì)于特征的利用率較低，更容易受到與病灶相似的干擾區(qū)域的影響，最終的分割準(zhǔn)確率不夠。其結(jié)果中有檢測(cè)不出圖片存在氣胸的情況。文獻(xiàn)[14]方法對(duì)大面積的氣胸分割效果較好，分割出來的形狀和邊緣與真實(shí)標(biāo)簽比較接近。但是通過觀察第一行和第四行，可以發(fā)現(xiàn)當(dāng)圖像中存在不連通的微小病灶區(qū)域時(shí)，也存在較嚴(yán)重的漏檢情況。

圖8 不同模型的氣胸分割結(jié)果圖Fig.8 Pneumothorax segmentation results of different models

相比之下，本文提出的EfficientUnet能夠有效地區(qū)分氣胸與其他肺部組織，對(duì)氣胸輪廓的預(yù)測(cè)更為精確。由于醫(yī)學(xué)圖像數(shù)量少，且目標(biāo)區(qū)域與背景的比例差距較大，對(duì)其提取特征較為困難。該網(wǎng)絡(luò)采用多個(gè)編碼模塊堆疊，加深網(wǎng)絡(luò)的方式充分提取氣胸特征更適合于醫(yī)學(xué)圖像分割任務(wù)。通過跳躍連接方式，利用簡(jiǎn)單特征用于像素準(zhǔn)確定位以及抽象特征用于像素準(zhǔn)確分類的特點(diǎn)，將兩者結(jié)合從而幫助網(wǎng)絡(luò)得到更為精細(xì)的分割結(jié)果。通過對(duì)比圖8后兩列，可以發(fā)現(xiàn)后處理時(shí)使用三重閾值分割策略有效的減少小面積氣胸的漏檢情況。綜上所述，本文提出的氣胸分割方法與其他分割算法相比，分割效果得到顯著提升，在針對(duì)微小或邊界模糊的氣胸的分割過程中魯棒性高，具有良好的性能。

3 結(jié)束語(yǔ)

氣胸X線圖像分割是實(shí)現(xiàn)氣胸疾病精確顯示、診斷、早期治療和手術(shù)計(jì)劃的關(guān)鍵一步。本文提出了一種新型的X線氣胸分割方法，模型通過結(jié)合MBConv-Block模塊，相比于其他醫(yī)學(xué)圖像分割網(wǎng)絡(luò)在特征提取能力上有極大的提升，使得網(wǎng)絡(luò)能夠有效檢測(cè)氣胸。并且創(chuàng)造性地使用三重閾值分割策略更加準(zhǔn)確地分割出小面積的病灶區(qū)域，在SIIM-ACR Pneumothorax數(shù)據(jù)集的實(shí)驗(yàn)中性能表現(xiàn)良好。實(shí)驗(yàn)采用對(duì)比度限制自適應(yīng)直方圖均衡化對(duì)圖像進(jìn)行預(yù)處理，發(fā)現(xiàn)該方法對(duì)特征提取有較大的幫助，能有效去除醫(yī)學(xué)圖像中存在的噪點(diǎn)。上述的方法具有一定的泛化性，不僅適用于氣胸的檢測(cè)與分割，對(duì)其他醫(yī)學(xué)圖像分割研究也有參考價(jià)值。另外，實(shí)驗(yàn)發(fā)現(xiàn)不同的數(shù)據(jù)增強(qiáng)和閾值參數(shù)都對(duì)實(shí)驗(yàn)結(jié)果有較大的影響。對(duì)于數(shù)據(jù)增強(qiáng)來說，現(xiàn)有的方法數(shù)量繁多。對(duì)于閾值參數(shù)來說，三個(gè)參數(shù)的不同組合也會(huì)產(chǎn)生很多不同的效果。上述兩個(gè)方面都無法全部實(shí)驗(yàn)，只能嘗試幾種常見的組合。

因此在未來的工作中，除了考慮采用更好的特征提取網(wǎng)絡(luò)結(jié)構(gòu)之外，找出合適的數(shù)據(jù)增強(qiáng)方法，更好地挖掘胸透圖片的信息，以及如何實(shí)現(xiàn)閾值參數(shù)的自動(dòng)化選取將是下一步提高分割準(zhǔn)確率的研究重點(diǎn)。