基于多尺度特征選擇網(wǎng)絡(luò)的新冠肺炎CT圖像分割方法

厲恩碩 張智誠(chéng) 耿冰研 唐璐

（徐州醫(yī)科大學(xué)醫(yī)學(xué)影像學(xué)院，徐州 221004）

新冠肺炎（Corona Virus Disease 2019，COVID-19）在全球范圍的爆發(fā)嚴(yán)重影響了人民的正常生活［1］，該病毒傳播速度快、變異種類多，典型起病癥狀為呼吸困難、發(fā)熱、咳嗽，嚴(yán)重時(shí)可能會(huì)引起多器官衰竭，威脅患者的生命。及時(shí)的病情評(píng)估對(duì)疾病的治療有重要意義。在新冠肺炎的診斷中，CT掃描可以幫助醫(yī)生準(zhǔn)確評(píng)估病情的嚴(yán)重程度，并指導(dǎo)治療方案。然而，在CT掃描中，醫(yī)生需要仔細(xì)檢查每個(gè)CT圖像，識(shí)別出患者肺部的病變區(qū)域。這個(gè)過(guò)程非常費(fèi)時(shí)，而且容易出現(xiàn)人為錯(cuò)誤，特別是在大規(guī)模疫情爆發(fā)期間。因此，自動(dòng)化分割CT圖像中的病變區(qū)域是當(dāng)前的研究熱點(diǎn)。

近年來(lái)，深度學(xué)習(xí)技術(shù)在醫(yī)學(xué)圖像分析領(lǐng)域中得到廣泛應(yīng)用［2］，2015年Ronneberger等［3］提出的U-Net網(wǎng)絡(luò)結(jié)構(gòu)，已經(jīng)被證明可以對(duì)CT圖像中的病變區(qū)域進(jìn)行有效分割［4，5］。Zhou等［6］通過(guò)將空間注意模塊和通道注意模塊融合到一個(gè)U-Net架構(gòu)中，重新計(jì)算權(quán)重特征來(lái)表示空間和通道注意力的方法，用于捕獲豐富的COVID-19病灶類別信息。Fan等［7］提出的Inf-Net模型使用一個(gè)并行解碼器提取高級(jí)別特征信息并生成全局注意力特征圖，通過(guò)隱式反向注意和顯式邊緣注意對(duì)邊界信息進(jìn)行提?。籐iu等［8］提出了nCoVSegNet分割模型，利用注意感知特征融合和大感受野進(jìn)行有效的COVID-19感染分割，解決邊界對(duì)比度低和感染變異大的問(wèn)題。

盡管針對(duì)CT圖像中新冠肺炎病灶區(qū)域分割問(wèn)題已經(jīng)有大量的方法被提出，但是分割技術(shù)仍然具有很大的挑戰(zhàn)性。針對(duì)病灶區(qū)域大小各異、形狀不規(guī)則的問(wèn)題，本文將設(shè)計(jì)的多尺度特征選擇模塊融合到U-Net網(wǎng)絡(luò)結(jié)構(gòu)中，增強(qiáng)模型對(duì)不同尺度信息的感知能力，有效提高對(duì)小病灶和不規(guī)則病灶區(qū)域的提取能力。

1 材料與方法

1.1 一般材料

本文使用COVID-19 Lung CT Lesion Segmentation Challenge-2020（COVID-19-20）競(jìng)賽方提供的公開(kāi)數(shù)據(jù)［9］訓(xùn)練和測(cè)試模型。這份數(shù)據(jù)包含199例帶有像素級(jí)病灶區(qū)域標(biāo)注的COVID-19確診病例的肺部CT斷層圖像，在橫斷面上的空間分辨率為512×512。

1.2 數(shù)據(jù)處理

實(shí)驗(yàn)中采用的圖像預(yù)處理方式包括重采樣、加窗、CLAHE和歸一化，以消除數(shù)據(jù)集中因掃描設(shè)備或參數(shù)的不同產(chǎn)生的差異，肺部區(qū)域信息更加突出，對(duì)比度更明顯。采用的數(shù)據(jù)增強(qiáng)方法包括隨機(jī)旋轉(zhuǎn)、翻折、仿射變換、添加隨機(jī)的高斯噪聲、對(duì)比度噪聲和亮度噪聲。

1.3 網(wǎng)絡(luò)模型

本文使用的U-Net改進(jìn)網(wǎng)絡(luò)主要在其原有結(jié)構(gòu)的基礎(chǔ)上，將上下文信息提取模塊替換為本文設(shè)計(jì)的多尺度特征選擇模塊（Multi-scale Feature Slective Module，MsFS）。上下文信息提取模塊起到對(duì)編碼器輸出的高級(jí)語(yǔ)義信息進(jìn)行提取并傳遞到解碼器的作用，該部分的特征信息是整個(gè)模型中最高級(jí)別的語(yǔ)義信息，對(duì)模型分割結(jié)果會(huì)產(chǎn)生至關(guān)重要的作用。對(duì)于存在不同尺度目標(biāo)的分割任務(wù)，單一大小的感受野通常難以進(jìn)行準(zhǔn)確的分割，采用多尺度的卷積核可以有效解決這一問(wèn)題。Zhao等［10］使用不同尺寸的池化核對(duì)特征進(jìn)行提取，增強(qiáng)了模型對(duì)上下文信息的多尺度信息提取能力，獲得了更好的分割結(jié)果；Chen等［11］提出一種空洞空間卷積池化金字塔結(jié)構(gòu)（Atrous Spatial Pyramid Pooling，ASPP），利用不同膨脹率的空洞卷積提取多尺度信息，在保持參數(shù)量不增加的情況下提升了多尺度信息提取能力。本文提出的MsFS是在ASPP基礎(chǔ)上的改進(jìn)，在該小節(jié)中，首先在1.3.1介紹ASPP結(jié)構(gòu)，在1.3.2介紹提出的MsFS結(jié)構(gòu)，最后在1.3.3介紹經(jīng)MsFS改進(jìn)后的多尺度特征選擇網(wǎng)絡(luò)（Multi-scale Feature Slective Network，MsFS-Net）。見(jiàn)圖1，圖2。

圖1 多尺度特征選擇網(wǎng)絡(luò)（MsFS-Net）

圖2 多尺度特征選擇模塊（MsFS）

1.3.1 ASPP

ASPP對(duì)輸入特征圖F input采用5個(gè)并聯(lián)的不同尺度的特征提取操作，分別是1×1卷積，膨脹率為x1，x2，x3的3×3空洞卷積和池化操作，然后對(duì)并聯(lián)輸出特征圖在通道維度疊加，獲得輸出特征圖F output。其公式可表示為：

其中，concat［·］表示在通道維度的合并操作；Conv1×1、Atrousxi、pooling分別表示1×1卷積、空洞卷積和池化。

1.3.2 MsFS

MsFS是ASPP的改進(jìn)結(jié)構(gòu)，如圖3所示，在對(duì)特征圖采用不同尺度的卷積、空洞卷積和池化操作特征提取后，引入高效通道注意力機(jī)制結(jié)構(gòu)（Efficient Channel Attention，ECA）［12］，使得對(duì)不同尺度信息具有選擇判斷能力，其中的ECA模塊對(duì)輸入特征圖首先執(zhí)行一次全局平均池化（Global Average Pooling，GAP）操作，得到通道維度的特征信息，并通過(guò)一次一維卷積和Sigmoid激活函數(shù)獲得通道維度的注意力信息，并將其與輸入特征圖相乘。其公式可表示為：

圖3 訓(xùn)練曲線

其中，GAP表示全局平均池化；Conv1D表示一維卷積，卷積核的長(zhǎng)度為3；σ表示Sigmoid激活函數(shù)；?表示通道維度的相乘。

1.3.3 MsFS-Net

圖1展示了本文提出的多尺度特征選擇網(wǎng)絡(luò)（MsFS-Net）模型結(jié)構(gòu)，該模型的結(jié)構(gòu)由編碼器、上下文特征提取模塊和解碼器3部分組成。其中編碼器對(duì)輸入尺寸為512×512×1的CT圖像進(jìn)行5次下采樣，輸出一個(gè)16×16×1280的特征圖，為達(dá)到更好的訓(xùn)練效果，本文使用遷移學(xué)習(xí)方法，遷移了U-Net主干網(wǎng)絡(luò)在Image Net中的預(yù)訓(xùn)練參數(shù)，該方法被證明可以加快模型的收斂速度和訓(xùn)練精度［13，14］。然后在上下文信息處理模塊中，MsFS模塊提取特征圖更深層次的多尺度特征信息，輸出特征圖尺寸不變，還是16×16×1280，見(jiàn)圖2。最后在解碼器中連續(xù)的5次上采樣與特征融合，使得圖像恢復(fù)原始的尺寸，獲得一張512×512×1的分割結(jié)果圖。在輸出的最后，使用Sigmoid激活函數(shù)，將每個(gè)像素點(diǎn)的數(shù)值映射到［0，1］區(qū)間，代表該像素點(diǎn)為新冠肺炎病灶區(qū)域的概率。在最后的圖像后處理中，以0.5作為閾值對(duì)圖像做二值化處理。

1.4 實(shí)驗(yàn)環(huán)境

實(shí)驗(yàn)環(huán)境為Python 3.7.9，tensorflow 1.13.2，keras 2.2.4，CPU使用intel i5-12600K，GPU使用Nvidia GeForce RTX 2080Ti。所有實(shí)驗(yàn)均在相同軟硬件條件下運(yùn)行采用五折交叉驗(yàn)證訓(xùn)練方法，優(yōu)化器選擇Adam，初始學(xué)習(xí)率為1e-4，訓(xùn)練輪數(shù)設(shè)定為200輪，并設(shè)計(jì)學(xué)習(xí)率衰減策略和訓(xùn)練早停機(jī)制，當(dāng)驗(yàn)證集損失值連續(xù)5輪訓(xùn)練不再下降時(shí)，學(xué)習(xí)率自動(dòng)衰減一半，連續(xù)10輪訓(xùn)練不再下降時(shí)，自動(dòng)停止模型訓(xùn)練。

1.5 評(píng)測(cè)指標(biāo)

使用的評(píng)測(cè)指標(biāo)包括Dice系數(shù)，召回率，精確率和二值交叉熵。Dice相似系數(shù)（Dice coefficient）表示分割結(jié)果與實(shí)際結(jié)果的重疊相似度；召回率（Recall）表示真陽(yáng)性樣本在實(shí)際陽(yáng)性樣本中的占比，即正例樣本的召回情況；精確率（Precision）表示被分為正例的目標(biāo)中實(shí)際為正例的占比，定義TP、TN、FP、FN分別真陽(yáng)性、真陰性、假陽(yáng)性和假陰性樣本，評(píng)測(cè)指標(biāo)的公式表示如下：

1.6 統(tǒng)計(jì)學(xué)分析

實(shí)驗(yàn)結(jié)果使用SPSS 18.0進(jìn)行分析，對(duì)各評(píng)測(cè)指標(biāo)以（）的形式表示，其中表示平均值，s表示標(biāo)準(zhǔn)差，并采用t檢驗(yàn)，以P＜0.05為差異有統(tǒng)計(jì)學(xué)意義。

2 結(jié)果

在結(jié)果分析中，使用5折交叉驗(yàn)證方法訓(xùn)練數(shù)據(jù)，除基線網(wǎng)絡(luò)U-Net和本文提出的MsFS-Net以外，本文還對(duì)比了多尺度特征提取中較為經(jīng)典的DeepLabV3+［11］和注意力機(jī)制相關(guān)的分割網(wǎng)絡(luò)Attention U-Net［15］，對(duì)比這4個(gè)模型在Dice、Recall、Precision三項(xiàng)評(píng)測(cè)指標(biāo)中的表現(xiàn)，繪制訓(xùn)練曲線圖并可視化分割結(jié)果圖。

2.1 評(píng)測(cè)指標(biāo)對(duì)比結(jié)果

使用Dice、Recall、Precision三個(gè)評(píng)測(cè)指標(biāo)，對(duì)比U-Net和MsFS-Net的分割性能，表1顯示了5折交叉實(shí)驗(yàn)中評(píng)測(cè)指標(biāo)對(duì)比結(jié)果。DeepLabV3+的指標(biāo)最差，可能是由于其結(jié)構(gòu)的設(shè)計(jì)主要針對(duì)自然圖像，不適用于醫(yī)學(xué)圖像分割。Attention U-Net的分割效果與U-Net相比差別不大，說(shuō)明該網(wǎng)絡(luò)中使用到的注意力門結(jié)構(gòu)可能并不適用于新冠肺炎的分割。MsFS-Net在3項(xiàng)評(píng)測(cè)指標(biāo)中的表現(xiàn)較優(yōu)，相對(duì)于U-Net分別提升了5.89%、5.71%、5.30%，且標(biāo)準(zhǔn)差較小，證明模型的穩(wěn)定性高、魯棒性更好，差異有統(tǒng)計(jì)學(xué)意義（P＜0.05）。

表1 評(píng)測(cè)指標(biāo)對(duì)比

2.2 訓(xùn)練曲線

隨機(jī)選擇出5折交叉中第1折的訓(xùn)練數(shù)據(jù)，繪制出訓(xùn)練過(guò)程中的損失函數(shù)和dice的變化曲線。可以看出MsFS-Net的損失函數(shù)下降更快，最終達(dá)到的數(shù)值更低，驗(yàn)證集中dice曲線的變化更平滑，準(zhǔn)確率更高。在早停機(jī)制的約束下，MsFS-Net的訓(xùn)練輪數(shù)最少。見(jiàn)圖3。

2.3 分割結(jié)果可視化

圖4中顯示了從測(cè)試集中選取的5張CT圖像和預(yù)測(cè)結(jié)果對(duì)比。其中，圖4（a）是輸入的原始圖像，圖4（b）是金標(biāo)準(zhǔn)，圖4（c）（d）（e）（f）分別是U-Net，DeeplabV3+，Attention U-Net和本文模型的分割預(yù)測(cè)結(jié)果。其中，3個(gè)對(duì)比模型容易漏掉小病灶和不規(guī)則病灶區(qū)域，部分區(qū)域邊界不清出現(xiàn)了黏連的情況。以第一幅切片圖像為例，左側(cè)箭頭所指區(qū)域由于邊界模糊，導(dǎo)致其他模型的分割區(qū)域黏連，右上箭頭所指的小病灶區(qū)域出現(xiàn)了缺失，對(duì)比之下，本文模型應(yīng)對(duì)這些特殊情況的處理效果更好。

圖4 對(duì)比實(shí)驗(yàn)中各模型的分割結(jié)果

3 討論

COVID-19是一種由嚴(yán)重急性呼吸綜合征冠狀病毒（SARS-CoV-2）引起的傳染性呼吸道疾病，已造成全球范圍內(nèi)的大流行［16］。CT圖像在COVID-19的診斷和評(píng)估中具有重要作用，因?yàn)樗梢燥@示肺部感染區(qū)域的位置和大小［5］。基于U-Net的深度學(xué)習(xí)方法在醫(yī)學(xué)圖像分割領(lǐng)域有著廣泛的應(yīng)用，因?yàn)樗梢杂行У靥崛D像特征并保留圖像細(xì)節(jié)［17］。本文提出了一種多尺度特征選擇網(wǎng)絡(luò)，用于COVID-19 CT圖像分割任務(wù)。該模型在U-Net的基礎(chǔ)上，增加了多尺度特征選擇模塊，以提高模型對(duì)不同尺度病灶區(qū)域的感知能力。

本文使用了公開(kāi)可用的COVID-19 CT圖像數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，采用U-Net網(wǎng)絡(luò)結(jié)構(gòu)作為基礎(chǔ)模型，并對(duì)其進(jìn)行了一些改進(jìn)，以適應(yīng)COVID-19 CT圖像分割任務(wù)。具體而言，提出了一種多尺度特征選擇模塊，以提高模型對(duì)不同尺寸病灶區(qū)域的分割能力，增強(qiáng)模型魯棒性。還使用了數(shù)據(jù)增強(qiáng)、五折交叉驗(yàn)證、Adam優(yōu)化器等方法來(lái)優(yōu)化訓(xùn)練過(guò)程。

通過(guò)定量的評(píng)價(jià)指標(biāo)來(lái)評(píng)估所提出的網(wǎng)絡(luò)模型在COVID-19 CT圖像分割任務(wù)上的效果，并與U-Net、DeepLabV3+和Attention U-Net做比較。評(píng)價(jià)指標(biāo)有Dice、Recall和Precision。實(shí)驗(yàn)結(jié)果表明，所提出的網(wǎng)絡(luò)模型在COVID-19 CT圖像分割任務(wù)上具有較高的精度和穩(wěn)定性，并且優(yōu)于其他深度學(xué)習(xí)方法。

盡管本研究取得了一定成果，但仍存在一些局限性，本文使用的數(shù)據(jù)量較小且來(lái)源單一，可能存在樣本偏差或不足的問(wèn)題，并且沒(méi)有對(duì)不同類型或階段的COVID-19患者進(jìn)行區(qū)別處理或評(píng)估。針以上局限，未來(lái)工作可以從以下方面進(jìn)行改進(jìn)：（1）收集更多來(lái)源多樣且質(zhì)量高的數(shù)據(jù)集，并對(duì)數(shù)據(jù)做出進(jìn)一步的數(shù)據(jù)增強(qiáng)。（2）探索不同類型或階段患者之間CT圖像特征及其與臨床指標(biāo)之間的關(guān)系，并設(shè)計(jì)更適合各類患者情況下圖像分割任務(wù)的模型。