基于PRAU-Net的新冠肺炎CT圖像分割研究

曾慶鵬,崔 鵬

(南昌大學(xué) 數(shù)學(xué)與計(jì)算機(jī)學(xué)院,江西 南昌 330031)

0 引 言

2019新型冠狀病毒肺炎(Corona Virus Disease 2019,COVID-19)被世界衛(wèi)生組織(WHO)于2020年1月宣布疫情為全球公共衛(wèi)生事件,據(jù)WHO統(tǒng)計(jì),截至2023年1月29日,全球累計(jì)報告新冠肺炎確診病例達(dá)7.53億,死亡超過680萬人[1]。由于該病毒抗逆性強(qiáng)且傳播方式多,在人群中極容易快速傳播,因此,快速、準(zhǔn)確地識別新型冠狀病毒感染者對于阻斷傳播、及時對患者進(jìn)行隔離治療具有重要意義。

目前,逆轉(zhuǎn)錄聚合酶鏈反應(yīng)(RT-PCR)是COVID-19診斷的常規(guī)方法,RT-PCR是從口咽拭子、鼻咽拭子、支氣管肺泡灌洗液或氣管抽吸物獲得樣本中的病毒RNA[2]。然而,研究表明RT-PCR的靈敏度不高,有時初期的新冠病毒感染者需要多次檢測才能被確診,導(dǎo)致患者不能得到及時有效的治療,不僅危及患者的生命健康,還加大了新冠病毒的傳播可能性,對社會造成更大的生命財產(chǎn)損失。計(jì)算機(jī)斷層掃描(Computed Tomography,CT)作為COVID-19篩查的另一方案,對患者肺部進(jìn)行CT掃描可以更加準(zhǔn)確地判斷受檢者是否感染新冠病毒并使放射科醫(yī)生快速獲得患者肺部受損情況和評估疾病程度。COVID-19的CT表現(xiàn)為雙肺多發(fā)磨玻璃樣陰影(Ground Glass Opacity,GGO),伴或不伴實(shí)變、血管增粗和小葉間隔增厚[3],但是對CT圖像的評估和分析需要經(jīng)驗(yàn)豐富的醫(yī)生,而且對CT圖像進(jìn)行標(biāo)注更是一項(xiàng)繁重且耗時的工作,導(dǎo)致醫(yī)療資源的浪費(fèi)。利用人工智能技術(shù)可以快速且準(zhǔn)確地標(biāo)注出CT圖像的病灶區(qū)域,幫助醫(yī)生更直接地了解患病程度,不僅減輕了醫(yī)生的負(fù)擔(dān),還可以提高醫(yī)生的診斷效率。

近年來,深度學(xué)習(xí)在醫(yī)學(xué)影像分割領(lǐng)域受到了廣泛的研究與應(yīng)用,比如肝臟腫瘤分割[4]、眼底血管分割[5]和腦圖像分割[6]等。在進(jìn)行醫(yī)學(xué)影像分割時,相對于傳統(tǒng)目標(biāo)檢測方法,深度學(xué)習(xí)方法不僅注重分割目標(biāo)的特征提取,還對圖像中的上下文信息進(jìn)行關(guān)注研究,從而獲得更有效的特征,得到更加準(zhǔn)確的分割圖像。常見的U-Net[7],Attention-UNet[8]和UNet++[9]等經(jīng)典的分割方法在提取分割目標(biāo)的特征時,容易受到圖像復(fù)雜性和待分割區(qū)域不規(guī)則性的干擾導(dǎo)致提取到的部分特征缺少關(guān)鍵信息,且網(wǎng)絡(luò)中下采樣池化會導(dǎo)致特征信息丟失,降低了分割的準(zhǔn)確率。

針對上述存在的問題,不少學(xué)者也提出了改進(jìn)方案。Kaul等人[10]提出基于注意力的全卷積網(wǎng)絡(luò)方法,該方法采用了兩個并行信息流分支,兩個分支都采用編碼器-編碼器結(jié)構(gòu),強(qiáng)化了與目標(biāo)信息有關(guān)的特征映射。Gu等人[11]提出了一種上下文編碼器網(wǎng)絡(luò)(Context Encoder Network)用于捕獲更多高層信息并保留空間信息,編碼階段的密集空洞卷積(Dense Atrous Convolution,DAC)和解碼階段的殘差多核池化(Residual Multi-kernel Pooling,RMP)共同構(gòu)成了上下文提取模塊,該模塊有效減少了因連續(xù)的池化和跨步卷積運(yùn)算導(dǎo)致一些空間信息的丟失所造成的影響。Song等人[12]提出一種增加模型復(fù)雜性和更多特征融合的方法,在模型中使用許多的跳躍連接和嵌套連接,有效減少了梯度的擴(kuò)散問題。Feng等人[13]提出了一種新的上下文金字塔融合網(wǎng)絡(luò)CPFNet,設(shè)計(jì)了全局金字塔引導(dǎo)模塊(Global Pyramid Guidance,GPG)為解碼器提供不同尺度的全局上下文語義信息,尺度感知金字塔融合模塊(Scale-Aware Pyramid Fusion,SAPF)則在深層特征中動態(tài)融合多尺度的上下文信息。Liu等人[14]提出一種多感受野神經(jīng)網(wǎng)絡(luò)MRFNet,通過級聯(lián)的方式將不同層級U-Net網(wǎng)絡(luò)輸出的特征映射進(jìn)行融合,將融合的特征進(jìn)行卷積操作完成像素級的分類,取得了良好的分割效果。

上述網(wǎng)絡(luò)分別針對皮膚、眼球和大腦等的醫(yī)學(xué)圖像分割已經(jīng)取得了不錯的效果,針對新冠肺炎CT影像病變區(qū)域的分割,也有學(xué)者提出了解決方案。顧國浩等人[15]在U-Net模型的基礎(chǔ)上引入了循環(huán)殘差模塊和自注意力機(jī)制來加強(qiáng)對特征信息的提取。任楚嵐等人[16]在U-Net模型的基礎(chǔ)上結(jié)合殘差連接,分層分裂模塊(Hierarchical-Split Block),坐標(biāo)注意力模塊和特征內(nèi)容感知重組上采樣來增強(qiáng)模型提取特征能力。宋瑤等人[17]對現(xiàn)有的數(shù)據(jù)集圖像和標(biāo)簽同時隨機(jī)旋轉(zhuǎn)、裁剪和翻轉(zhuǎn),采用ImageNet上預(yù)先訓(xùn)練的EfficientNet-B0作為特征提取器,并通過 Dusampling上采樣代替?zhèn)鹘y(tǒng)的上采樣結(jié)構(gòu)以改進(jìn)U-Net。Fan等人[18]提出一種針對肺部CT圖像的分割網(wǎng)絡(luò)Inf-Net,利用并行部分解碼器(Parallel Partial Decoder,PPD)聚合深層特征并生成一個粗略定位肺部感染的全局圖,在全局圖的指導(dǎo)下,反饋給多個逆向注意模塊(Reverse Attention,RA),并結(jié)合顯示邊緣注意力以提高目標(biāo)區(qū)域邊界的表征,有效提高了對感染區(qū)域邊界的識別能力。Rajamani等人[19]提出一種動態(tài)可變形網(wǎng)絡(luò)(Dynamic Deformable Attention Network),將可變形交叉注意力模塊引入U-Net網(wǎng)絡(luò)的最深層以連續(xù)方式學(xué)習(xí)注意力系數(shù)和注意力偏移,相較于Fan等人[18]的方法還提高了分割性能。左斌等人[20]基于Fan等人的方法進(jìn)行了改進(jìn),通過引入通道注意力機(jī)制加強(qiáng)網(wǎng)絡(luò)的特征表示,并運(yùn)用注意力門模塊更好地融合邊緣信息。上述方法都是將最深層的特征作為預(yù)測結(jié)果的關(guān)鍵特征,但由于多次下采樣池化和卷積深度增加會丟失部分特征信息,導(dǎo)致最深層的特征信息丟失尤為嚴(yán)重。

針對以上問題,該文提出一種并行殘差注意力U-Net(Parallel Residual Attention U-Net,PRAU-Net)分割網(wǎng)絡(luò)。結(jié)合改進(jìn)的Inception模塊設(shè)計(jì)了殘差I(lǐng)nception注意力卷積模塊(Residual Inception Attention Convolution Block,RIA),將改進(jìn)的Inception模塊和通道注意力模塊融入殘差結(jié)構(gòu)中,大大改善模型對特征提取的有效性;同時基于空洞卷積設(shè)計(jì)了多尺度跳躍連接(Multi-scale Skip Connection,MSC),基于空洞卷積取代了池化下采樣,減少了局部特征信息的丟失,多尺度結(jié)構(gòu)聚合了粗粒度語義信息和細(xì)粒度語義信息,為解碼器提供了更多有助于預(yù)測結(jié)果的多尺度上下文信息;最后在解碼器中利用全局注意力模塊(Global Attention Mechanism,GAM)提取更關(guān)鍵的特征信息,降低了CT影像中噪聲等無關(guān)特征的影響。面對結(jié)構(gòu)復(fù)雜多變的新冠肺炎CT影像,在減少空間特征信息丟失的同時捕獲更加豐富的多尺度上下文信息,從而有效提高了分割的準(zhǔn)確度。

1 基于PRAU-Net的新冠肺炎CT影像分割模型

提出的PRAU-Net分割模型如圖1所示。該模型采用U-Net[7]作為骨干網(wǎng)絡(luò),由三個主要部分組成。第一部分是網(wǎng)絡(luò)的編碼部分,編碼部分使用ResNet[21]的網(wǎng)絡(luò)結(jié)構(gòu)作為特征提取器,將設(shè)計(jì)的殘差I(lǐng)nception注意力卷積模塊替代了ResNet結(jié)構(gòu)中的普通卷積操作來提取特征信息;第二部分是網(wǎng)絡(luò)的解碼階段,由上采樣操作、卷積操作和全局注意力模塊組成,將低分辨率的特征信息一步一步恢復(fù)到原始圖像的大小來預(yù)測新冠肺炎CT影像中的病灶區(qū)域;第三部分是多尺度跳躍連接,將編碼器中更淺層和同層的特征信息與來自解碼器中更深層的特征信息進(jìn)行拼接,捕獲了多尺度的上下文信息。

圖1 PRAU-Net網(wǎng)絡(luò)模型

1.1 殘差I(lǐng)nception注意力卷積模塊

U-Net網(wǎng)絡(luò)中的編碼器每層使用兩個卷積操作提取特征并使用池化下采樣降低圖像分辨率,兩個卷積操作面對存在噪聲的大分辨率CT影像時難以提取其豐富的特征信息,而池化操作容易丟失特征信息,最終導(dǎo)致分割結(jié)果精度差。在GoogLeNet[22]的啟發(fā)下,該文使用改進(jìn)的Inception模塊來提取特征,改進(jìn)的Inception模塊如圖2所示。該模塊包含并行的4條特征提取分路,由堆疊的卷積塊和池化操作組成。最左邊的分路由一個平均池化和1×1卷積組成,1×1卷積可以減少特征的通道數(shù),以此減少網(wǎng)絡(luò)的參數(shù)量,右邊3條分路首先都通過一個1×1的卷積,然后分別通過1個、2個、3個堆疊的3×3卷積,其中2個堆疊的3×3卷積相當(dāng)于一個5×5的卷積,3個堆疊的3×3卷積相當(dāng)于一個7×7卷積,通過堆疊的不同數(shù)量的卷積塊提取不同尺度的特征信息,最后將所有分路的特征進(jìn)行拼接,使網(wǎng)絡(luò)模型得到更加全面和多層次的特征表示。

圖2 改進(jìn)的Inception模塊

定義該結(jié)構(gòu)輸入為Fi,通過改進(jìn)的Inception模塊,生成的特征圖Fc由公式1和公式2得到。

(1)

Fc=Concat[X1,X2,X3,X4]

(2)

其中,C1×1表示卷積核大小為1×1的卷積操作;C3×3表示卷積核大小為3×3的卷積操作;AvgPool代表的是平均池化操作,用來減小輸入特征的尺寸;Fc表示特征圖在通道方向上拼接。

改進(jìn)的Inception模塊可提取到豐富的特征信息,但仍無法解決CT影像中噪聲帶來的干擾和網(wǎng)絡(luò)池化下采樣特征信息丟失的問題。在Hu等人[23]提出的SE-ResNet模塊的啟發(fā)下,該文設(shè)計(jì)了殘差I(lǐng)nception注意力模塊,將改進(jìn)的Inception模塊和通道注意力模塊融入殘差結(jié)構(gòu)中,改進(jìn)的Inception模塊利用更深的卷積層使網(wǎng)絡(luò)獲得了更大的感受野,通道注意力SE模塊有效幫助網(wǎng)絡(luò)關(guān)注更相關(guān)的特征信息,減少噪聲的影響,殘差結(jié)構(gòu)則減少了卷積塊堆疊變深時網(wǎng)絡(luò)退化的問題。殘差I(lǐng)nception注意力模塊總體結(jié)構(gòu)如圖3所示。

圖3 殘差I(lǐng)nception注意力模塊

殘差I(lǐng)nception注意力模塊的輸入特征圖為Fi,經(jīng)過改進(jìn)后的Inception模塊輸出特征圖為Fc;接著將Fc輸入到SE模塊中,SE模塊通過擠壓和激勵操作實(shí)現(xiàn)對特征圖通道上的加權(quán),擠壓操作將H×W×C的特征圖通過全局平均池化得到1×1×C的特征圖,再通過一個全連接的神經(jīng)網(wǎng)絡(luò)進(jìn)行激勵得到1×1×C的一組權(quán)重,將權(quán)重乘到每一個輸入特征Fc的通道上實(shí)現(xiàn)特征重新標(biāo)定,產(chǎn)生特征圖Fs;最后通過跳躍連接將得到的特征圖Fs和輸入特征圖Fi相加得到輸出Fo。Fs和Fo表示為：

Fs=σ(C1×1(δ(C1×1(AAP(Fc)))))?Fc

(3)

Fo=Fs+Fi

(4)

其中,AAP表示自適應(yīng)平均池化,將C×H×W的全局空間信息壓縮到C×1×1的大小,δ表示Relu激活函數(shù),σ表示Sigmoid激活函數(shù),將特征圖映射到0～1之間,獲得一組特征圖權(quán)重。

1.2 全局注意力模塊

注意力模塊(Convolution Block Attention Module,CBAM)[24]可以同時關(guān)注空間域特征和通道域特征,自主學(xué)習(xí)每個特征的重要程度,通過串聯(lián)的方式分別對通道和空間上的特征圖賦予學(xué)習(xí)到的權(quán)重,可以有效減少噪聲的影響,提高網(wǎng)絡(luò)對感興趣區(qū)域特征的提取。為了提高對新冠肺炎CT圖像病灶區(qū)域的分割性能,該文基于CBAM模塊設(shè)計(jì)了全局注意力模塊(Global Attention Module,GAM),不但可以減少無關(guān)特征的干擾,還可以更好地聚合空間上下文信息。GAM模塊結(jié)構(gòu)如圖4所示。

圖4 全局注意力模塊

GAM將通道注意力模塊和空間注意力模塊并聯(lián),在通道注意力模塊中,輸入特征圖首先分別經(jīng)過自適應(yīng)平均池化和自適應(yīng)最大池化,接著通過一個共享多層感知機(jī)獲得兩個通道方向的輸出特征圖,再將兩個輸出特征圖逐元素相加得到融合特征圖,最后通過Sigmoid激活函數(shù)輸出關(guān)于通道方向的權(quán)重,將權(quán)重沿通道方向與輸入特征圖逐元素相乘得到最終輸出特征圖。通道注意力計(jì)算公式如下：

Mc(F)=σ(MLP(AAP(F))+MLP(AMP(F)))

(5)

Fc=Mc(F)?F

(6)

其中,AAP表示自適應(yīng)平均池化,AMP表示自適應(yīng)最大池化,AAP和AMP分別抽取不同通道特征圖的平均值和最大值,將不同通道特征圖的大小由C×H×W壓縮到C×1×1;MLP表示多層感知機(jī),用于實(shí)現(xiàn)通道的壓縮和擴(kuò)張;σ表示Sigmoid激活函數(shù);Mc表示通道方向的權(quán)重;Fc是經(jīng)過通道注意力模塊的輸出特征圖。

GAM的空間注意力模塊使用卷積操作替換了原始的池化操作,緩解了因池化操作導(dǎo)致特征信息彌散的問題。具體來講,就是使用兩個7×7普通卷積替換了平均池化和最大池化操作,兩層7×7的卷積操作通過其更大的感受野擴(kuò)大了空間信息的交互,可以幫助網(wǎng)絡(luò)更精確地提取特征圖的空間位置信息?？臻g注意力計(jì)算公式如下：

Ms(F)=σ(C7×7(C7×7(F)))

(7)

Fs=Ms(F)?F

(8)

其中,C7×7表示卷積核大小為7×7的卷積操作,Ms表示空間方向的權(quán)重,Fs是經(jīng)過空間注意力模塊的輸出特征圖。

輸入特征圖F經(jīng)過GAM的通道子模塊和空間子模塊后得到兩個不同的輸出特征圖Fc和Fs,最后將兩者相加得到最終輸出特征圖F',如公式9所示。

F'=Fc+Fs

(9)

1.3 多尺度跳躍連接

為了進(jìn)一步緩解由于網(wǎng)絡(luò)過深導(dǎo)致的特征信息丟失的問題,將U-Net中的同層跳躍連接改為多尺度的跳躍連接,將包含更多空間信息的淺層特征和有更豐富細(xì)節(jié)信息的深層特征融合。當(dāng)編碼器淺層特征通過跳躍連接傳遞到解碼器更深層時,由于編碼器中淺層的特征信息分辨率更大,在跳躍連接中使用空洞卷積代替了下采樣池化操作,減少了池化操作導(dǎo)致空間信息的丟失,使更多的空間信息被傳遞到更深層中。相比于傳統(tǒng)卷積,空洞卷積可以在相同的參數(shù)量時獲得更大的感受野,在解碼器中將含有更多細(xì)節(jié)信息的更深層特征進(jìn)行上采樣傳遞到淺層的網(wǎng)絡(luò)中,豐富的空間信息和細(xì)節(jié)信息共同組成全局特征信息使網(wǎng)絡(luò)對病灶區(qū)域有更精確的預(yù)測結(jié)果,解決了新冠肺炎CT影像病灶區(qū)域小與形狀不規(guī)則造成分割結(jié)果差的問題。多尺度跳躍連接過程如公式10：

(10)

2 實(shí)驗(yàn)與分析

2.1 數(shù)據(jù)集和評價指標(biāo)

該文選取3個數(shù)據(jù)集驗(yàn)證模型的有效性：Segmentation dataset nr.2(數(shù)據(jù)集1)源于向用戶免費(fèi)開放的放射科數(shù)據(jù)庫Radiopaedia,其中包括9例新冠肺炎患者的829張CT切片,其中373張切片被標(biāo)記為感染新冠肺炎并進(jìn)行了標(biāo)注。CC-CCII(數(shù)據(jù)集2)來自中國胸部CT圖像調(diào)查協(xié)會,其中包括150例新冠肺炎患者的750張CT切片,對其中455張切片進(jìn)行了標(biāo)注。COVID19_1110(數(shù)據(jù)集3)由莫斯科醫(yī)學(xué)提供,包含1 110例新冠肺炎患者三維肺部CT圖像,其中50例帶有分割標(biāo)簽,處理成2維切片后共600張512*512的CT圖像。實(shí)驗(yàn)中僅選擇已標(biāo)注數(shù)據(jù),具體數(shù)據(jù)劃分如表1所示。

表1 數(shù)據(jù)集劃分信息

為了從多個角度說明所提方法對新冠肺炎病灶區(qū)域的分割性能,使用4種評估指標(biāo),包括Dice系數(shù)、敏感性(Sensitivity)、特異性(Specificity)和準(zhǔn)確率(Accuracy)。其中,Dice系數(shù)是一種基于區(qū)域的度量,用于衡量兩個樣本中正樣本的重疊率,如公式11所示;敏感性也稱召回率,用于度量所有正樣本中被正確識別的比例,如公式12所示;特異性是指負(fù)樣本中被正確識別的部分所占的比例,如公式13所示;準(zhǔn)確率指的是在所有樣本中正樣本和負(fù)樣本被正確識別的占比,如公式14所示。

(11)

(12)

(13)

(14)

其中,TP(True Positives)表示被正確檢測為正樣本的像素數(shù)量;FP(False Positives)表示被錯誤檢測為正樣本的像素數(shù)量;FN(False Negatives)表示被錯誤檢測為負(fù)樣本的像素數(shù)量;TN(True Negatives)表示被正確檢測為為負(fù)樣本的像素數(shù)量。

2.2 實(shí)驗(yàn)設(shè)置

實(shí)驗(yàn)采用5倍交叉驗(yàn)證的方法,將數(shù)據(jù)集隨機(jī)分為5個子集,訓(xùn)練集和測試集按4∶1比例分配,重復(fù)進(jìn)行5次該過程的實(shí)驗(yàn),取5次實(shí)驗(yàn)的平均值作為實(shí)驗(yàn)結(jié)果。所有輸入模型的CT影像圖統(tǒng)一大小為512*512,批處理大小設(shè)置為4,并隨機(jī)對圖像進(jìn)行旋轉(zhuǎn)提高數(shù)據(jù)的多樣性。其中Epoch設(shè)置為70,采用RMSProp優(yōu)化器訓(xùn)練網(wǎng)絡(luò)模型,初始學(xué)習(xí)率為0.000 01,具體參數(shù)如表2所示。

表2 PRAU-Net網(wǎng)絡(luò)參數(shù)

2.3 分割性能實(shí)驗(yàn)

為了驗(yàn)證文中方法的分割性能,對比實(shí)驗(yàn)以Dice系數(shù)、靈敏度(Sensitivity)、特異性(Specificity)和準(zhǔn)確率(Accuracy)作為評價指標(biāo),以五種網(wǎng)絡(luò)分割方法作為比較基線：U-Net[7],Attention-UNet[8],UNet++[9],Res-UNet[25],DeepLabV3+[26]。在Segmentation dataset nr.2數(shù)據(jù)集中的實(shí)驗(yàn)可視化結(jié)果如圖5所示,可以看出文中方法在邊緣區(qū)域和細(xì)小的區(qū)域分割表現(xiàn)優(yōu)于其它方法。

圖5 分割結(jié)果可視化

基于評價指標(biāo)的實(shí)驗(yàn)結(jié)果如表3所示。由表3可以發(fā)現(xiàn), PRAU-Net網(wǎng)絡(luò)模型在數(shù)據(jù)集1中的Dice系數(shù)、Sensitivity以及Accuracy都比其它網(wǎng)絡(luò)的優(yōu),只有Specificity指標(biāo)略低于DeepLabv3+,與經(jīng)典的U-Net網(wǎng)絡(luò)模型相比較,Dice系數(shù)、Sensitivity、Specificity和Accuracy分別提升了5.65%,8.10%,0.02%和0.04%,其中Dice系數(shù)和Sensitivity提升較為明顯,相較于其它對比網(wǎng)絡(luò),Dice系數(shù)有2.35%～6.02%的提升,Sensitivity有1.89%～10.02%的提升,但Specificity略低于DeepLabV3+方法。在數(shù)據(jù)集2的實(shí)驗(yàn)結(jié)果中,文中方法的Dice系數(shù)和Sensitivity指標(biāo)都優(yōu)于所有對比方法的,相較于DeepLabV3+,Dice系數(shù)和Sensitivity分別提升了8.96%和14.68%,相較于其它幾種對比網(wǎng)絡(luò),Dice系數(shù)仍有1.12%～3.15%的提升,Sensitivity則有0.71%～5.63%的提升,而UNet++方法的Accuracy指標(biāo)優(yōu)于所有方法的,相較于文中方法Accuracy提升了0.02%,但其網(wǎng)絡(luò)參數(shù)量遠(yuǎn)比文中方法的高,DeepLabV3+在Specificity指標(biāo)表現(xiàn)同樣優(yōu)于所有方法,相較于文中方法有0.06%的提升。在數(shù)據(jù)集3的實(shí)驗(yàn)結(jié)果中,文中方法的Dice系數(shù)、Sensitivity和Accuracy都比其它幾種經(jīng)典方法的優(yōu),尤其是Dice系數(shù)和Sensitivity表現(xiàn)較好,相較于U-Net分別提升了9.52%和14.22%。實(shí)驗(yàn)結(jié)果表明,文中方法有效地提升了在新冠肺炎CT圖像數(shù)據(jù)集上的分割性能。

表3 不同模型的結(jié)果指標(biāo)對比

2.4 數(shù)據(jù)擴(kuò)充實(shí)驗(yàn)

由于醫(yī)學(xué)圖像數(shù)據(jù)集具有一定的隱私性且對醫(yī)學(xué)圖像進(jìn)行標(biāo)注需要耗費(fèi)大量人力,擁有大量樣本的數(shù)據(jù)集通常難以獲取。文中的數(shù)據(jù)集1僅有373張被標(biāo)記的新冠肺炎CT圖像,小樣本的數(shù)據(jù)圖像可能無法使網(wǎng)絡(luò)學(xué)習(xí)到足夠的特征,因此,該文利用循環(huán)生成對抗網(wǎng)絡(luò)[27]對數(shù)據(jù)集1進(jìn)行了擴(kuò)充,生成了373張偽新冠肺炎CT圖像,采用半監(jiān)督學(xué)習(xí)的方式對生成的新冠肺炎CT圖像進(jìn)行標(biāo)注,最后將其加入到數(shù)據(jù)集1的訓(xùn)練集中輔助模型訓(xùn)練。為了驗(yàn)證擴(kuò)充后的數(shù)據(jù)集對網(wǎng)絡(luò)模型的分割性能是否有影響,使用多種經(jīng)典網(wǎng)絡(luò)及提出的方法進(jìn)行了實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如表4所示。

表4 擴(kuò)充數(shù)據(jù)集后實(shí)驗(yàn)結(jié)果對比

由表4可以發(fā)現(xiàn),使用擴(kuò)充數(shù)據(jù)集的分割網(wǎng)絡(luò)模型在Dice系數(shù)和Sensitivity評價指標(biāo)上均有一定程度的提升,其中U-Net網(wǎng)絡(luò)的Dice系數(shù)和Sensitivity分別為0.807 1和0.769 6,各自提升了1.95%和2.65%,Attetion-UNet的Dice得分達(dá)到了0.814 1,提升了2.63%,UNet++和Res-UNet的Dice得分分別提升了3.05%和1.06%。其中DeepLabV3+表現(xiàn)出最明顯的性能提升,Dice系數(shù)提升了4.8%,而Sensitivity有8.25%的提升,雖然提出的PRAU-Net在Dice系數(shù)和Sensitivity評價指標(biāo)中分別只提升了2.62%和2.11%,但所提方法相較于對比網(wǎng)絡(luò)仍有最好的分割性能?？傮w實(shí)驗(yàn)結(jié)果表明：擴(kuò)充小樣本數(shù)據(jù)集可以幫助分割網(wǎng)絡(luò)獲得更好的分割性能。

3 結(jié)束語

基于U-Net網(wǎng)絡(luò)模型,該文提出了一種并行殘差注意力網(wǎng)絡(luò)模型PRAU-Net。該模型在編碼階段采用嵌入通道注意力的殘差I(lǐng)nception卷積模塊捕獲輸入特征的不同尺度語義信息并對其進(jìn)行特征重標(biāo)定,并采用了殘差結(jié)構(gòu),能夠在提取更豐富的特征信息的同時解決網(wǎng)絡(luò)退化問題;在解碼階段將多尺度跳躍連接中捕獲的多尺度上下文信息輸入全局注意力模塊中對其特征進(jìn)行重新加權(quán),加強(qiáng)了網(wǎng)絡(luò)對病灶區(qū)域特征的關(guān)注。分別在不同的三個數(shù)據(jù)集進(jìn)行實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果證明,該方法有效降低了CT影像中噪聲在分割任務(wù)中的影響,相較于經(jīng)典分割方法,提高了對病灶區(qū)域的分割準(zhǔn)確度。針對數(shù)據(jù)集樣本較少的問題,驗(yàn)證了對Segmentation dataset nr.2數(shù)據(jù)集使用生成對抗網(wǎng)絡(luò)進(jìn)行擴(kuò)充后,使用多種網(wǎng)絡(luò)模型驗(yàn)證了擴(kuò)充樣本數(shù)據(jù)集對網(wǎng)絡(luò)分割性能的有效性。需要說明的是,該文采用的數(shù)據(jù)集是二維的肺部CT圖像切片,進(jìn)一步的研究方向可嘗試對3D圖像數(shù)據(jù)進(jìn)行分割研究。