基于多尺度特征和反向注意力的肝臟腫瘤自動分割方法

張 瑞,唐喬湛,李斯卉,宋江玲

(西北大學(xué) 醫(yī)學(xué)大數(shù)據(jù)研究中心,陜西 西安 710127)

肝臟是腹腔內(nèi)最大的實(shí)質(zhì)性器官,具有代謝、解毒、免疫防御等生理功能。肝臟腫瘤是發(fā)生在肝臟的異常組織增生,可分為肝臟良性腫瘤和肝臟惡性腫瘤(也稱為肝癌)。據(jù)統(tǒng)計(jì),我國肝癌發(fā)病率占所有癌癥的9%,居癌癥發(fā)病譜第4位;肝癌死亡率占所有癌癥的14%,居癌癥死亡譜第2位[1]。文獻(xiàn)[2]通過對10 966例肝癌患者的臨床資料進(jìn)行回顧性分析,發(fā)現(xiàn)早期肝癌患者經(jīng)治療,其5年生存率高達(dá)62.5%～77.2%,而中、晚期肝癌患者的5年生存率僅23.8%。因此,盡早對肝臟腫瘤進(jìn)行良惡性診斷對于及時(shí)診斷患者肝臟情況、維護(hù)肝臟健康、提高肝癌生存率具有重要意義[3]。而肝臟腫瘤的準(zhǔn)確分割是實(shí)現(xiàn)這一目標(biāo)的重要前提。

肝臟腫瘤分割是指在相應(yīng)醫(yī)學(xué)影像中對肝臟腫瘤區(qū)域進(jìn)行精確定位。計(jì)算機(jī)斷層掃描(computed tomography, CT)是一種能夠提供高分辨率圖像的影像學(xué)檢查,具有掃描速度快、對人體傷害小等優(yōu)點(diǎn),是臨床中主要用于肝臟腫瘤分割的檢查手段[4]。傳統(tǒng)的肝臟腫瘤分割主要是通過專業(yè)的放射科醫(yī)生在CT上進(jìn)行手動勾勒。然而,隨著患者數(shù)量的增加,且每位患者的CT包含幾十張甚至幾百張切片圖像,逐個(gè)切片進(jìn)行人工分割與標(biāo)記極其耗時(shí)費(fèi)力,會大幅增加醫(yī)生的工作壓力。同時(shí),人工標(biāo)記容易摻雜醫(yī)生的主觀意識,不同水平的醫(yī)生對肝臟病變的認(rèn)識和判斷往往不同,容易出現(xiàn)誤診和漏診現(xiàn)象。隨著科學(xué)技術(shù)的發(fā)展,利用計(jì)算機(jī)視覺和人工智能進(jìn)行醫(yī)學(xué)圖像分割的方法大量涌現(xiàn),這在很大程度上減輕了醫(yī)生的工作量,降低了誤診和漏診現(xiàn)象。同時(shí)也一定程度緩解了偏遠(yuǎn)地區(qū)醫(yī)療資源不平衡的問題,實(shí)現(xiàn)醫(yī)療資源下沉。

目前,肝臟腫瘤分割算法主要分為3類:基于傳統(tǒng)圖像分割的算法、基于機(jī)器學(xué)習(xí)的分割算法和基于深度學(xué)習(xí)的分割算法。其中,傳統(tǒng)圖像分割算法主要包括閾值分割法[5]、水平集分割法[6]、區(qū)域生長分割法[7]等。基于機(jī)器學(xué)習(xí)的分割算法主要是將特征工程和分類器相結(jié)合,具體地,通過對醫(yī)學(xué)圖像進(jìn)行特征提取(如圖像的輪廓信息、圖像的強(qiáng)度分布、圖像的紋理特征、圖像的頻域特征等),進(jìn)而結(jié)合分類器(如K-均值算法[8]、SVM[9]、AdaBoost[10]等)來完成前景像素和背景像素的分類,以實(shí)現(xiàn)肝臟腫瘤分割。上述第1類方法在分割階段需要進(jìn)行人工交互來完成算法的初始化設(shè)置,且算法的分割效果受初始化設(shè)置的影響較大;第2類方法依賴于人工設(shè)計(jì)的特征,其特征表示能力有限,導(dǎo)致分割方法泛化性能差,分割結(jié)果不夠精準(zhǔn)。

隨著深度學(xué)習(xí)技術(shù)的發(fā)展,其強(qiáng)大的特征自主挖掘能力,使其在醫(yī)學(xué)影像分割領(lǐng)域得到了廣泛應(yīng)用[11]。其中,2015年Ronneberger等人提出的U-Net網(wǎng)絡(luò)[12],由于其結(jié)構(gòu)簡潔,尤其針對少量數(shù)據(jù)仍具有較好的分割性能,近年來在醫(yī)學(xué)影像分割任務(wù)中受到極大關(guān)注。很多基于U-Net及其變體的模型與方法被提出用于實(shí)現(xiàn)肝臟腫瘤分割,包括H-DenseUNet[13]、U-Net++[14]、RIU-Net[15]、MS-FANet[16]等。

盡管基于深度學(xué)習(xí)的肝臟腫瘤自動分割方法得到了一定的發(fā)展,但仍存在局限性,具體體現(xiàn)在兩方面:一是不同患者的肝臟腫瘤在大小、位置、形態(tài)等方面存在顯著差異,易導(dǎo)致誤檢、漏檢現(xiàn)象,已有方法通過金字塔結(jié)構(gòu)、空洞卷積等提取不同尺度的特征,并將上述多尺度特征直接進(jìn)行拼接或相加操作,忽略了大目標(biāo)的細(xì)節(jié)信息和小目標(biāo)的全局信息[17-20];二是肝臟腫瘤的邊緣模糊導(dǎo)致邊緣分割精度低,已有方法通過引入額外的邊緣分支、設(shè)計(jì)邊緣損失函數(shù)以提高網(wǎng)絡(luò)的邊緣分割能力,但上述方法需要引入邊緣先驗(yàn)知識,且邊緣分割效果受邊緣先驗(yàn)知識的影響較大[21-25]。圖1 (a)～(c)是不同患者的CT切片中肝臟及肝臟腫瘤分布示意圖,其中藍(lán)色線是肝臟區(qū)域的邊緣,紅色線是肝臟腫瘤區(qū)域的邊緣。從圖1可以發(fā)現(xiàn),(a)中患者的肝臟腫瘤大小各異、位置分散,少數(shù)肝臟腫瘤的邊緣模糊;(b)中患者的肝臟腫瘤邊緣與肝臟邊緣重合;(c)中患者的肝臟腫瘤極小。

圖1 肝臟及肝臟腫瘤分布示意圖Fig.1 Liver and liver tumor distribution diagram

基于上述分析,本文在U-Net網(wǎng)絡(luò)框架下,提出了一種融合多尺度特征提取模塊和基于深度監(jiān)督的反向注意力模塊的肝臟腫瘤自動分割模型(multi-scale reverse attention u-net, MRA U-Net),其主要架構(gòu)為編碼器-解碼器結(jié)構(gòu)。具體地,在編碼器上的多尺度特征提取模塊使網(wǎng)絡(luò)能夠根據(jù)分割目標(biāo)大小自適應(yīng)地選擇合適的尺度特征,從而緩解肝臟腫瘤大小、位置、形態(tài)存在顯著性差異的問題;在編碼器和解碼器之間的基于深度監(jiān)督的反向注意力模塊能夠引導(dǎo)網(wǎng)絡(luò)關(guān)注編碼器特征中有關(guān)分割目標(biāo)的邊緣特征,進(jìn)一步為解碼器特征補(bǔ)充細(xì)節(jié)特征,實(shí)現(xiàn)對肝臟腫瘤邊緣的精細(xì)分割;此外,針對醫(yī)學(xué)圖像分割中的類別不平衡問題,本文設(shè)計(jì)了一種混合加權(quán)損失,使網(wǎng)絡(luò)在訓(xùn)練過程中關(guān)注難分的像素點(diǎn),以減少誤診、漏診現(xiàn)象。

1 方法

1.1 MRA U-Net整體結(jié)構(gòu)

本文提出的肝臟腫瘤分割網(wǎng)絡(luò)MRA U-Net是一個(gè)對稱的編碼器-解碼器結(jié)構(gòu),其框架結(jié)構(gòu)如圖2所示。在編碼器部分,本文設(shè)計(jì)了多尺度特征提取模塊,以對CT圖像的不同尺度特征進(jìn)行提取,得到包含大目標(biāo)細(xì)節(jié)信息和小目標(biāo)全局信息的多尺度特征。具體地,首先,通過多尺度卷積層將輸入特征沿通道維度劃分成特征子集,并采用卷積操作和類殘差連接提取不同特征子集上的多尺度特征。隨后,采用通道注意力模塊對上述特征進(jìn)行融合,以適應(yīng)不同大小的分割目標(biāo)。解碼器部分采用U-Net網(wǎng)絡(luò)的解碼器。而在編碼器和解碼器之間的跳躍連接上,本文設(shè)計(jì)了基于深度監(jiān)督的反向注意力模塊,通過從解碼器上產(chǎn)生反向注意力特征圖,以引導(dǎo)網(wǎng)絡(luò)關(guān)注編碼器特征中有關(guān)分割目標(biāo)的邊緣特征,進(jìn)而為解碼器特征補(bǔ)充分割目標(biāo)的細(xì)節(jié)特征。最后,通過對基于深度監(jiān)督的反向注意力模塊輸出的融合邊緣信息的分割結(jié)果進(jìn)行深度監(jiān)督,使網(wǎng)絡(luò)更好地學(xué)習(xí)分割目標(biāo)的邊緣,實(shí)現(xiàn)網(wǎng)絡(luò)對肝臟腫瘤的精準(zhǔn)定位。接下來,本文將詳細(xì)介紹多尺度特征提取模塊和基于深度監(jiān)督的反向注意力模塊的構(gòu)造方式。

圖2 MRA U-Net示意圖Fig.2 MRA U-Net schematic

1.2 多尺度特征提取模塊

肝臟腫瘤的大小、位置、形態(tài)等存在顯著差異,大部分多尺度特征提取方法在擴(kuò)大感受野的同時(shí)忽略了大目標(biāo)的細(xì)節(jié)信息和小目標(biāo)的全局信息。為了提高網(wǎng)絡(luò)對不同大小目標(biāo)的分割能力,本文在編碼器上設(shè)計(jì)了多尺度特征提取模塊,如圖3所示,該模塊共包括N個(gè)多尺度特征提取器,每個(gè)特征提取器是由6個(gè)卷積層和1個(gè)注意力層構(gòu)成的殘差結(jié)構(gòu)。

圖3 多尺度特征提取模塊示意圖Fig.3 Multi-scale convolution diagram

每個(gè)特征提取器進(jìn)行特征提取的過程主要分為以下4個(gè)步驟。

xh=split(Conv1×1(X))(h=1,2,…,s)

(1)

式中:split表示劃分特征子集的操作;Conv1×1表示1×1卷積操作。

2)特征子集x1直接作為輸出y1,特征子集x2經(jīng)過3×3卷積操作K2后得到輸出特征y2,其余每個(gè)特征子集xh(2

(2)

由于特征經(jīng)過3×3卷積操作后會得到一個(gè)更大的感受野,因此yh具有比yh-1更大的感受野,即每個(gè)yh代表一種尺度下的圖像特征。

3)將所有yh∈RH×W×C1/s沿通道維度進(jìn)行拼接后經(jīng)過1×1卷積操作得到多尺度特征y∈RH×W×C2,

y=Conv1×1(concat(y1,y2,…,ys))

(3)

進(jìn)而采用通道注意力模塊(如圖3中的子圖所示)學(xué)習(xí)特征y每個(gè)通道的注意力分?jǐn)?shù),并據(jù)此得到加權(quán)多尺度特征Att(y),

Att(y)=y×σ(MLP(MaxPool(y))+

MLP(AvgPool(y)))

(4)

式中:concat表示特征拼接操作;MaxPool和AvgPool分別表示最大池化和平均池化;MLP表示共享的全連接層;σ表示Sigmoid激活函數(shù)。

(5)

式中:ReLU表示ReLU激活函數(shù)。

1.3 基于深度監(jiān)督的反向注意力模塊

在傳統(tǒng)的U-Net編碼器-解碼器結(jié)構(gòu)中,解碼器特征中包含高級的語義信息,使網(wǎng)絡(luò)能夠在圖像中分辨出分割目標(biāo),而編碼器特征中包含豐富的邊緣、紋理等信息,這些特征通過跳躍連接的方式輸入到解碼器中,從而為解碼器特征補(bǔ)充分割目標(biāo)的位置信息,實(shí)現(xiàn)對分割目標(biāo)的定位。但這種簡單的跳躍連接方式使編碼器無法反向利用解碼器中的高級語義信息,從而導(dǎo)致編碼器難以利用分割目標(biāo)的整體信息對其局部細(xì)節(jié)進(jìn)行微調(diào),使得定位不夠精確。因此,本文設(shè)計(jì)了一個(gè)基于深度監(jiān)督的反向注意力模塊(見圖4),利用解碼器特征產(chǎn)生反向注意力特征圖,進(jìn)而引導(dǎo)網(wǎng)絡(luò)關(guān)注編碼器特征中有關(guān)分割目標(biāo)的邊緣特征,以完成對于病灶區(qū)域局部細(xì)節(jié)的定位。

圖4 基于深度監(jiān)督的反向注意力模塊示意圖Fig.4 Schematic diagram of reverse attention module based on deep supervision

(6)

式中:Deconv表示反卷積操作;σ表示Sigmoid激活函數(shù)。

(7)

式中:Conv3×3表示3×3卷積操作;ReLU表示ReLU激活函數(shù)。

(8)

式中:Conv1×1表示1×1卷積操作。

(9)

式中:aj(j=1,2,…,M)表示深度監(jiān)督不同階段損失的權(quán)重。

1.4 損失函數(shù)

針對肝臟腫瘤分割中常常出現(xiàn)的類別不平衡問題,本文設(shè)計(jì)了一種混合加權(quán)損失函數(shù),使網(wǎng)絡(luò)在訓(xùn)練過程中關(guān)注難分的像素點(diǎn),以減少誤診、漏診現(xiàn)象。

Loss=w1lossce+w2losstversky

(10)

式中:wi(i=1,2)表示各損失函數(shù)的權(quán)重;lossce表示交叉熵?fù)p失(cross-entropy loss, CE)[26];losstversky表示Tversky損失[27]。具體表示為

(11)

losstversky(p,g)=

(12)

結(jié)合深度監(jiān)督部分的損失,本文在網(wǎng)絡(luò)訓(xùn)練過程中使用的總損失為

Losstotal=Loss+Lossdeep

(13)

2 數(shù)值實(shí)驗(yàn)

2.1 數(shù)據(jù)集及預(yù)處理

本文的實(shí)驗(yàn)驗(yàn)證采用MICCAI2017 LiTS挑戰(zhàn)賽數(shù)據(jù)集[28],該數(shù)據(jù)集包含從7個(gè)臨床站點(diǎn)收集的201名患者的CT掃描圖,其中訓(xùn)練集包含131名患者的CT掃描圖(標(biāo)簽可見),在線測試集包含70名患者的CT掃描圖(標(biāo)簽不可見)。訓(xùn)練集中CT的標(biāo)注是由具有3年腫瘤成像經(jīng)驗(yàn)的放射科醫(yī)生使用ITK-SNAP軟件完成,包含肝臟腫瘤、肝臟、背景3類標(biāo)簽。由于不同臨床站點(diǎn)使用的掃描設(shè)備跟掃描協(xié)議不同,所有CT的層內(nèi)分辨率范圍為0.56～1.0 mm,層厚范圍為0.45～6.0 mm,軸向切片的大小為512×512,切片數(shù)范圍為42～1 026?？紤]到該挑戰(zhàn)賽不再接收在線測試集上分割結(jié)果的提交,本文僅使用標(biāo)簽可見的131名患者的CT掃描圖作為全部數(shù)據(jù)集。

本文對于數(shù)據(jù)集的預(yù)處理包含重采樣、調(diào)窗、歸一化等步驟。具體地,首先統(tǒng)計(jì)所有CT的空間采樣率,得到空間采樣率的中位數(shù)為[0.76, 0.76, 1.0],并將所有CT重采樣至[0.76, 0.76, 1.0];其次,通過調(diào)窗操作將所有CT的強(qiáng)度值截?cái)嗟絒-200,200]HU范圍內(nèi),以增強(qiáng)CT的對比度,減少無關(guān)組織器官對肝臟腫瘤分割結(jié)果的影響;最后,對所有CT進(jìn)行歸一化,并按照軸位進(jìn)行切片,將相鄰的3張CT切片和中間CT切片對應(yīng)的標(biāo)簽分別作為輸入圖像和真實(shí)標(biāo)簽,使網(wǎng)絡(luò)學(xué)習(xí)相鄰切片間的信息。數(shù)據(jù)集中包含肝臟的切片有19 156張,包含腫瘤的切片有7 190張,數(shù)據(jù)預(yù)處理流程如圖5所示。

圖5 CT預(yù)處理流程圖Fig.5 CT preprocessing flow chart

2.2 實(shí)驗(yàn)環(huán)境及參數(shù)設(shè)置

本文實(shí)驗(yàn)使用Adam進(jìn)行優(yōu)化, 初始學(xué)習(xí)率為0.000 1, 學(xué)習(xí)率的更新公式為

式中:i表示當(dāng)前迭代次數(shù);ti表示全部迭代次數(shù)。數(shù)據(jù)集的批量大小設(shè)置為8,訓(xùn)練輪數(shù)為 150 輪,本文采用翻轉(zhuǎn)、旋轉(zhuǎn)、對比度增強(qiáng)等方式對數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng), 并將圖像大小調(diào)整至256×256,混合損失函數(shù)中w1為0.3,w2為0.7,Tversky損失函數(shù)中α為0.1,β為0.9。本文所有表格中顯示的實(shí)驗(yàn)結(jié)果均為5折交叉驗(yàn)證結(jié)果的平均值, 所有實(shí)驗(yàn)均在Linux Ubuntu 18.04.4 LTS平臺上借助顯存為12 GB的NVIDIA GeForce GTX 2080Ti、Python 3.7以及Pytorch 1.7.1 框架完成的。

2.3 實(shí)驗(yàn)結(jié)果與分析

2.3.1 評價(jià)指標(biāo)

為了驗(yàn)證所提分割網(wǎng)絡(luò)的性能,本文采用的模型性能評價(jià)指標(biāo)有Dice系數(shù)(dice coefficient, Dice)[29]、體積重疊誤差(volumetric overlap error, VOE)[30]、相對體積差(relative volume difference, RVD)[31]、平均對稱表面距離(average symmetric surface distance, ASSD)[31]、最大對稱表面距離(maximum symmetric surface distance, MSD)[32]。若網(wǎng)絡(luò)的分割結(jié)果和真實(shí)標(biāo)簽分別為A和B,則各評價(jià)指標(biāo)的計(jì)算公式如下。

1)Dice用于計(jì)算網(wǎng)絡(luò)的分割結(jié)果和真實(shí)標(biāo)簽之間的相似性,其值越大,分割效果越好,其數(shù)學(xué)表達(dá)式為

(14)

2)VOE用于計(jì)算網(wǎng)絡(luò)的分割結(jié)果和真實(shí)標(biāo)簽的體素之間的體積重疊誤差,值越接近0,分割效果越好,其公式為

(15)

3)RVD計(jì)算網(wǎng)絡(luò)的分割結(jié)果和真實(shí)標(biāo)簽的體素之間的相對體積重疊誤差,值越接近0,分割效果越好,定義為

(16)

4)ASSD計(jì)算網(wǎng)絡(luò)的分割結(jié)果邊界S(A)上的體素到真實(shí)標(biāo)簽邊界S(B)以及真實(shí)標(biāo)簽邊界S(B)上的體素到網(wǎng)絡(luò)的分割結(jié)果邊界S(A)的所有距離的平均值,值越接近0,分割效果越好,表示為

ASSD=

(17)

式中:d表示歐幾里得距離。

5)MSD將ASSD中計(jì)算距離平均值替換為計(jì)算最大距離,值越接近0,分割效果越好,具體公式為

S(A)))

(18)

2.3.2 消融實(shí)驗(yàn)

本文通過設(shè)計(jì)消融實(shí)驗(yàn),以驗(yàn)證多尺度特征提取模塊、基于深度監(jiān)督的反向注意力模塊以及混合損失函數(shù)的有效性。表1展示了消融實(shí)驗(yàn)結(jié)果,其中最優(yōu)結(jié)果使用黑色加粗字體進(jìn)行標(biāo)記。

表1 不同模塊和不同損失在LiTS數(shù)據(jù)集上的消融實(shí)驗(yàn)Tab.1 Ablation experiments with different modules and different losses on LiTS dataset

多尺度特征提取模塊的有效性。 通過比較表1中“基線模型(U-Net)”和“基線模型+多尺度特征提取模塊”的分割性能,發(fā)現(xiàn)多尺度特征提取模塊的增加將Dice提高了7.9%,將VOE、ASSD、MSD分別降低了7.28%、7.67 mm、29.77 mm,同時(shí)使RVD更接近0,提升了網(wǎng)絡(luò)的分割性能。一方面,多尺度特征提取模塊從不同的特征子集上提取了豐富的多尺度特征,能夠同時(shí)包含大目標(biāo)的細(xì)節(jié)信息和小目標(biāo)的全局信息;另一方面,采用通道注意力模塊對多尺度特征進(jìn)行通道加權(quán),使網(wǎng)絡(luò)能夠根據(jù)分割目標(biāo)的大小自適應(yīng)地選擇合適的多尺度特征。上述結(jié)果說明本文所設(shè)計(jì)的多尺度特征提取模塊是有效的。

基于深度監(jiān)督的反向注意力模塊的有效性。在肝臟腫瘤大小、位置、形態(tài)存在顯著差異的情況下,僅通過Dice反映的網(wǎng)絡(luò)分割結(jié)果和真實(shí)標(biāo)簽的相似程度無法很好地度量分割效果,需要通過距離度量來定量分析網(wǎng)絡(luò)對于分割目標(biāo)邊緣的分割能力。通過比較表1中“基線模型(U-Net)”和“基線模型+基于深度監(jiān)督的反向注意力模塊”的分割性能,發(fā)現(xiàn)基于深度監(jiān)督的反向注意力模塊的加入使ASSD、MSD降低了7.38 mm、9.88 mm,同時(shí)使Dice增加了6.71%,從而說明基于深度監(jiān)督的反向注意力模塊的嵌入對于肝臟腫瘤邊緣分割精度的提升是有意義的。

損失函數(shù)的有效性。為了驗(yàn)證本文所設(shè)計(jì)的混合加權(quán)損失函數(shù)的有效性,采用不同的損失函數(shù)設(shè)置對MRA U-Net進(jìn)行優(yōu)化并評估網(wǎng)絡(luò)的分割性能。具體地,本文設(shè)置的情況有“CE+Tversky”“CE+Dice”“CE”“Tversky”,通過對比可以發(fā)現(xiàn),采用“CE+Tversky”對網(wǎng)絡(luò)進(jìn)行優(yōu)化時(shí),Dice高達(dá)76.12%,驗(yàn)證了混合加權(quán)損失函數(shù)的有效性。其中,Tversky損失通過對假陽性樣本和假陰性樣本加權(quán),降低網(wǎng)絡(luò)的誤診率和漏診率,進(jìn)而提升網(wǎng)絡(luò)的分割性能。

2.3.3 超參數(shù)分析

為了進(jìn)一步探討本文使用的混合損失函數(shù)中交叉熵?fù)p失和Tversky損失的權(quán)重設(shè)置對模型效果的影響,本文采用不同的損失權(quán)重設(shè)置進(jìn)行實(shí)驗(yàn)以對比網(wǎng)絡(luò)的分割性能,實(shí)驗(yàn)結(jié)果如圖6中的直方圖所示,可以發(fā)現(xiàn),當(dāng)w1=0.3,w2=0.7時(shí),網(wǎng)絡(luò)的分割性能最佳。此時(shí)Tversky損失作為混合損失函數(shù)的主要部分,使網(wǎng)絡(luò)在前期訓(xùn)練時(shí)重點(diǎn)關(guān)注難分的像素,隨著Tversky損失的下降,交叉熵?fù)p失引導(dǎo)網(wǎng)絡(luò)學(xué)習(xí)分割結(jié)果中全體像素的分布與真實(shí)標(biāo)簽中全體像素分布的差異,提升網(wǎng)絡(luò)的整體分割性能。

圖6 MRA U-Net在不同混合損失函數(shù)權(quán)重下的分割性能Fig.6 Segmentation performance of MRA U-Net under different hybrid loss function weights

2.3.4 對比實(shí)驗(yàn)

為了驗(yàn)證本文所提方法的優(yōu)越性,將本文所提方法和U-Net、Attention U-Net、UNet++、TransUNet、RIU-Net、MS-FANet的分割性能進(jìn)行了比較。如表2所示,本文所提方法相較次優(yōu)方法在Dice上提高了1.92%,同時(shí)將VOE、ASSD、MSD降低了1.07%、2.74 mm、1.24 mm,并且本文所提方法的RVD更接近0。根據(jù)上述量化結(jié)果可知,本文所提方法在分割結(jié)果和真實(shí)標(biāo)簽的相似度、分割目標(biāo)的邊緣分割效果等方面表現(xiàn)良好,同時(shí)反映出多尺度特征提取模塊和基于深度監(jiān)督的反向注意力模塊相結(jié)合的有效性。

表2 不同方法在LiTS數(shù)據(jù)集上的分割性能Tab.2 Segmentation performance of different methods on LiTS dataset

2.3.5 分割結(jié)果可視化

2.3.4小節(jié)從定量的角度分析了本文所提方法的有效性,本小節(jié)通過對不同方法的分割結(jié)果進(jìn)行可視化,以從定性的角度分析本文所提方法與其他方法的性能差異。圖7展示了采用不同方法對不同患者CT切片進(jìn)行分割的可視化結(jié)果。根據(jù)圖7中第1行的可視化結(jié)果能夠發(fā)現(xiàn),U-Net著重關(guān)注與對比度相關(guān)的特征,其將與肝臟腫瘤灰度值相似的組織誤分割為肝臟腫瘤,同時(shí)Attention U-Net也存在上述問題,但其誤分割現(xiàn)象比U-Net少。從圖7中第3行的可視化結(jié)果可以看出,本文所提的MRA U-Net對于小目標(biāo)肝臟腫瘤的分割能力較強(qiáng),能夠有效避免漏診現(xiàn)象的出現(xiàn)。通過圖7中第2、4、5行的可視化結(jié)果能夠發(fā)現(xiàn),本文所提的MRA U-Net分割的肝臟腫瘤邊緣比其他方法的分割結(jié)果更精確,驗(yàn)證了基于深度監(jiān)督的反向注意力模塊對網(wǎng)絡(luò)邊緣分割能力的提升。

圖7 不同方法的分割結(jié)果可視化Fig.7 Visualization of segmentation results by different methods

3 結(jié)語

本文提出了一種融合多尺度特征提取模塊和基于深度監(jiān)督的反向注意力模塊的肝臟腫瘤自動分割模型。首先,設(shè)計(jì)了一種新的多尺度特征提取模塊,并據(jù)此構(gòu)造編碼器用以提取CT圖像的多尺度特征,通過通道注意力機(jī)制使網(wǎng)絡(luò)能夠根據(jù)分割目標(biāo)的大小自適應(yīng)地選擇合適的多尺度特征;其次,在編碼器-解碼器的跳躍連接上嵌入基于深度監(jiān)督的反向注意力模塊,通過從解碼器特征中產(chǎn)生反向注意力,以引導(dǎo)網(wǎng)絡(luò)關(guān)注編碼器特征中有關(guān)分割目標(biāo)的邊緣特征,為解碼器特征補(bǔ)充分割目標(biāo)的細(xì)節(jié)信息并采用深度監(jiān)督緩解梯度消失、促進(jìn)網(wǎng)絡(luò)的訓(xùn)練。此外,本文還設(shè)計(jì)了一種混合損失函數(shù),以解決圖像分割中存在的類別不平衡問題。經(jīng)數(shù)值實(shí)驗(yàn)證明,本文所提方法在肝臟腫瘤的自動分割中性能表現(xiàn)良好。