基于三重注意力的腦腫瘤圖像分割網(wǎng)絡(luò)

韓 陽 宋金淼 薛安懿 段曉東*

1(大連民族大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，遼寧 大連 116600)

2(大數(shù)據(jù)應(yīng)用技術(shù)國家民委重點(diǎn)實(shí)驗(yàn)室，遼寧大連 116600)

3(大連市民族文化數(shù)字技術(shù)重點(diǎn)實(shí)驗(yàn)室，遼寧大連 116600)

引言

腦腫瘤是一種在腦組織中非自然分裂和不正常生長的異常細(xì)胞，發(fā)病率較高，死亡率超過3%，嚴(yán)重危害人體的健康[1]。其中，腦膠質(zhì)瘤是腦腫瘤最常見的惡性腫瘤之一，可進(jìn)一步分為高級別膠質(zhì)瘤和低級別膠質(zhì)瘤。核磁共振成像(magnetic resonance imaging，MRI)作為一種典型的非入侵式的腦腫瘤成像技術(shù)，可產(chǎn)生高分辨率、無損傷、無顱骨偽影的腦影像，為醫(yī)生的臨床診斷提供準(zhǔn)確的信息，是鑒別腦腫瘤的重要技術(shù)之一[2]。由于腦腫瘤形狀多異、位置大小分布不均和邊界復(fù)雜等因素，目前腦腫瘤圖像的分割工作主要還是由專家手動進(jìn)行不同專家對腦腫瘤圖像的分割結(jié)果存在較大的差異，耗費(fèi)時(shí)間長，誤判率較高，嚴(yán)重影響患者后續(xù)的治療。綜上所述，研究高效的腦腫瘤圖像分割網(wǎng)絡(luò)，對臨床診斷和治療腦腫瘤具有非常重要的意義。

近年來，以AlexNet[3]、SegNet[4]和ResNet[5]為代表的深度神經(jīng)網(wǎng)絡(luò)已經(jīng)廣泛應(yīng)用于各種計(jì)算機(jī)視覺任務(wù)?；谏疃壬窠?jīng)網(wǎng)絡(luò)的圖像分割方法，能夠高效地完成自動分割腦腫瘤圖像的任務(wù)?；谏疃葘W(xué)習(xí)的腦腫瘤圖像分割方法主要是2012年提出的全卷積神經(jīng)網(wǎng)絡(luò)(FCN)[6]，基于FCN 的腦腫瘤圖像分割網(wǎng)絡(luò)是一種端到端的語義分割網(wǎng)絡(luò)，但是FCN 割裂了像素與像素之間的關(guān)聯(lián)信息，導(dǎo)致圖像分割結(jié)果不夠準(zhǔn)確。DeepLab[7]通過加入金字塔卷積來提取圖像全局信息，以此提高圖像的分割精度。Ronneberger[8]等提出了一種對稱的全卷積神經(jīng)網(wǎng)絡(luò)U-Net，通過跳躍連接，融合了淺層和深層的圖像特征信息，提升了醫(yī)學(xué)圖像分割任務(wù)的性能。為了更好地提高圖像分割的性能，已經(jīng)有很多研究將注意力機(jī)制嵌入到深度神經(jīng)網(wǎng)絡(luò)中。例如，Hu 等[9]提出了一種基于通道注意力的擠壓激勵(lì)注意力網(wǎng)絡(luò)。CBAM[10]是將兩個(gè)注意力機(jī)制的模塊通過級聯(lián)方式連接起來，嵌入到網(wǎng)絡(luò)中。DANet[11]則是將空間注意力模塊與通道注意力模塊并聯(lián)連接，分別捕獲空間維度和通道維度中的特征依賴關(guān)系。綜上所述，為了解決分割網(wǎng)絡(luò)對腦腫瘤圖像分割精度不足的問題，本研究旨在通過組合局部和全局的特征信息，提出了一種融合三通道注意力的腦腫瘤圖像分割網(wǎng)絡(luò)(triple attention module，TA-Net)。

1 材料和方法

1.1 材料

1.1.1 圖像數(shù)據(jù)集

采用公開的BraTS2018[12]和BraTS2019[13]腦腫瘤圖像分割數(shù)據(jù)集進(jìn)行性能評估。這兩個(gè)數(shù)據(jù)集是由MICCAI 腦部腫瘤分割比賽發(fā)布的，BraTS2018數(shù)據(jù)集包括285 個(gè)患者病例，210 個(gè)樣本來自高級別神經(jīng)膠質(zhì)瘤患者，75 個(gè)樣本屬于低級別神經(jīng)膠質(zhì)瘤患者。BraTS 2019 數(shù)據(jù)集在BraTS 2018 訓(xùn)練數(shù)據(jù)集的基礎(chǔ)上，增加了49 例高級別神經(jīng)膠質(zhì)瘤患者，低級別神經(jīng)膠質(zhì)瘤患者增加了1 例。

對于每個(gè)患者有4 種MRI 方式，即T1 加權(quán)(T1)、T2 加權(quán)(T2)、液體衰減反轉(zhuǎn)回復(fù)(Flair)和T1 加權(quán)對比度增強(qiáng)(T1ce)，以及真實(shí)分割圖(ground truth，GT)。腦腫瘤分割需要分3 個(gè)部分:全部腫瘤(whole tumor，WT)、增強(qiáng)腫瘤(enhance tumor，ET)和核心腫瘤(tumor core，TC)。標(biāo)簽分為4 類:健康區(qū)域?yàn)闃?biāo)簽0，壞死性和非增強(qiáng)性腫瘤區(qū)域?yàn)闃?biāo)簽1，腫瘤周圍水腫區(qū)域?yàn)闃?biāo)簽2，增強(qiáng)型腫瘤區(qū)域?yàn)闃?biāo)簽4。一個(gè)MRI 腦腫瘤圖像實(shí)例如圖1所示，其中每種顏色代表一個(gè)腫瘤類型:紅色代表壞死性和非增強(qiáng)性腫瘤區(qū)域，綠色代表腫瘤周圍水腫區(qū)域，黃色代表增強(qiáng)型腫瘤區(qū)域。

圖1 腦腫瘤圖像實(shí)例。(a)Flair；(b)T1；(c)T1ce；(d)T2；(e)GTFig.1 Brain tumor image example. (a)Flair；(b)T1；(c)T1ce；(d)T2；(e)GT

1.1.2 數(shù)據(jù)預(yù)處理

由于腦腫瘤圖像結(jié)構(gòu)的復(fù)雜性以及噪聲的影響，數(shù)據(jù)預(yù)處理是提高腦腫瘤圖像分割性能至關(guān)重要的步驟。在這項(xiàng)工作中，本研究對原始MRI 腦腫瘤圖像進(jìn)行了數(shù)據(jù)預(yù)處理。在BraTS 2018、2019 數(shù)據(jù)集中，每個(gè)3D MRI 圖像數(shù)據(jù)的尺寸為240 像素×240 像素×155 像素，將3D 腦腫瘤圖像沿軸向切割為一系列2D 腦腫瘤切片圖像，并從每個(gè)2D 切片圖像中提取大小為128 像素×128 像素的切片圖像，然后采用Z-score 方法[14]對切片圖像進(jìn)行標(biāo)準(zhǔn)化處理，Z-score 方法使用平均值和強(qiáng)度標(biāo)準(zhǔn)偏差處理每個(gè)圖像，可以將其計(jì)算公式表示為

式中，z和z′分別是輸入圖像和規(guī)范化后的圖像，μ是輸入圖像的平均值，δ是輸入圖像的標(biāo)準(zhǔn)偏差。

1.2 深度殘差模塊

卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)對圖像分割的結(jié)果有很大影響，為解決網(wǎng)絡(luò)結(jié)構(gòu)加深帶來嚴(yán)重的梯度消失而導(dǎo)致分割網(wǎng)絡(luò)性能變差的問題，本研究采用殘差網(wǎng)絡(luò)思想進(jìn)行改進(jìn)[15]。殘差網(wǎng)絡(luò)由多個(gè)殘差模塊連接構(gòu)成，殘差單元結(jié)構(gòu)如圖2所示。

圖2 殘差單元結(jié)構(gòu)Fig.2 Residual element structure.

假設(shè)神經(jīng)網(wǎng)絡(luò)的輸入是x，期望的輸出是H(x)，在淺層網(wǎng)絡(luò)上添加一個(gè)恒等映射層y=x；將輸入x通過連接直接傳輸?shù)胶竺娴木W(wǎng)絡(luò)層，并對輸出結(jié)果進(jìn)行疊加。此時(shí)需要學(xué)習(xí)的不再是一個(gè)完整的輸出H(x)，而是函數(shù)值H(x)和x的差值，即殘差單元F(x)= H(x)- x。

在傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)中，通過使用多個(gè)卷積操作來提取圖像特征，如圖3(a)所示。本研究借鑒殘差結(jié)構(gòu)，將分割網(wǎng)絡(luò)結(jié)構(gòu)的編碼器和解碼器中原有的卷積模塊替換為深度殘差模塊，結(jié)構(gòu)如圖3(b)所示。深度殘差模塊有效地減少了網(wǎng)絡(luò)訓(xùn)練過程中梯度消失的影響，促進(jìn)了圖像特征信息的提取，解決了圖像分割網(wǎng)絡(luò)中特征信息提取不全的問題。

圖3 原始卷積模塊與深度殘差模塊的結(jié)構(gòu)比較。(a)原始卷積模塊；(b)深度殘差模塊Fig.3 The structure comparison between the original convolution module and the depth residual module.(a)The original convolution module；(b)Depth residual module

1.3 圖像分割網(wǎng)絡(luò)

基于三重注意力的腦腫瘤圖像分割網(wǎng)絡(luò)使用深度殘差模塊，替換原始圖像分割網(wǎng)絡(luò)結(jié)構(gòu)中的編碼層和解碼層，能夠在加深網(wǎng)絡(luò)訓(xùn)練的同時(shí)，解決梯度消失等問題。通過在分割網(wǎng)絡(luò)中引入三重注意力模塊，讓網(wǎng)絡(luò)更好地學(xué)習(xí)重要的特征信息，抑制冗余特征信息，提升對腦腫瘤圖像的分割性能。

本研究的TA-Net 網(wǎng)絡(luò)結(jié)構(gòu)如圖4所示，由編碼層、解碼層、橋接部分和跳躍連接組成，其中輸入為MRI 腦腫瘤圖像的4 個(gè)模態(tài)。編碼層由卷積層、深度殘差模塊和最大池化層構(gòu)成，包括卷積操作、ReLU 激活函數(shù)和BN 正則化；深度殘差模塊的殘差連接用于連接特征圖的淺層和深層語義特征信息；通過下采樣操作降低特征圖的尺寸，特征圖的通道數(shù)隨著尺寸的降低而增大。解碼層由深度殘差模塊和上采樣操作構(gòu)成，對來自編碼層的特征圖進(jìn)行上采樣操作，通過上采樣操作能夠得到與原始圖像尺寸相同的特征圖。橋接部分用于連接編碼層和解碼層。跳躍連接將編碼層的淺層特征與解碼層相對應(yīng)的深層特征進(jìn)行級聯(lián)映射，實(shí)現(xiàn)特征圖的融合。然而，在編碼層提取的原始特征信息不僅噪聲大而且有很多的冗余特征信息，進(jìn)而影響腦腫瘤圖像分割的準(zhǔn)確性。本研究在對編碼層的特征與解碼層的對應(yīng)特征拼接融合之前，引入三重注意力模塊，增強(qiáng)有用的特征信息，抑制不相關(guān)區(qū)域的特征響應(yīng)，降低冗余信息的影響，從而提高腦腫瘤圖像分割的準(zhǔn)確性。

圖4 TA-Net 網(wǎng)絡(luò)結(jié)構(gòu)Fig.4 TA-Net network structure diagram

在現(xiàn)有的注意力機(jī)制[16-17]基礎(chǔ)上，引入了一種三重注意力模塊，有效地建立每個(gè)像素通道之間的相互依賴關(guān)系，其結(jié)構(gòu)如圖5所示。三重注意力模塊由3 個(gè)平行模塊組成，給定一個(gè)輸入張量χ∈RC×H×w，先將輸入x傳遞到3 個(gè)平行注意力模塊中，再進(jìn)行一系列操作。在第一個(gè)注意力模塊中建立H和C之間的交互關(guān)系；首先將輸入張量x的H軸與C軸交換，分別通過maxpooling 和meanpooling 將C維度的張量縮減到二維，使其保留實(shí)際特征信息的豐富表示，同時(shí)能夠縮小網(wǎng)絡(luò)深度，以便進(jìn)一步地減少計(jì)算量；然后通過大小為1×1 的卷積，再經(jīng)過正則化處理，將輸出的張量通過sigmoid 激活函數(shù)生成H×C交互注意力權(quán)值；最后將輸出的H軸與C軸交換，保持和輸入一致。同時(shí)，在第二個(gè)注意力模塊中建立W和C之間的交互關(guān)系；首先將輸入張量x的W軸與C軸交換，同樣進(jìn)行maxpooling 和meanpooling 操作，將C維度的張量減少到二維；然后通過大小為1×1 的卷積再經(jīng)過正則化處理，將輸出的張量通過sigmoid 激活函數(shù)生成W×C交互注意力權(quán)值；最后將輸出的W軸與C軸交換，保持和輸入一致。同理，在第三個(gè)注意力模塊中建立W和H之間的交互關(guān)系，直接將輸入張量x通過maxpooling和meanpooling 操作，將C維度的張量縮減到二維；然后再通過1×1 的卷積和正則化處理，將得到的輸出結(jié)果通過sigmoid 激活函數(shù)生成W×H交互注意力權(quán)值；最后通過取平均值的方式，將3 個(gè)平行注意力模塊生成的張量聚集在一起。

圖5 三重注意力模塊結(jié)構(gòu)圖Fig.5 Triple attention module structure diagram

1.4 訓(xùn)練和測試

實(shí)驗(yàn)的硬件環(huán)境:CPU 為Intel(R)Xeon(R)Gold 6128 2.30 GHz，內(nèi)存大小為256 GB，GPU 為NVIDIA V100；軟件環(huán)境:Windows Server 2012 R2，Python3.6，CUDA9.0，CUDNN7.1，使用Pytorch 深度學(xué)習(xí)框架。在網(wǎng)絡(luò)訓(xùn)練階段，輸入的圖像包括預(yù)處理好的腦腫瘤圖像及真實(shí)分割標(biāo)簽，將BraTS2018和BraTS2019 訓(xùn)練集中的80%作為訓(xùn)練集、20%作為驗(yàn)證集。網(wǎng)絡(luò)訓(xùn)練初始時(shí)學(xué)習(xí)率設(shè)為0.000 1，動量0.9，迭代的批量大小設(shè)置為16，訓(xùn)練迭代期為300 次，使用Adma 優(yōu)化器進(jìn)行優(yōu)化，衰減系數(shù)為0.000 1，采用Early Stopping 策略機(jī)制來確定合適的迭代次數(shù)。

采用交叉熵?fù)p失函數(shù)[18]分別檢查每個(gè)像素，將預(yù)測圖像的每個(gè)像素與真實(shí)標(biāo)簽進(jìn)行比較，交叉熵?fù)p失函數(shù)定義為

式中，N為原始圖像中所有像素點(diǎn)的數(shù)量，pi表示預(yù)測結(jié)果中第i個(gè)像素的概率，gi表示真實(shí)標(biāo)簽中第i個(gè)像素的真實(shí)類別。

在網(wǎng)絡(luò)訓(xùn)練過程中，使用交叉熵?fù)p失函數(shù)進(jìn)行優(yōu)化，有效地解決了網(wǎng)絡(luò)中梯度消失問題，使網(wǎng)絡(luò)能夠更快更穩(wěn)定地運(yùn)行。

1.5 性能評估指標(biāo)

為了驗(yàn)證本研究提出的基于三重注意力的腦腫瘤圖像分割網(wǎng)絡(luò)性能，將其與 U-Net[8]、DANet[11]、ResUNet[19]和Attention-UNet[20]4 種網(wǎng)絡(luò)進(jìn)行對比實(shí)驗(yàn)。由于臨床上的實(shí)際應(yīng)用，評估指標(biāo)通常將腫瘤結(jié)構(gòu)分為3 個(gè)區(qū)域進(jìn)行圖像分割性能評估，包括全部腫瘤(whole tumor，WT)、增強(qiáng)腫瘤(enhance tumor，ET)和核心腫瘤(tumor core，TC)。

為了對所提出的圖像分割網(wǎng)絡(luò)進(jìn)行評估，采用Dice 系數(shù)(dice similariy coefficient，DSC)、查準(zhǔn)率(Precision)、查全率(Recall)和Hausdorff 距離(HD)作為性能評價(jià)指標(biāo)，相關(guān)指標(biāo)計(jì)算公式如下:

式中:TP 為正確檢測是正樣本的樣本數(shù)量，F(xiàn)P 是負(fù)樣本檢測錯(cuò)誤為正樣本的樣本數(shù)量，F(xiàn)N 是正樣本檢測錯(cuò)誤為負(fù)樣本的樣本數(shù)量；Dice 系數(shù)是用來衡量預(yù)測分割結(jié)果與真實(shí)分割結(jié)果之間的相似程度，Precision 是正確預(yù)測為腦腫瘤分割的像素總數(shù)占被預(yù)測為腦腫瘤的像素總數(shù)的比例，Recall 是指被正確預(yù)測為腦腫瘤的像素總數(shù)占實(shí)際為腦腫瘤的像素總數(shù)的比例。

Hausdorff 距離(HD)可以通過下式計(jì)算:

式中，X表示真實(shí)結(jié)果圖像，Y表示預(yù)測結(jié)果圖像，dXY和dYX表示預(yù)測分割圖像與真實(shí)分割圖像之間的單向Hausdorff 距離。HD 為dXY和dYX中的最大值，是預(yù)測分割圖像和真實(shí)分割圖像之間的最大不匹配程度，該值越小表示網(wǎng)絡(luò)分割圖像越接近真實(shí)標(biāo)簽圖像、圖像分割效果越好。

2 結(jié)果

表1展示了4 種網(wǎng)絡(luò)和本研究提出的網(wǎng)絡(luò)在Dice 系數(shù)的腦腫瘤圖像分割實(shí)驗(yàn)結(jié)果?？梢钥闯?，在Dice 系數(shù)指標(biāo)方面，本研究的分割網(wǎng)絡(luò)在WT、TC 和ET 等3 個(gè)區(qū)域上面優(yōu)于其他3 種網(wǎng)絡(luò)的實(shí)驗(yàn)結(jié)果。實(shí)驗(yàn)結(jié)果顯示，在WT、TC 和ET 區(qū)域，DSC值達(dá)到了85.20%、87.13%、80.89%。

表1 5 種網(wǎng)絡(luò)在Dice 系數(shù)(DSC)下的腦腫瘤圖像分割結(jié)果Tab.1 Brain tumor image segmentation results of five kinds of networks in Dice coefficient (DSC)

表2展示了4 種網(wǎng)絡(luò)和本研究提出的網(wǎng)絡(luò)在Precision 指標(biāo)下的腦腫瘤圖像分割實(shí)驗(yàn)結(jié)果?？梢钥闯?，在Precision 系數(shù)指標(biāo)方面，本研究的分割網(wǎng)絡(luò)在WT、TC 和ET3 個(gè)區(qū)域上面分別為89.09%、90.95%、80.42%，均優(yōu)于其他3 種網(wǎng)絡(luò)的實(shí)驗(yàn)結(jié)果。

表2 5 種網(wǎng)絡(luò)在Precision 指標(biāo)下的腦腫瘤圖像分割結(jié)果Tab.2 Brain tumor image segmentation results of five kinds of networks in precision

表3展示了4 種網(wǎng)絡(luò)和所提出的網(wǎng)絡(luò)在Recall指標(biāo)下的腦腫瘤圖像分割實(shí)驗(yàn)結(jié)果。實(shí)驗(yàn)結(jié)果顯示，在Recall 系數(shù)指標(biāo)方面，本研究的分割網(wǎng)絡(luò)在WT、TC 和ET3 個(gè)區(qū)域上面達(dá)到88.70%、92.34%、85.24%，相比其他3 種網(wǎng)絡(luò)Recall 指標(biāo)均有小幅度提高。

表3 5 種網(wǎng)絡(luò)在Recall 指標(biāo)下的腦腫瘤圖像分割結(jié)果Tab.3 Brain tumor image segmentation results of five kinds of networks in Recall

表4展示了4 種網(wǎng)絡(luò)和本研究提出的網(wǎng)絡(luò)在Hausdorff 指標(biāo)下的腦腫瘤圖像分割實(shí)驗(yàn)結(jié)果?？梢钥闯?，本研究的分割網(wǎng)絡(luò)在WT、TC 和ET3 個(gè)區(qū)域上面Hausdorff 系數(shù)指標(biāo)達(dá)到2.523 9、1.569 6、2.749 5。雖然整體腫瘤區(qū)域、壞疽腫瘤區(qū)域和增強(qiáng)腫瘤區(qū)域分割效果均優(yōu)于U-Net[8]和ResUNet[19]網(wǎng)絡(luò)，但是在增強(qiáng)腫瘤區(qū)域上的分割效果與DANet[11]和Attention-UNet[20]指標(biāo)相比沒有提升。

表4 5 種網(wǎng)絡(luò)在Hausdorff 指標(biāo)下的腦腫瘤圖像分割結(jié)果Tab.4 Brain tumor image segmentation results of five kinds of networks in Hausdorff

3 討論

本研究的主要貢獻(xiàn)概括為3 個(gè)方面:

1)提出了一種端到端的腦腫瘤MRI 圖像分割網(wǎng)絡(luò)(TA-Net)，不僅提取了更豐富的上下文圖像特征信息，而且有效地提高了腦腫瘤圖像分割的精度。

2)TA-Net 在全卷積網(wǎng)絡(luò)中引入一種三重注意力模塊和殘差模塊，以這種方式有效地連接圖像深層和淺層信息，以突出重要的特征信息。一方面，殘差模塊增強(qiáng)了特征信息的表達(dá)能力，有助于編碼過程中圖像特征的提?。涣硪环矫?，三重注意力模塊在解碼過程中更加關(guān)注腦腫瘤圖像的細(xì)節(jié)信息，提高腦腫瘤圖像分割細(xì)節(jié)的精度。

3)TA-Net 在BraTS2018、BraTS2019 和腦瘤分割基準(zhǔn)上，對TA-Net 進(jìn)行了廣泛的評估。實(shí)驗(yàn)結(jié)果表明，具有三重注意力模塊的分割網(wǎng)絡(luò)性能優(yōu)于典型的腦腫瘤圖像分割網(wǎng)絡(luò)。

本研究提出基于三重注意力的腦腫瘤圖像分割網(wǎng)絡(luò)，在Dice 系數(shù)、Precision、Recall 和HD 等4 種腦腫瘤臨床評估指標(biāo)上，圖像分割的整體性能均好于其他4 種網(wǎng)絡(luò)。本研究的分割網(wǎng)絡(luò)的最大優(yōu)勢在于，提出的三重注意力模塊可將圖像的上下文語義特征信息傳輸?shù)酶芮?，可大幅度減少特征信息得丟失，在解碼過程中更加關(guān)注腦腫瘤圖像細(xì)節(jié)信息。

相比傳統(tǒng)的圖像分割網(wǎng)絡(luò)結(jié)構(gòu)U-net，除了組合圖像局部和全局特征信息以外，還參考了以Attention-UNet 和DANet 為基礎(chǔ)的網(wǎng)絡(luò)結(jié)構(gòu)。這些網(wǎng)絡(luò)結(jié)構(gòu)在U-net 解碼過程中插入通道或空間注意力模塊，而注意力模塊能夠更好地捕獲圖像重要的特征信息，提高圖像分割的準(zhǔn)確性[21]。從表1～3可以看出，Attention-UNet 和DANet 的各項(xiàng)指標(biāo)明顯高于U-net 的相應(yīng)指標(biāo)，但是與Attention-UNet 的分割性能相比，DANet 的分割性能沒有明顯的提升。由表4可以看出，DANet 的Hausdorff 指標(biāo)明顯減少，這是因?yàn)樵黾恿丝臻g注意力模塊，該模塊能夠有效處理圖像細(xì)節(jié)問題[21]，因此本研究提出的網(wǎng)絡(luò)在HD 指標(biāo)上評分?jǐn)?shù)值明顯減小。所提出的三重注意力模塊看似比DANet 網(wǎng)絡(luò)的注意力模塊復(fù)雜，但采用的是像素通道之間的相互依賴關(guān)系，相比DANet 和Attention-UNet 等添加注意力模塊的分割網(wǎng)絡(luò)，并沒有增加計(jì)算時(shí)間。

圖6為6 種分割網(wǎng)絡(luò)在腦腫瘤MRI 圖像高級別膠質(zhì)瘤和低級別膠質(zhì)瘤患者上的圖像分割結(jié)果。第一行為1 例高級別膠質(zhì)瘤的腦腫瘤患者圖像分割結(jié)果，第二行為1 例低級別膠質(zhì)瘤患者的腦腫瘤患者圖像分割結(jié)果。從左到右，每一列依次是U-Net網(wǎng)絡(luò)分割結(jié)果、DANet 網(wǎng)絡(luò)分割結(jié)果、ResUnet 網(wǎng)絡(luò)分割結(jié)果、Attention-UNet 網(wǎng)絡(luò)分割結(jié)果、真實(shí)標(biāo)簽分割結(jié)果和本研究圖像分割網(wǎng)絡(luò)結(jié)果?？梢钥闯觯琔-Net 只能大致定位腦腫瘤所在的位置，而以UNet 為基礎(chǔ)的網(wǎng)絡(luò)，如ResUnet 網(wǎng)絡(luò)，分割出的腦腫瘤圖像輪廓和形狀較為清晰，這是由于ResUNet在網(wǎng)絡(luò)中加入了殘差結(jié)構(gòu)，使網(wǎng)絡(luò)有效地聯(lián)系圖像的語義信息，從而能夠突出圖像重要的特征信息，有助于編碼過程中圖像特征的提取。因此，本研究網(wǎng)絡(luò)在此基礎(chǔ)上添加了深度殘差模塊，能夠更好地聯(lián)系圖像局部和全局特征信息。然而，從圖6中可以看出，ResUNet 存在一些多分割出的圖像散點(diǎn)，導(dǎo)致圖像分割結(jié)果不準(zhǔn)確。同樣，雖然DANet 和Attention-UNet 網(wǎng)絡(luò)分割的腦腫瘤圖像整體分割得比較清楚，但是來自編碼層的淺層特征信息噪聲大，圖像邊緣信息毛躁，帶有很多冗余信息，容易影響腦腫瘤圖像分割的精度。

圖6 5 種網(wǎng)絡(luò)圖像分割結(jié)果Fig.6 Five network image segmentation results

本研究提出的三重注意力模塊能夠聯(lián)系圖像局部與全局特征信息，并且在編碼層中使用深度殘差模塊，充分提取腦腫瘤圖像特征信息，使圖像分割網(wǎng)絡(luò)獲得與真實(shí)標(biāo)簽結(jié)果相近的圖像分割結(jié)果，相比ResUnet 和Attention-UNet 網(wǎng)絡(luò)，分割出很少的冗余圖像信息，具有良好的腦腫瘤圖像分割性能；在加深網(wǎng)絡(luò)訓(xùn)練的同時(shí)，沒有出現(xiàn)梯度消失等問題。

4 結(jié)論

針對腦腫瘤圖像分割網(wǎng)絡(luò)缺乏聯(lián)系局部與全局特征信息而導(dǎo)致的圖像分割精度低等問題，本研究提出了一種基于三重注意力的腦腫瘤圖像分割網(wǎng)絡(luò)。通過實(shí)驗(yàn)比較，表明本研究提出的腦腫瘤圖像分割網(wǎng)絡(luò)在性能和分割精度等方面均優(yōu)于其他網(wǎng)絡(luò)。然而，本研究所提出的分割網(wǎng)絡(luò)仍存在一定的局限性；腦腫瘤MRI 原始圖像為3D 醫(yī)學(xué)圖像，使用2D 網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行圖像分割會丟失部分圖像信息，從而影響圖像分割的準(zhǔn)確率。因此，研究基于3D 腦腫瘤圖像分割網(wǎng)絡(luò)，是未來腦腫瘤圖像精確分割的重點(diǎn)。