結(jié)合雙注意力機制和級聯(lián)思想的肝腫瘤分割

王 巖，董方旭

(河南理工大學(xué) 計算機科學(xué)與技術(shù)學(xué)院，河南 焦作 454150)

E-mail：2360992792@qq.com

1 引 言

肝腫瘤是消化系統(tǒng)常見的惡性腫瘤，在全世界致死癌癥中排名第2，保守估計肝癌的發(fā)病死亡率為0.95[1].盡早的定位病灶區(qū)域并進行針對性的治療能夠極大的提高病人的存活率.在對肝瘤的早期診斷、規(guī)劃治療中，計算機斷層掃描(CT)圖像分析是主要的診斷工具之一.在臨床實踐中，常由經(jīng)驗豐富的放射科醫(yī)生從CT圖像中手工分割出肝瘤區(qū)域.但這一過程耗時耗力，且分割結(jié)果會受到醫(yī)生的主觀因素影響，導(dǎo)致在很多情況下產(chǎn)生的結(jié)果相對不準(zhǔn)確.為了減輕醫(yī)生負擔(dān)，研究人員在過去的幾年間提出了許多利用計算機輔助診斷的方法.盡管如此，但從CT圖像中精準(zhǔn)的勾畫出肝腫瘤區(qū)域仍然存在一些困難，例如：肝臟和其他器官之間的界限模糊、對比度低，腫瘤位置、大小及形狀存在差異等.故此，發(fā)展一種可應(yīng)用于臨床的肝腫瘤靶區(qū)勾畫算法有著切實的研究意義.

目前，圖像分割算法根據(jù)實現(xiàn)分割的技術(shù)進行分類，大致可分為傳統(tǒng)方法和基于深度學(xué)習(xí)的方法.傳統(tǒng)的方法依賴數(shù)學(xué)公式推導(dǎo)實現(xiàn)分割，如Foruzan等[2]提出了一種基于sigmoid邊緣模型的低對比圖像分割算法，首先運用支持向量機、分水嶺和分散數(shù)據(jù)近似算法獲取肝臟腫瘤粗略分割結(jié)果，然后采用 Sigmoid 邊界模型對分割結(jié)果進行細化.Wu 等[3]提出了一種基于改進的模糊 C 均值(FCM)和圖割的肝臟腫瘤半自動分割方法，首先根據(jù)人工選取的種子點提取肝臟腫瘤區(qū)域，然后利用提出的算法對分割結(jié)果進行優(yōu)化.Li 等[4]提出了一種結(jié)合了圖像梯度、區(qū)域競爭和先驗信息的新的水平集方法模型，對肝腫瘤進行半自動分割，然后運用模糊聚類估計腫瘤的概率分布，提高分割的準(zhǔn)確性.廖苗等[5]提出基于非線性增強和圖割的肝臟腫瘤自動分割，采用自適應(yīng)分段非線性增強和迭代卷積操作提高肝組織與腫瘤組織的對比度；然后將增強結(jié)果和圖像邊界信息有效地融入圖割能量函數(shù)，實現(xiàn)肝臟腫瘤初步自動分割結(jié)果;最后采用三維形態(tài)學(xué)開操作對初步分割結(jié)果進行優(yōu)化，提高分割精度.傳統(tǒng)方法一般需要人為干預(yù)，處理過程較為繁瑣，且由于傳統(tǒng)方法的處理速度及魯棒性，因此未能被廣泛應(yīng)用.深度學(xué)習(xí)方法則是主要依靠深度學(xué)習(xí)結(jié)構(gòu)(神經(jīng)網(wǎng)絡(luò))來實現(xiàn)分割，避免了繁瑣的公式推導(dǎo)，相較于傳統(tǒng)方法更加高效.Li等[6]提出了一種結(jié)合二維網(wǎng)絡(luò)和三維網(wǎng)絡(luò)的算法實現(xiàn)多重特征融合及優(yōu)化，用于肝臟及腫瘤分割.Christ等[7]提出了一種級聯(lián)FCN的肝腫瘤分割模型，他們首先訓(xùn)練了一個FCN來分割從腹部圖像中提取肝臟并使用分割的肝臟區(qū)域作為第2分割網(wǎng)絡(luò)的輸入，然后通過第2個FCN分離出病灶區(qū)域，并利用全連接條件隨機場對分割結(jié)果進行細化.Sun等[8]提出了多通道全卷積網(wǎng)絡(luò)用于肝臟腫瘤分割，它們在單個通道中對每個階段的數(shù)據(jù)進行網(wǎng)絡(luò)訓(xùn)練，然后將高級特征層合并到不同的通道中實現(xiàn)多通道訓(xùn)練策略.實驗結(jié)果表明，他們設(shè)計的網(wǎng)絡(luò)可以捕獲更全面的腫瘤特征并在一定程度上改善模型的表現(xiàn).Chlebus 等[9]在對傳統(tǒng)Unet改進的基礎(chǔ)上，利用形狀約束模型(隨機森林)對分割結(jié)果進行后處理，得到了不錯的分割結(jié)果.Song等[10]提出了用于肝臟和腫瘤分割的瓶頸監(jiān)督(BS)U-Net模型，他們對原始的U-Net，在編碼路徑中結(jié)合了密集模塊，初始模塊和膨脹卷積塊；其次，提出了瓶頸監(jiān)管網(wǎng)絡(luò)，包含一個編碼U-Net和一個分割U-Net，要訓(xùn)練瓶頸監(jiān)管網(wǎng)絡(luò)，首先對編碼U-Net進行訓(xùn)練，以獲取解剖信息(形狀和位置)標(biāo)簽圖的編碼.隨后，利用解剖信息指導(dǎo)分割U-Net的訓(xùn)練，以保留解剖特征目標(biāo)對象.實驗結(jié)果表明，模型獲得了出色的分割性能，并且在控制形狀失真方面頁非常出色.

針對肝臟腫瘤CT圖像中，圖像對比度低，肝組織與其他組織界限模糊、病灶區(qū)域過小等問題，本文設(shè)計了一種融入了注意力機制和級聯(lián)式網(wǎng)絡(luò)思想的肝腫瘤分割網(wǎng)絡(luò)(Cascaded Dual Attention Neural Netwoek，CDA-Net)，將雙注意力機制(通道注意力和空間注意力)融入深度學(xué)習(xí)模型中進一步優(yōu)化對小尺寸肝腫瘤的檢測，通過使用注意力機制，網(wǎng)絡(luò)可以有選擇的增強其中某些有用的特征，抑制無用的特征，從而提升模型表現(xiàn)；并在最后利用條件隨機場(CRF)[11]對最終的分割結(jié)果進行邊緣細化，從而提高對肝腫瘤的分割精度.

2 方 法

2.1 DA-Net模型及分割網(wǎng)絡(luò)框架

在原始Unet[12]網(wǎng)絡(luò)體系結(jié)構(gòu)中，通過在編碼路徑的每一個卷積塊后融入雙注意力模塊，構(gòu)成雙注意力分割網(wǎng)絡(luò)(Dual Attention Neural Networ，DA-Net).DA-Net體系結(jié)構(gòu)通過雙注意力機制，聚焦組合空間和上下文信息來實現(xiàn)精準(zhǔn)的逐像素預(yù)測.DA-Net體系結(jié)構(gòu)，如圖1所示，是一個9層的端對端網(wǎng)絡(luò)，由兩部分組成：第1部分(左側(cè))為編碼器網(wǎng)絡(luò)，第2部分(右側(cè))為解碼器網(wǎng)絡(luò)，對稱構(gòu)成編碼-解碼器結(jié)構(gòu).編碼器、解碼器都包含卷積塊，每個卷積塊都包含兩個卷積核大小為3×3的卷積層，在每個卷積層后都有一個BN(Batch Normalization)層和一個Relu激活層，BN層有助于加速網(wǎng)絡(luò)收斂速度，提升訓(xùn)練的穩(wěn)定效果.僅在編碼器的每個卷積塊后結(jié)合注意力模塊.

圖1 DA-Net體系結(jié)構(gòu)圖Fig.1 DA-Net architecture

在本文中，我們結(jié)合級聯(lián)式網(wǎng)絡(luò)思想，級聯(lián)兩個層次結(jié)構(gòu)完全相同的DA-Net，構(gòu)成肝臟腫瘤分割框架，如圖2所示.訓(xùn)練第1個網(wǎng)絡(luò)從原始CT圖像中提取出肝臟區(qū)域(步驟1)，訓(xùn)練第2個網(wǎng)絡(luò)從肝臟區(qū)域中分割出病變區(qū)域，并利用條件隨機場對分割結(jié)果進行邊緣細化，進一步提高分割的精度(步驟2).

圖2 分割網(wǎng)絡(luò)總體框架圖Fig.2 General frame diagram of segmentation network

級聯(lián)方法背后的動機是，已經(jīng)表明，Unet和其他形式的卷積神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)所提供數(shù)據(jù)的分層表示[7].通過級聯(lián)兩個DA-Net，可以確保步驟1中DA-Net從整個腹部CT圖像中學(xué)習(xí)到專門用于檢測和分割肝臟的過濾器，而步驟2中的DA-Net用于從肝臟組織中分離病灶區(qū)域.此外，從步驟1中分離出肝臟區(qū)域有助于減少病變的假陽性.

2.2 注意力模塊

注意力機制本身符合生物的視覺感知機制，通過利用聚焦于局部信息的機制，使得生物可以選擇性地專注于顯著部分，即重點關(guān)注區(qū)域，從而獲得更好的視覺結(jié)構(gòu)[13].而且隨著注意力機制近些年來在圖像[14-16]、自然語言處理等領(lǐng)域中大放異彩，它被大量的應(yīng)用于深度神經(jīng)網(wǎng)絡(luò)中來提升模型表現(xiàn).

本文在肝腫瘤分割任務(wù)中，將Sanghyun等[17]提出的卷積塊注意模塊(Convolutional Block Attention Module，CBAM)進行改進，并嵌入到網(wǎng)絡(luò)的解編碼路徑中，構(gòu)成多尺度(空間、通道)融合結(jié)構(gòu).卷積塊注意模塊，是一種結(jié)合了空間和通道的注意力機制模塊.相比于單獨的通道注意力模塊或空間注意力模塊，雙注意力模塊可以取得更好的效果.本文研究發(fā)現(xiàn)，在肝臟腫瘤分割任務(wù)中，比起原始CBAM模塊中將注意力模塊按照先通道注意力模塊，后空間注意力模塊進行串行排列的方式而言，將通道注意力模塊與空間注意力模塊并行排列的方式提供了更好的分割性能.對編碼路徑中的每一個卷積塊添加改進的CBAM模塊，在通道和空間維度上更加有效的去學(xué)習(xí)特征圖中的關(guān)鍵信息.改進的注意力模塊結(jié)構(gòu)如圖3所示.

圖3 注意力模塊Fig.3 Attention module

根據(jù)特征圖中各個特征通道的重要程度，通道注意力機制通過對的每個通道的重要程度進行建模，來著重關(guān)注重要的通道，選擇性的對特征通道進行增強或抑制[18].

給定經(jīng)初始卷積層生成的特征圖F∈RC×H×W作為輸入，其中C表示特征圖的通道數(shù)目，H和W分別代表特征圖的高和寬.首先，輸入的特征圖分別通過全局最大池化和全局平均池化聚合空間維度特征，獲得通道描述符Fc-max∈RC×1×1和Fc-avg∈RC×1×1.隨后，通道描述符分別經(jīng)過共享的多層感知機(MLP)輸出，將輸出的特征進行逐元素加和來合并輸出通道注意力的權(quán)重圖MC∈RC×1×1.最后，將通道注意力權(quán)重圖與原始輸入特征圖逐像素相乘，從而得到通道注意力加權(quán)圖Fc-out∈RC×H×W.

MC=σ(W1δ(W0Fc-max)+W1δ(W0Fc-max))

(1)

Fc-out=F·MC

(2)

通道注意力模塊的結(jié)構(gòu)如圖4所示.

圖4 通道注意力Fig.4 Channel attention

作為對通道注意力模塊的補充，將空間注意力模塊并行嵌入到多尺度特征融合結(jié)構(gòu)中，形成雙注意力模塊.與通道注意力關(guān)注通道不同，空間注意力機制更注重特征圖中那些位置是有效信息.對于輸入特征圖F∈RC×H×W，做一個基于通道的全局最大池化和全局平均池化操作來聚合特征圖譜的通道信息，生成兩個二維映射：Fs-max∈R1×H×W，F(xiàn)s-avg∈R1×H×W.然后，把它們基于通道進行拼接并經(jīng)過卷積核為的卷積層卷積，生成二維空間注意力權(quán)重圖Ms∈R1×H×W.最后將原輸入特征圖與權(quán)重圖逐元素相乘，獲得空間注意力加權(quán)圖Fs-out∈RC×H×W.

Ms=σ(f7×7[Fs-max，F(xiàn)s-avg])

(3)

Fs-out=F·MS

(4)

其中，σ表示Sigmoid激活函數(shù)；f表示卷積操作，7×7代表采用大小為7的卷積核，[]表示拼接操作.

圖5 空間注意力模塊Fig.5 Spatial attention module

空間注意力模塊的結(jié)構(gòu)如圖5所示.

2.3 條件隨機場

在自動分割的結(jié)果中，腫瘤的邊緣部分會出現(xiàn)欠分割、過分割等現(xiàn)象.為了緩解該問題，本文利用全連接條件隨機場對腫瘤分割結(jié)果進行后處理，進行邊緣約束，優(yōu)化分割結(jié)果.大量研究證實[19，20]，利用條件隨機場對分割結(jié)果進行后處理，可以獲得更加精確的分割結(jié)果，有助于提高模型的分割精度.

設(shè)X={X1，X2，…，XN}，I={I1，I2，…，IN}，均為隨機變量序列，n表示像素數(shù)量，Xi是像素i的分類標(biāo)簽(背景區(qū)域或目標(biāo)區(qū)域)，Ii是像素i的特征向量.在給定I的條件下，隨機變量序列X的條件概率分布P(X|I)構(gòu)成條件隨機場，給出概率函數(shù)：

(5)

其中：E(X)代表了能量函數(shù)；X代表該像素點屬于背景區(qū)域/目標(biāo)區(qū)域，Z(I)代表了歸一化因子[19，20].從式(5)可以看出，能量函數(shù)E(X)的值越小，最終得到結(jié)果就越好，給出能量函數(shù)：

E(X)=∑iψu(xi)+∑i

(6)

其中：ψu(xi)=-logP(xi)，代表了從模型輸出中獲得的一元勢函數(shù)，P(xi)表示像素i屬于背景(正常組織)/目標(biāo)(肝腫瘤)區(qū)域的概率取值.ψp(xj)為二元勢函數(shù)：

(7)

其中：μ(xi，xj)代表特征函數(shù)，當(dāng)xi≠xj時取值為1，否則為0；|pi-pj|代表像素i與j之間的空間距離；|Ii-Ij|表示它們在原圖中顏色強度差異；w代表線性組合權(quán)重，通過調(diào)整權(quán)重可以調(diào)節(jié)二元勢函數(shù)的值；權(quán)重w的有效范圍可通過調(diào)節(jié)θα，θβ，θγ的尺度來改變.

3 實驗結(jié)果及分析

3.1 數(shù)據(jù)集及數(shù)據(jù)預(yù)處理

實驗中所用的數(shù)據(jù)集來自于2017年MICCAI公開比賽Liver Tumor Segmentation Challenge(LiTS)，共包含131位病人數(shù)據(jù)，其中13套CT數(shù)據(jù)不包含腫瘤.為便于實驗對比，從剩余的118套CT數(shù)據(jù)中隨機抽取18套作為測試集，其余作為訓(xùn)練集用于訓(xùn)練.

圖6 圖像預(yù)處理Fig.6 Image preprocessing

由于原始醫(yī)學(xué)圖像中存在肝臟與周圍其他器官之間界限模糊，對比度低的問題，需要對圖像進行相應(yīng)的處理，降低無關(guān)噪聲的干擾，增強對比度.首先，根據(jù)經(jīng)驗，對所有CT圖像截出Hu值在[-50，190]的部分，即窗位為75，窗寬為250，去除其他器官的干擾.然后利用局部自適應(yīng)直方圖均衡化，增強對比度.如圖6所示，左邊為原始圖像，右邊為經(jīng)過處理后得到的圖像.由于醫(yī)學(xué)圖像的特殊性，可以看到經(jīng)過處理的圖片與原圖具有很大的區(qū)別，器官的邊緣細節(jié)以及圖像的對比度更加鮮明.

經(jīng)上述對圖像的處理，得到的訓(xùn)練集包括5184張圖片，測試集包括1257張圖片.為了增加訓(xùn)練數(shù)據(jù)集，本實驗采用隨機旋轉(zhuǎn)的方式進行數(shù)據(jù)增廣.

3.2 實驗設(shè)計及結(jié)果分析

為評估提出的肝腫瘤分割方法的效果，證實該方法對腫瘤分割的有效性，使用醫(yī)學(xué)圖像分割任務(wù)中常用的3個度量指標(biāo)，分別是重合率Dice、體積重疊誤差(Volume Overlap Error，VOE)及相對體積誤差(RVD).定義如下標(biāo)識符：代表的是ground truth的分割結(jié)果，即金標(biāo)準(zhǔn)；代表的是預(yù)測的分割結(jié)果.上述3個指標(biāo)的定義如下：

1)重合率(Dice)，直觀上來說代表的是兩個個體相交的面積占總面積的比值，其取值范圍為[0，1]，完美分割值為1.預(yù)測結(jié)果越趨近于金標(biāo)準(zhǔn)時，Dice分數(shù)越高，代表分割結(jié)果越準(zhǔn)確.計算公式如式(8)所示：

(8)

2)體積重疊誤差(VOE)，代表的是分割結(jié)果的體積與實際分割結(jié)果體積之間的誤差，該值越趨近于0，表示分割結(jié)果越精準(zhǔn).計算公式如式(9)所示：

(9)

3)相對體積差(RVD)，常用于代表判斷分割結(jié)果是否處于過分割或欠分割狀態(tài)，當(dāng)RVD系數(shù)大于0時，代表過分割，反之代表欠分割.計算公式如式(10)所示：

(10)

實驗1.為研究注意力模塊對分割網(wǎng)絡(luò)的性能影響，比較使用不同的注意力模塊排列：先空間后通道(SC)，先通道后空間(CS)及二者并列(即本文提出的方法，用CDA-Net表示)，對分割結(jié)果的影響，進行對比實驗.實驗將級聯(lián)式Unet設(shè)定為基本網(wǎng)絡(luò)模型，作為基準(zhǔn)線，在表1中用BS(Baseline)表示，通過將不同組合方式的空間/通道注意力模塊融入基本網(wǎng)絡(luò)模型中，顯著對比了注意力模塊各個組合方式對分割結(jié)果的影響.實驗結(jié)果如表1所示.

表1 不同模塊對性能的影響Table 1 Effect of different modules on Performance

可以看出，注意力模塊對分割結(jié)果均有提升.但綜合而言，將通道注意力模塊與空間注意力模塊并行排列的方法優(yōu)于其他組合方式，對模型的分割效果提升最為顯著.

表2 不同方法性能對比Table 2 Compare the performance of different methods

實驗2.綜合評價肝腫瘤分割結(jié)果，在測試集上分別對文獻[7]，文獻[10]，文獻[12]，文獻[21]及本文提出的方法進行測試，并計算上述3個度量標(biāo)準(zhǔn)的平均值，分割結(jié)果對比如表2所示.實驗結(jié)果表明，本文提出的CDA-Net+CRF模型的分割性能相較于其他兩種方法有明顯提升.

直觀分割效果上，圖7隨機列出了兩張測試圖像的分割結(jié)果.圖7(a)為經(jīng)過預(yù)處理后的原始CT圖，圖7(b)為專家手工分割結(jié)果，即金標(biāo)準(zhǔn)，圖7(c)為Proposed的分割結(jié)果.

圖7 腫瘤分割直觀效果圖Fig.7 Visual effect of tumor segmentation

從圖7中可以看出，本文提出的CDA-Net+CRF模型的分割結(jié)果圖像中檢測到了肝臟的病變區(qū)域.盡管存在過分割與欠分割的現(xiàn)象，但總體而言，分割效果與金標(biāo)準(zhǔn)較為相近，對于臨床應(yīng)用及輔助醫(yī)生診斷病情都具有一定的參考價值，證明了算法的可行性，且由于實驗采用的數(shù)據(jù)集來自不同的病人，具有不同的病理特征，也證實本文提出的方法具有很強的魯棒性.

4 結(jié)束語

針對肝臟腫瘤CT圖像中，肝組織與其他組織界限模糊、病灶區(qū)域過小、病灶區(qū)域與正常組織對比度低等問題，本文提出了一種新的肝腫瘤分割框架，稱為級聯(lián)式雙注意網(wǎng)絡(luò)(CDA-Net)，結(jié)合了注意力機制優(yōu)勢和級聯(lián)式思想優(yōu)勢，雙注意力機制分別捕捉空間維度和通道維度上的視覺特征關(guān)聯(lián)，增強特征的表達能力，通過雙級聯(lián)網(wǎng)絡(luò)依次提取肝臟區(qū)域，病灶區(qū)域，有利于減少病變區(qū)域的假陽性，提升網(wǎng)絡(luò)分割效果.實驗結(jié)果表明，分割結(jié)果與金標(biāo)準(zhǔn)大體上接近，且分割效果優(yōu)于其他兩種方法，提升了分割精度，并具有很強的魯棒性，證實了對肝腫瘤分割的有效性，為醫(yī)學(xué)圖像肝腫瘤的精確分割提供了一種行之有效的新途徑，具有一定的現(xiàn)實意義.