紀(jì)玲玉,高永彬,蔡清萍,衛(wèi)子然,廖 薇
(1.上海工程技術(shù)大學(xué)電子電氣工程學(xué)院,上海 201620;2.上海長(zhǎng)征醫(yī)院軍醫(yī)普通外科,上海 200003)
腹部動(dòng)脈血管分割對(duì)腹部惡性腫瘤患者的術(shù)前規(guī)劃有著重要的意義。例如,胃癌和肝癌是我國(guó)最常見的腫瘤,發(fā)病率和死亡率較高。胃癌的診斷在很大程度上取決于淋巴結(jié)轉(zhuǎn)移,然而,淋巴結(jié)的位置與腹主動(dòng)脈血管密切相關(guān)。根據(jù)胃癌國(guó)際標(biāo)準(zhǔn)分期系統(tǒng)TNM(T分期指腫瘤侵犯的深度,N分期指淋巴結(jié)轉(zhuǎn)移的個(gè)數(shù),M分期指腫瘤是否出現(xiàn)遠(yuǎn)處轉(zhuǎn)移)的N分期,醫(yī)學(xué)上7~9組淋巴結(jié)位于動(dòng)脈血管附近,主要分布于胃左動(dòng)脈、肝總動(dòng)脈和脾動(dòng)脈。精準(zhǔn)的血管分割有助于判斷受累淋巴結(jié)與動(dòng)脈血管結(jié)構(gòu)間的解剖關(guān)系,以及是否有侵犯等情況。此外,在肝動(dòng)脈解剖及變異的解剖學(xué)研究中,準(zhǔn)確的動(dòng)脈血管分割能使醫(yī)生更容易觀察到各種變異類型,為臨床肝腫瘤切除、肝移植及介入治療提供了重要參考。
近年來,針對(duì)腹部血管分割的研究方法主要是傳統(tǒng)方法,利用深度學(xué)習(xí)研究的甚少。例如,高躍[1]利用三維區(qū)域生長(zhǎng)法提取粗血管,然后采用連通域索引面積的計(jì)數(shù)來提取細(xì)血管。董建園等[2]利用水平集的方法進(jìn)行腹部血管分割。孫浩[3]采用對(duì)稱區(qū)域生長(zhǎng)法與局部二值擬合LBF(Local Binary Fitting)模型相結(jié)合提高腹部血管三維分割的精度。然而,傳統(tǒng)方法過多地依賴于先驗(yàn)知識(shí),特征設(shè)計(jì)具有局限性,很難提高分割精度。隨著卷積神經(jīng)網(wǎng)絡(luò)在語(yǔ)義分割方面的廣泛應(yīng)用,目前深度學(xué)習(xí)方法已被逐漸應(yīng)用到醫(yī)學(xué)圖像分割領(lǐng)域。最常用的卷積網(wǎng)絡(luò)主要有全卷積神經(jīng)網(wǎng)絡(luò)FCN(Fully Convolutional Networks)[4]、U型網(wǎng)絡(luò)U-Net[5]和V型網(wǎng)絡(luò)V-Net[6]等?;诰矸e神經(jīng)網(wǎng)絡(luò)的血管分割算法具有非常優(yōu)秀的圖像特征提取性能,在血管圖像分割中取得了重要的突破,分割精度和性能也超過了傳統(tǒng)方法的。然而,深度學(xué)習(xí)訓(xùn)練網(wǎng)絡(luò)時(shí)需要大量的數(shù)據(jù)集,由于醫(yī)療數(shù)據(jù)非常珍貴,大部分醫(yī)學(xué)訓(xùn)練數(shù)據(jù)都是小樣本。如何使醫(yī)學(xué)小數(shù)據(jù)也能得到很好的訓(xùn)練效果,文獻(xiàn)[5]提出了U-Net網(wǎng)絡(luò),該網(wǎng)絡(luò)是像素級(jí)的語(yǔ)義分割網(wǎng)絡(luò),對(duì)于醫(yī)學(xué)圖像等小數(shù)據(jù)集的圖像具有較好的分割性能。U-Net網(wǎng)絡(luò)在編碼器和解碼器的特征圖之間可能存在語(yǔ)義差距,因此文獻(xiàn)[7]在U-Net的跳躍鏈接處加入了一系列卷積層,以減小編碼和解碼的特征圖之間的語(yǔ)義差距。Multi-ResUNet網(wǎng)絡(luò)[8]在U-Net網(wǎng)絡(luò)的跳躍鏈接處加入了一系列帶有殘差的卷積層來傳遞編碼器特征,并且將卷積層替換為類似于Inception的模塊,有助于從不同目標(biāo)大小的圖像中學(xué)習(xí)特征信息。隨后,Zhou等[9]利用密集型條件隨機(jī)場(chǎng)模型和濾波器提升微小血管分割精度,較好地解決了微血管分割不足的問題,但仍存在部分微血管斷裂現(xiàn)象。Orlando等[10]將密集型CRF(Conditional Random Field)模型與CNN相結(jié)合應(yīng)用于血管分割,提升了微血管分割精度,但存在病灶誤分割的現(xiàn)象。為了更好地關(guān)注目標(biāo)區(qū)域和抑制無關(guān)區(qū)域,注意力機(jī)制[11]被提出并應(yīng)用在醫(yī)學(xué)圖像分割中,該模塊能夠生成一個(gè)門控信號(hào),用來控制不同空間位置特征的重要性。Zhang等[12]在M-Net[13]的基礎(chǔ)上將注意力機(jī)制與導(dǎo)向?yàn)V波器進(jìn)行結(jié)合,以提高網(wǎng)絡(luò)的分割性能。為了捕獲圖像上信息的時(shí)序性,文獻(xiàn)[14,15]利用帶有長(zhǎng)短時(shí)記憶的圖像序列算法分割醫(yī)學(xué)圖像,該算法將醫(yī)學(xué)圖像的時(shí)序信息結(jié)合到分割任務(wù)中,提升了目標(biāo)分割性能。但是這些方法都忽略了全局上下文信息。在很多工作中,融合不同尺度的特征是提高分割性能的一個(gè)重要手段。低層特征分辨率更高,包含更多位置、細(xì)節(jié)信息,但是由于經(jīng)過了卷積操作,其語(yǔ)義性更弱,噪聲更多。高層特征具有更強(qiáng)的語(yǔ)義信息,但是分辨率很低,對(duì)細(xì)節(jié)的感知能力較差。如何將兩者高效融合,取其長(zhǎng)處,棄之糟泊,是改善分割模型的關(guān)鍵。文獻(xiàn)[16]利用全局上下文注意模塊將低層和高層特征連接起來,產(chǎn)生更具代表性的特征;同時(shí)利用擠壓激勵(lì)金字塔池模塊增加感受野的大小和多尺度特征融合的能力。文獻(xiàn)[17]利用級(jí)聯(lián)式的空洞卷積和空間金字塔池來捕獲更大的感受野,提取高層特征信息。
在醫(yī)學(xué)圖像領(lǐng)域中,CT圖像相比于分割普通2D圖像存在許多難點(diǎn)。相鄰器官在CT影像上的空間界限很難確認(rèn),各組織間黏連的情況復(fù)雜。而且經(jīng)過造影劑進(jìn)行增強(qiáng)的血管和骨骼灰度值相近,很難區(qū)分。本文提出一種提升動(dòng)脈血管分割精度的聯(lián)合網(wǎng)絡(luò)架構(gòu)。首先采用帶有卷積注意模塊CBAM(Convolutional Block Attention Module)[18]的預(yù)訓(xùn)練resnet34[19]代替U-Net前4層編碼部分。與之前的resnet34相比,該方法在2層卷積層中加入卷積注意模塊CBAM,以加快網(wǎng)絡(luò)的收斂和更好地提取卷積層之間的特征信息。此外,本文提出了新的多尺度特征融合MFF(Multi-scale Feature Fusion)模塊,在增加感受野的同時(shí),增加不同感受野中目標(biāo)權(quán)重,以更好地捕獲高層特征信息。血管分割中,邊緣結(jié)構(gòu)信息的學(xué)習(xí)是理想分割的關(guān)鍵。利用注意力導(dǎo)向?yàn)V波AGF(Attention Guided Filter)作為結(jié)構(gòu)敏感的擴(kuò)展路徑,從已有的特征圖中傳輸結(jié)構(gòu)信息。注意力模塊能夠進(jìn)一步排除噪聲,減少背景的負(fù)面影響,有效地分割出細(xì)小分支血管。
在卷積神經(jīng)網(wǎng)絡(luò)中,U-Net[5]是醫(yī)學(xué)圖像處理常用的網(wǎng)絡(luò)架構(gòu),但是大量實(shí)驗(yàn)證明該網(wǎng)絡(luò)對(duì)物體的分割精度不夠高。由于腹部動(dòng)脈CT圖像上的血管特征不明顯,分割目標(biāo)較小,很難分割,本文提出了基于改進(jìn)U-Net的上腹部CT動(dòng)脈血管分割方法,以提升動(dòng)脈小分支血管的分割精度。網(wǎng)絡(luò)的整體結(jié)構(gòu)如圖1所示,包括卷積注意的預(yù)編碼模塊、多尺度特征融合模塊(MFF)和注意力導(dǎo)向?yàn)V波模塊。新融入的模塊能夠提升動(dòng)脈血管分割精度,解決分割邊界模糊和易斷裂等問題。
Figure 1 Overall network architecture圖1 整體網(wǎng)絡(luò)結(jié)構(gòu)圖
圖1的基礎(chǔ)網(wǎng)絡(luò)是U-Net[5],編碼部分采用帶有卷積注意的預(yù)訓(xùn)練resnet34模塊,Attention guide表示注意力導(dǎo)向?yàn)V波,MFF表示多尺度特征融合模塊。
隨著卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展,U-Net被廣泛應(yīng)用于醫(yī)學(xué)圖像分割。然而,由于醫(yī)學(xué)數(shù)據(jù)的稀有性,以及網(wǎng)絡(luò)訓(xùn)練的數(shù)據(jù)量少,樣本數(shù)據(jù)信息不足,導(dǎo)致網(wǎng)絡(luò)不易收斂,分割精度不高。遷移學(xué)習(xí)是一種非常有用的方法,可以在大多數(shù)情況下直接提高網(wǎng)絡(luò)性能,特別是在訓(xùn)練數(shù)據(jù)有限的情況下。在語(yǔ)義分割領(lǐng)域,使用ImageNet預(yù)訓(xùn)練權(quán)重初始化編碼器顯示出很好的分割結(jié)果。本文將預(yù)訓(xùn)練resnet34模塊遷移到U-Net的編碼部分,并在resnet34每2個(gè)卷積之間加入卷積注意模塊(CBAM)[19],構(gòu)成卷積注意的預(yù)編碼模塊,如圖2所示。卷積注意模塊可以更好地關(guān)注每個(gè)卷積所提取的有效特征,抑制不必要特征。由于卷積運(yùn)算通過將跨通道和空間信息混合在一起來提取信息特征,CBAM模塊就是用來強(qiáng)調(diào)這2個(gè)維度有意義的特征:通道維度和空間維度。CBMA模塊詳細(xì)公式如式(1)和式(2)所示:
F′=Mc(F)?F
(1)
F″=Ms(F′)?F′
(2)
其中,F是輸入的特征圖,F(xiàn)∈RC×H×W,?表示逐元素相乘法,Mc∈RC×1×1,Mc表示在通道維度上的注意力提取,Ms∈R1×H×W,Ms表示在空間維度上的注意力提取。
圖2所示的resnet34中的卷積注意模塊由Res-block塊(即圖2中虛線框外的部分)和CBAM模塊2部分組成,其中CBAM模塊主要由通道注意力和空間注意力構(gòu)成。
Figure 2 Convolution block attention module in resnet34圖2 resnet34中的卷積注意模塊
2.1.1 卷積注意模塊的通道注意力
Mc(F)=σ(MLP(AvgPool(F))+
MLP(MaxPool(F)))=
(3)
Figure 3 Process of channel attention block圖3 通道注意力模塊流程
2.1.2 卷積注意模塊的空間注意力
Ms(F)=σ(f7×7([AvgPool(F);MaxPool(F)]))
(4)
其中σ表示Sigmoid函數(shù)。
Figure 4 Procedure of spatial attention module 圖4 空間注意力模塊流程
卷積神經(jīng)網(wǎng)絡(luò)的各層特征對(duì)圖像分析都有不同的作用。淺層特征是粗糙的全局信息,有助于類別識(shí)別。深層特征是高分辨率的細(xì)節(jié)信息,有助于生成精細(xì)的邊界。這些特征全部融合能夠更好地提升分割的精度。然而,網(wǎng)絡(luò)層的加深會(huì)導(dǎo)致圖像的細(xì)節(jié)信息流失,特別是微血管目標(biāo)區(qū)域小,更容易丟失信息。受文獻(xiàn)[17,21]的啟發(fā),本文提出了新的多尺度特征融合(MFF)模塊。該模塊融入網(wǎng)絡(luò)瓶頸層以捕獲高層特征信息,提升微血管的分割精度。通常,一幅分割圖像有不同大小的分割目標(biāo),大感受野的卷積可以提取更抽象的特征信息,而小感受野的卷積能更好地分割小目標(biāo)[17]。MFF模塊利用不同空洞率(Dilation Rate)的空洞卷積,提取不同大小物體的特征信息,并且在不增加額外參數(shù)的同時(shí)擴(kuò)大感受野,并保留多尺度特征和細(xì)節(jié)信息[22]。該模塊將每個(gè)帶有空洞卷積的分支經(jīng)過線性變換送入Sigmoid激活函數(shù),然后與輸入特征元素相乘。最后,將具有不同大小的特征圖的4個(gè)輸出與原始圖像進(jìn)行融合。卷積核大小為3×3,空洞率r從1到5奇數(shù)性地增加,如圖5所示。
Figure 5 Multi-scale feature fusion module圖5 多尺度特征融合模塊
Figure 6 Attention guided filtering圖6 注意力導(dǎo)向?yàn)V波
(5)
式(5)的解如下所示:
(6)
(7)
(8)
圖7所示是注意力模塊,其中,O是濾波特征圖,Il是導(dǎo)向特征圖I經(jīng)過裁剪后的特征圖。Wg和Wx表示卷積操作。
Figure 7 Attention block圖7 注意力模塊
在深度學(xué)習(xí)中,像素分類問題最常見的損失函數(shù)是交叉損失函數(shù)。然而,針對(duì)醫(yī)學(xué)圖像的小目標(biāo)分割如微血管分割等場(chǎng)景,交叉損失函數(shù)不是最優(yōu)選擇。骰子系數(shù)Dice(Dice coefficient)[25]是一種集合相似度度量函數(shù),通常用于計(jì)算2個(gè)樣本的相似度,被廣泛應(yīng)用在醫(yī)學(xué)圖像分割中,對(duì)小目標(biāo)和類別不均衡樣本起到很好的分割作用。因此,本文采用Dice和權(quán)重衰減函數(shù)作為損失函數(shù):
(9)
其中,N是像素?cái)?shù),p(k,i)∈[0,1]和g(k,i)∈{0,1}表示相應(yīng)的類別k預(yù)測(cè)的概率和金標(biāo)準(zhǔn)。K是類別數(shù),Lreg是權(quán)重衰減函數(shù)[26],用來防止過擬合。
本文實(shí)驗(yàn)采用的CT原圖像數(shù)據(jù)來源于上海市長(zhǎng)征醫(yī)院。一共有21個(gè)病例的603幅圖像,圖像大小是512×512。每一個(gè)數(shù)據(jù)都包含了人體的整個(gè)腹部區(qū)域,并且都是經(jīng)過血管造影劑進(jìn)行增強(qiáng)掃描后成像。本文選擇血管的門脈期圖像作為數(shù)據(jù)集,此期每個(gè)病人的CT包括40~50幅切片,對(duì)每個(gè)病人選取了有效的30幅切片。為了便于實(shí)驗(yàn),本文將原CT圖像轉(zhuǎn)換成二維圖像。本文使用16個(gè)病人的大約480幅圖像作為訓(xùn)練集,訓(xùn)練網(wǎng)絡(luò)權(quán)重。其余5個(gè)病人的150幅圖像作為測(cè)試集,用于評(píng)估網(wǎng)絡(luò)性能。關(guān)于本文使用的實(shí)驗(yàn)數(shù)據(jù)分割結(jié)果的金標(biāo)準(zhǔn),是由多個(gè)專家對(duì)CT原數(shù)據(jù)圖像進(jìn)行多次人工標(biāo)記得到的平均結(jié)果。標(biāo)注的血管主要是肝左動(dòng)脈、胃左動(dòng)脈和脾動(dòng)脈的血管,在上腹部CT中,本文只關(guān)注此區(qū)域血管,便于后續(xù)對(duì)胃癌淋巴結(jié)和肝動(dòng)脈變異類型的研究。圖8所示為不同病人動(dòng)脈血管在CT圖像中的表現(xiàn)。
Figure 8 CT vascular images of different patients圖8 不同病人CT圖像血管表現(xiàn)
圖8a和圖8b箭頭指向主動(dòng)脈,圖8c和圖8d箭頭指向主動(dòng)脈和動(dòng)脈。
本文在PTtorch平臺(tái)上使用Python3編程語(yǔ)言來進(jìn)行實(shí)驗(yàn),訓(xùn)練和測(cè)試平臺(tái)是帶有單個(gè)NVIDIA GPU(Nvidia_GTX_1080Ti)的Ubuntu 16.04系統(tǒng)。選用Adam優(yōu)化器[27]對(duì)網(wǎng)絡(luò)中的權(quán)重和偏值參數(shù)進(jìn)行優(yōu)化,batch_size設(shè)置為1,epoch設(shè)置為300。
本文采用靈敏度Sen(Sensitivity)、交并比IOU(Intersection-Over-Union)和ROC(Receiver Operating Characteristic)曲線下的面積AUC作為網(wǎng)絡(luò)性能評(píng)估指標(biāo)。靈敏度(Sen)表示正確分類血管像素占真實(shí)血管像素的百分比;IOU表示預(yù)測(cè)結(jié)果與金標(biāo)準(zhǔn)的窗口的交疊率。ROC曲線是一種重要衡量血管分割結(jié)果綜合性能的標(biāo)準(zhǔn),其橫軸表示假陽(yáng)性率,縱軸表示真陽(yáng)性率,反映不同閾值下二者的變化趨勢(shì),其值越大說明分割方法性能魯棒性越優(yōu)異。Sen和IOU的計(jì)算分別如式(10)和式(11)所示:
(10)
(11)
其中,TP和FN分別表示真陽(yáng)性和假陰性;A表示預(yù)測(cè)結(jié)果,B表示金標(biāo)準(zhǔn)(Ground-truth)。
表1顯示了不同分割方法的腹部動(dòng)脈血管分割結(jié)果。從表1中可看出,本文所提方法在Sen、AUC和IOU上均有提升。相比于基礎(chǔ)網(wǎng)絡(luò)U-Net[5],所提方法在Sen、AUC和IOU上分別提升了2.84%,1.41%和1.19%。與網(wǎng)絡(luò)CE-Net[17]相比,在Sen、AUC和IOU上也分別提升了1.34%,0.66%和1.61%。與網(wǎng)絡(luò)AG-Net[12]相比,Sen提升了1.31%,AUC提升了1.15%,IOU提升了1.45%。圖9所示為不同分割方法的可視化結(jié)果。本文選擇3個(gè)不同病人,分別用a、b、c表示。從圖9中可以直觀地看出,盡管幾種分割方法對(duì)于動(dòng)脈血管均有漏分(是血管的部分沒有分割出來)和過多分割(不是血管當(dāng)作血管分割)的現(xiàn)象,但與其他方法相比,本文所提方法對(duì)血管分割更加連續(xù),重疊度更高。
Table 1 Quantitative comparison of the abdominal artery vascular segmentation表1 不同方法的腹部動(dòng)脈血管分割結(jié)果定量比較
Figure 9 Different patients’ arterial segmentation results with different methods 圖9 不同方法不同病人動(dòng)脈血管分割結(jié)果對(duì)比
為了說明主動(dòng)脈和動(dòng)脈血管在分割難度上有差距,本文也選取了180幅只包含主動(dòng)脈的血管進(jìn)行實(shí)驗(yàn),用其中的140幅作為訓(xùn)練集,其余40幅用來測(cè)試,同時(shí)與不同方法進(jìn)行比較,實(shí)驗(yàn)結(jié)果如表2所示。所提方法主動(dòng)脈分割的重疊率IOU達(dá)到了93.24%。與基礎(chǔ)網(wǎng)絡(luò)U-Net相比,各項(xiàng)指標(biāo)均有提升,特別是在Sen和IOU上分別提升了3.81%和2.75%。與網(wǎng)絡(luò)CE-Net[17]相比,本文所提方法在Sen和IOU上分別提升了2.11%和1.23%。與網(wǎng)絡(luò)AG-Net[12]相比,Sen提升了1.56%,IOU提升了1.30%。說明本文所提方法在動(dòng)脈血管和主動(dòng)脈血管分割上確實(shí)有效,進(jìn)一步說明了主動(dòng)脈更易分割。圖10所示為不同分割方法的主動(dòng)脈分割結(jié)果的可視化結(jié)果。
為了說明網(wǎng)絡(luò)中的各個(gè)模塊確實(shí)起作用,本文在腹部動(dòng)脈血管上進(jìn)行了消融研究,消融研究是指在基礎(chǔ)網(wǎng)絡(luò)架構(gòu)上加入不同新模塊所提升的性能比較,實(shí)驗(yàn)結(jié)果如表3所示。與基礎(chǔ)網(wǎng)絡(luò)相比,加入帶有卷積注意的預(yù)訓(xùn)練resnet34(簡(jiǎn)稱resnet34.cbam),在Sen、AUC和IOU上分別提升了1.95%,0.97%和0.31%。融入注意力導(dǎo)向?yàn)V波和預(yù)訓(xùn)練resnet34.cbam模塊,Sen提升了2.34%,AUC提升了1.16%,IOU提升了0.59%。最后引入多尺度特征融合模塊,網(wǎng)絡(luò)性能各項(xiàng)指標(biāo)都有相應(yīng)提升。說明網(wǎng)絡(luò)中加入的每一個(gè)新模塊對(duì)腹部動(dòng)脈血管都有很好的分割效果。
Table 2 Quantitative comparison of aortic vessel segmentation with different methods 表2 不同方法的腹部主動(dòng)脈血管分割結(jié)果定量比較
Figure 10 Aortic segmentation results with different methods圖10 不同方法的主動(dòng)脈分割結(jié)果
Table 3 Ablation studies of different modules on the arterial vessels表3 不同模塊在動(dòng)脈血管數(shù)據(jù)上的消融研究
本文提出了一種新的卷積網(wǎng)絡(luò)架構(gòu)用于腹腔動(dòng)脈血管分割。首先,由于醫(yī)學(xué)數(shù)據(jù)較少,本文采用預(yù)訓(xùn)練的resnet34.cbam作為網(wǎng)絡(luò)的編碼部分,解決了小樣本和樣本信息不足的問題,同時(shí)加入的CBAM模塊能夠提升網(wǎng)絡(luò)的分割性能。其次,為了獲取豐富的多尺度特征信息,提出了新的多尺度特征融合模塊,在擴(kuò)大感受野的同時(shí)捕獲有效信息。最后,由于血管邊界結(jié)構(gòu)信息對(duì)于血管的精準(zhǔn)分割很重要,利用注意力導(dǎo)向?yàn)V波作為信息擴(kuò)展路徑,獲取血管的邊界結(jié)構(gòu)信息。腹部動(dòng)脈血管分割的實(shí)驗(yàn)結(jié)果顯示,與基礎(chǔ)網(wǎng)絡(luò)架構(gòu)相比,本文所提方法的Sen、AUC和IOU都有很大的提升,說明所提網(wǎng)絡(luò)架構(gòu)能夠更好地提升動(dòng)脈血管的分割精度。
盡管該方法利用深度學(xué)習(xí)解決了傳統(tǒng)方法的耗時(shí)耗力問題,對(duì)動(dòng)脈微血管的分割也有了很大的提升。但是,動(dòng)脈血管分割的重疊率和靈敏度分別只達(dá)到81.03%和88.32%,仍舊沒有達(dá)到100%的分割效果。我們認(rèn)為主要原因是動(dòng)脈血管的數(shù)據(jù)量太少,不能滿足訓(xùn)練需求。其次,沒有對(duì)圖像進(jìn)行預(yù)處理,影響了訓(xùn)練效果。后續(xù),我們將針對(duì)目前存在的問題做進(jìn)一步優(yōu)化,并對(duì)分割的血管進(jìn)行三維重建,判斷肝動(dòng)脈變異的類型,診斷胃癌淋巴結(jié)的轉(zhuǎn)移情況。