基于改進卷積神經(jīng)網(wǎng)絡的腹部動脈血管分割*

紀玲玉,高永彬,蔡清萍,衛(wèi)子然,廖 薇

(1.上海工程技術大學電子電氣工程學院，上海 201620;2.上海長征醫(yī)院軍醫(yī)普通外科，上海 200003)

1 引言

腹部動脈血管分割對腹部惡性腫瘤患者的術前規(guī)劃有著重要的意義。例如，胃癌和肝癌是我國最常見的腫瘤，發(fā)病率和死亡率較高。胃癌的診斷在很大程度上取決于淋巴結轉移，然而，淋巴結的位置與腹主動脈血管密切相關。根據(jù)胃癌國際標準分期系統(tǒng)TNM(T分期指腫瘤侵犯的深度，N分期指淋巴結轉移的個數(shù)，M分期指腫瘤是否出現(xiàn)遠處轉移)的N分期，醫(yī)學上7～9組淋巴結位于動脈血管附近，主要分布于胃左動脈、肝總動脈和脾動脈。精準的血管分割有助于判斷受累淋巴結與動脈血管結構間的解剖關系，以及是否有侵犯等情況。此外，在肝動脈解剖及變異的解剖學研究中，準確的動脈血管分割能使醫(yī)生更容易觀察到各種變異類型，為臨床肝腫瘤切除、肝移植及介入治療提供了重要參考。

近年來，針對腹部血管分割的研究方法主要是傳統(tǒng)方法，利用深度學習研究的甚少。例如，高躍[1]利用三維區(qū)域生長法提取粗血管，然后采用連通域索引面積的計數(shù)來提取細血管。董建園等[2]利用水平集的方法進行腹部血管分割。孫浩[3]采用對稱區(qū)域生長法與局部二值擬合LBF(Local Binary Fitting)模型相結合提高腹部血管三維分割的精度。然而，傳統(tǒng)方法過多地依賴于先驗知識，特征設計具有局限性，很難提高分割精度。隨著卷積神經(jīng)網(wǎng)絡在語義分割方面的廣泛應用，目前深度學習方法已被逐漸應用到醫(yī)學圖像分割領域。最常用的卷積網(wǎng)絡主要有全卷積神經(jīng)網(wǎng)絡FCN(Fully Convolutional Networks)[4]、U型網(wǎng)絡U-Net[5]和V型網(wǎng)絡V-Net[6]等?；诰矸e神經(jīng)網(wǎng)絡的血管分割算法具有非常優(yōu)秀的圖像特征提取性能，在血管圖像分割中取得了重要的突破，分割精度和性能也超過了傳統(tǒng)方法的。然而，深度學習訓練網(wǎng)絡時需要大量的數(shù)據(jù)集，由于醫(yī)療數(shù)據(jù)非常珍貴，大部分醫(yī)學訓練數(shù)據(jù)都是小樣本。如何使醫(yī)學小數(shù)據(jù)也能得到很好的訓練效果，文獻[5]提出了U-Net網(wǎng)絡，該網(wǎng)絡是像素級的語義分割網(wǎng)絡，對于醫(yī)學圖像等小數(shù)據(jù)集的圖像具有較好的分割性能。U-Net網(wǎng)絡在編碼器和解碼器的特征圖之間可能存在語義差距，因此文獻[7]在U-Net的跳躍鏈接處加入了一系列卷積層，以減小編碼和解碼的特征圖之間的語義差距。Multi-ResUNet網(wǎng)絡[8]在U-Net網(wǎng)絡的跳躍鏈接處加入了一系列帶有殘差的卷積層來傳遞編碼器特征，并且將卷積層替換為類似于Inception的模塊，有助于從不同目標大小的圖像中學習特征信息。隨后，Zhou等[9]利用密集型條件隨機場模型和濾波器提升微小血管分割精度，較好地解決了微血管分割不足的問題，但仍存在部分微血管斷裂現(xiàn)象。Orlando等[10]將密集型CRF(Conditional Random Field)模型與CNN相結合應用于血管分割，提升了微血管分割精度，但存在病灶誤分割的現(xiàn)象。為了更好地關注目標區(qū)域和抑制無關區(qū)域，注意力機制[11]被提出并應用在醫(yī)學圖像分割中，該模塊能夠生成一個門控信號，用來控制不同空間位置特征的重要性。Zhang等[12]在M-Net[13]的基礎上將注意力機制與導向濾波器進行結合，以提高網(wǎng)絡的分割性能。為了捕獲圖像上信息的時序性，文獻[14,15]利用帶有長短時記憶的圖像序列算法分割醫(yī)學圖像，該算法將醫(yī)學圖像的時序信息結合到分割任務中，提升了目標分割性能。但是這些方法都忽略了全局上下文信息。在很多工作中，融合不同尺度的特征是提高分割性能的一個重要手段。低層特征分辨率更高，包含更多位置、細節(jié)信息，但是由于經(jīng)過了卷積操作，其語義性更弱，噪聲更多。高層特征具有更強的語義信息，但是分辨率很低，對細節(jié)的感知能力較差。如何將兩者高效融合，取其長處，棄之糟泊，是改善分割模型的關鍵。文獻[16]利用全局上下文注意模塊將低層和高層特征連接起來，產(chǎn)生更具代表性的特征；同時利用擠壓激勵金字塔池模塊增加感受野的大小和多尺度特征融合的能力。文獻[17]利用級聯(lián)式的空洞卷積和空間金字塔池來捕獲更大的感受野，提取高層特征信息。

在醫(yī)學圖像領域中，CT圖像相比于分割普通2D圖像存在許多難點。相鄰器官在CT影像上的空間界限很難確認，各組織間黏連的情況復雜。而且經(jīng)過造影劑進行增強的血管和骨骼灰度值相近，很難區(qū)分。本文提出一種提升動脈血管分割精度的聯(lián)合網(wǎng)絡架構。首先采用帶有卷積注意模塊CBAM(Convolutional Block Attention Module)[18]的預訓練resnet34[19]代替U-Net前4層編碼部分。與之前的resnet34相比，該方法在2層卷積層中加入卷積注意模塊CBAM，以加快網(wǎng)絡的收斂和更好地提取卷積層之間的特征信息。此外，本文提出了新的多尺度特征融合MFF(Multi-scale Feature Fusion)模塊，在增加感受野的同時，增加不同感受野中目標權重，以更好地捕獲高層特征信息。血管分割中，邊緣結構信息的學習是理想分割的關鍵。利用注意力導向濾波AGF(Attention Guided Filter)作為結構敏感的擴展路徑，從已有的特征圖中傳輸結構信息。注意力模塊能夠進一步排除噪聲，減少背景的負面影響，有效地分割出細小分支血管。

2 方法設計

在卷積神經(jīng)網(wǎng)絡中，U-Net[5]是醫(yī)學圖像處理常用的網(wǎng)絡架構，但是大量實驗證明該網(wǎng)絡對物體的分割精度不夠高。由于腹部動脈CT圖像上的血管特征不明顯，分割目標較小，很難分割，本文提出了基于改進U-Net的上腹部CT動脈血管分割方法，以提升動脈小分支血管的分割精度。網(wǎng)絡的整體結構如圖1所示，包括卷積注意的預編碼模塊、多尺度特征融合模塊(MFF)和注意力導向濾波模塊。新融入的模塊能夠提升動脈血管分割精度，解決分割邊界模糊和易斷裂等問題。

Figure 1 Overall network architecture圖1 整體網(wǎng)絡結構圖

圖1的基礎網(wǎng)絡是U-Net[5]，編碼部分采用帶有卷積注意的預訓練resnet34模塊，Attention guide表示注意力導向濾波，MFF表示多尺度特征融合模塊。

2.1 帶有卷積注意的預編碼模塊

隨著卷積神經(jīng)網(wǎng)絡的發(fā)展，U-Net被廣泛應用于醫(yī)學圖像分割。然而，由于醫(yī)學數(shù)據(jù)的稀有性，以及網(wǎng)絡訓練的數(shù)據(jù)量少，樣本數(shù)據(jù)信息不足，導致網(wǎng)絡不易收斂，分割精度不高。遷移學習是一種非常有用的方法，可以在大多數(shù)情況下直接提高網(wǎng)絡性能，特別是在訓練數(shù)據(jù)有限的情況下。在語義分割領域，使用ImageNet預訓練權重初始化編碼器顯示出很好的分割結果。本文將預訓練resnet34模塊遷移到U-Net的編碼部分，并在resnet34每2個卷積之間加入卷積注意模塊(CBAM)[19]，構成卷積注意的預編碼模塊，如圖2所示。卷積注意模塊可以更好地關注每個卷積所提取的有效特征，抑制不必要特征。由于卷積運算通過將跨通道和空間信息混合在一起來提取信息特征，CBAM模塊就是用來強調這2個維度有意義的特征：通道維度和空間維度。CBMA模塊詳細公式如式(1)和式(2)所示：

F′=Mc(F)?F

(1)

F″=Ms(F′)?F′

(2)

其中,F是輸入的特征圖，F(xiàn)∈RC×H×W,?表示逐元素相乘法，Mc∈RC×1×1,Mc表示在通道維度上的注意力提取，Ms∈R1×H×W,Ms表示在空間維度上的注意力提取。

圖2所示的resnet34中的卷積注意模塊由Res-block塊(即圖2中虛線框外的部分)和CBAM模塊2部分組成，其中CBAM模塊主要由通道注意力和空間注意力構成。

Figure 2 Convolution block attention module in resnet34圖2 resnet34中的卷積注意模塊

2.1.1 卷積注意模塊的通道注意力

Mc(F)=σ(MLP(AvgPool(F))+

MLP(MaxPool(F)))=

(3)

Figure 3 Process of channel attention block圖3 通道注意力模塊流程

2.1.2 卷積注意模塊的空間注意力

Ms(F)=σ(f7×7([AvgPool(F);MaxPool(F)]))

(4)

其中σ表示Sigmoid函數(shù)。

Figure 4 Procedure of spatial attention module 圖4 空間注意力模塊流程

2.2 多尺度特征融合模塊

卷積神經(jīng)網(wǎng)絡的各層特征對圖像分析都有不同的作用。淺層特征是粗糙的全局信息，有助于類別識別。深層特征是高分辨率的細節(jié)信息，有助于生成精細的邊界。這些特征全部融合能夠更好地提升分割的精度。然而，網(wǎng)絡層的加深會導致圖像的細節(jié)信息流失，特別是微血管目標區(qū)域小，更容易丟失信息。受文獻[17，21]的啟發(fā)，本文提出了新的多尺度特征融合(MFF)模塊。該模塊融入網(wǎng)絡瓶頸層以捕獲高層特征信息，提升微血管的分割精度。通常，一幅分割圖像有不同大小的分割目標，大感受野的卷積可以提取更抽象的特征信息，而小感受野的卷積能更好地分割小目標[17]。MFF模塊利用不同空洞率(Dilation Rate)的空洞卷積，提取不同大小物體的特征信息，并且在不增加額外參數(shù)的同時擴大感受野，并保留多尺度特征和細節(jié)信息[22]。該模塊將每個帶有空洞卷積的分支經(jīng)過線性變換送入Sigmoid激活函數(shù)，然后與輸入特征元素相乘。最后，將具有不同大小的特征圖的4個輸出與原始圖像進行融合。卷積核大小為3×3，空洞率r從1到5奇數(shù)性地增加，如圖5所示。

Figure 5 Multi-scale feature fusion module圖5 多尺度特征融合模塊

2.3 注意力導向濾波

Figure 6 Attention guided filtering圖6 注意力導向濾波

(5)

式(5)的解如下所示：

(6)

(7)

(8)

圖7所示是注意力模塊，其中，O是濾波特征圖，Il是導向特征圖I經(jīng)過裁剪后的特征圖。Wg和Wx表示卷積操作。

Figure 7 Attention block圖7 注意力模塊

2.4 損失函數(shù)

在深度學習中，像素分類問題最常見的損失函數(shù)是交叉損失函數(shù)。然而，針對醫(yī)學圖像的小目標分割如微血管分割等場景，交叉損失函數(shù)不是最優(yōu)選擇。骰子系數(shù)Dice(Dice coefficient)[25]是一種集合相似度度量函數(shù)，通常用于計算2個樣本的相似度，被廣泛應用在醫(yī)學圖像分割中，對小目標和類別不均衡樣本起到很好的分割作用。因此，本文采用Dice和權重衰減函數(shù)作為損失函數(shù):

(9)

其中，N是像素數(shù)，p(k,i)∈[0,1]和g(k,i)∈{0,1}表示相應的類別k預測的概率和金標準。K是類別數(shù)，Lreg是權重衰減函數(shù)[26]，用來防止過擬合。

3 實驗結果和分析

3.1 實驗數(shù)據(jù)

本文實驗采用的CT原圖像數(shù)據(jù)來源于上海市長征醫(yī)院。一共有21個病例的603幅圖像，圖像大小是512×512。每一個數(shù)據(jù)都包含了人體的整個腹部區(qū)域，并且都是經(jīng)過血管造影劑進行增強掃描后成像。本文選擇血管的門脈期圖像作為數(shù)據(jù)集，此期每個病人的CT包括40～50幅切片，對每個病人選取了有效的30幅切片。為了便于實驗，本文將原CT圖像轉換成二維圖像。本文使用16個病人的大約480幅圖像作為訓練集，訓練網(wǎng)絡權重。其余5個病人的150幅圖像作為測試集，用于評估網(wǎng)絡性能。關于本文使用的實驗數(shù)據(jù)分割結果的金標準，是由多個專家對CT原數(shù)據(jù)圖像進行多次人工標記得到的平均結果。標注的血管主要是肝左動脈、胃左動脈和脾動脈的血管，在上腹部CT中，本文只關注此區(qū)域血管，便于后續(xù)對胃癌淋巴結和肝動脈變異類型的研究。圖8所示為不同病人動脈血管在CT圖像中的表現(xiàn)。

Figure 8 CT vascular images of different patients圖8 不同病人CT圖像血管表現(xiàn)

圖8a和圖8b箭頭指向主動脈,圖8c和圖8d箭頭指向主動脈和動脈。

3.2 實驗環(huán)境

本文在PTtorch平臺上使用Python3編程語言來進行實驗，訓練和測試平臺是帶有單個NVIDIA GPU(Nvidia_GTX_1080Ti)的Ubuntu 16.04系統(tǒng)。選用Adam優(yōu)化器[27]對網(wǎng)絡中的權重和偏值參數(shù)進行優(yōu)化,batch_size設置為1，epoch設置為300。

3.3 實驗評估

本文采用靈敏度Sen(Sensitivity)、交并比IOU(Intersection-Over-Union)和ROC(Receiver Operating Characteristic)曲線下的面積AUC作為網(wǎng)絡性能評估指標。靈敏度(Sen)表示正確分類血管像素占真實血管像素的百分比；IOU表示預測結果與金標準的窗口的交疊率。ROC曲線是一種重要衡量血管分割結果綜合性能的標準，其橫軸表示假陽性率,縱軸表示真陽性率,反映不同閾值下二者的變化趨勢，其值越大說明分割方法性能魯棒性越優(yōu)異。Sen和IOU的計算分別如式(10)和式(11)所示：

(10)

(11)

其中,TP和FN分別表示真陽性和假陰性；A表示預測結果，B表示金標準(Ground-truth)。

表1顯示了不同分割方法的腹部動脈血管分割結果。從表1中可看出，本文所提方法在Sen、AUC和IOU上均有提升。相比于基礎網(wǎng)絡U-Net[5]，所提方法在Sen、AUC和IOU上分別提升了2.84%,1.41%和1.19%。與網(wǎng)絡CE-Net[17]相比,在Sen、AUC和IOU上也分別提升了1.34%,0.66%和1.61%。與網(wǎng)絡AG-Net[12]相比，Sen提升了1.31%，AUC提升了1.15%，IOU提升了1.45%。圖9所示為不同分割方法的可視化結果。本文選擇3個不同病人，分別用a、b、c表示。從圖9中可以直觀地看出，盡管幾種分割方法對于動脈血管均有漏分(是血管的部分沒有分割出來)和過多分割(不是血管當作血管分割)的現(xiàn)象，但與其他方法相比，本文所提方法對血管分割更加連續(xù)，重疊度更高。

Table 1 Quantitative comparison of the abdominal artery vascular segmentation表1 不同方法的腹部動脈血管分割結果定量比較

Figure 9 Different patients’ arterial segmentation results with different methods 圖9 不同方法不同病人動脈血管分割結果對比

為了說明主動脈和動脈血管在分割難度上有差距，本文也選取了180幅只包含主動脈的血管進行實驗，用其中的140幅作為訓練集，其余40幅用來測試，同時與不同方法進行比較，實驗結果如表2所示。所提方法主動脈分割的重疊率IOU達到了93.24%。與基礎網(wǎng)絡U-Net相比，各項指標均有提升，特別是在Sen和IOU上分別提升了3.81%和2.75%。與網(wǎng)絡CE-Net[17]相比，本文所提方法在Sen和IOU上分別提升了2.11%和1.23%。與網(wǎng)絡AG-Net[12]相比，Sen提升了1.56%，IOU提升了1.30%。說明本文所提方法在動脈血管和主動脈血管分割上確實有效,進一步說明了主動脈更易分割。圖10所示為不同分割方法的主動脈分割結果的可視化結果。

3.4 消融研究

為了說明網(wǎng)絡中的各個模塊確實起作用，本文在腹部動脈血管上進行了消融研究，消融研究是指在基礎網(wǎng)絡架構上加入不同新模塊所提升的性能比較，實驗結果如表3所示。與基礎網(wǎng)絡相比，加入帶有卷積注意的預訓練resnet34(簡稱resnet34.cbam)，在Sen、AUC和IOU上分別提升了1.95%,0.97%和0.31%。融入注意力導向濾波和預訓練resnet34.cbam模塊，Sen提升了2.34%，AUC提升了1.16%,IOU提升了0.59%。最后引入多尺度特征融合模塊，網(wǎng)絡性能各項指標都有相應提升。說明網(wǎng)絡中加入的每一個新模塊對腹部動脈血管都有很好的分割效果。

Table 2 Quantitative comparison of aortic vessel segmentation with different methods 表2 不同方法的腹部主動脈血管分割結果定量比較

Figure 10 Aortic segmentation results with different methods圖10 不同方法的主動脈分割結果

Table 3 Ablation studies of different modules on the arterial vessels表3 不同模塊在動脈血管數(shù)據(jù)上的消融研究

4 結束語

本文提出了一種新的卷積網(wǎng)絡架構用于腹腔動脈血管分割。首先，由于醫(yī)學數(shù)據(jù)較少，本文采用預訓練的resnet34.cbam作為網(wǎng)絡的編碼部分，解決了小樣本和樣本信息不足的問題，同時加入的CBAM模塊能夠提升網(wǎng)絡的分割性能。其次，為了獲取豐富的多尺度特征信息，提出了新的多尺度特征融合模塊，在擴大感受野的同時捕獲有效信息。最后，由于血管邊界結構信息對于血管的精準分割很重要，利用注意力導向濾波作為信息擴展路徑，獲取血管的邊界結構信息。腹部動脈血管分割的實驗結果顯示，與基礎網(wǎng)絡架構相比，本文所提方法的Sen、AUC和IOU都有很大的提升，說明所提網(wǎng)絡架構能夠更好地提升動脈血管的分割精度。

盡管該方法利用深度學習解決了傳統(tǒng)方法的耗時耗力問題，對動脈微血管的分割也有了很大的提升。但是，動脈血管分割的重疊率和靈敏度分別只達到81.03%和88.32%，仍舊沒有達到100%的分割效果。我們認為主要原因是動脈血管的數(shù)據(jù)量太少，不能滿足訓練需求。其次，沒有對圖像進行預處理，影響了訓練效果。后續(xù)，我們將針對目前存在的問題做進一步優(yōu)化，并對分割的血管進行三維重建，判斷肝動脈變異的類型，診斷胃癌淋巴結的轉移情況。