嵌入注意力機制的多模型融合冠脈CTA分割算法

沈 燁，方志軍，高永彬

上海工程技術(shù)大學電子電氣工程學院，上海 201600

1 引言

我國一直是心血管疾病的高發(fā)國之一，隨著生活水平的日益提高，心血管疾病不斷開始蔓延，而且發(fā)病年齡日趨年輕化，嚴重威脅著人類的健康。冠狀動脈性心臟?。╟oronary heart disease，CHD），又稱為冠心病。作為一種常見的心臟疾病，其病因是由于冠狀動脈壁的沉積物導致血管狹窄，致使心肌缺血從而導致其功能障礙與器質(zhì)性病變。因此又稱為缺血性心臟?。╥schemic heart disease，IHD）[1]。冠心病絕大多數(shù)的原因是由冠狀動脈的粥樣硬化導致的，故習慣上稱冠狀動脈性心臟病為冠狀動脈粥樣硬化性心臟病。在冠心病患者中存在處于臨界狀態(tài)的情況，即狹窄50%～70%。這種情況根據(jù)冠脈的結(jié)構(gòu)和患者心肌功能的損傷情況判斷是否需要置入支架。針對同一類型的病變，不同的醫(yī)生根據(jù)冠狀動脈造影結(jié)果會給出不同的治療策略，但部分患者的冠狀狹窄程度超過50%，患者的心肌并沒有明顯缺血，有些反之。由此可見，根據(jù)患者的冠狀動脈造影指導具有主觀性。因此通過計算機輔助診斷技術(shù)對冠狀動脈進行準確分割的這項工作，對于及早發(fā)現(xiàn)冠心病以及冠心病的治療具有重要的臨床意義。

本文主要提出了一種基于深度學習多模型融合的冠脈CTA的血管分割方法，主要貢獻如下：

（1）采用3D FCN（three-dimensional fully convolutional network）網(wǎng)絡(luò)處理三維冠狀動脈CTA影像，使網(wǎng)絡(luò)可以充分學習三維空間特征。

（2）將AG（attention gate）模型嵌入3D FCN網(wǎng)絡(luò)中去抑制不相關(guān)區(qū)域中的特征激活來提升網(wǎng)絡(luò)預測精度。

（3）提出了一種多模型融合的方法，通過把原始網(wǎng)絡(luò)和兩種改進網(wǎng)絡(luò)的結(jié)果用多數(shù)投票算法進行融合，有效地減少只使用單個網(wǎng)絡(luò)模型進行血管分割容易造成假陰性和假陽性的情況。

2 相關(guān)工作

分割是醫(yī)學圖像分析中高度相關(guān)的任務(wù),圖像分割是基于圖像中像素的一些特征將圖像劃分為更小分區(qū)的過程。在醫(yī)學成像方面，圖像的分區(qū)可以是某些組織、器官或其他相關(guān)結(jié)構(gòu)的區(qū)域[2]。分割任務(wù)大多用于定量分析和診斷，醫(yī)學圖像分割中的金標準是由臨床專家的手動分割來完成的。這是一項十分耗時的任務(wù)，因為現(xiàn)代醫(yī)學成像模態(tài)（例如計算機斷層掃描（computed tomography，CT）和磁共振成像（magnetic resonance imaging，MRI））能夠以3D圖像體積的形式產(chǎn)生大量數(shù)據(jù)，并且手動分割也存在偏差和人為錯誤。在臨床診斷中已經(jīng)使用了一些半自動方法來加速分割過程，但仍然需要臨床專家來初始化或指導分割。全自動分割方法的重要性也隨著患者可用數(shù)據(jù)量的增加而增加。

近年來，基于水平集的分割算法已被廣泛使用，并成為醫(yī)學圖像分割的優(yōu)選算法[3-4]。水平集方法通過整合不同類型的正則化（平滑項）和先驗，基于能量最小化的問題來進行分割[5]。它們可以提供具有改變拓撲屬性趨勢的分割函數(shù)，缺點在于它們需要適當?shù)妮喞跏蓟垣@得有效的分割結(jié)果。近階段，基于深度學習方法的卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）已成功應(yīng)用于醫(yī)學圖像的分析中，特別是用于分割和檢測任務(wù)中[6-7]。與基于水平集的方法不同的地方在于，深度學習可以從大量訓練數(shù)據(jù)中自動學習外觀模型，提取復雜結(jié)構(gòu)和模式的特征，并把這些訓練的特征用于預測。

另外，醫(yī)學圖像的分割比自然圖像的分割更具挑戰(zhàn)性。首先，患者數(shù)據(jù)極具多樣化。換句話說，相同病理的模式因患者而異。其次，小而不完整的醫(yī)療數(shù)據(jù)集使CNN訓練更容易產(chǎn)生過擬合的情況。盡管如此，最近提出的CNN架構(gòu)比其他基于機器學習的醫(yī)學圖像分割算法表現(xiàn)出更好的性能[8]。隨后，全卷積網(wǎng)絡(luò)（fully convolutional network，F(xiàn)CN）被加州大學伯克利分校的Long等人提出，擴充了原有的CNN結(jié)構(gòu)，在不帶有全連接層的情況下能進行像素級預測[9]。Ronneberger等人則在FCN網(wǎng)絡(luò)的基礎(chǔ)上提出了U-net神經(jīng)網(wǎng)絡(luò)，實現(xiàn)了對生物細胞圖像的自動分割，與傳統(tǒng)FCN網(wǎng)絡(luò)不同的是，U-net網(wǎng)絡(luò)使用跳連結(jié)構(gòu)將下采樣層和上采樣層相連，這使得像素定位更加準確。U-net網(wǎng)絡(luò)在醫(yī)學圖像分割領(lǐng)域表現(xiàn)非常優(yōu)秀，很多學者將U-net網(wǎng)絡(luò)作為基礎(chǔ)框架[10]。但是，諸如MRI或CT的醫(yī)學圖像通常是3D體積形式，而現(xiàn)有分割網(wǎng)絡(luò)大都是2D性質(zhì)的。這些二維分割網(wǎng)絡(luò)按順序逐層應(yīng)用，從而會忽略第三維中的空間信息[11]。由于計算復雜性和內(nèi)存需求，不鼓勵使用3D CNN進行模型訓練。通過考慮上述問題，最近提出了3D FCN來對MRI或CT圖像進行分割和檢測，其中整個體積數(shù)據(jù)作為輸入直接在單個前向傳播中獲得3D體積輸出作為3D預測結(jié)果，從而降低計算復雜度[12]。與其他基于二維分割網(wǎng)絡(luò)的方法不同，它們使用3D卷積核，可以在三個維度上共享空間信息。

盡管3D FCN具有很好處理3D醫(yī)療體積數(shù)據(jù)的能力，但是當不同患者間的目標器官在形狀和大小方面存在較大差異時，有一部分做法會過度依賴于多級級聯(lián)CNN。級聯(lián)框架先提取感興趣區(qū)域（region of interest，ROI）并對該特定ROI進行密集預測，應(yīng)用領(lǐng)域主要包括心臟[13]、腹部分割[14]、肺結(jié)節(jié)檢測等[15]。然而，這種方法導致計算資源的浪費和模型參數(shù)的復雜化。例如，類似的低級特征被級聯(lián)中的所有模型重復提取。為了解決這個問題，最近提出了一種簡單而有效的解決方案，即注意力門控模型[16-17]。具有AG的CNN模型不會影響模型訓練的標準方式，并且AG能夠自動學習專注于目標結(jié)構(gòu)的特征而無需額外的監(jiān)督。在測試時，這些門會動態(tài)地隱式生成候選區(qū)域，并突出顯示對特定任務(wù)有用的顯著特征。此外，它們不會造成很高的計算成本，并且不需要像多模型框架那樣學習大量模型參數(shù)。優(yōu)勢在于所提出的AG可以通過抑制不相關(guān)區(qū)域中的特征激活來提高密集標簽預測的模型靈敏度和準確度。以這種方式，可以在保持較高預測精度的同時消除使用外部器官定位模型的必要性。

3 基于深度學習多模型融合的冠脈CTA的血管分割方法

本次研究的整體工作流程如圖1所示，該框架包括：（1）原始3D FCN網(wǎng)絡(luò)；（2）在原始3D FCN中嵌入一個注意力門控模型的網(wǎng)絡(luò)（3D FCN-AG1）；（3）在原始網(wǎng)絡(luò)中嵌入兩個注意力門控模型的網(wǎng)絡(luò)（3D FCN-AG2）。在訓練階段，通過訓練這三種不同的網(wǎng)絡(luò)來得到訓練的權(quán)重信息，并在測試階段中，分別使用三種網(wǎng)絡(luò)訓練好的權(quán)重對同一測試數(shù)據(jù)進行預測，并把三種網(wǎng)絡(luò)預測的結(jié)果采用多數(shù)投票算法進行融合，得到網(wǎng)絡(luò)預測的最終結(jié)果。最后，對網(wǎng)絡(luò)預測的最終結(jié)果運用水平集函數(shù)迭代優(yōu)化，得到最終的分割結(jié)果。

Fig.1 Overall flow chart圖1 總體流程圖

3.1 三維全卷積網(wǎng)絡(luò)模型

實驗采用的三維全卷積網(wǎng)絡(luò)的結(jié)構(gòu)如圖2所示。此網(wǎng)絡(luò)結(jié)構(gòu)與現(xiàn)在比較主流的3D U-net[18]以及V-net[19]網(wǎng)絡(luò)結(jié)構(gòu)較為相似。通過運用三維卷積，目的在于從三維CTA影像數(shù)據(jù)中提取特征，并在每個階段結(jié)束時通過使用適當?shù)牟介L來調(diào)整其分辨率。網(wǎng)絡(luò)的左側(cè)部分由編碼路徑組成，而右側(cè)部分通過解碼路徑將數(shù)據(jù)恢復到其原始大小。

Fig.2 3D FCN network structure圖2 3D FCN網(wǎng)絡(luò)結(jié)構(gòu)圖

其中，α=x-m，β=y-n，χ=z-t，表示內(nèi)核大小為m×n×t的3D濾波器，在每個前一層的特征體積上逐元卷積;?代表3D卷積運算;表示偏差，σ(·)代表非線性激活函數(shù)。這里，新引入的非線性激活函數(shù)，即參數(shù)整流線性單元（parametric rectified linear unit，PReLU）[20]，來代替整流線性單元。PReLU函數(shù)給出為：

其中，F(xiàn)i表示輸入，σ(Fi)表示輸出，αi表示學習控制Fi的負數(shù)部分所需的訓練參數(shù)，而αi在ReLU中幾乎為零。因此，PReLU可以根據(jù)輸入情況調(diào)整整流器，從而提高網(wǎng)絡(luò)的準確性，幾乎不增加計算成本，并降低過擬合風險。

網(wǎng)絡(luò)的左側(cè)分為不同的階段，以不同的分辨率運行。每個階段包含一到三個卷積層，并且在每個階段中，通過把每個階段的輸入在卷積層中進行非線性處理，并且將該層添加到該級的最后一個卷積層的輸出中，以便能夠?qū)W習殘差函數(shù)[21]。在網(wǎng)絡(luò)結(jié)構(gòu)中融入殘差函數(shù)學習的優(yōu)點就在于可以使網(wǎng)絡(luò)在訓練過程中能夠短時間內(nèi)達到收斂的狀態(tài)。

在每個階段中執(zhí)行的卷積使用的是卷積核尺寸為5×5×5，步長為1的卷積。隨著數(shù)據(jù)沿編碼路徑前進不同階段，其分辨率逐漸降低，這是通過卷積核尺寸為2×2×2，步長為2的卷積來實現(xiàn)的。由于第二個操作僅使用非重疊的2×2×2卷積核來提取特征，因此所得特征圖的大小減半，這種采用卷積操作來減半特征圖的方法也是代替了以往CNN中常用的池化操作[22]。此外，特征通道的數(shù)量也會在該網(wǎng)絡(luò)中編碼路徑的每個階段加倍，并且由于模型是由殘差網(wǎng)絡(luò)形成，通過這些卷積操作使特征映射的數(shù)量加倍，但其分辨率會隨之降低。

在整個網(wǎng)絡(luò)中應(yīng)用了PReLU非線性激活函數(shù)，并且在非線性激活函數(shù)前也采用了批標準化[23]，通過一定的規(guī)范化手段，把每層神經(jīng)網(wǎng)絡(luò)任意神經(jīng)元輸入值的分布強行拉回到均值為0、方差為1的標準正態(tài)分布，這樣可以使梯度變大，避免梯度消失，加速網(wǎng)絡(luò)收斂。使用卷積的方法進行編碼操作也會導致網(wǎng)絡(luò)在訓練期間占用更小的內(nèi)存。網(wǎng)絡(luò)編碼路徑中通過下采樣部分來減小輸入的大小，并增加在后續(xù)網(wǎng)絡(luò)層中計算的特征的接收域，而網(wǎng)絡(luò)解碼路徑主要進行提取特征并擴展較低分辨率的特征圖，以便收集和組合必要的信息，并且每個階段計算出的特征數(shù)量是前一層的兩倍。

最后一個卷積層采用卷積核尺寸為1×1×1來產(chǎn)生一個與輸入體積大小相同的特征映射，并通過應(yīng)用sigmoid激活函數(shù)將它轉(zhuǎn)換為前景和背景區(qū)域的概率。在該網(wǎng)絡(luò)解碼路徑的每個階段之后，采用反卷積運算以增加輸入的大小，隨后是一到三個卷積層，涉及前一層中采用的5×5×5卷積核的數(shù)量的一半。與網(wǎng)絡(luò)的編碼路徑相類似，該部分也會在卷積階段學習殘差函數(shù)來加速網(wǎng)絡(luò)模型的收斂。

這項工作中采用了一個基于Dice系數(shù)的目標函數(shù)，它的值介于0和1之間，目標是最大化Dice系數(shù)的值。兩個二元體積之間的Dice系數(shù)D可寫為：

其中，總和在N個體素上運行，預測的二值分割體積pi∈P和Ground Truth二值體積gi∈G。

3.2 注意力門控模型

CTA的血管形狀和大小因冠狀動脈的切片而異，血管增強對于消除CTA切片中的雜質(zhì)區(qū)域非常重要。在標準的CNN網(wǎng)絡(luò)模型中，一般采取對特征圖網(wǎng)格逐漸下采樣來捕獲足夠大的感知場，從而能夠更好地捕獲語義上下文信息。通過這種方式，可以讓網(wǎng)絡(luò)模型學習到粗糙空間網(wǎng)格水平模型的位置和全局范圍內(nèi)組織之間的關(guān)系。然而，僅通過下采樣的方式仍然難以減少對于顯示大的形狀可變性的小物體的假陽性預測。為了提高準確性，當前的分割框架大多依賴于將任務(wù)簡化為單獨的定位和后續(xù)分割步驟[24]。在這一任務(wù)中，通過把AG融入到標準CNN模型中可以實現(xiàn)相同的目標。與多級CNN中的定位模型相反，它不需要訓練多個模型和大量額外的模型參數(shù)，并且AG的最大特點在于它可以逐漸抑制在不相關(guān)的背景區(qū)域中的特征響應(yīng)，而不需要通過級聯(lián)網(wǎng)絡(luò)來裁剪ROI。

在標準注意力門控模型中，AG的輸出是輸入特征圖和注意系數(shù)的逐元素乘法，公式如下：

式中存在注意系數(shù)αi∈[0,1]，識別顯著圖像區(qū)域和修剪特征響應(yīng)來保留與特定任務(wù)相關(guān)的激活。一般情況下，針對每個像素矢量計算單個標量注意值，其中Fl對應(yīng)于層l中的特征圖的數(shù)量。

通過學習多維注意系數(shù)來針對多個語義類情況。因此，每個AG都學會專注于目標結(jié)構(gòu)的子集，其中包含門控矢量用于每個像素i以確定聚焦區(qū)域。門控向量包含上下文信息以修剪下層特征響應(yīng)[25]。通過對比乘法注意[26]和加性注意[27]的性能，最終使用加性注意來獲得門控系數(shù)。雖然這在計算上更昂貴，但實驗證明它可以獲得比乘法注意更高的準確度。加性注意力如下：

其中，AG的特征在于一組參數(shù)Θatt包含線性變換和偏置項bψ∈R，。采用基于向量級聯(lián)的注意方法，對于輸入張量，使用卷積核為1×1×1卷積計算線性變換，其中級聯(lián)特征xl和g被線性地映射到維度中。注意系數(shù)（σ1）采用PReLU非線性激活函數(shù)，因為PReLU激活函數(shù)相比于廣泛使用的ReLU激活函數(shù)可以根據(jù)輸入情況調(diào)整整流器來提升精度；由于順序使用softmax函數(shù)會在輸出端產(chǎn)生較稀疏的激活，因此注意系數(shù)（σ2）采用sigmoid激活函數(shù)，從而讓AG的參數(shù)在訓練過程中更好地收斂，AG的整體流程如圖3所示。

Fig.3 Workflow of attention gate圖3 注意力門控模型工作流程

在工作中，通過把AG嵌入到3D FCN的網(wǎng)絡(luò)架構(gòu)中，以突出通過跳躍連接傳遞的顯著特征，結(jié)構(gòu)如圖4所示。

Fig.4 3D FCN integrating attention gate圖4 嵌入注意力門控模型的3D FCN結(jié)構(gòu)圖

該結(jié)構(gòu)可以把網(wǎng)絡(luò)粗略提取的信息通過門控來消除跳躍連接中的不相關(guān)和噪聲區(qū)域。另外，AG在正向傳播以及反向傳播期間過濾神經(jīng)元激活，源自背景區(qū)域的梯度在反向傳播期間向下加權(quán)，這允許較淺層中的模型參數(shù)主要基于與給定任務(wù)相關(guān)的空間區(qū)域來更新。在每個子AG中，提取并融合補充信息以定義跳躍連接的輸出。為了減少可訓練參數(shù)和AG的計算復雜度，采用卷積核為1×1×1的卷積來執(zhí)行線性變換，并且輸入特征映射被下采樣到門控信號的分辨率，類似于非局部塊[28]。相應(yīng)的線性變換將特征圖解耦并將其映射到用于門控操作的較低維空間。其次在門控功能中不使用低級特征圖，因為它們不表示高維空間中的輸入數(shù)據(jù)。因此使用了兩種嵌入AG的3D FCN網(wǎng)絡(luò)模型，一種是將AG嵌入到網(wǎng)絡(luò)結(jié)構(gòu)中最后一層跳躍連接上（圖4（a）所示），另一種則是將AG嵌入到最后兩層跳躍連接上（圖4（b）所示），從而加強整個網(wǎng)絡(luò)對相關(guān)特征的學習。

3.3 模型融合及后處理方法

鑒于在工作中如果使用單個模型很容易造成預測結(jié)果的假陰性和假陽性情況，因此在下階段采用了一種模型融合的方法，對于三種網(wǎng)絡(luò)模型（3D FCN、3D FCN-AG1以及3D FCN-AG2）的預測結(jié)果，用多數(shù)投票法進行分類，投票多者確定為最終的分類。具體來說，針對測試數(shù)據(jù)的每一個像素點，通過三個網(wǎng)絡(luò)模型會預測出三個結(jié)果，如果結(jié)果中有兩個或兩個以上預測結(jié)果是血管，該像素點的最終預測結(jié)果即為血管，反之亦然。

通過上述方法得到最終網(wǎng)絡(luò)預測的分割結(jié)果，據(jù)觀察發(fā)現(xiàn)，在分割出的血管上存在邊緣比較粗糙的問題，為了解決這一問題，在后處理階段仍需采用水平集方法對血管邊緣輪廓進行迭代優(yōu)化。

水平集方法[29]的基本思想是將平面閉合曲線隱含地表達為二維曲面函數(shù)的水平集,即具有相同函數(shù)值的點集,通過水平集函數(shù)曲面的進化隱含地求解曲線的運動。水平集函數(shù)的演化滿足如下的基本方程:

其中,φ為水平集函數(shù),其零水平集表示目標輪廓曲線,即Γ(t)={x|φ(x,t)=0},表示水平集函數(shù)的梯度范數(shù);F為曲面法線方向上的速度函數(shù),控制曲線的運動。

4 實驗

實驗所采用的冠脈CTA影像數(shù)據(jù)一共包括70組病人數(shù)據(jù)，每組病人的切片數(shù)都在250～350之間，由于冠脈CTA影像數(shù)據(jù)的完整性導致在整個病人切片序列中前一部分切片和后一部分切片中存在無用切片序列（切片中只存在主動脈或者血管消失的情況）。如圖5所示，圖5（a）中是實驗所需要的圖片，圖片中包含主動脈以及冠脈血管（位置關(guān)系如箭頭指向所示），圖5（b）中只存在主動脈，冠脈血管還沒有出現(xiàn)，圖5（c）中血管已經(jīng)全部消失。并且通過統(tǒng)計發(fā)現(xiàn)每組病人從冠脈出現(xiàn)到冠脈完全消失的整個過程都在150幀切片以內(nèi)，因此通過人工篩選的方式以每組病人數(shù)據(jù)中冠脈出現(xiàn)的那一幀切片作為參考項取前10幀切片作為起始幀，選出160張切片作為每組病人的實驗數(shù)據(jù)，共約11 200張CTA影像圖片，每組病人的CTA影像數(shù)據(jù)尺寸為512×512×160，將50組病人數(shù)據(jù)作為訓練集，將其余20組病人數(shù)據(jù)作為測試集。

Fig.5 Data sample of various slices圖5 數(shù)據(jù)樣本切片

實驗采用Keras庫來實現(xiàn)模型[30]。利用Adam的優(yōu)化算法來優(yōu)化網(wǎng)絡(luò)模型[31]。學習率最初設(shè)定為10-5,在單個NVIDIA GPU（Nvidia GTX 1080Ti）上訓練整個模型500個epochs。訓練過程大約需要10 h。由于運行內(nèi)存的限制，模型每一次的輸入尺寸為128×128×160，因此將原始CTA數(shù)據(jù)縮小為網(wǎng)絡(luò)輸入所需尺寸。

通過計算各自血管分割之間的JI（Jaccard index）和DSC（Dice similarity coefficient）分數(shù)[32]來比較分割精度的好壞。JI分數(shù)可理解為預測正確面積占兩者面積并集的比值，DSC分數(shù)可理解為兩倍的預測正確結(jié)果面積占兩者面積相加的比值，兩個數(shù)值的范圍都在0～1之間，數(shù)值越高，證明分割的精度越好。JI和DSC的計算公式如下：

其中，Y代表GT，Yp代表預測值。

實驗中不同算法分割精度如表1所示，首先在20組病人數(shù)據(jù)集上測試了原始3D FCN網(wǎng)絡(luò)在冠脈血管上的分割精度，JI和DSC均值能到達0.796 2和0.884 3，主動脈能準確分割出來但是冠脈的部分小血管存在一定的丟失。其次，又分別測試了在原始網(wǎng)絡(luò)的一層跳躍連接和兩層跳躍連接中分別嵌入注意力門控模型，發(fā)現(xiàn)兩種改進后的網(wǎng)絡(luò)模型分割結(jié)果的JI和DSC均值明顯超越了原始網(wǎng)絡(luò)，分別達到0.815 4、0.896 6以及0.811 9、0.893 6。特別在一些亮度不是特別明顯的冠脈血管的分割上有較好的效果，如圖6階段（1）所示，通過原始網(wǎng)絡(luò)的分割容易導致冠脈小血管的丟失（圖中黃色箭頭所示為未分割出血管部位），但是采用嵌入注意力門控模型的網(wǎng)絡(luò)就能很好地彌補原始網(wǎng)絡(luò)經(jīng)常出現(xiàn)的這種問題，提升整體分割精度。然后，在可視化實驗結(jié)果的過程中發(fā)現(xiàn)，雖然嵌入注意力門控模型在整體的效果上有所提升，卻仍然會出現(xiàn)一些分割上的問題，如圖6階段（2）所示，原始網(wǎng)絡(luò)的分割表現(xiàn)很好，但是在嵌入注意力門控模型的網(wǎng)絡(luò)卻出現(xiàn)錯誤判斷血管的情況，誤將雜質(zhì)分割成了血管（圖中黃色箭頭所示為血管分割錯誤部位），造成部分效果甚至不如原始網(wǎng)絡(luò)。針對這種問題，使用了一種多模型融合的方法，通過把原始網(wǎng)絡(luò)，以及兩個嵌入注意力門控模型的改進網(wǎng)絡(luò)的預測結(jié)果通過多數(shù)投票算法來得到最新預測結(jié)果。實驗結(jié)果證明，這種方法得出的分割結(jié)果的JI和DSC均值為0.821 4和0.900 5，優(yōu)于以上三種模型中最好的結(jié)果。最后，從上述實驗中發(fā)現(xiàn)如果只用深度學習的方法去分割血管，雖然能夠把血管的骨架分割得很好，但是在一些細節(jié)處理上，特別是分割的輪廓上都會顯示得比較粗糙，并不是很光滑，因此在最后還加入了后處理部分，采用水平集算法對已經(jīng)分割好的血管邊緣輪廓進一步迭代優(yōu)化，如圖6階段（3）所示。并且，為了便于分析測試數(shù)據(jù)中每組病人數(shù)據(jù)的分割結(jié)果，還通過箱線圖的形式對各組結(jié)果進行統(tǒng)計，如圖7所示。圖7中原始的3D FCN的每個病例結(jié)果以及均值都不高，在嵌入了AG的兩個網(wǎng)絡(luò)結(jié)果中均值相較于原始3D FCN的結(jié)果都呈現(xiàn)出較大提升，再進行三個模型融合后的結(jié)果不管在每個病例結(jié)果還是均值上都有明顯提升，最終分割結(jié)果也是通過水平集方法在模型融合結(jié)果的基礎(chǔ)上得到進一步優(yōu)化。

Table 1 Comparison of segmentation accuracy for various algorithms表1 不同算法分割精度的比較

Fig.6 Segmentation results of different methods for three stages of coronary CTA data圖6 不同方法對三期冠狀動脈CTA數(shù)據(jù)的分割效果

Fig.7 Boxplots of experimental data results圖7 實驗數(shù)據(jù)結(jié)果的箱線圖

5 結(jié)論

本文提出了一種基于深度學習多模型融合的方法來進行冠脈CTA血管的分割，該方法包括三個網(wǎng)絡(luò)模型：一個原始3D FCN來處理三維體積數(shù)據(jù)，訓練一個端到端的網(wǎng)絡(luò)來對三維冠脈CTA進行預測，以及兩個在原始3D FCN中嵌入AG模型的網(wǎng)絡(luò)。使模型在訓練過程中可以抑制不相關(guān)區(qū)域中的特征激活來提高密集標簽預測的模型靈敏度和準確度，然后把三種網(wǎng)絡(luò)的預測結(jié)果采用多數(shù)投票算法進行融合來減少分割中易造成的假陰性以及假陽性情況，得到網(wǎng)絡(luò)預測的最終結(jié)果。同時把網(wǎng)絡(luò)預測結(jié)果送入水平集函數(shù)進行邊緣輪廓的迭代優(yōu)化，得到最終的分割結(jié)果。與原始網(wǎng)絡(luò)的分割效果相比，本文提出的方法在冠脈血管分割上提供了更好的分割精度與效果。