基于深度卷積網(wǎng)絡(luò)的冠脈血管分割方法

康皓貝 孫耀宗 陳杰

（西北大學(xué)信息科學(xué)與技術(shù)學(xué)院 陜西省西安市 710100）

1 引言

冠狀動脈疾?。–oronary Artery Disease），又稱冠心?。–oronary Heart Disease），是引起急性心肌梗死和缺血性心肌病的首要原因，在過去10年間導(dǎo)致世界范圍內(nèi)近7400 萬人死亡[1,2]。目前，冠心病的臨床治療主要包括藥物治療、搭橋手術(shù)和經(jīng)皮冠脈介入治療三大類，其中經(jīng)皮冠脈介入治療因具有創(chuàng)傷小和療效顯著等優(yōu)點，是目前治療冠心病的首選技術(shù)[3]。然而有研究表明，介入治療非閉塞冠狀動脈對供血區(qū)心肌造成了潛在威脅，引起術(shù)后90 天死亡率的上升[4,5]。

冠狀動脈疾病通常由血管狹窄引起，而各類血管斑塊是血管狹窄的主要成因[6]，所以冠狀動脈血管斑塊識別是冠心病診斷中的重要課題。近年來，計算機斷層血管造影成像（CT Angiography, CTA）已經(jīng)被公認為是冠狀動脈疾病三維無創(chuàng)診斷的標(biāo)準(zhǔn)技術(shù)[7]，廣泛應(yīng)用于冠心病的診斷以及介入治療的術(shù)前指導(dǎo)。然而這一技術(shù)在血管斑塊的精準(zhǔn)診斷領(lǐng)域還存在諸多挑戰(zhàn)。冠狀動脈血管分割是定義斑塊搜索空間的首要條件，然而由于造影后冠脈血管與周圍心室及大血管的圖像灰度值相似、冠狀動脈血管樹經(jīng)常發(fā)生未知變形等原因，目前的自動/半自動的冠脈血管分割方法的準(zhǔn)確性還有待提高，而依賴于專家的手動分割方法耗時耗力，不適用于復(fù)雜冠狀動脈血管網(wǎng)絡(luò)或者大量圖像的分割任務(wù)。

針對上述問題，本項目擬開發(fā)利用三維卷積神經(jīng)網(wǎng)絡(luò)對冠狀動脈的斑塊進行自動快速準(zhǔn)確的分割方法，實驗采用改進輸入輸出的V—Net 神經(jīng)網(wǎng)絡(luò)，融合全連接的條件隨機場的圖像分割方法實現(xiàn)冠狀血管自動分割，為冠狀動脈血管疾病的無創(chuàng)精準(zhǔn)診斷提供新的方法和手段。

圖1：項目流程圖

圖2：圖像背景取塊

圖3：血管取塊

2 實現(xiàn)流程

本項目提出的基于深度卷積網(wǎng)絡(luò)的冠狀動脈血管網(wǎng)絡(luò)的分割方法研究可以分為如下幾個步驟：

（1）我們需要對訓(xùn)練集樣本進行對齊、配準(zhǔn)消除因為旋轉(zhuǎn)、拉伸等因素帶來的形狀差異，然后建立統(tǒng)計形狀模型利用主成分分析計算訓(xùn)練集樣本的平均形狀，以平均形狀作為指導(dǎo)對CTA 圖像的心臟進行粗分割，基于灰度的搜索策略完成對心臟外輪廓的提取，通過不斷迭代尋找目標(biāo)圖像的最佳輪廓。

（2）開發(fā)融合先驗知識的三維卷積神經(jīng)網(wǎng)絡(luò)的分割方法，把樣本集分為訓(xùn)練集和測試集，選取V—Net 作為網(wǎng)絡(luò)模型，并基于TensorFlow 系統(tǒng)將取到的塊依次輸入神經(jīng)網(wǎng)絡(luò)，從上述統(tǒng)計模型得到的心臟CTA 圖像中分割出冠狀動脈血管網(wǎng)絡(luò)，由于分割后圖像存在假陽性噪聲，因此采用全連接的三維條件隨機場（CRF）做圖像后處理，實現(xiàn)對冠脈網(wǎng)絡(luò)的精準(zhǔn)切割。

項目流程圖如圖1 所示。

3 模型的建立與應(yīng)用

3.1 心臟外輪廓的提取

3.1.1 訓(xùn)練樣本集的標(biāo)記與配準(zhǔn)

使用半自動分割軟件根據(jù)醫(yī)生的指導(dǎo)對CTA 每層切片的心臟區(qū)域進行手動分割，逐層標(biāo)記多個冠心病患者的CTA 數(shù)據(jù)。由于個體差異以及心臟的形變、跳動等原因，導(dǎo)致不同樣本中心臟的形狀、位置等存在一定偏差。因此，在對得到的樣本統(tǒng)計建模之前，由于訓(xùn)練集圖像受伸縮，位移等因素影響，容易造成圖像形狀不均，將每個訓(xùn)練集的樣本都轉(zhuǎn)化到一個統(tǒng)一的坐標(biāo)系中進行配準(zhǔn)[8]。我們通過Procrustes Analysis 方法，使每個樣本形狀和訓(xùn)練集平均形狀之間的距離達到最小來進行配準(zhǔn)，可以從整個樣本集合中得到平均形狀。設(shè)兩個圖像的形狀向量分別為x1,x2,則其之間的Procrustes 距離為：

我們可以對x2 的角度θ 進行調(diào)整來使兩個圖像配準(zhǔn)，并且調(diào)整尺度大小s 和位移t，使得x1 間的距離最小。

3.1.2 心臟統(tǒng)計形狀模型的建立

在對訓(xùn)練樣本進行標(biāo)記和配準(zhǔn)后，由于每個樣本集合都是三維空間點的集合，因此我們使用主成分分析（Principle Component Analysis ,PCA）來將高維數(shù)據(jù)投影到低維空間，從而通過降維的方法簡化問題的求解。

3.1.3 基于灰度信息的分割

我們要采集每幅圖像的關(guān)鍵點周圍的灰度信息，使得形狀模型能夠?qū)δ繕?biāo)圖像中待分割樣本進行智能搜索。我們要在測試樣本中找到一個初始位置，將平移參數(shù)設(shè)置為選擇和縮放參數(shù)分別為S 和θ，形變參數(shù)為b，平均形狀的形狀向量為，則初始位置Xi有：

初始化時，設(shè)S=1,θ=0,b=0,□(t=0),也就是使用平均形狀作為初始位置。再通過灰度模型在初始位置周圍進行關(guān)鍵點搜索。當(dāng)每一個標(biāo)記點都搜索完畢后會得到新的形狀位置為X+dX，再通過修改主動形狀模型的形狀參數(shù)和姿態(tài)參數(shù)（縮放因子，旋轉(zhuǎn)因子，位移因子）進行姿態(tài)修正，直到模型收斂。最后，得到與當(dāng)前的冠脈CTA 圖像最優(yōu)匹配的形狀模型就是心臟的外輪廓。

3.2 冠狀動脈血管分割

3.2.1 圖像預(yù)處理

nibabel 庫讀取NIFTI 文件，生成512×512×512 的三維張量，由于輸入數(shù)據(jù)過大容易導(dǎo)致訓(xùn)練網(wǎng)絡(luò)模型過程中顯存溢出，需要把三維張量分為64×64×64 的數(shù)據(jù)塊。取塊時首先以第一個血管點為中心點，在x，y，z 正向和負向分別以步長為2，探索5 步取塊，用此方法遍歷所有血管點，如圖2 所示。背景取塊時做隨機選取中心點如圖3 所示，在x，y 正負方向以步長為4 取塊，z 方向以步長為2 取塊。對數(shù)據(jù)塊配準(zhǔn)，整理形狀，準(zhǔn)備輸入神經(jīng)網(wǎng)絡(luò)。

圖4：圖像取塊，訓(xùn)練，重構(gòu)過程

圖5：V—Net 全卷積神經(jīng)網(wǎng)絡(luò)模型

3.2.2 V—Net 全卷積神經(jīng)網(wǎng)絡(luò)

經(jīng)過配準(zhǔn)和整理好的數(shù)據(jù)塊如圖4，輸入神經(jīng)網(wǎng)絡(luò)訓(xùn)練和測試，由于網(wǎng)絡(luò)結(jié)構(gòu)是對像素級的分類，若將數(shù)據(jù)壓縮為1 維，會喪失空間信息，因此直接采用三維張量數(shù)據(jù)塊輸入神經(jīng)網(wǎng)絡(luò)；為了提高網(wǎng)絡(luò)訓(xùn)練的魯棒性，采用隨機選取數(shù)據(jù)塊輸入訓(xùn)練模型參數(shù)。通過真實血管標(biāo)簽作監(jiān)督學(xué)習(xí)，實現(xiàn)端到端的圖像分割。

V—Net 全卷積神經(jīng)網(wǎng)絡(luò)框架被廣泛應(yīng)用在醫(yī)學(xué)圖像分割領(lǐng)域[9]，如圖5 所示，有卷積層，下采樣層，上采樣層，prelu 激活層，dropout。

該網(wǎng)絡(luò)將池化層替換為卷積層，保留了完整空間信息，加入殘差學(xué)習(xí)加快收斂。卷積層通過不同的卷積核提取不同的特征，由于圖像數(shù)據(jù)量巨大，容易產(chǎn)生過擬合和迭代次數(shù)過多，使用步長為2，大小為2×2×2 的卷積核代替pooling 層，不但降低了特征圖的分辨率，還保留了特征圖的空間信息。激活函數(shù)選擇prelu 函數(shù)，prelu函數(shù)增加了自我修正能力，對channels-wise 有良好的表現(xiàn)。最后使用dropout 減少計算神經(jīng)個數(shù)，去除訓(xùn)練過程中特征集中訓(xùn)練情況，增加模型參數(shù)的泛化能力。數(shù)據(jù)輸出端，用真實地血管分布做監(jiān)督學(xué)習(xí)，用dice 系數(shù)作為優(yōu)化對象，dice 系數(shù)：

設(shè)置smooth=1 e-5, 優(yōu)化算法選用隨機梯度下降算法，學(xué)習(xí)率選擇滑動平均學(xué)習(xí)率，選用dice 系數(shù)作為優(yōu)化對象不需要為不同類別的樣本分配權(quán)重以在前景體素和背景體素之間建立正確的平衡，并且預(yù)測結(jié)果比實際結(jié)果有更好的效果，隨機梯度下降算法可以加快收斂，滑動平均學(xué)習(xí)率可以防止學(xué)習(xí)率過大導(dǎo)致的無法收斂。PRelu 函數(shù)如圖6 所示。

圖6：PRelu 函數(shù)圖像

網(wǎng)絡(luò)模型首先進行下采樣，下采樣可以減小輸入信號的大小，并增加了后續(xù)網(wǎng)絡(luò)特征計算的感知域。下采樣過程每一層比上一層的特征數(shù)量多一倍，網(wǎng)絡(luò)上采樣提取特征并擴展較低分辨率特征圖的空間支持，以便收集和組合必要的體素信息以獲得分割數(shù)據(jù)塊。網(wǎng)絡(luò)最后一個卷積層使用1×1×1 卷積核計算并產(chǎn)生與輸入體積相同大小的已分割數(shù)據(jù)塊，通過soft-max 激活函數(shù)，得到各個體素概率，根據(jù)體素所占的概率不同，就可將目標(biāo)區(qū)域和背景分割開。

3.2.3 條件隨機場（Condition Random Field，CRF）

條件隨機場在現(xiàn)在的工程中得到了廣泛的應(yīng)用，線性鏈條件隨機場(linear CRF)廣泛應(yīng)用在詞義檢索方面，全連接的狀態(tài)隨機場在醫(yī)學(xué)圖像方面被廣泛使用。由于在心室灰度圖像中血管非常細小，由于MRI 成像和訓(xùn)練過程中存在噪聲，網(wǎng)絡(luò)訓(xùn)練可能陷入局部最優(yōu)和圖像本身的特異性，導(dǎo)致分割結(jié)果存在假陽性噪聲，這樣就要求血管像素點在分離過程中需要依靠周圍和遠距離像素點的聯(lián)系，才可最大可能識別出血管像素點，基于以上原因，構(gòu)建全連接條件隨機場[10]對通過深度卷積網(wǎng)絡(luò)分割后的圖像再次進行優(yōu)化，方法如圖7 所示。

經(jīng)過神經(jīng)網(wǎng)絡(luò)分割后的數(shù)據(jù)塊，首先進行整合疊加，恢復(fù)為原來圖像的大小。對分割后的圖像再次優(yōu)化。首先構(gòu)造條件隨機場圖像分割能量函數(shù)，定義隱變量xi為像素點i 的分類標(biāo)簽，語義標(biāo)簽空間為L=(0,1)，yi為每個隨機變量的觀測值即通過深度卷積網(wǎng)絡(luò)的分類值，用x={xi}表示圖像I 所有標(biāo)簽，由冠脈血管圖像I 和所有像素標(biāo)簽x 組成的條件隨機場可以用吉布斯分布表示：

圖7：CRF 處理過程

圖8：全連接CRF 示意圖

式中z(I)表示一個歸一化常數(shù)，G 是與I 相關(guān)的無向圖，CG是G 中的團，θ 為勢函數(shù)為了表示方便，我們用θ0(xi)表示，對應(yīng)的吉布斯能量表示為：

對同時聯(lián)合其鄰域像素點和遠距離像素點的分類概率計算出二元勢函數(shù)，可表示為：

μ(хi, xj)為標(biāo)簽兼容性函數(shù)，其中當(dāng)xi≠хj時μ(хi, xj)=1，否則為0(即Potts 模型)，fi,fj表示任一空間像素的任一特征向量，ω(m)權(quán)重的線性組合。k(m)為全連接型的高斯核函數(shù)，可表示為：

核函數(shù)用了兩個不同特征空間的高斯核；第一個是像素位置（p）和灰度信息（I）間的雙向核，第二個核是像素位置。σασβσγ表示控制高斯核的尺度的超參數(shù)。第一個核強制相同位置的像素的相似性，第二個核在強制平滑時不關(guān)注圖像上任意兩個像素i 和j 的位置，只考慮空間上的接近程度。它們之間都有一個成對項(pairwise term)，如圖8 所示，構(gòu)成全連接CRF，總勢函數(shù)為：

最終最大后驗概率轉(zhuǎn)為使總勢函數(shù)最小，得到連續(xù)性更好的分割圖像。

4 實驗結(jié)果

本項目開發(fā)自動快速準(zhǔn)確的分割方法對冠狀動脈血管網(wǎng)絡(luò)進行分割,實驗結(jié)果如圖9 所示。圖9(a)為原始圖像數(shù)據(jù)集,圖9(b)是手動標(biāo)簽集，圖9(c)是最后分割結(jié)果。從結(jié)果中可以看出，分割的血管點較手動標(biāo)簽集出現(xiàn)了過分割現(xiàn)象，依然存在部分假陽性噪聲，把非血管點誤分為血管點。

為了衡量測試準(zhǔn)確率，計算出4 個數(shù)據(jù)，TP，TN，F(xiàn)P，F(xiàn)N來判斷分割準(zhǔn)確度，TP 表示預(yù)測為血管真實為血管像素總和，TN表示預(yù)測為非血管像素真實為血管的像素總和 ，F(xiàn)P 為預(yù)測為非血管實際是血管的像素總和，F(xiàn)N 表示預(yù)測為非血管真實是非血管的像素總和，訓(xùn)練時用訓(xùn)練損失函數(shù)值(Train Loss)，訓(xùn)練dice 系數(shù)值(Train dice)，訓(xùn)練敏感度(Train sensitivity)，訓(xùn)練特異度(Train spеcificity)四個值監(jiān)測訓(xùn)練過程，敏感度和特異度表示為：

訓(xùn)練過程數(shù)值如表1 所示。

測試時用測試dice 系數(shù)(Test dice)測試敏感度(Test sensitivity),測試特異度(Tеst spеcificity)和測試準(zhǔn)確率Accuracy 表示為：

衡量模型準(zhǔn)確率的參數(shù)數(shù)值如表2 所示。

從表1 中可以看出，損失函數(shù)值不斷下降，dice 系數(shù)不斷接近1，說明模型在訓(xùn)練過程中不斷在優(yōu)化，在最終的結(jié)果測試準(zhǔn)確率為0.999028，準(zhǔn)確率高是因為特異性高引起，數(shù)據(jù)集里陰性樣本占93%左右，陽性樣本只有7%左右，導(dǎo)致了特異性高，進而影響準(zhǔn)確性。在此條件下，融合了條件隨機場的深度卷積網(wǎng)絡(luò)對心室附近冠狀血管有較好的分割結(jié)果。

5 實驗總結(jié)

本實驗以冠狀動脈疾病精準(zhǔn)診斷為背景，以冠脈CTA 成像后的醫(yī)學(xué)圖像處理與分析為核心，首先利用訓(xùn)練樣本集的標(biāo)記與配準(zhǔn)選取血管點，通過冠脈CTA 圖像先驗知識的獲取，通過監(jiān)督學(xué)習(xí)的三維全卷積網(wǎng)絡(luò)，在三維圖像上對冠狀血管網(wǎng)絡(luò)預(yù)分割，再此基礎(chǔ)上進行全連接的條件隨機場處理，保證了冠狀動脈血管網(wǎng)絡(luò)分離的可行性。

作為一個典型的醫(yī)工交叉研究課題，該實驗將影像組學(xué)和大數(shù)據(jù)分析中的深度學(xué)習(xí)方法應(yīng)用到冠狀動脈血管的識別與分割中，從而開發(fā)了一套冠狀動脈血管網(wǎng)絡(luò)分離自動輔助系統(tǒng)，為冠狀動脈疾病的診斷及治療提供新的方法和手段。研究成果可以實現(xiàn)心臟冠脈血管與心室周圍環(huán)境分離。

6 結(jié)語

本實驗中使用的卷積神經(jīng)網(wǎng)絡(luò)相較于傳統(tǒng)方法而言可以并行對每個像素塊進行分類，顯著地提高了運算效率，節(jié)省了存儲。在網(wǎng)絡(luò)結(jié)構(gòu)中去掉了 Pooling 層，保留下了像素之間空間位置的信息，全連接條件隨機場后處理，使得分割精度更加準(zhǔn)確。但是三維全卷積神經(jīng)網(wǎng)絡(luò)的冠狀血管快速分割方法，由于心臟和周圍冠狀血管網(wǎng)絡(luò)的空間位置相對靠近 CTA 造影后可能呈多種形態(tài)，并且圖像本身存在特異性高、對比度低以及邊緣模糊等特點，采用三維全卷積神經(jīng)網(wǎng)絡(luò)對血管圖像分塊訓(xùn)練，完成對冠脈血管分割的準(zhǔn)確度有待提高。

本項目將影像組學(xué)和大數(shù)據(jù)分析中的深度學(xué)習(xí)方法應(yīng)用到冠狀動脈血管的識別與分割中，從而開發(fā)了一套冠狀動脈血管網(wǎng)絡(luò)分離自動輔助系統(tǒng)，為冠狀動脈疾病的診斷及治療提供新的方法和手段，拓寬計算機視覺在醫(yī)療影像的應(yīng)用范圍。研究融合先驗知識的深度學(xué)習(xí)分割方法，實現(xiàn)對冠狀動脈血管 網(wǎng)絡(luò)的三維準(zhǔn)確快速分割，為下一步的融合特征選擇的冠狀血管網(wǎng)絡(luò)特征提取方案和基于深度學(xué)習(xí)的血管斑塊的識別與分類提供了條件。

表1：訓(xùn)練模型的參數(shù)

表2：測試模型參數(shù)

圖9：實驗結(jié)果