一種融合二維和三維卷積網(wǎng)絡(luò)的兩階段冠狀動(dòng)脈分割方法

曾雨鴻 宋佳寧 劉 嘉*

1(中國科學(xué)院深圳先進(jìn)技術(shù)研究院 深圳 518055)

2(中國科學(xué)院大學(xué) 北京 100039)

1 引 言

2018 年，心血管疾病占我國城鄉(xiāng)居民總死亡原因的首位，屬于危害公眾健康的重大疾病。據(jù)推算，心血管疾病現(xiàn)有患者人數(shù) 3.30 億，其中，冠心病患者有 1 139 萬[1]。動(dòng)脈粥樣硬化引起的冠狀動(dòng)脈狹窄是冠心病發(fā)作的重要因素[2]，大部分斑塊評(píng)估和狹窄的檢測(cè)依賴于自動(dòng)或半自動(dòng)化的冠狀動(dòng)脈分割[3]。精確的冠狀動(dòng)脈分割對(duì)冠心病的治療有重要意義，其中，冠狀動(dòng)脈血管斷層掃描(Computed Tomoraphic Angiography，CTA)能無創(chuàng)傷地獲得高分辨率的完整冠狀動(dòng)脈樹[4]，因此，CTA 在冠心病檢測(cè)中起至關(guān)重要的作用[5]。

血管的增強(qiáng)和分割任務(wù)長期存在于醫(yī)學(xué)圖像分析中，各種各樣的傳統(tǒng)方法被用于分割血管[6]。傳統(tǒng)分割血管的方法包括：區(qū)域增長[2]、活動(dòng)輪廓模型[7]、統(tǒng)計(jì)形狀模型[8]、粒子濾波[9]、路徑追蹤[10]等需要提供種子點(diǎn)的交互式方法；此外，還有水平集[11]、圖割[12]等無須交互的方法；以及對(duì)血管結(jié)構(gòu)的無監(jiān)督增強(qiáng)方法，如 Frangi 濾波[13]，這是一種對(duì)血管結(jié)構(gòu)增強(qiáng)的濾波器。但分割被認(rèn)為是一個(gè)基于體素的分類問題，所以這些方法可能會(huì)產(chǎn)生大量的假陽性或假陰性。自 2016年以來，深度學(xué)習(xí)在醫(yī)學(xué)圖像中的應(yīng)用得到了長足發(fā)展[14]，多種基于深度學(xué)習(xí)的冠狀動(dòng)脈分割方法被提出。Tetteh 等[15]提出用 DeepVesselNet 網(wǎng)絡(luò)進(jìn)行血管分割、中心線預(yù)測(cè)和分叉檢測(cè)。Shen等[16]用 3D FCN 和水平集相結(jié)合的方法分割主動(dòng)脈和冠狀動(dòng)脈。Fu 等[17]使用 Mask R-CNN 分割主動(dòng)脈和冠狀動(dòng)脈。Huang 等[18]利用 3D U-Net在有血管中心線的 CTA 上進(jìn)行冠狀動(dòng)脈分割，這驗(yàn)證了中心線提取訓(xùn)練有助于血管分割。但是，血管中心線是一個(gè)強(qiáng)相關(guān)的輔助標(biāo)簽，較難獲得，本文將研究一個(gè)全自動(dòng)的冠狀動(dòng)脈分割方法，實(shí)現(xiàn)冠狀動(dòng)脈的自動(dòng)分割。

本研究在 3D U-Net[19]的基礎(chǔ)上結(jié)合二維卷積網(wǎng)絡(luò)，利用骨架為橋梁對(duì)冠狀動(dòng)脈進(jìn)行分割。

2 材料和方法

2.1 數(shù)據(jù)

本文使用數(shù)據(jù)為浙江大學(xué)附屬第二醫(yī)院收集的 60 例患有心絞痛或心梗的病人的計(jì)算機(jī)斷層掃描血管造影圖像。圖像均由專家進(jìn)行標(biāo)注，標(biāo)注的過程概括為：(1)選用最優(yōu)的序列，一般選擇厚度 0.75、相位 B26f 的 CTA 影像；(2)使用商用醫(yī)學(xué)影像分割軟件 MIMICS 的自動(dòng)標(biāo)注功能來獲取初步標(biāo)注；(3)根據(jù)分割出來的血管情況，選擇性地采用拼接或追加的方式修補(bǔ)血管；(4)去除血管中的斑塊；(5)使用 Geomagic 軟件去除血管雜質(zhì)粘連；(6)結(jié)合細(xì)化、偏移、去除釘狀物、減少噪聲、去除特征和快速光順等操作快速光滑血管。實(shí)驗(yàn)數(shù)據(jù)的尺寸為 512×512×275個(gè)像素點(diǎn)，掃描間隔為(0.326～0.196)mm×(0.326～0.496)mm×0.5 mm。其中，訓(xùn)練數(shù)據(jù)集為 45 組，驗(yàn)證數(shù)據(jù)集為 5 組，測(cè)試數(shù)據(jù)集為 10組。本實(shí)驗(yàn)采用數(shù)據(jù)增強(qiáng)的方式，包括任意鏡像翻轉(zhuǎn)、90°旋轉(zhuǎn)。

2.2 方法概敘

本文使用二維和三維卷積網(wǎng)絡(luò)相結(jié)合的方法分割冠狀動(dòng)脈，結(jié)構(gòu)圖如圖 1 所示。在訓(xùn)練階段，首先使用改進(jìn)后的 DeepLabv3+[20]網(wǎng)絡(luò)初步分割冠狀動(dòng)脈；然后對(duì)冠狀動(dòng)脈分割結(jié)果重建，隨后利用骨架細(xì)化算法提取冠狀動(dòng)脈重建結(jié)果的骨架，并以骨架點(diǎn)為中心提取感興趣區(qū)域；最后對(duì)感興趣區(qū)域用 3D U-Net 模型進(jìn)行訓(xùn)練。在測(cè)試階段，首先用與訓(xùn)練階段相同的方式得到 3D U-Net 模型的冠狀動(dòng)脈分割結(jié)果，并對(duì)冠狀動(dòng)脈分割結(jié)果重建；然后對(duì)冠狀動(dòng)脈重建結(jié)果的骨架去除小連通區(qū)域，去除的標(biāo)準(zhǔn)為在骨架提取區(qū)域以 26 連通為連通方式，連通的骨架像素點(diǎn)小于280 個(gè)骨架對(duì)象；最后以去除小連通區(qū)域的骨架點(diǎn)作為種子點(diǎn)，對(duì)三維卷積網(wǎng)絡(luò)的冠狀動(dòng)脈分割結(jié)果進(jìn)行多種子點(diǎn)增長，得到最終的分割結(jié)果。

圖1 兩階段冠狀動(dòng)脈分割方法結(jié)構(gòu)圖Fig. 1 The structure diagram of two-stage coronary artery segmentation method

2.3 二維卷積模塊

本文將 CTA 影像的原始截?cái)嗝孀鳛槎S卷積網(wǎng)絡(luò)的輸入，輸入的數(shù)據(jù)大小為[512,512]。為了盡可能多地利用二維平面信息，本研究使用以 ResNet[21]為骨干的 DeepLabv3+ 作為基礎(chǔ)網(wǎng)絡(luò)，其網(wǎng)絡(luò)層數(shù)較深、感受野較大，能得到充足的特征。此外，DeepLabv3+ 還包含針對(duì)多尺度信息優(yōu)化的運(yùn)算模塊空洞空間金字塔池化(Atrous Spatial Pyramid Pooling，ASPP)[20]，改進(jìn)后的 ASPP 模塊分為：3×3 的空洞卷積，空洞率分別為 12、24、38；1×1 的二維卷積；全局平均池化。之后將 5 個(gè)輸出進(jìn)行拼接，并用一個(gè) 1×1的卷積減少通道數(shù)。二維卷積網(wǎng)絡(luò)的目的是在保證準(zhǔn)確率的前提下，盡可能多地識(shí)別出冠狀動(dòng)脈，所以本文使用加權(quán)交叉熵?fù)p失作為二維卷積網(wǎng)絡(luò)的損失函數(shù)。為了彌補(bǔ)二維卷積網(wǎng)絡(luò)在三維空間的信息缺失，以預(yù)測(cè)的原始橫截面為中心，取 3 張相連的原始橫截面作為二維卷積網(wǎng)絡(luò)的通道進(jìn)行補(bǔ)充輸入，由中心橫截面的標(biāo)簽作為網(wǎng)絡(luò)輸出的標(biāo)簽進(jìn)行訓(xùn)練。若補(bǔ)充信息過多，就會(huì)添加過多無效信息，與預(yù)測(cè)區(qū)域差距過大，從而妨礙分割。本文試驗(yàn)過將 5 張相連的原始橫截面作為二維卷積網(wǎng)絡(luò)的通道進(jìn)行補(bǔ)充輸入，實(shí)驗(yàn)結(jié)果反而較差。

2.4 三維卷積網(wǎng)絡(luò)

本文使用 3D U-Net[19]作為三維分割的基礎(chǔ)網(wǎng)絡(luò)，由于計(jì)算力的限制和前后背景的均衡化，將 CTA 影像裁剪為[64,64,32]的區(qū)域，在每個(gè)裁剪塊中，血管所在最大立方體平均占整個(gè)剪裁區(qū)域的 38.3%，最大占據(jù)比例為 87.98%，最小為0%。這樣，剪裁塊既包括一定的背景信息，有助于識(shí)別，又不會(huì)出現(xiàn)部分血管沒有進(jìn)行分割的現(xiàn)象。

在訓(xùn)練階段，使用 Lee 等[22]的骨架細(xì)化方法提取標(biāo)簽數(shù)據(jù)的骨架，在骨架點(diǎn)集中，以 1 為間距提取骨架點(diǎn)，并以骨架點(diǎn)為裁剪中心，裁剪大小為[64,64,32]的區(qū)域。將裁剪區(qū)域納入分割區(qū)域進(jìn)行分割，本文使用 Dice 損失函數(shù)作為三維卷積網(wǎng)絡(luò)的損失函數(shù)。

在測(cè)試階段，為了增大遠(yuǎn)離剪裁中心的特征點(diǎn)的有效感受野，裁剪的區(qū)域大小擴(kuò)大為[128,128,64]。由表 1 可知，當(dāng)剪裁區(qū)域?yàn)閇64,64,32]時(shí)，裁剪大小會(huì)對(duì)預(yù)測(cè)效果產(chǎn)生影響。

2.5 損失函數(shù)

二分類交叉熵?fù)p失是分割模型中常用的損失函數(shù)，通常用來衡量?jī)蓚€(gè)概率分布之間的距離，具體如公式(1)所示：

在二分類交叉熵?fù)p失中，前景和背景在公式中起同等作用。與誤分割相比，在二維卷積網(wǎng)絡(luò)中需要盡可能多地識(shí)別出冠狀動(dòng)脈。所以本文使用帶權(quán)值的交叉熵?fù)p失函數(shù)，使其更傾向于分割前景。加權(quán)交叉熵?fù)p失函數(shù)如公式(2)～(3)所示：

其中， 為加權(quán)交叉熵?fù)p失函數(shù)；N為像素點(diǎn)個(gè)數(shù)；w為圖像前后背景的比例；yi為某像素值的真實(shí)類別； 為某像素值的預(yù)測(cè)概率。

Dice 損失函數(shù)可直接優(yōu)化模型目標(biāo)，使預(yù)測(cè)和真實(shí)分割之間的 Dice 系數(shù)最大化。具體如公式(4)所示：

其中， 為 Dice 損失函數(shù)；X為模型預(yù)測(cè)的概率張量；Y為真實(shí)的標(biāo)簽張量； 為X和Y逐像素點(diǎn)相乘的和； 為預(yù)測(cè)概率的模； 為真實(shí)分割概率的模；smooth 為防止分母為 0 預(yù)設(shè)的量，一般設(shè)為 1。

2.6 模型評(píng)估

本實(shí)驗(yàn)采用常用的模型評(píng)價(jià)指標(biāo)：Dice 相似系數(shù)(Dice Similarity Coefficient，DSC)、敏感性(Sensitivity)、ROC 曲線下方的面積(Area under the Curve of ROC，AUC)、豪斯多夫距離(Hausdorff Distance，HD)評(píng)估本文研究方法的表現(xiàn)，具體的計(jì)算如公式(5)～(9)所示：

3 實(shí)驗(yàn)與結(jié)果

3.1 實(shí)施細(xì)節(jié)

本文 DeepLabv3+ 利用 Tensorflow 實(shí)現(xiàn)。硬件配置為 GeForceGTX 1080 Ti。訓(xùn)練時(shí)，batch size 為 2，使用 Adam 優(yōu)化器，學(xué)習(xí)率為 10-5，訓(xùn)練迭代次數(shù)約為 3.7×105，訓(xùn)練時(shí)間為 20 h。3D U-Net 利用 PyTorch 實(shí)現(xiàn)，硬件配置為 Tesla V100。訓(xùn)練時(shí)，batch size 為 50，使用 Adam 優(yōu)化器，初始學(xué)習(xí)率 2×10-4，每迭代 8×103次學(xué)習(xí)率下降 0.2 倍，下降兩次，總迭代次數(shù)約為 2×104，訓(xùn)練時(shí)間為 25 h。訓(xùn)練時(shí)裁剪尺寸為[64,64,32]，預(yù)測(cè)時(shí)裁剪尺寸為[128,128,64]。

3.2 結(jié)果

3D U-Net 在訓(xùn)練集和測(cè)試集上 Loss 和 DSC隨訓(xùn)練輪次的變化曲線如圖 2 所示。由圖可知，隨模型的訓(xùn)練過程，訓(xùn)練集的 Loss 不斷下降，DSC 不斷上升。驗(yàn)證集上沒有出現(xiàn)過擬合現(xiàn)象，說明模型的訓(xùn)練過程有效。該模型在訓(xùn)練集和驗(yàn)證集上的 DSC 最高 可達(dá) 0.89 和 0.90。

圖2 3D U-Net 在訓(xùn)練集和測(cè)試集上 Loss 和 DSC 隨訓(xùn)練輪次的變化曲線Fig.2 The variation curves of Loss and DSC of 3D U-Net on training and test sets with epochs

在二維卷積網(wǎng)絡(luò)模型中，本實(shí)驗(yàn)使用敏感性和 DSC 作為評(píng)價(jià)指標(biāo)。為了盡可能多地識(shí)別出冠狀動(dòng)脈，使用本文提出的改進(jìn)后的 DeepLabv3+作為二維卷積網(wǎng)絡(luò)模型。由表 1 可知，該二維卷積網(wǎng)絡(luò)的敏感性為 0.937，比其他二維卷積網(wǎng)絡(luò)的敏感性高出 0.2 左右，比三維卷積網(wǎng)絡(luò)的敏感性也高 0.015 左右。

在三維卷積網(wǎng)絡(luò)模型中，本實(shí)驗(yàn)使用敏感性、DSC、AUC 和 HD95 作為評(píng)價(jià)指標(biāo)。由表 1可知，當(dāng)測(cè)試集的剪裁尺寸為[128,128,64]時(shí)，與其他方法相比，本文方法取得了較好的分割效果：在敏感性方面，本文方法較 3D U-Net 提高了 0.035，較 Res-UNet 提高了 0.085；在 DSC 方面，本文方法較 3D U-Net 提高了 0.082，較 Res-UNet 提高了 0.141；在 AUC 方面，本文方法較 3D U-Net 提高了 0.024，較 Res-UNet 提高了0.025；在 HD95 方面，本文方法較 3D U-Net 降低了 40.809，較 Res-UNet 降低了 57.284。當(dāng)測(cè)試集的剪裁尺寸為[64,64,32]時(shí)，本文學(xué)習(xí)模型的敏感性、DSC 和 AUC 評(píng)價(jià)指標(biāo)均出現(xiàn)大幅度的下降，但 3D U-Net 深度學(xué)習(xí)模型的敏感性、DSC和 AUC 等評(píng)價(jià)指標(biāo)均未出現(xiàn)大幅度的下降。

表1 不同深度學(xué)習(xí)模型在測(cè)試集上的指標(biāo)對(duì)比Table 1 The comparison of indicators of different deep learning models on the test set

圖 3 為不同網(wǎng)絡(luò)結(jié)構(gòu)的分割結(jié)果的三維重建。每一行為一組數(shù)據(jù)的分割結(jié)果。第一列為標(biāo)簽的三維重建，第二列為 3D U-Net 后處理去掉雜質(zhì)后的分割結(jié)果的三維重建，第三列為 Res-UNet 后處理去掉雜質(zhì)后的分割結(jié)果的三維重建，第四列為本文方法的分割結(jié)果的三維重建。雜質(zhì)的標(biāo)準(zhǔn)為與骨架沒有連接的區(qū)域，紅色箭頭指示的是本文方法相對(duì)于前兩種多識(shí)別出來的冠狀動(dòng)脈。

圖 4 為不同網(wǎng)絡(luò)結(jié)構(gòu)的分割結(jié)果在 CT 橫斷面上的分割效果。每一行為 CT 橫斷面。第一列為標(biāo)簽的分割效果，第二列為 3D U-Net 去掉雜質(zhì)后的分割效果，第三列為 Res-UNet 去掉雜質(zhì)后的分割效果，第四列為本文方法的分割結(jié)果。

4 討 論

由表 1 可知，除本文方法外，改進(jìn)后的DeepLabv3+ 是敏感性最高的分割網(wǎng)絡(luò)，敏感性可達(dá) 0.937，即其可以識(shí)別出最多的冠狀動(dòng)脈區(qū)域。本文提出的二階段分割方法中，第一階段的目的是得到一個(gè)粗分割結(jié)果，并用該結(jié)果提取合理的骨架，而改進(jìn)后的 DeepLabv3+ 的 DSC 雖然有所下降，但是其識(shí)別出的冠狀動(dòng)脈區(qū)域是最多的，所以選擇改進(jìn)后的 DeepLabv3+ 作為第一階段的網(wǎng)絡(luò)。

測(cè)試階段使用的剪裁尺寸為[128,128,64]，由表 1 可知，若使用和訓(xùn)練階段一樣的剪裁尺寸[64,64,32]，以二階段分割方案進(jìn)行測(cè)試，其敏感度、DSC、AUC 均會(huì)出現(xiàn)明顯下降，特別是敏感度下降了一半，說明有很多冠脈沒有被識(shí)別出，AUC 也下降了 0.260，說明預(yù)測(cè)結(jié)果很不穩(wěn)定。這可能是因?yàn)槲刺幱诠羌苤行牡膮^(qū)域沒有足夠的有效感受野來預(yù)測(cè)所導(dǎo)致的。當(dāng)把截取尺寸擴(kuò)大一倍后，分割效果有了明顯的提高，各種指標(biāo)都達(dá)到了最優(yōu)水平，特別是敏感性達(dá)到了0.956，這表明本文方法對(duì)冠狀動(dòng)脈的識(shí)別能力得到了提升。由圖 3、圖 4 可知，與 3D U-Net、Res-UNet 相比，本文框架識(shí)別出許多這兩個(gè)網(wǎng)絡(luò)沒有識(shí)別出的冠狀動(dòng)脈，一定程度上解決了血管斷連和血管缺失的問題。但是，本文方法同時(shí)誤識(shí)別出了不是標(biāo)簽需要的血管結(jié)構(gòu)，假陽性升高。這極大地影響了DSC 指標(biāo)的提升。

圖3 標(biāo)簽、3D U-Net、Res-UNet 和本文方法的分割結(jié)果的 3D 重建Fig. 3 The 3D reconstructions of labels, 3D U-Net, Res-UNet, and this method

圖4 在斷層圖像上標(biāo)簽、3D U-Net、Res-UNet 和本文方法的分割效果Fig. 4 The segmentation effects of labels, 3D U-Net, Res-UNet and the method in this paper on the tomographic image

由圖 3 可知，本文提出的方法能夠重建冠狀動(dòng)脈的大致結(jié)構(gòu)，不會(huì)出現(xiàn) 3D U-Net 和 Res-UNet 整段沒有被識(shí)別的情況，這說明本文方法對(duì)血管的結(jié)構(gòu)學(xué)習(xí)更優(yōu)。但是，本文方法在血管末端會(huì)出現(xiàn)多識(shí)別或少識(shí)別的情況，這是由于對(duì)血管的終止邊界訓(xùn)練不夠，沒有得到一致性的邊界條件導(dǎo)致的。此外，本文方法還識(shí)別出了未包含在目標(biāo)區(qū)域的血管，3D U-Net 和 Res-UNet 也出現(xiàn)了這種情況，這是本文方法的缺點(diǎn)。在經(jīng)過多種子點(diǎn)增長得到的分割結(jié)果中，誤分割冠狀動(dòng)脈的結(jié)果主要有兩類，一類為大量誤識(shí)別的血管集合，另一類為與冠狀動(dòng)脈有連接的血管。后續(xù)應(yīng)該對(duì)冠狀的整體結(jié)構(gòu)和冠狀末端的終止條件進(jìn)行優(yōu)化。若使用標(biāo)簽數(shù)據(jù)提取骨架，使用標(biāo)簽數(shù)據(jù)的骨架進(jìn)行測(cè)試，則識(shí)別出的非冠狀動(dòng)脈的血管會(huì)有一定減少，DSC 可達(dá) 0.822。所以，還可通過提高第一階段識(shí)別骨架的準(zhǔn)確度進(jìn)行優(yōu)化。

5 結(jié) 論

本文提出一種兩階段的冠狀動(dòng)脈分割方法，先使用改進(jìn)后的 DeepLabv3+ 做粗分割，用粗分割結(jié)果重建并提取骨架，然后以骨架點(diǎn)為中心截取 CTA 圖像，使用 3D U-Net 做最終分割。通過相關(guān)測(cè)試表明，本文方法對(duì)冠狀動(dòng)脈分割具有良好的效果，可以檢測(cè)出其他方法無法識(shí)別的冠狀動(dòng)脈，一定程度上解決了血管斷連和血管缺失的問題。