基于三維卷積神經(jīng)網(wǎng)絡(luò)的頸部TOF MRA圖像的血管自動(dòng)分割

邱偉 陳碩 魏寒宇 李睿

0 引言

腦血管病是危害人類(lèi)健康的最主要的疾病之一，也給我國(guó)的經(jīng)濟(jì)和社會(huì)發(fā)展帶來(lái)了沉重的負(fù)擔(dān)[1]。其中，缺血性腦卒中是發(fā)病率最高的腦血管病類(lèi)型，約占80%。頸動(dòng)脈病變(如動(dòng)脈粥樣硬化)和椎動(dòng)脈變異(如椎動(dòng)脈優(yōu)勢(shì))是缺血性腦卒中的主要致病原因[2-5]。臨床常用的影像學(xué)血管評(píng)估方法多為血管造影法，如磁共振血管造影(magnetic resonance angiography,MRA)、CT血管造影(CT angiography,CTA)、數(shù)字減影造影(digital subtraction angiography,DSA)等。盡管CTA和DSA等方法被廣泛應(yīng)用于急診診斷、手術(shù)規(guī)劃、介入引導(dǎo)等醫(yī)療場(chǎng)景，并且近年來(lái)關(guān)于顱頸動(dòng)脈CTA或DSA的人工智能分割、診斷等研究成果日益增多，但因輻射性、有創(chuàng)性、需外源造影劑等弊端，這些方法仍具有應(yīng)用的局限性。時(shí)間飛躍法磁共振血管成像(time of flight MRA,TOF MRA)應(yīng)用流入增強(qiáng)效應(yīng)而無(wú)需外源性造影劑注射即可對(duì)多血管床進(jìn)行成像，以其無(wú)輻射、無(wú)創(chuàng)等優(yōu)勢(shì)成為應(yīng)用廣泛的血管造影技術(shù)之一[6-7]，并且多項(xiàng)研究證明TOF MRA在頸部動(dòng)脈、顱內(nèi)動(dòng)脈等部位成像效果與CTA、DSA基本一致[8-11]。

基于TOF MRA對(duì)血管形態(tài)進(jìn)行準(zhǔn)確快速的評(píng)估，有助于疾病鑒別診斷、發(fā)病規(guī)律的探究、治療方案的規(guī)劃、治療的影像學(xué)隨訪(fǎng)等等，具有重要意義[12-14]。對(duì)于頸動(dòng)脈管腔的準(zhǔn)確分割是獲取管腔形態(tài)結(jié)構(gòu)信息，從而對(duì)血管狹窄程度進(jìn)行評(píng)估的重要步驟。但傳統(tǒng)的管腔分割多采用手動(dòng)勾畫(huà)方法，耗時(shí)、低效、依賴(lài)圖像處理人員的經(jīng)驗(yàn)，并不適用于大規(guī)模臨床或科學(xué)研究。近年來(lái)逐漸成熟的深度學(xué)習(xí)人工智能技術(shù)使得快速準(zhǔn)確分割TOF MRA圖像的血管管腔成為可能。

目前基于深度學(xué)習(xí)人工智能等圖像后處理方法已被應(yīng)用于CTA影像分割的研究和臨床應(yīng)用中。但相較于成像質(zhì)量更穩(wěn)定的CTA，TOF MRA因其成像原理更易受血液流速、磁場(chǎng)不均勻、人體生理運(yùn)動(dòng)以及具體磁共振成像參數(shù)的影響，存在著圖像對(duì)比度不一致和質(zhì)量不夠穩(wěn)定的問(wèn)題，因此對(duì)TOF MRA圖像進(jìn)行后處理分析挑戰(zhàn)更大。Wilson等[15]搭建高斯-均勻混合分布模型，應(yīng)用最大期望化算法對(duì)模型參數(shù)進(jìn)行估計(jì)，在TOF圖像中對(duì)血管進(jìn)行了良好的分割，這是經(jīng)典的基于閾值的自動(dòng)分割方法。Xiao等[16]利用檢測(cè)到的種子點(diǎn)進(jìn)行區(qū)域生長(zhǎng)，在多特征融合增強(qiáng)圖像上分割腦血管，但這種半自動(dòng)的算法也不適于大規(guī)模處理。近年來(lái)，深度學(xué)習(xí)技術(shù)，尤其是基于U-Net[17]或者3D U-Net[18]神經(jīng)網(wǎng)絡(luò)分割方法，已被廣泛用于血管的自動(dòng)分割[19]，其分割效果優(yōu)于傳統(tǒng)方法[20-21]。Phellan等[22]使用基礎(chǔ)的深度卷積神經(jīng)網(wǎng)絡(luò)(CNN)，Livne等[23]使用半 U-Net網(wǎng)絡(luò)，Sanches等[24]使用3D U-Net網(wǎng)絡(luò)，Zhu等[25]以3D Res U-Net 作為基礎(chǔ)網(wǎng)絡(luò)都比較成功地對(duì)TOF MRA圖像進(jìn)行了血管分割，在各自的數(shù)據(jù)集上分別取得了0.78、0.89、0.7和0.85的Dice值結(jié)果。盡管上述深度學(xué)習(xí)后處理方法表現(xiàn)已優(yōu)于傳統(tǒng)方法，但其未充分利用TOF MRA圖像本身具有的稀疏性和高對(duì)比度等特征，且在網(wǎng)絡(luò)結(jié)構(gòu)方面存在著通道數(shù)和卷積層數(shù)不匹配，圖像細(xì)節(jié)提取層次不夠等不足之處，難以對(duì)TOF MRA圖像進(jìn)行更高精度的特征提取。

為此本研究擬提出一種適用于TOF MRA圖像的三維卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，并采用在原始的高分辨率圖像中裁取三維切塊的方式來(lái)對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和優(yōu)化，實(shí)現(xiàn)對(duì)3D頸部TOF MRA圖像的血管精確分割。

1 材料與方法

1.1 研究對(duì)象與數(shù)據(jù)

1.1.1 數(shù)據(jù)的獲取

頸部3D TOF MRA圖像源于老年人心腦血管病發(fā)病風(fēng)險(xiǎn)研究(Cardiovascular Risk of Old Population，CROP)項(xiàng)目[26]中166名受試者，納入標(biāo)準(zhǔn)為年齡不低于60歲，6個(gè)月內(nèi)無(wú)心血管系統(tǒng)癥狀以及冠心病或中風(fēng)病史，所納入數(shù)據(jù)的圖像質(zhì)量均衡。

所有受試者均在3.0T MR成像儀(Philips Achieva TX,Best,荷蘭)上完成雙側(cè)頸動(dòng)脈TOF MRA成像檢查，接收線(xiàn)圈采用自主研究設(shè)計(jì)的36通道神經(jīng)血管線(xiàn)圈。該項(xiàng)目研究方案已通過(guò)清華大學(xué)醫(yī)學(xué)倫理審查會(huì)審核批準(zhǔn)，所有受試者參與項(xiàng)目前均簽署書(shū)面知情同意書(shū)，倫理批準(zhǔn)文號(hào)是20110022。

頸動(dòng)脈TOF MRA的成像主要參數(shù)為：快速回波場(chǎng)序列(fast field echo,FFE)，重復(fù)時(shí)間(time of repetition,TR)為 25 ms，回波時(shí)間(time of echo,TE)為3.453 ms，翻轉(zhuǎn)角為20°，成像視野為130(AP)×168(RL)×140(FH)mm3，空間分辨率為0.7 mm×0.9 mm×1.8 mm，重建后的圖像矩陣大小為528×528×156。

1.1.2 圖像標(biāo)注及數(shù)據(jù)集準(zhǔn)備

數(shù)據(jù)由2名具有3年以上磁共振血管影像評(píng)估經(jīng)驗(yàn)的圖像判讀人員運(yùn)用Mimics軟件(Materialise Mimics Medical 17.0)對(duì)圖像數(shù)據(jù)集進(jìn)行像素級(jí)的三維手動(dòng)勾畫(huà)標(biāo)注，標(biāo)注的血管包括雙側(cè)椎動(dòng)脈、頸總動(dòng)脈、頸內(nèi)動(dòng)脈和頸外動(dòng)脈。圖像標(biāo)注人員采用觀(guān)點(diǎn)一致性原則進(jìn)行圖像標(biāo)注，當(dāng)判讀者間存在爭(zhēng)議時(shí)，由第3名高年資醫(yī)生(10年以上腦血管影像診斷經(jīng)驗(yàn))進(jìn)行仲裁。標(biāo)注完成后將166例圖像數(shù)據(jù)按照8∶1∶1的比例隨機(jī)分為訓(xùn)練集(n=132)、驗(yàn)證集(n=17)和測(cè)試集(n=17)。

1.2 研究方法

1.2.1 新分割模型搭建

本研究所提出的多層級(jí)輸入的3D CNN神經(jīng)網(wǎng)絡(luò)模型如圖1所示。該模型包括4層降采樣和4層上采樣，分別構(gòu)成編碼路徑和解碼路徑，實(shí)現(xiàn)了從三維MRA圖像到三維血管掩膜圖像的端到端網(wǎng)絡(luò)結(jié)構(gòu)。這比基礎(chǔ)的3D U-Net增加了卷積層數(shù)，有利于對(duì)高分辨圖像進(jìn)行更深層次的特征提取。網(wǎng)絡(luò)中的每一層均是一個(gè)殘差網(wǎng)絡(luò)模塊，由兩個(gè)卷積核(kernel)為3×3×3、步長(zhǎng)(stride)為2的卷積層(convolution)、一個(gè)步長(zhǎng)(pooling size)為2的最大池化層(maxpooling)或反卷積層(deconvolution)和殘差連接結(jié)構(gòu)[27]組成，增加的殘差結(jié)構(gòu)可以在網(wǎng)絡(luò)加深的時(shí)候避免出現(xiàn)梯度消失的問(wèn)題。這些卷積操作中均使用Relu函數(shù)作為激活函數(shù)。將輸入的TOF MRA圖像分別進(jìn)行2倍、4倍和8倍下采樣縮小后，與每層編碼器輸出的特征圖進(jìn)行拼接結(jié)合(concatenate operation)，隨后通過(guò)每一層的跳過(guò)連接將等比例縮小的TOF MRA圖和編碼器提取的特征圖一起輸送給相應(yīng)層級(jí)的解碼器，再進(jìn)行進(jìn)一步的訓(xùn)練學(xué)習(xí)。通過(guò)在跳躍連接時(shí)添加不同尺度的原始圖像特征，充分利用了不同維度下的淺層特征，再結(jié)合殘差結(jié)構(gòu)下的深層特征，此改進(jìn)使該網(wǎng)絡(luò)能夠全面考慮到MRA圖像不同層的特征映射，避免引入更復(fù)雜的卷積和池化等操作。輸出層使用1×1×1的卷積進(jìn)行通道信息整合，最后使用Sigmoid激活函數(shù)進(jìn)行結(jié)果輸出。

圖1 新三維卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)Figure 1 The new 3D CNN structure

1.2.2 實(shí)驗(yàn)實(shí)施細(xì)節(jié)

實(shí)驗(yàn)在Ubuntu 18.04系統(tǒng)下進(jìn)行，深度學(xué)習(xí)網(wǎng)絡(luò)框架為T(mén)ensorFlow(v1.14.0)，Python版本為3.7，模型訓(xùn)練及預(yù)測(cè)使用GeForce RTX 2080Ti，顯存為11 GB，CUDA版本為10.0，cuDNN版本為7.4。

模型訓(xùn)練采用迭代學(xué)習(xí)參數(shù)平穩(wěn)的Adam優(yōu)化器，初始學(xué)習(xí)率設(shè)置為10-5，訓(xùn)練的迭代次數(shù)設(shè)置為100，批量大小為1。采用“1-Dice”損失函數(shù)作為模型的損失函數(shù)[27]，用以反映血管分割的準(zhǔn)確度。

本研究將數(shù)據(jù)同樣應(yīng)用于Wilson等[15]提出的傳統(tǒng)方法、3D U-Net[18]、3D Res U-Net[25](在3D U-Net的每個(gè)編碼層中加入殘差結(jié)構(gòu))和3D SE U-Net[28]方法(在3D U-Net的每個(gè)編碼層中加入SE結(jié)構(gòu))，而且這些深度學(xué)習(xí)模型均采用上述的訓(xùn)練參數(shù)。上述基于深度學(xué)習(xí)的參考方法均是根據(jù)原文的描述用TensorFlow框架復(fù)現(xiàn)的。

1.2.3 三維切塊大小的比較

由于本研究所使用的顯卡內(nèi)存大小為11 GB，故無(wú)法對(duì)全尺寸的圖像進(jìn)行學(xué)習(xí)和測(cè)試。將原始大尺寸圖像裁剪成三維切塊是解決計(jì)算資源限制從而提高效率的常用技巧。為了研究三維切塊尺寸大小對(duì)網(wǎng)絡(luò)性能的影響，本研究從TOF MRA圖像中分別裁剪出3種不同的尺寸大小來(lái)進(jìn)行對(duì)比實(shí)驗(yàn)，3種切塊的尺寸從大到小分別為256×256×64(大)、192×192×64(中)和192×192×32(小)。每一種尺寸的三維切塊都是從原始數(shù)據(jù)中切取出來(lái)，并進(jìn)行Z-score標(biāo)準(zhǔn)化來(lái)改善圖像對(duì)比度不一致的問(wèn)題。同時(shí)為了避免模型在訓(xùn)練過(guò)程中出現(xiàn)過(guò)擬合的問(wèn)題，本研究在原始圖像的3個(gè)方向上隨機(jī)進(jìn)行不同步長(zhǎng)的平移來(lái)進(jìn)行數(shù)據(jù)增強(qiáng)，從而提高模型的穩(wěn)定性。

1.2.4 結(jié)果評(píng)估

本研究中的實(shí)驗(yàn)均采用了十折交叉驗(yàn)證，以人工標(biāo)注的結(jié)果作為參考標(biāo)準(zhǔn)，模型性能的評(píng)估基于以下量化指標(biāo)：平均Dice系數(shù)、Dice系數(shù)標(biāo)準(zhǔn)差(十折)、靈敏度和特異度。針對(duì)每一種切塊尺寸的對(duì)比實(shí)驗(yàn)，分別得到對(duì)于不同預(yù)測(cè)拼接方式的十折Dice系數(shù)，采用十折Dice系數(shù)的平均值和標(biāo)準(zhǔn)差對(duì)模型的分割性能進(jìn)行評(píng)價(jià)，并對(duì)3種切塊尺寸對(duì)比實(shí)驗(yàn)結(jié)果進(jìn)行單因素方差分析(One-way ANOVA)。

2 結(jié)果

2.1 模型分割

表1顯示了采用不同方法在TOF MRA圖像上獲得的血管分割統(tǒng)計(jì)結(jié)果。由表1可見(jiàn)，本研究提出的新3D CNN模型在數(shù)據(jù)集上獲得了最高的Dice系數(shù)平均值0.932 0，最高的靈敏度0.918 6和特異度0.999 6，同時(shí)有著最低的Dice系數(shù)標(biāo)準(zhǔn)差(standard deviation，STD)為0.005 1。

表1 不同方法的頸部血管分割結(jié)果比較Table 1 Algorithms comparisons on neck vessel segmentation

隨機(jī)挑選4個(gè)測(cè)試結(jié)果用最大密度投影方式進(jìn)行可視化處理，如圖2所示。并與Wilson等提出的傳統(tǒng)方法、3D Res U-Net深度學(xué)習(xí)方法進(jìn)行直觀(guān)對(duì)比。本研究結(jié)果顯示，所提出的3D CNN分割方法與手動(dòng)分割方法具有良好的一致性，并且相比其他方法有著噪點(diǎn)數(shù)顯著減少，與手動(dòng)結(jié)果更為接近的效果。

圖2 不同方法下的分割結(jié)果Figure 2 Segmentation results under different methods

2.2 不同切塊尺寸下的網(wǎng)絡(luò)性能

十折交叉驗(yàn)證下對(duì)3種尺寸切塊的測(cè)試結(jié)果見(jiàn)表2。對(duì)于大、中和小3種尺寸的三維切塊，分別訓(xùn)練出模型并在測(cè)試集上得出十折的平均Dice系數(shù)分別為0.932 0、0.917 5和0.899 3，十折Dice系數(shù)的標(biāo)準(zhǔn)差分別為0.005 1、0.011 5和0.021 0。單因素方差分析結(jié)果如圖3所示，3組數(shù)據(jù)滿(mǎn)足方差齊性，3組間差異具有統(tǒng)計(jì)學(xué)意義(P<0.01)。

表2 不同切塊尺寸模型測(cè)試Dice系數(shù)統(tǒng)計(jì)結(jié)果Table 2 Dice results of three models with different patch size

圖3 不同切塊尺寸模型的單因素方差分析Figure 3 One-way ANOVA of three models with different patch size

3 討論

3.1 新分割模型的有效性

本研究使用新提出的多層級(jí)輸入的3D CNN模型對(duì)三維高分辨率頸部TOF MRA圖像中的血管管腔進(jìn)行了像素級(jí)分割，獲得了高達(dá)0.932 0的Dice平均值，同時(shí)十折交叉實(shí)驗(yàn)下的標(biāo)準(zhǔn)差很小。從所運(yùn)用的評(píng)價(jià)指標(biāo)來(lái)看，所提出的新網(wǎng)絡(luò)相比已有的經(jīng)典模型，在TOF MRA數(shù)據(jù)上具有更好的可行性和效果。

本研究的3D CNN模型是在3D U-Net的基礎(chǔ)上進(jìn)行改進(jìn)的。首先課題組在原U-Net結(jié)構(gòu)上增加了一個(gè)編碼層和解碼層來(lái)應(yīng)對(duì)大尺寸的輸入圖像，每一層中的殘差結(jié)構(gòu)能有效解決網(wǎng)絡(luò)退化問(wèn)題，有利于網(wǎng)絡(luò)訓(xùn)練的深入。由于TOF MRA圖像本身自帶矩陣稀疏性，同時(shí)血管區(qū)域的高亮特性能起到獨(dú)立于背景的作用。因此，本研究在網(wǎng)絡(luò)每個(gè)跳躍連接層上添加了TOF MRA的多種分辨率數(shù)據(jù)，每層加入的數(shù)據(jù)能夠起到區(qū)域響應(yīng)增強(qiáng)的門(mén)控效果，抑制了無(wú)關(guān)區(qū)域的信息，更加突顯目標(biāo)區(qū)域。該改進(jìn)能夠增加網(wǎng)絡(luò)對(duì)TOF MRA圖像的特征學(xué)習(xí)能力，并提高網(wǎng)絡(luò)對(duì)TOF MRA圖像分割的穩(wěn)定性，有助于本模型在分割算法中獲得最佳分割性能。

3.2 對(duì)三維切塊尺寸的分析

由于血管的完整和連續(xù)性，需要充分利用圖像的全局特征來(lái)獲得更好的分割結(jié)果。輸入切塊的尺寸范圍越大，其包含的血管信息就越多，因此保持了更好的全局性。對(duì)研究結(jié)果進(jìn)行總結(jié)分析可知，當(dāng)三維切塊的尺寸較大時(shí)，更大的輸入擁有更大范圍的上下文信息，使得網(wǎng)絡(luò)能學(xué)習(xí)到更多的特征，并有益于網(wǎng)絡(luò)參數(shù)的訓(xùn)練，從而使得網(wǎng)絡(luò)的分割準(zhǔn)確度更高，分割的穩(wěn)定性也更好。因此，在顯卡內(nèi)存足夠大的情況下，應(yīng)選取尺寸盡量大的三維切塊作為神經(jīng)網(wǎng)絡(luò)的輸入來(lái)提升模型的性能。

3.3 本研究的局限性

深度學(xué)習(xí)網(wǎng)絡(luò)模型的性能與數(shù)據(jù)集關(guān)系密切，然而此研究使用的數(shù)據(jù)集來(lái)自于無(wú)癥狀老年人群，缺少動(dòng)脈顯著狹窄或閉塞等的患者數(shù)據(jù)。此外，在對(duì)數(shù)據(jù)集進(jìn)行人工手動(dòng)標(biāo)注時(shí)也會(huì)存在一定的個(gè)體差異，這些問(wèn)題均可能對(duì)研究結(jié)果造成一定的影響。在今后的研究中可以通過(guò)擴(kuò)大樣本數(shù)量、豐富數(shù)據(jù)集種類(lèi)、增加網(wǎng)絡(luò)參數(shù)的討論范圍和采用多種圖像預(yù)處理方式來(lái)進(jìn)一步提升研究效果。

總體而言，本研究針對(duì)3D TOF MRA圖像的血管分割，提出了一個(gè)新的多層級(jí)輸入的三維卷積神經(jīng)網(wǎng)絡(luò)，實(shí)驗(yàn)結(jié)果表明該模型能夠從3D TOF MRA圖像中自動(dòng)分割出頸部動(dòng)脈血管，且分割性能優(yōu)于現(xiàn)有方法。此外，實(shí)驗(yàn)表明增加三維切塊的尺寸可以提升模型分割性能，這為模型參數(shù)選擇提供了有力參考。