徐曉峰,黃韞梔,徐軍
(南京信息工程大學(xué)人工智能學(xué)院智慧醫(yī)療研究院,江蘇 南京 210044)
管腔結(jié)構(gòu)廣泛存在于人體系統(tǒng)中,血管是非常重要的管腔結(jié)構(gòu)之一。血管系統(tǒng)也稱為循環(huán)系統(tǒng),負(fù)責(zé)血液、營養(yǎng)物質(zhì)、激素、氧氣和其他氣體進出細(xì)胞的活動。血管系統(tǒng)包括動脈、靜脈和毛細(xì)血管,當(dāng)異常情況影響到血管時就會出現(xiàn)血管疾病。這是許多國家發(fā)病率和死亡率增加的主要原因[1],給世界衛(wèi)生系統(tǒng)和經(jīng)濟帶來了巨大的負(fù)擔(dān)。早期的診斷和治療是預(yù)防血管疾病的關(guān)鍵。近年來,醫(yī)學(xué)影像技術(shù)(如CT、MRI、超聲)發(fā)展逐步完善,從影像數(shù)據(jù)中提取出血管區(qū)域可以幫助醫(yī)生檢測血管的異常,及時干預(yù)治療,從而降低并發(fā)癥的風(fēng)險并提高患者的生活質(zhì)量[2]。但由于管腔結(jié)構(gòu)具有一定的復(fù)雜性,手動勾畫不僅消耗醫(yī)生大量的時間,準(zhǔn)確性也得不到保證,因此設(shè)計血管自動分割方法可以減輕醫(yī)生的工作負(fù)擔(dān),并提高分割準(zhǔn)確性。
傳統(tǒng)的血管分割算法主要分為圖像濾波和增強算法[3]、基于形變模型的算法[4]、基于最短路徑的算法[5]和基于機器學(xué)習(xí)的算法[6]4 種。然而,這些傳統(tǒng)算法通常需要研究人員設(shè)計血管特征,選擇合適的參數(shù)。深度學(xué)習(xí)在醫(yī)學(xué)圖像分割領(lǐng)域展現(xiàn)出了顯著的優(yōu)勢,研究人員提出很多優(yōu)秀的分割網(wǎng)絡(luò)模型,如U-Net[7]、V-Net[8]、UNet++[9]和nnU-Net[10]。這些模型自動學(xué)習(xí)復(fù)雜的圖像特征,并將其組合成層次表示,用于預(yù)測和分類,在不同分割任務(wù)中取得較好的性能。血管分割網(wǎng)絡(luò)按照分割的圖像類型可分為2D網(wǎng)絡(luò)和3D 網(wǎng)絡(luò)。在2D 血管分割領(lǐng)域中,已經(jīng)有一些使用多注意力機制雙網(wǎng)絡(luò)的研究。梅旭璋等[11]提出一種基于密集注意力網(wǎng)絡(luò)的圖像自動分割算法,該算法將編碼器-解碼器結(jié)構(gòu)與密集連接網(wǎng)絡(luò)相結(jié)合,以充分提取每層的特征,在網(wǎng)絡(luò)的解碼器端引入注意力門模塊,抑制不必要的特征。相較于其他方法,基于密集注意力網(wǎng)絡(luò)的算法能夠更有效地處理視網(wǎng)膜血管分割問題,提高視網(wǎng)膜血管圖像的分割精度。鄧小波等[12]提出一種基于通道注意力的雙路徑架構(gòu)網(wǎng)絡(luò)(DPCA-Net)算法,用于分割視網(wǎng)膜血管,該方法通過在網(wǎng)絡(luò)中引入通道注意力機制,融合主路徑和次路徑網(wǎng)絡(luò)中提取的特征,并構(gòu)建未引入通道注意力機制的雙路徑架構(gòu)網(wǎng)絡(luò)。DPCA-Net 算法能夠?qū)W習(xí)更多的血管分割特征,且對病變區(qū)域不敏感,分割視網(wǎng)膜血管的效果更好。劉娜等[13]提出一種自注意力融合網(wǎng)絡(luò)SAF-Net,將空間和通道注意力并行相結(jié)合以處理視網(wǎng)膜血管分割問題,該網(wǎng)絡(luò)的核心思想在于關(guān)注高頻信息的提取,即挖掘圖像中的細(xì)節(jié)信息。通過將空間注意力模塊和通道注意力模塊的輸出相加,SAF-Net 可以進一步改進特征表示,從而在視網(wǎng)膜血管分割任務(wù)上取得更好的性能。在3D 血管分割領(lǐng)域也有很大的進展,隨著計算機技術(shù)的發(fā)展和3D 醫(yī)學(xué)圖像數(shù)據(jù)的廣泛應(yīng)用,研究人員已經(jīng)提出許多新的3D 血管分割方法。TETTEH 等[14]提出一種用于3D 腦血管圖像分割、中心線預(yù)測和分支檢測的深度神經(jīng)網(wǎng)絡(luò),該網(wǎng)絡(luò)設(shè)計一種具有方向敏感性的卷積模塊,利用3D 上下文信息降低計算資源。KITRUNGROTSAKUL 等[15]提出一種用于肝臟血管分割的多路徑深度卷積神經(jīng)網(wǎng)絡(luò),從以目標(biāo)體素為中心的3 個平面(矢狀面、冠狀面和橫斷面)提取的樣本塊對深度網(wǎng)絡(luò)進行二分類訓(xùn)練,但是由于該方法需要計算血管概率圖,因此在預(yù)處理上花費更多的時間并且無法用于體素值差異較大的數(shù)據(jù)。HUANG 等[16]提出一種基于3D U-Net的肝臟血管分割模型,設(shè)計一種帶加權(quán)系數(shù)的Dice損失函數(shù)來平衡血管與背景之間的不平衡。YAN 等[17]設(shè)計一種基于注意力引導(dǎo)和多尺度特征融合的血管分割網(wǎng)絡(luò),該網(wǎng)絡(luò)可以更好地選擇和利用深層特征。然而,這些算法沒有考慮血管拓?fù)浣Y(jié)構(gòu)的完整性,在分割任務(wù)中可能出現(xiàn)血管斷裂的情況,不符合臨床要求。為此,KESHWANI[18]等提出一種新的連通性度量方式,即不同血管對之間的類間距離和同類血管的類內(nèi)拓?fù)渚嚯x,利用學(xué)習(xí)到的連通性度量和最短路徑樹算法來重構(gòu)血管樹。然而,該方法仍然存在多個人工微調(diào)參數(shù),并且對血管中心體素的誤檢也非常敏感。
本文提出基于各向異性注意力的雙分支血管分割模型CAU-Net。通過對基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)ResU-Net進行改進,構(gòu)建各向異性注意力模塊AIM,利用管腔結(jié)構(gòu)特有的空間各向異性,從3 個方向提取血管空間各向異性特征,并對特征通道間的相關(guān)性進行建模,學(xué)習(xí)血管的3D 空間信息。采用主-輔雙分支模型,同時結(jié)合血管的語義特征和幾何約束,保證血管分割結(jié)果的精度和完整性。
雖然深度學(xué)習(xí)在很多分割任務(wù)上的性能已經(jīng)超過人工標(biāo)注,但是血管分割依然是1 個具有挑戰(zhàn)性的問題。圖1 所示為血管分割中的挑戰(zhàn)性問題實例,主要有:1)血管與背景之間的邊界模糊;2)病變血管的大小、形狀多變;3)血管的空間結(jié)構(gòu)復(fù)雜,且不同樣本之間的差異性較大。本文提出一種基于中心線約束和各向異性注意力的新型3D 血管分割網(wǎng)絡(luò)CAU-Net,模型的總體結(jié)構(gòu)如圖2 所示。
圖1 血管分割中的挑戰(zhàn)性問題示例Fig.1 Examples of challenging issues in vascular segmentation
圖2 CAU-Net 總體結(jié)構(gòu)Fig.2 Overall structure of CAU-Net
與傳統(tǒng)U-Net 分割網(wǎng)絡(luò)不同,CAU-Net 有2 個子網(wǎng)絡(luò),分別是b-Net 和a-Net。b-Net 在ResU-Net 的基礎(chǔ)上加入各向異性注意力模塊。與傳統(tǒng)卷積不同,AIM 可以提取三維空間中更豐富的血管各向異性特征。b-Net 以圖像作為輸入,輸出血管的預(yù)測值。a-Net 以血管的標(biāo)簽作為輸入,輸出血管中心線熱圖。CAU-Net 訓(xùn)練過程分為血管中心線熱圖回歸預(yù)測任務(wù)和血管語義分割任務(wù)。
1)血管中心線熱圖回歸預(yù)測任務(wù),其結(jié)構(gòu)如圖2(a)所示,a-Net 參與訓(xùn)練,學(xué)習(xí)血管的連續(xù)性拓?fù)湫畔?,其?xùn)練過程表達(dá)式如式(1)和式(2)所示:
其中:z1表示血管中心線熱圖回歸預(yù)測任務(wù)中a-Net的預(yù)測值;y表示血管中心線熱圖回歸預(yù)測任務(wù)中a-Net的輸入值;Laux表示a-Net 的Loss 值;MMSE表示均方誤差損失函數(shù);z表示血管中心線熱圖的真實值。
2)血管語義分割任務(wù),其流程如圖2(b)所示,這一步b-Net 參與訓(xùn)練,b-Net 學(xué)習(xí)血管的語義特征,實現(xiàn)對血管端到端的語義分割任務(wù),上一步的a-Net 網(wǎng)絡(luò)參數(shù)在該步驟臨時被凍結(jié),其訓(xùn)練過程表達(dá)式如式(3)~式(7)所示:
其中:x表示血管語義分割任務(wù)中輸入到b-Net 的血管影像數(shù)據(jù);y1表示血管語義分割任務(wù)中b-Net 的預(yù)測值;Lseg表示主干網(wǎng)絡(luò)的Loss 值;Ls表示血管分割損失函數(shù);z2表示血管語義分割任務(wù)中a-Net 的預(yù)測值;Lcon表示血管語義分割任務(wù)中a-Net 的Loss 值;Ltotal表示血管語義分割任務(wù)中的總Loss 值。
1.1.1 b-Net 模型結(jié)構(gòu)
b-Net 模型基于ResU-Net 結(jié)構(gòu)改進,其結(jié)構(gòu)如圖3 所示。b-Net 的編碼器和解碼器是由殘差卷積模塊(RCM)和AIM 組成。文獻[19]提出跳躍連接,在殘差塊的輸入與輸出之間添加1 個恒等映射,可以有效地緩解深層網(wǎng)絡(luò)產(chǎn)生的梯度消失、梯度爆炸問題。本文所提的RCM 模塊根據(jù)恒等映射的思想,每個RCM模塊包括2 個帶有批量歸一化(BN)和ReLU 激活函數(shù)的大小為3×3×3、步長為1 的3D 卷積,并添加1 個加性跳躍連接。編碼器部分的輸入是1×128×128×128 的圖像塊,經(jīng)過30×3×3×3 大小的卷積層后,送入AIM模塊,再經(jīng)過上述一系列的RCM 模塊和AIM 模塊,最終得到300×8×8×8 大小的特征圖。解碼器與編碼器不同的是反卷積操作,利用反卷積將空間大小進行翻倍操作。編碼器的最后一步使用大小為1×1×1 的卷積將特征通道數(shù)30 映射為C,C為語義分割的類別數(shù)(包括背景)。在b-Net 中,不同空間層次的通道數(shù)分別為30、60、120、240、300。
圖3 b-Net 模型結(jié)構(gòu)Fig.3 Structure of the b-Net model
1.1.2 a-Net 模型結(jié)構(gòu)
a-Net模型基于U-Net結(jié)構(gòu)改進,其結(jié)構(gòu)如圖4 所示。a-Net 模型的深度更小,僅使用了3 次最大池化操作。每個卷積塊包括組歸一化(GN)[20]、3×3×3 大小的3D 卷積和ReLU 激活函數(shù)。因為考慮到b-Net只學(xué)習(xí)了血管和背景之間的差異特征(如邊緣特征),而不是血管內(nèi)的中心線特征,所以a-Net 可以回歸中心線熱圖。其損失函數(shù)是均方誤差損失函數(shù)(MSE)。編碼器輸入的尺寸是1×128×128×128,a-Net 中不同空間層次的通道數(shù)分別是16、32、64。
圖4 a-Net 模型結(jié)構(gòu)Fig.4 Structure of the a-Net model
1.1.3 AIM 模塊
SE[21]模塊通過建模特征映射通道之間的相互依賴關(guān)系,使網(wǎng)絡(luò)可以根據(jù)學(xué)習(xí)任務(wù)關(guān)注特定通道。然而3D 血管分割任務(wù)更關(guān)注空間維度,血管空間3 個維度的方向有著不同解剖信息,充分利用3D 空間信息有助于提升血管分割的完整度。ZHU 等[22]將SE 模塊拓展到3D,將空間3 個方向維度壓縮丟失了空間信息,移除所有的空間信息會導(dǎo)致相關(guān)信息丟失。對于分割任務(wù),尤其是血管結(jié)構(gòu)的分割,需要精準(zhǔn)地解剖結(jié)構(gòu)的空間信息。因此,本文引入AIM模塊,AIM 模塊的輸入是4D 張量U(寬度W、高度H、深度D和通道C),然后通過平均池化操作計算3 個不同方向的投影向量,尺寸分別是C×D、C×W、C×H,隨后將這3 個投影向量擴展后的結(jié)果相加,最后是帶有2 個卷積層的激勵操作和特征圖的重新校準(zhǔn)操作。
分割模塊的損失函數(shù)Ls包含3 部分,結(jié)合分割網(wǎng)絡(luò)中常用的Dice 損失函數(shù)、交叉熵?fù)p失函數(shù)和邊界損失函數(shù)[23],如式(8)所示:
其中:ω1、ω2和ω3分別是Dice 損失函數(shù)、交叉熵?fù)p失函數(shù)和邊界損失函數(shù)的權(quán)重系數(shù);Ldice表示Dice 損失函數(shù);Lce表示交叉熵?fù)p失函數(shù);Lboundary表示邊界損失函數(shù)。本文的ω1、ω2和ω3都設(shè)為1。Ldice和Lce的計算式如下:
其中:gki表示類別k在第i個位置的真實體素類別;pki表示類別k在第i個位置的預(yù)測概率值;N表示輸入圖像中所有體素的個數(shù);C表示語義分割的類別數(shù)。
邊界損失函數(shù)的表達(dá)式如下:
其中:ψG表示邊界的水平集;當(dāng)p?G時,ψG=-DG(p),否則,ψG=DG(p);sθ(p) 表示二值指示函數(shù)。D(?G,?S)表示真實邊界與預(yù)測邊界之間的距離,其計算式如下:
其中:DG(p)表示真實標(biāo)記的深度圖;s(p)和g(p)表示二值指示函數(shù)。
為驗證本文所提方法的有效性,本文選取2 種目前公開的血管影像數(shù)據(jù)集進行實驗。公開數(shù)據(jù)集血管3D 可視化圖如圖5 所示(彩色效果見《計算機工程》官網(wǎng)HTML 版)。
圖5 公開數(shù)據(jù)集血管三維可視化圖Fig.5 Three-dimensional visualization of vessels from a publicly available dataset
1 個血管分割數(shù)據(jù)集是3D-IRCADb-01[24],其可視化效果如圖5(a)所示,該數(shù)據(jù)集包含10 名女性和10 名男性肝腫瘤患者的腹部增強掃描CT。每個病例的數(shù)據(jù)像素大小為0.57~0.87 mm,切片層厚為1~4 mm,切片數(shù)為74~260。該數(shù)據(jù)集中的肝臟靜脈血管(包括門靜脈和肝靜脈)輪廓是由放射科醫(yī)生手動勾畫而成,紅色是門靜脈血管的標(biāo)注,綠色是肝靜脈血管的標(biāo)注。
本文實驗使用的另外1 個血管分割數(shù)據(jù)集是IXI[25],其可視化效果如圖5(b)所示。IXI 數(shù)據(jù)集包括600 名正常健康受試者的大腦磁共振成像(MR)。MR 圖像采集協(xié)議包括T1、T2 和PD 加權(quán)圖像、MRA圖像、擴散加權(quán)圖像(DWI)。這些數(shù)據(jù)是多中心的,從倫敦3 個不同醫(yī)院收集得到。血管標(biāo)注使用原始血管圖和濾波增強的血管圖進行交互式閾值分割[25],標(biāo)注結(jié)果由1 位熟練的放射科醫(yī)生逐一檢查并修改。
2.2.1 數(shù)據(jù)預(yù)處理與數(shù)據(jù)增強
對于肝臟CT 圖像,首先根據(jù)肝臟真實掩碼裁剪出肝臟區(qū)域,以去除數(shù)據(jù)中的冗余信息,然后設(shè)置窗寬窗位,將信號強度窗口設(shè)置為0~300 HU,將圖像的間距重采樣為[1 mm,1 mm,1 mm],最后使用最大最小標(biāo)準(zhǔn)化將CT 圖像的體素值歸一化到0~1。腦血管MRA 圖像的數(shù)據(jù)預(yù)處理方式與CT 圖像的不同之處是,將信號強度窗口設(shè)置為[0,99],其中,99 是MR 圖像第99%分位的數(shù)值。
為提高模型的泛化能力,本文對數(shù)據(jù)進行數(shù)據(jù)增強,在訓(xùn)練時采用旋轉(zhuǎn)、縮放、高斯模糊等方式對數(shù)據(jù)進行增強,隨機旋轉(zhuǎn)的角度設(shè)置為30°,隨機縮放比例設(shè)置為0.3,高斯噪聲的標(biāo)準(zhǔn)差設(shè)置為0.02。
2.2.2 實驗設(shè)置
本文實驗所使用的設(shè)備信息包括:處理器(CPU)為12th Gen Intel?Core i9-12900K×24,內(nèi)存(RAM)為128 GB,顯卡(GPU)為GeForce GTX 3090Ti。開發(fā)平臺信息包括:操作系統(tǒng)為Ubuntu 22.04.1 LTS 64 位,開發(fā)平臺為Python 3.9.13,PyCharm 平臺,PyTorch 1.13.0 框架。
本文方法在進行分割任務(wù)訓(xùn)練時,采用Kaiming均勻策略對模型進行初始化,然后采用Adam 優(yōu)化器,最大迭代次數(shù)設(shè)為400,批大小設(shè)置為2,初始學(xué)習(xí)率設(shè)為1×10-4。學(xué)習(xí)率按式(13)進行更新:
其中:e表示當(dāng)前迭代輪數(shù);Ne表示總迭代輪數(shù)。
結(jié)果表明,CAU-Net 容易將影像數(shù)據(jù)中一些噪聲點預(yù)測為血管區(qū)域。為去除這些細(xì)小的體積噪聲,根據(jù)經(jīng)驗對分割結(jié)果進行后處理,計算每個連通區(qū)域的體積,當(dāng)某個連通區(qū)域小于100 個像素時,則去除該連通區(qū)域。
本文使用的評價指標(biāo)采用醫(yī)學(xué)圖像分割領(lǐng)域中比較經(jīng)典的Dice 系數(shù)(DSC)、歸一化表面Dice(NSD)系數(shù)[26]、血管中心線指標(biāo)clDice[27]、分支檢測率(BD)[28]和樹長檢測率(TD)[28]。
Dice 系數(shù)是1 個衡量2 個區(qū)域相對重疊程度的指標(biāo),如式(14)所示:
其中:G為數(shù)據(jù)集中血管區(qū)域的標(biāo)簽;P為模型預(yù)測結(jié)果。Dice 系數(shù)介于0~1,Dice 系數(shù)越大,表面分割結(jié)果與真實值之間的重疊程度更高,分割結(jié)果更準(zhǔn)確。
NSD 系數(shù)用來評價在指定容忍度τ下2 個surface 到底有多接近。NSD 系數(shù)范圍為0~1,其值越高表明邊界分割越好。在許多臨床任務(wù)中,邊界誤差是至關(guān)重要的。Dice 系數(shù)不能很好地反映邊界誤差,而NSD 系數(shù)對邊界誤差很敏感,其計算式如式(15)~式(17)所示:
其中:|?G|和|?P|分別代表真實體素和預(yù)測體素的個數(shù)和分別代表真實血管表面和預(yù)測血管表面在τ下的邊界區(qū)域。
然而,無論是Dice 系數(shù)還是NSD 系數(shù),對于管腔類結(jié)構(gòu)的分割性能評價都是次優(yōu)的。在血管分割過程中,保證分割血管拓?fù)浣Y(jié)構(gòu)的完整性具有更大的價值。clDice 作為拓?fù)湎嗨菩詼y度,其原理為計算分割結(jié)果與骨架的相交占比,用于評價分割結(jié)果的拓?fù)溥B通性。拓?fù)鋵W(xué)精度和敏感度的計算表達(dá)式如下:
其中:VL表示真實結(jié)果;VP表示預(yù)測結(jié)果;SL表示從真實結(jié)果中提取的骨架;SP表示從預(yù)測結(jié)果中提取的骨架。Tprec對應(yīng)了拓?fù)鋵W(xué)上的精度,而Tsens則對應(yīng)了拓?fù)鋵W(xué)上的敏感度。最后本文定義clDice 為Tprec和Tsens的F1 值,其計算式如下:
為衡量分割結(jié)果的完整性和連通性,本文還使用分支檢測率(BD)[28]和樹長檢測率(TD)[28],其計算式如式(21)和式(22)所示:
其中:NP表示正確檢測到的分支數(shù);NG表示真實標(biāo)注中存在的分支總數(shù);LP表示正確檢測到的血管樹長度;LG表示真實標(biāo)注血管樹的總長度。
本文提出的CAU-Net 新型血管分割模型,針對醫(yī)學(xué)圖像中血管的復(fù)雜結(jié)構(gòu)、血管與背景對比度低、病變血管多樣性的問題,提出各向異性注意力模塊和基于中心線約束的主-輔雙分支模型。為驗證本文算法的有效性,本文首先選取3 種經(jīng)典醫(yī)學(xué)圖像分割網(wǎng)絡(luò)進行對比,分別是nnU-Net、ResU-Net[29]和Attention U-Net[30],從3D-IRCADb-01 數(shù)據(jù)集中隨機選取16 個樣本作為訓(xùn)練集,另外4 個樣本作為驗證集。為進一步探索各模塊對分割性能的影響,本文在IXI 腦血管數(shù)據(jù)集上進行消融實驗,從IXI 腦血管數(shù)據(jù)集中隨機選出80 例MRA 數(shù)據(jù)用于分割任務(wù)的訓(xùn)練集,20 例MRA 數(shù)據(jù)作為分割任務(wù)的驗證集。
2.4.1 在肝臟血管數(shù)據(jù)集上的對比實驗
在測試數(shù)據(jù)上,本文對比不同血管分割模型的分割性能,實驗結(jié)果分別如表1、表2 和圖6 所示,加粗表示最優(yōu)數(shù)據(jù)。相比其他分割模型,CAU-Net取得最優(yōu)的分割結(jié)果,門靜脈分割的Dice、NSD、clDice、BD、TD 分別是(74.80±8.05)%、(54.80±8.09)%、(72.43±8.26)%、(46.47±12.89)%、(67.08±15.59)%,肝靜脈分割的Dice、NSD、clDice、BD、TD 分別是(76.14±6.89)%、(50.40±5.22)%、(70.84±6.05)%、(39.19±7.97)%、(61.47±9.32)%。相比經(jīng)典的醫(yī)學(xué)圖像分割模型nnU-Net,本文模型在門靜脈分割任務(wù)上的Dice、NSD、BD、TD 分別提升6.74%、18.67%、15.16%、8.21%,在肝靜脈分割任務(wù)上的Dice、NSD、clDice、BD、TD 分別提升8.28%、13.64%、3.18%、14.59%、10.52%。nnU-Net 在許多醫(yī)學(xué)圖像分割任務(wù)上取得了SOTA,然而在門靜脈和肝靜脈的分割任務(wù)上,nnU-Net 模型的分割結(jié)果并不理想。無論是基于體素、基于邊界還是基于中心線的評價指標(biāo),nnU-Net模型的結(jié)果都較差,說明nnU-Net 分割框架在血管分割任務(wù)并非最優(yōu)選擇。
表1 各分割模型在3D-IRCADb-01 驗證集上的分割效果(門靜脈)對比Table 1 Comparison of segmentation effect(portal vein)of various segmentation models on the 3D-IRCADb-01 validation set %
表2 各分割模型在3D-IRCADb-01 驗證集上的分割效果(肝靜脈)對比Table 2 Comparison of segmentation effect(hepatic vein)of various segmentation models on the 3D-IRCADb-01 validation set %
圖6 肝臟門靜脈和肝靜脈分割結(jié)果Fig.6 Segmentation results of the hepatic portal vein and hepatic vein
對于門靜脈的分割任務(wù),Attention U-Net 模型在驗證集上的平均Dice 系數(shù)略高于本文提出的CAU-Net,但是NSD、clDice、BD、TD 都低于CAU-Net。Attention U-Net 最初是為分割胰腺而設(shè)計的,與肝臟、脾臟這些人體內(nèi)體積較大的器官不同,胰腺的體積更小,對于分割網(wǎng)絡(luò)的特征提取能力要求也更高。因此,Attention U-Net 在血管分割任務(wù)上可以取得較好的性能。然而胰腺的空間結(jié)構(gòu)單一,與血管的復(fù)雜網(wǎng)絡(luò)結(jié)構(gòu)相比,還是較為簡單的,血管分割任務(wù)的性能也不能僅僅考慮基于體素的性能指標(biāo)。為了減小分割結(jié)果的邊界誤差,本文在血管分割的損失函數(shù)中加入邊界損失,對于門靜脈及肝靜脈的分割,CAU-Net 相較于Attention U-Net 的NSD 系數(shù)分別提升0.15%和9.40%。為提升血管分割結(jié)果的完整性和連通性,本文提出基于中心線約束的主-輔雙分支模型,通過血管中心線熱圖的回歸學(xué)習(xí),血管分割的完整性和連通性均有所提高。對于門靜脈及肝靜脈的分割,相比Attention U-Net,CAU-Net 的clDice 系數(shù)分別提升了0.71%和4.09%,分支檢測率分別提升了7.47% 和9.81%,樹長檢測率分別提升5.89% 和7.62%。此外,為更充分地提取血管類結(jié)構(gòu)所特有的特征,本文設(shè)計各向異性注意力模塊,各向異性注意力模塊可以幫助網(wǎng)絡(luò)更好地學(xué)習(xí)三維血管不同方向上的特征,從而提高網(wǎng)絡(luò)的泛化能力和血管分割的準(zhǔn)確性。本文還采用不同的數(shù)據(jù)增強方法,例如隨機縮放、高斯模糊和三維旋轉(zhuǎn)等,以增加數(shù)據(jù)樣本的多樣性,進一步提高模型的魯棒性。
為了更充分驗證本文方法的優(yōu)勢,本文在實驗中增加了細(xì)血管結(jié)構(gòu)的局部對比。從圖6 中的局部對比結(jié)果可以看出,在細(xì)血管結(jié)構(gòu)的檢測和分割上,CAU-Net 相較于其他方法具有一定的優(yōu)勢。CAU-Net 可以更準(zhǔn)確地檢測和分割細(xì)血管結(jié)構(gòu)。然而,在血管分支較復(fù)雜的情況下,CAU-Net 的分割效果可能會受到一定的限制。
2.4.2 在腦血管數(shù)據(jù)集上的消融實驗
在腦血管數(shù)據(jù)集上的消融實驗結(jié)果分別如表3和圖7 所示。在加入各向異性注意力模塊后,Baseline+AIM 模型在測試集上的Dice、NSD、clDice、BD、TD 相比Baseline 分別提升0.48%、0.43%、0.52%、0.53%、0.68%。在加入基于中心線約束的主-輔兩分支模型后,模型的分割性能得到進一步提升,最終本文提出的分割方法在驗證集上的平均Dice、NSD、clDice、BD、TD 分別為(94.11±0.39)%、(96.53±0.37)%、(95.83±0.59)%、(98.64±1.63)%、(95.44±1.22)%,相比Baseline 分別提升0.92%、0.82%、0.92%、1.11%、1.60%。因此,本文提出的各向異性注意力模塊和基于中心線約束主-輔兩分支模型可以提升血管分割的精度和完整性。
表3 在腦血管數(shù)據(jù)集上的消融實驗結(jié)果Table 3 Results of ablation experiments on the cerebrovascular dataset %
圖7 腦血管分割結(jié)果對比Fig.7 Comparison of the segmentation results of the cerebrovascular
針對血管邊界模糊、病變血管的形狀多變以及血管空間結(jié)構(gòu)復(fù)雜的問題,本文提出一種基于中心線約束和各向異性注意力的新型三維血管分割方法CAU-Net,以獲得更具血管代表性的圖像底層和高層特征,提升血管分割結(jié)果的精度和完整度。通過結(jié)合各向異性注意力模塊和基于中心線約束的主-輔雙分支訓(xùn)練網(wǎng)絡(luò),主網(wǎng)絡(luò)分支預(yù)測三維血管的語義分割結(jié)果,輔助網(wǎng)絡(luò)分支預(yù)測三維血管中心線熱圖,主-輔雙分支相互約束,更加高效地學(xué)習(xí)血管類結(jié)構(gòu)特有的空間結(jié)構(gòu)特征。在2 種不同類型的血管影像數(shù)據(jù)集上的實驗結(jié)果表明,CAU-Net 較其他醫(yī)學(xué)圖像分割方法具有更優(yōu)的魯棒性,由于基于血管中心線約束的雙分支網(wǎng)絡(luò)同時結(jié)合了血管的語義特征和幾何約束,因此可以更準(zhǔn)確地識別形態(tài)多變的血管,兼顧分割的精度與完整性。后續(xù)將優(yōu)化CAU-Net 模型結(jié)構(gòu),提升在血管交叉較嚴(yán)重區(qū)域中的分割精度。