基于位移流U-Net 和變分自動(dòng)編碼器的心臟電影磁共振圖像左心肌運(yùn)動(dòng)追蹤*

王甜甜 王慧 朱艷春 王麗嘉?

1) (上海理工大學(xué)醫(yī)療器械與食品學(xué)院,上海 200093)

2) (中國(guó)聯(lián)通醫(yī)療基地,官洲生命科學(xué)創(chuàng)新中心,廣州 510000)

心血管疾病(cardiovascular diseases,CVDs)的高發(fā)病率和高死亡率已經(jīng)嚴(yán)重影響了人類的生存質(zhì)量.如何評(píng)估心臟功能、輔助臨床CVDs 診療和預(yù)后評(píng)估,是一個(gè)迫切需要解決的問(wèn)題.針對(duì)這個(gè)問(wèn)題,本文在前期心臟電影磁共振(cardiac cine magnetic resonance,CCMR)圖像左心肌分割的基礎(chǔ)上,提出一種基于位移流U-Net(DispFlow_UNet)和生物力學(xué)變分自動(dòng)編碼器(variational autoencoder,VAE)的左心肌運(yùn)動(dòng)追蹤方法:DispFlow_UNet_VAE.主要研究?jī)?nèi)容有:1) 搭建壓縮激勵(lì)殘差U-net 網(wǎng)絡(luò)精準(zhǔn)分割左心肌,根據(jù)分割結(jié)果計(jì)算心室體積、心肌質(zhì)量等,評(píng)估心臟整體功能;2) 根據(jù)DispFlow_UNet_VAE 估計(jì)CCMR 圖像連續(xù)幀之間的左心室運(yùn)動(dòng),結(jié)合左心肌分割掩膜得到左心肌密集位移場(chǎng);3)利用模擬數(shù)據(jù)真實(shí)位移場(chǎng)、臨床數(shù)據(jù)集對(duì)追蹤結(jié)果進(jìn)行對(duì)比和評(píng)估.結(jié)果表明,本文追蹤算法具有較高的精度和泛化能力.

1 引言

據(jù)世界衛(wèi)生組織(world health organization,WHO)估計(jì),每年全球有1790 萬(wàn)人死于心血管疾病(cardiovascular disease,CVDs)[1],如果按照目前的趨勢(shì)繼續(xù)下去,2030 年全球?qū)⒂?360 萬(wàn)人死于CVDs[2].因此,如何準(zhǔn)確評(píng)估心臟功能對(duì)于疾病的早診斷、早治療具有重要臨床意義.為了評(píng)估心臟功能,使用了兩類指標(biāo):全局指標(biāo)[3?5]和局部指標(biāo)[6,7].全局指標(biāo)包括射血分?jǐn)?shù)、心肌質(zhì)量、心室容積等,在CVDs 診斷中具有重要意義.然而,該類指標(biāo)不能用于局部分析,無(wú)法反映細(xì)微的室壁運(yùn)動(dòng)異常,因此,在整體評(píng)價(jià)心臟功能的同時(shí),需通過(guò)探索心肌運(yùn)動(dòng)規(guī)律,進(jìn)一步分析心肌局部功能變化.

目前,借助醫(yī)學(xué)成像手段評(píng)估心臟結(jié)構(gòu)及功能指標(biāo)是臨床診斷CVDs 的主要依據(jù).其中,臨床常用的技術(shù)為心動(dòng)超聲圖和CCMR 成像.超聲心動(dòng)圖已廣泛應(yīng)用于應(yīng)變分析,但其結(jié)果的準(zhǔn)確性取決于操作技巧,并受到狹窄聲窗的限制,在評(píng)估胸骨后的心臟時(shí)效果欠佳[8].CCMR 成像由于無(wú)電離輻射、軟組織對(duì)比度高、可多參數(shù)和多方位成像等優(yōu)點(diǎn)而被廣泛應(yīng)用于臨床[9].其中,基于穩(wěn)態(tài)自由進(jìn)動(dòng)(steady state free precession,SSFP)序列的CCMR 成像可動(dòng)態(tài)、精確地描繪心肌、心室及其內(nèi)部的復(fù)雜結(jié)構(gòu),是無(wú)創(chuàng)性量化心臟功能的金標(biāo)準(zhǔn)技術(shù)[10].一個(gè)典型的基于SSFP 序列的CCMR 圖像如圖1 所示,代表由舒張末期(end diastole,ED)至收縮末期(end systole,ES),再至ED 的一系列相位組成的心臟運(yùn)動(dòng)周期,其中心肌在很大程度上是同質(zhì)的,不能直接提供運(yùn)動(dòng)模式的信息[11],因此,需要通過(guò)追蹤算法來(lái)獲取心肌的運(yùn)動(dòng)信息,從而得到運(yùn)動(dòng)位移場(chǎng),以輔助醫(yī)生早診斷早治療CVDs.

圖1 基于SSFP 序列的CCMR 圖像Fig.1.CCMR images based on SSFP sequence.

由于心臟的收縮是非剛性,心臟追蹤通常在像素級(jí)水平上進(jìn)行.在CCMR 圖像中,一個(gè)相位的運(yùn)動(dòng)通常是相對(duì)參考相位來(lái)估計(jì)的,設(shè)t 相位的圖像為I(x,y,t),參考相位的圖像為I(x,y,tref).運(yùn)動(dòng)追蹤的目的是找到映射 Fθ[12]:

其中,Fθ是參數(shù)為θ 的映射函數(shù),Vx和 Vy分別是沿x 和y 方向的位移矢量.

運(yùn)動(dòng)跟蹤方法通?？梢愿鶕?jù) Fθ的不同進(jìn)行分類:基于強(qiáng)度的方法[13]、光流法[14]、基于心膜輪廓的算法[15]、基于非剛性配準(zhǔn)算法[16?18]和基于深度學(xué)習(xí)(deep learning,DL)的方法[19?23]等.這些方法在運(yùn)動(dòng)估計(jì)中呈現(xiàn)出不同的計(jì)算負(fù)擔(dān)和精確度,其中傳統(tǒng)的追蹤算法缺乏完全自動(dòng)化,需要加入符合心肌運(yùn)動(dòng)模式的約束,限制了復(fù)現(xiàn)性,而基于DL 的追蹤算法已被證明具有高效性、精確性和可重復(fù)性.

研究表明,心臟運(yùn)動(dòng)估計(jì)可以重新表述為一個(gè)可學(xué)習(xí)的問(wèn)題.Qin 等[19]提出一種結(jié)合分割和運(yùn)動(dòng)估計(jì)的多任務(wù)框架,學(xué)習(xí)的心臟運(yùn)動(dòng)場(chǎng)用于扭曲分割掩膜,并以半監(jiān)督方式引導(dǎo)分割模塊,結(jié)果表明,分割和運(yùn)動(dòng)估計(jì)性能都有所提高.Zheng 等[20]提出一種表觀流網(wǎng)絡(luò),它是一種改進(jìn)的U 型網(wǎng),在訓(xùn)練中使用分割掩膜來(lái)改進(jìn)運(yùn)動(dòng)估計(jì).然而,DL追蹤算法使用常見的機(jī)器學(xué)習(xí)技術(shù)(如所有可學(xué)習(xí)參數(shù)的L2 正則化[20,22]、運(yùn)動(dòng)估計(jì)的直接正則化(如平滑懲罰[19]、解剖感知[23]))作為約束項(xiàng),缺乏應(yīng)用特定的先驗(yàn)知識(shí)來(lái)指導(dǎo)優(yōu)化.因此,本文提出一種DispFlow_UNet_VAE 左心肌追蹤算法,并使用基于生物力學(xué)的先驗(yàn)知識(shí)來(lái)約束學(xué)習(xí),其可以隱式地學(xué)習(xí)正則化行為以指導(dǎo)優(yōu)化,提高算法的高效性及復(fù)現(xiàn)性.

2 方 法

2.1 基于壓縮激勵(lì)殘差U-net 的左心肌分割方法

精準(zhǔn)的心肌分割是運(yùn)動(dòng)追蹤的基礎(chǔ).Ronneberger 等[24]提出的U 形網(wǎng)絡(luò)(U-Net)憑借所需訓(xùn)練集數(shù)量少、分割模糊邊界精度高等優(yōu)點(diǎn)而廣泛應(yīng)用于左心肌分割中,此后多種U-Net 改進(jìn)算法應(yīng)運(yùn)而生,本文采用王慧[25]提出的壓縮激勵(lì)殘差U-net (squeeze and excitation residual U-net,SERU-net)用于全心肌的自動(dòng)分割,如圖2 所示.該網(wǎng)絡(luò)融合了壓縮激勵(lì)(squeeze-and-excitation,SE)模塊和殘差模塊,其中SE 模塊使網(wǎng)絡(luò)在提取特征時(shí)能夠通過(guò)學(xué)習(xí)自動(dòng)獲取每個(gè)特征通道的重要程度,更好提取左心肌有效特征;殘差模塊有效抑制了梯度消失和訓(xùn)練過(guò)擬合問(wèn)題,使得信息前后向傳播更加順暢,使網(wǎng)絡(luò)學(xué)習(xí)效果更好,分割精度更高.

圖2 壓縮激勵(lì)殘差U-net 網(wǎng)絡(luò)結(jié)構(gòu)Fig.2.Squeeze-and-excitation residual U-shaped network.

圖3 給出了測(cè)試集中某一例數(shù)據(jù)從基底到頂端的分割結(jié)果,其中黃色為專家手動(dòng)分割的金標(biāo)準(zhǔn),紅色為SERU-net 分割結(jié)果.從圖3 可以看出,SERU-net 能夠更好適應(yīng)左心肌形狀變化,精確勾畫出左心肌.

圖3 SERU-net 左心肌分割結(jié)果Fig.3.Results of left myocardium segmentation by SERU-net.

2.2 運(yùn)動(dòng)追蹤算法

深度學(xué)習(xí)方法通常可分為有監(jiān)督訓(xùn)練策略與無(wú)監(jiān)督訓(xùn)練策略.在醫(yī)學(xué)圖像中,存在大量未標(biāo)記數(shù)據(jù)和少量已標(biāo)記數(shù)據(jù),半監(jiān)督學(xué)習(xí)被認(rèn)為是充分運(yùn)用可獲得數(shù)據(jù)進(jìn)行自動(dòng)訓(xùn)練的有效方法[26].因此本文采取半監(jiān)督深度學(xué)習(xí)策略.圖4 給出了DispFlow_UNet_VAE 框架,其 由位移流U-Net (2.2.1 節(jié))和VAE 正則化器(2.2.2 節(jié))兩部分組成.首先,VAE 用于學(xué)習(xí)模擬變形的概率分布以捕捉潛在的生物力學(xué)特征;接著,將學(xué)習(xí)好的VAE 用作位移流U-Net 配準(zhǔn)網(wǎng)絡(luò)的正則化函數(shù),這樣做的優(yōu)點(diǎn)是,使解空間正則化并且有助于預(yù)測(cè)生物力學(xué)上合理的運(yùn)動(dòng)特征,而不需要任何顯示的懲罰項(xiàng).

圖4 DispFlow_UNet_VAE 運(yùn)動(dòng)追蹤框架Fig.4.The motion tracking architecture of DispFlow_UNet_VAE.

2.2.1 DispFlow_UNet 網(wǎng)絡(luò)

如圖5 所示,DispFlow_UNet 是U-net 的變體.在給定同一切片上的目標(biāo)相位和參考相位作為輸入的情況下,DispFlow_UNet 產(chǎn)生兩者之間像素級(jí)的位移矢量場(chǎng)(displacement vector field,DVF),結(jié)合分割掩膜,從位移場(chǎng)中提取心肌運(yùn)動(dòng)特征.

圖5 DispFlow_UNet 網(wǎng)絡(luò)框架Fig.5.The network architecture of DispFlow_UNet.

由于無(wú)法獲取圖像之間的真實(shí)密集位移場(chǎng),因此網(wǎng)絡(luò)通過(guò)時(shí)間跟蹤空間特征,依靠時(shí)間強(qiáng)度變化作為自我監(jiān)督.將兩個(gè)輸入圖像在位置P=(x,y)處的像素強(qiáng)度記為Is(P)和It(P),DispFlow_UNet產(chǎn)生s(源)與t(目標(biāo))相位之間的位移圖記為Ft,Ft(P)=(Ftx(P),Fty(P)),通過(guò)空間變化器將Ft進(jìn)行圖像重建,使得以下強(qiáng)度差異最小化:

2.2.2 VAE 正則化器

為了進(jìn)一步確保DispFlow_UNet 產(chǎn)生的位移場(chǎng)符合心肌運(yùn)動(dòng)實(shí)際,本文提出學(xué)習(xí)模擬變形概率分布的VAE 正則化網(wǎng)絡(luò),以隱含地學(xué)習(xí)生物力學(xué)上的形變規(guī)律,如圖6 所示.VAE[27,28]被用作一個(gè)基于學(xué)習(xí)的正則化器,以模擬生物力學(xué)似是而非的變形的概率分布,其編碼器用于將變形映射到潛在變量,通過(guò)高斯分布進(jìn)行正則化,并通過(guò)解碼器解碼為變形場(chǎng).VAE 正則化器被訓(xùn)練于重建生物力學(xué)模擬變形的一階導(dǎo)數(shù),以消除剛性平移的任何影響.用 Φ=[u,v]∈R2×H×W表示二維(2D)空間中的變形,其中,u,v 分別表示沿x 和y 方向的位移.變形場(chǎng)的一階梯度表示為

圖6 VAE 網(wǎng)絡(luò)Fig.6.The network architecture of VAE.

其中H 和W 代表空間的維度.VAE 的重構(gòu)損失公式為

其中,?Φ′表示輸入 ?Φ 的重建項(xiàng),z 代表由VAE編碼的潛在矢量,p(z) N(0,I) 代表先驗(yàn)的高斯分布,qθ代表由θ 參數(shù)化的編碼器,DKL代表KL 散度(Kullback-Leibler divergence),α 是控制重建質(zhì)量和潛在空間規(guī)則程度之間折衷的超參數(shù).

VAE 損失 RVAE提供一個(gè)定量的度量指標(biāo),用于確定變形在生物力學(xué)上的可信性.靠近已學(xué)習(xí)的VAE 潛在流形的解將產(chǎn)生較低的 RVAE,而遠(yuǎn)離流形的解將給出較高的 RVAE.

2.2.3 損失函數(shù)

密集追蹤網(wǎng)絡(luò)DispFlow_UNet_VAE 的目標(biāo)損失函數(shù)由圖像強(qiáng)度差異 LIMG(Ft) 和VAE 重構(gòu)損失 RVAE(?Φ ⊙M) 兩部分組成:

其中,M 是分割掩膜的二值圖,僅用于調(diào)整感興趣區(qū)域,⊙ 代表哈達(dá)瑪積(Hadamard product).γ 是超參數(shù),權(quán)衡了圖像的相似性和變形的物理合理性.

3 實(shí) 驗(yàn)

3.1 實(shí)驗(yàn)數(shù)據(jù)

該方法在Automated Cardiac Diagnosis Challenge (ACDC)數(shù)據(jù)集[29]上進(jìn)行訓(xùn)練、驗(yàn)證和預(yù)測(cè);在臨床數(shù)據(jù)集上進(jìn)行模型泛化能力評(píng)估;在模擬MRI 數(shù)據(jù)集[30]上進(jìn)行對(duì)比實(shí)驗(yàn).實(shí)驗(yàn)數(shù)據(jù)的具體情況如表1 所列.

表1 實(shí)驗(yàn)數(shù)據(jù)Table 1.The experimental data.

ACDC 數(shù)據(jù)集包括100 名受試者(健康和患病病例)的短軸CCMR 圖像,使用兩種不同主磁場(chǎng)的磁共振掃描儀(1.5T Siemens Area 和3.0T Siemens Trio Tim)在六年內(nèi)通過(guò)SSFP 序列收集得到.所有數(shù)據(jù)采集都是屏氣進(jìn)行的,以確保在視頻中只能觀察到心臟運(yùn)動(dòng).每個(gè)受試者包含9—10層圖像,相位數(shù)在12—35 之間變化.總體來(lái)說(shuō),該數(shù)據(jù)集有951 個(gè),每個(gè)序列提供ED 和ES 相位的金標(biāo)準(zhǔn),如圖7 所示.此外,100 名受試者被平均分為5 類,每類20 名受試者,分別為正常病例(normal subjects,NOR)、伴有埂塞的收縮性心力衰竭(myocardial infarction,MINF)、擴(kuò)張性心肌病(dilated cardiomyopathy,DCM)、肥厚型心肌病(hypertrophic cardiomyopathy,HCM)和右心室異常(right ventricle abnormality,ARV).

圖7 ED (左)與ES (右)的原始圖像及金標(biāo)準(zhǔn)Fig.7.Original image and its ground truth of ED (left) and ES (right).

75 例臨床數(shù)據(jù)集在 GE 1.5T 磁共振掃描儀通過(guò) SSFP 序列獲得,所有數(shù)據(jù)均符合倫理要求.采集參數(shù)是:圖像大小為256×256、視野大小(field of vision,FOV)為360 mm×360 mm、層厚為6—8 mm、層間距為2—4 mm、重復(fù)時(shí)間(repetition time,TR)為 3.5 ms、回波時(shí)間(echo time,TE)為1.4 ms、層數(shù)為6—10 層、相位數(shù)為20—28 個(gè).

3.2 實(shí)驗(yàn)流程

實(shí)驗(yàn)將從數(shù)據(jù)分配、數(shù)據(jù)預(yù)處理、訓(xùn)練與驗(yàn)證三步驟進(jìn)行.

3.2.1 數(shù)據(jù)分配

在數(shù)據(jù)驅(qū)動(dòng)的機(jī)器學(xué)習(xí)中,常假設(shè)訓(xùn)練樣本和測(cè)試樣本來(lái)自同一個(gè)分布(內(nèi)部分布),然而測(cè)試集中的外部分布通常會(huì)給出較差的模型泛化.本文按照留下一種疾病的方法在ACDC 數(shù)據(jù)集上進(jìn)行了五重交叉驗(yàn)證,根據(jù)已知的疾病將內(nèi)部分布和外部分布分開.由于不同疾病之間存在顯著的心臟解剖和動(dòng)力學(xué)差異,因此與其他4 種疾病相比,一種疾病類別可被視為外部分布.

對(duì)于內(nèi)部分布中的受試者,將其分為訓(xùn)練集(80*80%=72 名)、驗(yàn)證集(80*10%=8 名)和預(yù)測(cè)集(80*10%=8 名),外部分布中的所有受試者(20 名)被用作測(cè)試.在訓(xùn)練過(guò)程中,排除了覆蓋LV 腔的所有切片的頂部20%和底部20%,而選擇了中間剩余的60%,該設(shè)計(jì)旨在進(jìn)一步減少平面外運(yùn)動(dòng)的影響.表2 給出了詳細(xì)的數(shù)據(jù)分配情況.

表2 ACDC 數(shù)據(jù)集分配情況Table 2.ACDC data set allocation.

3.2.2 數(shù)據(jù)預(yù)處理

為了避免周圍結(jié)構(gòu)對(duì)左心肌的影響,需要在原始圖像上確定感興趣區(qū)域(region of interest,ROI),所有訓(xùn)練圖像被裁剪為96×96 大小,同時(shí)將強(qiáng)度歸一化到[0,1]的范圍,并通過(guò)隨機(jī)旋轉(zhuǎn)、平移和縮放等操作擴(kuò)充數(shù)據(jù),提高網(wǎng)絡(luò)精確性及魯棒性.

3.2.3 訓(xùn)練與驗(yàn)證

網(wǎng)絡(luò)搭建采用Pytorch 框架,操作系統(tǒng)為Windows 10.通過(guò)(3)式中的損失函數(shù)來(lái)訓(xùn)練網(wǎng)絡(luò)參數(shù),選取Adam 作為優(yōu)化器,學(xué)習(xí)率=0.0001,批量大小為16,訓(xùn)練次數(shù)epoch=300,參數(shù) γ=0.001,通過(guò)驗(yàn)證集選擇得出.利用訓(xùn)練好的模型對(duì)預(yù)測(cè)集進(jìn)行預(yù)測(cè),根據(jù)預(yù)測(cè)結(jié)果進(jìn)行評(píng)估.

3.3 評(píng)價(jià)方法

從三個(gè)方面評(píng)估本文追蹤方法的精確性和泛化能力.

1)利用幾何指標(biāo)值量化本文算法的追蹤精度.一般來(lái)說(shuō),手動(dòng)制作心臟運(yùn)動(dòng)的參考標(biāo)準(zhǔn)是不可能的,為了進(jìn)行定量分析,通常利用分割掩膜作為獨(dú)立的參考標(biāo)準(zhǔn).應(yīng)用訓(xùn)練好的密集追蹤網(wǎng)絡(luò)去產(chǎn)生FES,使用FES來(lái)扭曲ES 幀的分割金標(biāo)準(zhǔn)MES,得到 MES°WFES,再利用Dice 系數(shù)、Hausdroff 距離(HD)和心肌輪廓距離(myocardial contour distance,MCD)測(cè)量其與ED 幀心膜掩膜圖之間的重疊程度,Dice 和HD 的公式見(4)式和(5)式.

其中,A 是變形得到的ED 幀心肌輪廓,G 是ED幀掩膜,D(.,.)為歐幾里得距離.Dice 系數(shù)取值越高、MCD 和Hausdroff 距離取值越低代表追蹤精度越高.

2)利用模擬數(shù)據(jù)位移場(chǎng)驗(yàn)證本文方法的可行性.計(jì)算預(yù)測(cè)位移場(chǎng)與模擬數(shù)據(jù)位移場(chǎng)之間的平均角度誤差(average angle error,AAE)和平均終止點(diǎn)誤差(average endpoint error,AEPE),測(cè)量?jī)晌灰茍?chǎng)之間的重合程度.

設(shè)圖像某像素點(diǎn)P 的角度誤差A(yù)E(P)是預(yù)測(cè)位移矢量 u0(P)=(x0,y0) 和位移真值矢量u1(P)=(x1,y1)在點(diǎn)P 二維空間的角度,則:

AAE 為計(jì)算區(qū)域中AE(P)的均值,其取值越小表明追蹤結(jié)果越準(zhǔn)確.

圖像中某像素點(diǎn)P 的終止點(diǎn)誤差EPE(P)表示兩個(gè)位移終止點(diǎn) u0(P)=(x0,y0)、u1(P)=(x1,y1)之間的歐氏距離:

AEPE 為計(jì)算區(qū)域中EPE(P)的均值,其取值越小表明追蹤結(jié)果越準(zhǔn)確.

3)利用臨床數(shù)據(jù)集(即外部數(shù)據(jù))驗(yàn)證本文模型的泛化能力.使用訓(xùn)練好的模型直接預(yù)測(cè)臨床數(shù)據(jù)集,通過(guò)對(duì)比模型在內(nèi)部數(shù)據(jù)和外部數(shù)據(jù)集上的性能評(píng)估模型的泛化能力.

4 結(jié)果與討論

4.1 全局功能評(píng)估

根據(jù)SERU-net 方法分割左心肌,利用面積長(zhǎng)度法(即:每一層面心室面積與層厚(包含層間距)的乘積)計(jì)算心室體積(EDV,ESV)、每搏輸出量(SV)、射血分?jǐn)?shù)(EF)、左心室質(zhì)量(ED_LVM,ES_LVM)等指標(biāo),將指標(biāo)值與正常范圍值進(jìn)行比較,可以輔助臨床醫(yī)師評(píng)估心臟整體功能.18 名受試者各功能指標(biāo)數(shù)據(jù)的均值和標(biāo)準(zhǔn)差如表3 所列.

表3 左心室功能指參數(shù) (均值±標(biāo)準(zhǔn)差)Table 3.Left ventricular function parameters (Mean±standard deviation).

4.2 追蹤結(jié)果評(píng)估

基于目標(biāo)損失函數(shù)((3)式)對(duì)密集追蹤網(wǎng)絡(luò)進(jìn)行訓(xùn)練,網(wǎng)絡(luò)訓(xùn)練 300 個(gè)epoch 后得到的訓(xùn)練集與驗(yàn)證集的損失曲線如圖8 所示,可以看出,所提出的網(wǎng)絡(luò)可以較好地?cái)M合,驗(yàn)證集的損失率可以降到 0.02 左右.

圖8 訓(xùn)練集(藍(lán))與驗(yàn)證集(橙)的損失曲線Fig.8.Loss curves of training set (blue) and verification set(orange).

利用預(yù)測(cè)位移場(chǎng)(圖9 中DVF)將ES 幀掩膜重采樣并與ED 幀金標(biāo)準(zhǔn)掩膜進(jìn)行比較,結(jié)果如圖9 所示,可以看出,扭曲后的圖像(圖9 中Warped_label_ES)與金標(biāo)準(zhǔn)(圖9 中l(wèi)abel_ED)的LVC 和LVM 高度重合,表明了左心肌運(yùn)動(dòng)追蹤的精度.

圖9 利用預(yù)測(cè)位移場(chǎng)將ES 扭曲至ED 的示例圖Fig.9.Example diagram of warping ES to ED using the predicted displacement field.

此外,預(yù)測(cè)位移場(chǎng)可以輔助臨床醫(yī)生診斷不同類型的CVDs,以達(dá)到早診斷早治療的目的.圖10給出了幾個(gè)例子,不難發(fā)現(xiàn),網(wǎng)絡(luò)追蹤得到的位移場(chǎng)確實(shí)足夠好,足以表征病理類別中典型病例的心臟運(yùn)動(dòng).其中正常人(NOR)的位移場(chǎng)在整個(gè)LVM上有大致相同的振幅,表明MOR 病例LVM 的收縮和增厚是同步的;對(duì)于MINF 病例,可以看到LVM 上位移流不均勻,部分心肌節(jié)段收縮和增厚明顯小于其他節(jié)段,這是MINF 病例的典型癥狀;對(duì)于HCM 病例,LVM 上的位移流過(guò)大,這意味著LVM 收縮和增厚過(guò)度;相反,DCM 病例LVM 上的位移流很小,這是因?yàn)镈CM 的心臟通常沒有足夠的收縮和增厚.

圖10 不同病例類型預(yù)測(cè)的位移圖Fig.10.Predicted displacement fields of different case types.

4.3 對(duì)比結(jié)果

本文通過(guò)兩個(gè)方面展開對(duì)比實(shí)驗(yàn),首先將本文方法與其他追蹤算法所得的結(jié)果進(jìn)行對(duì)比,其次將預(yù)測(cè)得到的位移場(chǎng)與模擬數(shù)據(jù)位移場(chǎng)進(jìn)行對(duì)比.

1)為了驗(yàn)證本文追蹤方法的準(zhǔn)確性,將本文方法與二維B 樣條自由變形(free-form deformation,FFD)配準(zhǔn)方法[31]、Qin 等[19]提出的基于深度學(xué)習(xí)的L2 范數(shù)正則化配準(zhǔn)網(wǎng)絡(luò)(DL+L2)、未引入VAE 正則化器的追蹤方法(DispFlow_UNet)得到的結(jié)果進(jìn)行對(duì)比.在5 重交叉驗(yàn)證的結(jié)果中,LVC 和LVM 獲得的Dice 系數(shù)、MCD 和HD 的平均值(標(biāo)準(zhǔn)差)如表4,加粗字體表示結(jié)果更好,結(jié)果顯示DispFlow_UNet 優(yōu)于DL+L2,FFD 法,而DispFlow_UNet_VAE 相比于DispFlow_UNet進(jìn)一步取得更好的指標(biāo)值.同時(shí),各方法計(jì)算得到LVM 的Dice 和MCD 箱形圖如圖11 所示,更加直觀地看出本文方法取得最高的Dice 值和最低的MCD 值,表明追蹤精度最優(yōu).

圖11 本文方法與其他方法的DM (a)和MCD (b)指標(biāo)箱形圖Fig.11.Box chart of DM (a) and MCD (b) indicators of the method presented in this paper and other methods.

表4 不同追蹤方法Dice 系數(shù)、MCD 和HD 的對(duì)比Table 4.Comparison of Dice coefficients,MCD and HD of different tracking methods.

2)將預(yù)測(cè)得到的左心肌位移矢量u0=(x0,y0)和位移真值矢量 u1=(x1,y1) 進(jìn)行對(duì)比,結(jié)果如圖12 所示,可以直觀看出,兩者在方向和幅值上都很相近.為了更加清晰地比較兩者的相似性,圖13 將預(yù)測(cè)位移矢量場(chǎng)(紅色)與位移真值矢量場(chǎng)(綠色)疊加顯示,放大區(qū)域很好地展示了兩者的相似性.除了視覺上直觀的對(duì)比,本文還計(jì)算了定量評(píng)估運(yùn)動(dòng)追蹤精度的評(píng)價(jià)指標(biāo)AEE 和AEPE.其中,AEE=9.79±7.43,AEPE=2.28±1.19 (均值±偏差)單位分別為度和像素,說(shuō)明預(yù)測(cè)位移矢量和位移值真值矢量重合程度較高.

圖12 預(yù)測(cè)位移矢量與位移真值矢量對(duì)比Fig.12.Comparison between the predicted displacement field (left) and the true displacement field (right).

圖13 預(yù)測(cè)位移矢量(紅色)與位移真值矢量(綠色)對(duì)比Fig.13.Predicted displacement field (left) and the true displacement field (right).

4.4 模型泛化能力評(píng)估

在對(duì)模型進(jìn)行泛化性研究中,利用ACDC 數(shù)據(jù)集訓(xùn)練的模型對(duì)15 例臨床數(shù)據(jù)集直接進(jìn)行預(yù)測(cè),測(cè)試結(jié)果如表5 所列,其中比較了Dice 和MCD,結(jié)果表明本文所提出的方法在ACDC 數(shù)據(jù)集(內(nèi)部預(yù)測(cè)集)和臨床數(shù)據(jù)集(外部預(yù)測(cè)集)上都取得了較滿意的結(jié)果,表明該方法在未知區(qū)域的數(shù)據(jù)上具有很好的通用性,具備較高的配準(zhǔn)精度,這可能是由于生物力學(xué)規(guī)范的好處,它強(qiáng)制生成的變形場(chǎng)在生物力學(xué)上是合理的,并且對(duì)域轉(zhuǎn)移問(wèn)題不敏感.

表5 臨床數(shù)據(jù)集上的模型泛化性能Table 5.Model generalization performance on clinical datasets.

5 結(jié)論

本文提出一種基于位移流U-Net 和生物力學(xué)引導(dǎo)的VAE 左心肌運(yùn)動(dòng)追蹤方法DisFlow_UNet_VAE.首先針對(duì)CCMR 圖像進(jìn)行了數(shù)據(jù)預(yù)處理,包括數(shù)據(jù)歸一化、數(shù)據(jù)增強(qiáng)和感興趣區(qū)域的提取;其次,搭建壓縮激勵(lì)殘差U-Net 網(wǎng)絡(luò)精準(zhǔn)分割ED 和ES 相位的左心肌,為后續(xù)的定量計(jì)算服務(wù).接著運(yùn)用DisFlow_UNet_VAE 追蹤心肌運(yùn)動(dòng)得到密集位移場(chǎng),利用位移場(chǎng)將ES 相位的心肌掩膜變形至ED 相位,并計(jì)算其與ED 相位掩膜的重疊程度以評(píng)估追蹤精度;最終對(duì)預(yù)測(cè)集及臨床數(shù)據(jù)集進(jìn)行預(yù)測(cè),結(jié)果表明,DisFlow_UNet_VAE 能夠精確地追蹤左心肌運(yùn)動(dòng),具有較強(qiáng)的模型泛化能力.密集位移場(chǎng)能夠輔助醫(yī)師診斷不同類型的CVDs,并為后續(xù)應(yīng)變分析提供了很好的支持,以實(shí)現(xiàn)對(duì)心肌組織的活性以及局部心臟功能的評(píng)估.該研究將進(jìn)一步將 2D 網(wǎng)絡(luò)推廣到 三維(3D) 網(wǎng)絡(luò),對(duì) 3D 數(shù)據(jù)進(jìn)行追蹤,更好地滿足臨床需求.