基于2D深度學(xué)習(xí)網(wǎng)絡(luò)的全心臟MR圖像分割

張博,謝勤嵐

(中南民族大學(xué) 生物醫(yī)學(xué)工程學(xué)院，武漢 430074)

心血管疾病是主要的高致死率疾病之一.如何準(zhǔn)確衡量患者心血管功能，有賴于對其生理結(jié)構(gòu)的準(zhǔn)確分割進(jìn)而對其功能參數(shù)的準(zhǔn)確評估.對心臟圖像進(jìn)行結(jié)構(gòu)分割，計算不同心室活動周期的容積，是生理功能定量分析的基礎(chǔ)，并可為多種心臟疾病的臨床診斷提供必要支持.因此，探索一種有效的心臟分割算法是十分必要的.

針對基于深度學(xué)習(xí)的心臟圖像分割，研究人員提出了一系列方法.AVENDI等人[1]提出了一種結(jié)合深度學(xué)習(xí)算法和形變模型的方法用于左心室MRI圖像分割.由于經(jīng)典形變模型分割左心室存在容易收縮、對初始化敏感等問題，該方法采用卷積神經(jīng)網(wǎng)絡(luò)對數(shù)據(jù)集中的左心室腔進(jìn)行自動檢測，用堆疊式自動編碼器用于推斷左心室形狀，將推斷出的形狀合并到可形變模型中，以提高分割的準(zhǔn)確性和魯棒性.TANGO等人[2]介紹了一種深度學(xué)習(xí)與水平集結(jié)合的方法分割左心室.水平集方法需要較少的訓(xùn)練集，該方法基于訓(xùn)練集外觀與形狀，但是對訓(xùn)練集感興趣區(qū)域變化建模存在局限性.深度學(xué)習(xí)方法可以使用相對少量的帶標(biāo)注的訓(xùn)練集對這種變化進(jìn)行建模，但是通常需要正則化來提高泛化能力，作者結(jié)合兩種方法優(yōu)點(diǎn)實(shí)現(xiàn)左心室分割.

相對傳統(tǒng)的心臟圖像分割，上述方法的分割精度有所提高，但依然沒有實(shí)現(xiàn)同時分割左、右心室及心肌的全心室分割，而且訓(xùn)練復(fù)雜度較高.針對這些學(xué)習(xí)方法存在的局限，本文采用全卷積神經(jīng)網(wǎng)絡(luò)(Fully Convolutional Neural Network，F(xiàn)CN)中的改進(jìn)U-net網(wǎng)絡(luò)進(jìn)行心臟圖像分割，采用添加批歸一化層(Batch Normalization，BN)[3]和選擇不同的損失函數(shù)等改進(jìn)來提升神經(jīng)網(wǎng)絡(luò)性能.最終結(jié)合批歸一化層與組合加權(quán)損失函數(shù)，在2017 ACDC數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)評估，得到了較好的分割結(jié)果.

1 網(wǎng)絡(luò)結(jié)構(gòu)

本文網(wǎng)絡(luò)遵循經(jīng)典的U-net網(wǎng)絡(luò)編碼與解碼結(jié)構(gòu)[4]，其網(wǎng)絡(luò)模型結(jié)構(gòu)如圖1所示.在編碼路徑中，網(wǎng)絡(luò)學(xué)習(xí)如何對訓(xùn)練集中的圖像特征進(jìn)行編碼；在解碼路徑中，網(wǎng)絡(luò)從學(xué)習(xí)到的編碼特征中獲取圖像特征并重建圖像.U-net網(wǎng)絡(luò)結(jié)構(gòu)的特點(diǎn)在于每級的編碼路徑輸出與解碼路徑的輸入之間的級聯(lián)，這些級聯(lián)操作使圖像高空間分辨率信息定位到解碼路徑的卷積網(wǎng)絡(luò)中，因此，在該信息基礎(chǔ)上可生成更準(zhǔn)確的輸出.

圖1 心臟MR圖像分割的U-net網(wǎng)絡(luò)結(jié)構(gòu)

編碼路徑的每步包括兩個相同的3×3卷積.改進(jìn)U-net網(wǎng)絡(luò)的每個3×3卷積之后添加批歸一化層和一個整流線性單元(Rectified linear unit, ReLU)[5].每層經(jīng)一個2×2卷積，步長為2的最大池化層用于下采樣.網(wǎng)絡(luò)設(shè)置初始特征通道數(shù)量為64.每層下采樣后，圖像尺寸減半，特征通道數(shù)量增加一倍.

解碼路徑的上采樣過程中，每步包括兩個相同的3×3卷積.同樣每個卷積后添加批歸一化層和一個ReLU.每層經(jīng)2×2卷積的上采樣后，特征通道數(shù)量減半；同時，上采樣后的特征圖像與來自編碼路徑相應(yīng)裁剪的特征圖像級聯(lián).最后一層網(wǎng)絡(luò)中加入一個1×1的卷積層，可以將64個特征圖映射到心臟分割的四個類(左心室，心肌，右心室，背景)，也就是最后一層的輸出在softmax分類器處理后，表示像素屬于心臟四個分類中某一類的可能性.

2 批歸一化層的作用

歸一化的作用是對輸入數(shù)據(jù)作歸一化處理，使數(shù)據(jù)滿足均值為0，方差為1的高斯分布.在訓(xùn)練迭代過程中，歸一化層能夠?qū)⑸弦粚拥妮敵鰯?shù)據(jù)分布恢復(fù)到初始狀態(tài)；處理后的數(shù)據(jù)再進(jìn)入網(wǎng)絡(luò)下一層，使下一層網(wǎng)絡(luò)輸入為初始狀態(tài)的數(shù)據(jù)分布，避免網(wǎng)絡(luò)適應(yīng)學(xué)習(xí)新的數(shù)據(jù)分布.批歸一化層將每層網(wǎng)絡(luò)與維度的大小保持一致，網(wǎng)絡(luò)訓(xùn)練可以使用較高學(xué)習(xí)率，從而可以加速網(wǎng)絡(luò)收斂，降低網(wǎng)絡(luò)過擬合.

當(dāng)一個批次(batch)的數(shù)據(jù){x1,m}(m為數(shù)據(jù)量)輸入網(wǎng)絡(luò)訓(xùn)練，經(jīng)過線性激活單元之后對其作標(biāo)準(zhǔn)化處理.首先計算這個批次的數(shù)據(jù)均值

(1)

及方差：

(2)

(3)

經(jīng)過標(biāo)準(zhǔn)化處理后，數(shù)據(jù)分布被限制為高斯分布，然而某些層的數(shù)據(jù)分布并不滿足高斯分布，這樣的標(biāo)準(zhǔn)化操作會影響網(wǎng)絡(luò)學(xué)習(xí)能力，通過引入另外的縮放參數(shù)γ和平移參數(shù)β：

(4)

來避免這種問題.引入的γ和β參數(shù)參與網(wǎng)絡(luò)訓(xùn)練，是一對可學(xué)習(xí)的參數(shù)，可以恢復(fù)原始網(wǎng)絡(luò)所要學(xué)習(xí)的特征分布.

3 訓(xùn)練損失函數(shù)與網(wǎng)絡(luò)模型超參數(shù)

實(shí)驗(yàn)使用三種損失函數(shù)訓(xùn)練改進(jìn)的U-net網(wǎng)絡(luò).為了計算背景與前景類的差異，使用像素級交叉熵?fù)p失函數(shù)[6]，單獨(dú)地檢查每個像素點(diǎn)，將類預(yù)測與one-hot編碼的目標(biāo)矢量進(jìn)行比較.

實(shí)驗(yàn)中，網(wǎng)絡(luò)訓(xùn)練為了得到比較穩(wěn)定的梯度，加入了Dice系數(shù).在訓(xùn)練網(wǎng)絡(luò)softmax輸出層計算Dice損失時，用1減去Dice系數(shù)得到Dice損失函數(shù)：

(5)

其中，A表示真實(shí)值(ground truth)，B表示經(jīng)過softmax層輸出后的結(jié)果，∈為接近于0的常數(shù)，設(shè)置為e-10.當(dāng)Dice系數(shù)趨近于1時，損失趨于零，損失函數(shù)收斂.

神經(jīng)網(wǎng)絡(luò)訓(xùn)練多類別目標(biāo)時，常引入像素級的交叉熵?fù)p失函數(shù)L：

(6)

其中，M為類別的數(shù)量，Pj是softmax的輸出P的第j個值(j= 1…M)，表示樣本屬于第j類的概率，yj是正確的標(biāo)簽(使用one-hot表示，當(dāng)j為某一類時，yj中正確標(biāo)簽的索引值為1，其他均為0).

本文結(jié)合像素級交叉熵?fù)p失函數(shù)與Dice損失函數(shù)，引入組合加權(quán)損失函數(shù)：

Lcroessentropy_dice=αL+βLdice_loss,

(7)

其中，L為像素級交叉熵?fù)p失函數(shù)，Ldice_loss為Dice損失函數(shù)，α,β為二者各自的權(quán)重,α=1，β=0.2.

為了降低損失函數(shù)，本文使用自適應(yīng)矩估計(Adaptive Moment Estimation, ADAM)[7]優(yōu)化器，學(xué)習(xí)率為0.001， batch size(一次訓(xùn)練數(shù)據(jù)量)為4，epoch(訓(xùn)練輪數(shù))為130次.

4 實(shí)驗(yàn)結(jié)果與分析

4.1 實(shí)驗(yàn)數(shù)據(jù)簡介

實(shí)驗(yàn)數(shù)據(jù)集來自于MICCAI 2017自動心臟診斷挑戰(zhàn)比賽(Automated Cardiac Diagnosis Challenge, ACDC)[8]短軸心臟MR圖像.公開的數(shù)據(jù)集為100例患者M(jìn)R圖像的訓(xùn)練集，每個患者包含心舒張末期(End-Diastolic, ED)與心收縮末期(End-Systole, ES)兩組數(shù)據(jù).該數(shù)據(jù)集空間分辨率范圍為0.70mm×0.70mm至1.92mm×1.92mm.金標(biāo)準(zhǔn)圖像中包含四個像素區(qū)域：0代表背景，1代表右心室，2代表左心室心肌，3代表左心室.

由于該數(shù)據(jù)集的測試集是不公開的，我們將100例患者M(jìn)R圖像重新分為包括70例患者圖像的訓(xùn)練集和15例患者圖像的驗(yàn)證集，剩余15例患者的MR圖像作為測試集.如圖2分別表示的是一個患者的心臟切片原始圖像和對應(yīng)的金標(biāo)準(zhǔn).實(shí)驗(yàn)數(shù)據(jù)集中圖像數(shù)量偏少，實(shí)驗(yàn)中采用了數(shù)據(jù)增強(qiáng)方法，通過隨機(jī)裁剪，旋轉(zhuǎn)、翻轉(zhuǎn)操作來擴(kuò)充實(shí)驗(yàn)圖像數(shù)量，數(shù)據(jù)增強(qiáng)操作在網(wǎng)絡(luò)訓(xùn)練中進(jìn)行，以減少數(shù)據(jù)存儲.

(a) 心臟原始圖像 (b) 金標(biāo)準(zhǔn)

4.2 評估指標(biāo)

為了評估分割后圖像與標(biāo)簽圖像的相似度，使用三種評估系數(shù)：Dice系數(shù)((Dice coefficient)、豪斯多夫距離(Hausdorff Distance, HD)[9]、平均對稱表面距離(Average Symmetric Surface Distance, ASSD)，這三種是評估醫(yī)學(xué)圖像分割好壞的常用指標(biāo).

Dice系數(shù)是衡量兩個分割結(jié)果與金標(biāo)準(zhǔn)圖像之間的重合程度：

(8)

其中，A表示真實(shí)值(ground truth)，B表示經(jīng)過softmax層輸出后的結(jié)果，是經(jīng)過網(wǎng)絡(luò)模型分割后得到的心臟圖像.Dice系數(shù)的范圍為0到1：Dice值趨近1，表明心臟圖像分割的效果好；Dice值趨近0，表明和心臟圖像分割效果不好，與金標(biāo)準(zhǔn)圖像重合程度也較低.

豪斯多夫距離是指某一集合中離另一集合最近點(diǎn)的所有距離的最大值：

H(A,B)=

(9)

其中，A表示金標(biāo)準(zhǔn)圖像，B表示分割結(jié)果，d(a,b)計算的是歐氏距離.

平均對稱表面距離是基于表面距離的度量指標(biāo)，指的是金標(biāo)準(zhǔn)A的表面像素S(A)與分割結(jié)果B的表面像素S(B)之間的距離：

∑SB∈S(B)d(SB,S(A))),

(10)

A表示金標(biāo)準(zhǔn)圖像，B表示分割結(jié)果，S(A)與S(B)分別表示A和B的表面像素的集合，d(SA,S(B))表示S(A)上任意一點(diǎn)到S(B)上所有點(diǎn)的歐氏距離的最小值.

4.3 實(shí)驗(yàn)結(jié)果分析

(1)使用不同損失函數(shù)網(wǎng)絡(luò)訓(xùn)練的測試結(jié)果比較

使用不同損失函數(shù)訓(xùn)練提出的網(wǎng)絡(luò)，并使用Dice系數(shù)和平均對稱表面距離兩種評估指標(biāo)評估ED、ES階段左、右心室和心肌分割結(jié)果，并統(tǒng)計兩個階段分割結(jié)果的均值，如表1所示.結(jié)果表明，實(shí)驗(yàn)結(jié)果最差的是使用Dice損失函數(shù)，最好的是結(jié)合Dice損失與像素級交叉熵?fù)p失函數(shù)的加權(quán)組合損失函數(shù).通常使用Dice損失函數(shù)會對反向傳播造成不利影響，容易使訓(xùn)練變得不穩(wěn)定，但它可以從圖像中較小的類學(xué)習(xí)；而像素級交叉熵函數(shù)多用于多分類任務(wù)，但是對類別不平衡問題，易受像素較多的類別影響，較少像素的類別很難學(xué)習(xí)到其特征.因此結(jié)合兩者優(yōu)點(diǎn)，將這種組合加權(quán)損失函數(shù)作為實(shí)驗(yàn)網(wǎng)絡(luò)訓(xùn)練的損失函數(shù).

表1 基于改進(jìn)的U-net網(wǎng)絡(luò)的三種損失函數(shù)的平均分割精度對比

(2) 使用組合加權(quán)損失函數(shù)網(wǎng)絡(luò)訓(xùn)練的測試結(jié)果

改進(jìn)的U-net網(wǎng)絡(luò)使用新的組合加權(quán)損失函數(shù)，得到的網(wǎng)絡(luò)模型用于分割ED、ES階段左、右心室和心肌，統(tǒng)計實(shí)驗(yàn)的分割精度值，統(tǒng)計結(jié)果如表2.數(shù)據(jù)表明ED階段左心室Dice系數(shù)最高，ES階段右心室最低，ES階段右心室有最高的Hausdorff距離和最低的Dice系數(shù)，說明此方法存在右心室分割困難的問題，這可能與右心室形狀不規(guī)則有關(guān).

表2 基于改進(jìn)的U-net網(wǎng)絡(luò)分割精度值對比

圖3是改進(jìn)的U-net網(wǎng)絡(luò)在測試集中的分割結(jié)果.從左到右，第一列為原始圖像，第二列為分割結(jié)果，第三列為對應(yīng)的真實(shí)值，圖中紅色、綠色、藍(lán)色區(qū)域分別代表右心室、心肌、左心室.第二列的分割結(jié)果表明，該方法在數(shù)據(jù)集中的中間層切片分割出比較準(zhǔn)確的結(jié)果，但是在基底與頂部的切片上分割結(jié)果較差，導(dǎo)致這樣的結(jié)果一方面可能是心臟頂部切片包含心室像素太少，心室邊界有時難以確認(rèn)，另一方面可能有心室周圍密度接近的組織干擾等.

圖3 用于測試的ACDC訓(xùn)練集子集上的心臟周期的ED與ES階段的分割結(jié)果

(3)與其他方法的測試結(jié)果比較

本文實(shí)驗(yàn)方法對比了不同作者的分割方法，每種方法均對MICCAI 2017心臟數(shù)據(jù)集分割，使用Dice系數(shù)與Hausdorff距離兩種評估指標(biāo)統(tǒng)計了他們的方法分割左、右心室和心肌精度值，統(tǒng)計結(jié)果如表3.從統(tǒng)計的結(jié)果看，本實(shí)驗(yàn)分割結(jié)果相比其他方法，左心室在ED、ES階段Hausdorff距離值最低，表現(xiàn)最好，心肌在ED階段Hausdorff距離值也是最低，表明實(shí)驗(yàn)訓(xùn)練網(wǎng)絡(luò)加入組合加權(quán)損失函數(shù)，提升了網(wǎng)絡(luò)分割精度，說明本文實(shí)驗(yàn)方法具有一定的優(yōu)勢，分割結(jié)果較理想.

表3 不同分割方法的分割精度統(tǒng)計

6 結(jié)語

實(shí)驗(yàn)采用深度學(xué)習(xí)方法分割心臟圖像，通過在神經(jīng)網(wǎng)絡(luò)中添加批歸一化層與使用不同的損失函數(shù)，能有效改進(jìn)實(shí)驗(yàn)結(jié)果.本文的方法還有待提高.在后續(xù)研究中，考慮將其他網(wǎng)絡(luò)結(jié)構(gòu)加入U-net網(wǎng)絡(luò)的下采樣過程，對網(wǎng)絡(luò)下采樣結(jié)構(gòu)進(jìn)行改進(jìn)，同時，網(wǎng)絡(luò)所選取的損失函數(shù)對實(shí)驗(yàn)結(jié)果的影響較大，設(shè)計新的損失函數(shù)可能對實(shí)驗(yàn)精度帶來一定的提升.此外，由于本實(shí)驗(yàn)所采用的心臟圖像本身是三維醫(yī)學(xué)圖像，探究3D卷積神經(jīng)網(wǎng)絡(luò)對短軸心臟圖像的分割精度是否有提升，這可能是后續(xù)的一個研究方向.