多尺度空洞U-Net網(wǎng)絡的電影CMR圖像分割

王建軍，李婉晴，張 敏

(河北經(jīng)貿(mào)大學 信息技術(shù)學院，河北 石家莊 050061)

0 引 言

心血管疾病(cardiovascular disease，CVD)是全球死亡率最高的疾病，心臟影像學是評估和診斷心臟疾病的常規(guī)手段，心臟磁共振成像(cardiac magnetic resonance，CMR)被認為是一種無創(chuàng)評估心血管系統(tǒng)功能和結(jié)構(gòu)的方法，對CMR圖像切片進行病理分析是目前診斷心臟疾病的常用方法[1]。精確分割左心室(left ventricle，LV)、右心室(right ventricle，RV)和心肌(myocardium，Myo)是對圖像進行病例分析的關鍵環(huán)節(jié)，對心血管疾病的診斷和治療具有重要的意義[2-4]。但是由于CMR圖像中心臟與周圍組織的對比度差、輪廓不清晰、噪聲大及呼吸運動偽影等影響，極大地增加了分割心室和心肌的難度。針對CMR圖像分割的傳統(tǒng)方法有活動輪廓[5]、水平集[6]和圖割方法[7]。這些傳統(tǒng)的方法過多依賴先驗知識，并且存在一定的局限性，很難提高CMR分割的準確性。

近年來，基于深度學習的方法在圖像分割領域取得了很大的進展。Abdeltawab等人[8]使用FCN(fully convolutional network，F(xiàn)CN)[9]用于分割，提出了一種用于分割短軸圖的密集連接卷積網(wǎng)絡。他們采用一種有效的基于FCN的方法從心臟MRI中提取左心室感興趣區(qū)域(ROI)，以緩解類別不平衡的問題，并采用另一種FCN基于ROI進行左心室腔和心肌分割。此外引入了一個稱為徑向損失的新?lián)p失函數(shù)，以最小化LV的預測輪廓和真實輪廓之間的距離，取得了很好的分割結(jié)果。然而，該網(wǎng)絡的下采樣過程會導致細節(jié)信息丟失，對小物體的分割效果不佳。Cui等人[10]使用U-Net[11]網(wǎng)絡架構(gòu)，引入圖像金字塔和深度監(jiān)督輸出層全自動學習關注各種大小和形狀的目標結(jié)構(gòu)，有效提高了心臟分割的準確性。然而，該網(wǎng)絡在上采樣時會造成圖像中心室和心肌邊緣細節(jié)丟失，存在分割差的問題。

該文提出一個基于遷移學習和多尺度空洞U-Net網(wǎng)絡(transfer learning and multi-scale dilated U-Net networks，TLMD-UNet)用于左心室、右心室和心肌的分割，利用遷移學習方法將Xception模型[12]在ImageNet數(shù)據(jù)集上訓練好的權(quán)重信息遷移到目標網(wǎng)絡中，解決了CMR圖像標記數(shù)據(jù)量少的問題。在U-Net網(wǎng)絡的下采樣中引入多尺度空洞卷積模塊(multi-scale dilated convolution block，MDC-Block)擴大了感受野，提取了豐富的多尺度CMR圖像信息；上采樣階段拼接下采樣過程中每個池化層前的全部卷積層提取的特征，避免U-Net網(wǎng)絡僅拼接每個池化層前最后一層特征造成的細節(jié)信息丟失問題，提高了CMR圖像中左心室、右心室和心肌邊緣分割的精確度。

1 網(wǎng)絡結(jié)構(gòu)和算法原理

1.1 遷移學習

在處理醫(yī)學分割問題時，數(shù)據(jù)量不足是限制醫(yī)學分割研究的一個重要方面[13]。由于數(shù)據(jù)需要醫(yī)學專家手工標記非常耗時耗力，往往獲得的數(shù)據(jù)集僅有幾百張或幾千張訓練圖片，難以滿足訓練需求。然而，大量的數(shù)據(jù)集能提取更多的信息特征，泛化能力強，較小的數(shù)據(jù)集容易產(chǎn)生過擬合現(xiàn)象。因此，該文使用遷移學習[14]，將從源數(shù)據(jù)集上學習到的權(quán)值轉(zhuǎn)移到數(shù)據(jù)量不足的目標網(wǎng)絡，對目標數(shù)據(jù)集進行訓練，然后使用一些標記的目標域數(shù)據(jù)對預訓練的目標網(wǎng)絡進行微調(diào)，使目標域獲得更好的學習和表現(xiàn)。

該文采用圖1所示的遷移學習方法實現(xiàn)CMR圖像的分割網(wǎng)絡。但是由于ImageNet數(shù)據(jù)集中的圖像與CMR圖像特征差別較大，網(wǎng)絡往往不能通過先驗知識學習到較多的CMR圖像特征，所以使用ImageNet預先訓練好的權(quán)值對模型進行初始化后，將預訓練目標網(wǎng)絡模型的層再使用目標域數(shù)據(jù)進行逐層微調(diào)，更新和優(yōu)化這些層的參數(shù)，加快網(wǎng)絡的收斂速度，提高網(wǎng)絡的特征學習能力，避免直接對整個網(wǎng)絡進行微調(diào)產(chǎn)生較大的計算量。遷移學習中的權(quán)重初始化和微調(diào)過程如圖2所示。

1.2 MD-UNet模型

采用U-Net網(wǎng)絡分割圖像時，其編碼階段采用單尺度卷積核提取特征，容易造成細節(jié)信息的遺漏；解碼階段跳躍連接只拼接了每個池化層前最后一個卷積層的信息特征，且該層相對其他層分辨率相對較小，保留的信息少，限制了模型性能的提高。因此，該文使用多尺度空洞U-Net網(wǎng)絡模型(multi-scale dilated U-Net networks，MD-UNet)，引入多尺度空洞卷積模塊，將空洞卷積及多尺度思想引入神經(jīng)網(wǎng)絡，將編碼階段不同大小膨脹率的空洞卷積提取的信息融合成多尺度特征傳播到解碼階段。使用空洞卷積代替普通卷積擴大了感受野，并且將池化層前的所有卷積層的特征進行融合傳入解碼階段，有效解決了CMR圖像切片邊界曲線欠分割的問題。

1.2.1 空洞卷積

空洞卷積[15]在普通卷積中增加權(quán)重值為零的空洞，在保持參數(shù)不變的同時增加特征信息的感受野，超參數(shù)膨脹率rate控制著感受野的大小，膨脹率越大感受野越大。如圖3所示，膨脹率為[1，2，3]的空洞卷積，等效的核大小分別是[3，5，7]。對于膨脹率為r的空洞卷積，實際卷積核計算如公式(1)所示：

kr=k+(k-1)×(r-1)

(1)

其中，k表示原始卷積核大小，kr表示擴張后的卷積核大小。通過設置不同大小膨脹率的空洞卷積能夠捕獲特征圖中的多尺度信息，這有助于對大目標和小目標進行精確分割。

1.2.2 多尺度特征融合

在深度學習神經(jīng)網(wǎng)絡提取特征信息時，隨著網(wǎng)絡逐漸加深，感受野變大，提取的特征信息更具有全局性。U-Net網(wǎng)絡編碼階段經(jīng)過4次降采樣操作，每次降采樣池化層前經(jīng)過多層卷積操作，解碼階段在解池化操作中通過跳躍連接僅拼接了每次池化操作前最深一層的特征圖信息(如圖4(a)所示)，忽略了包含更大尺寸以及具有更加豐富細節(jié)信息的淺層特征，容易造成細節(jié)信息的遺漏，影響CMR圖像分割效果[16]。為了彌補這一不足，該文將編碼階段每個池化操作前提取的淺層特征和深層特征進行特征融合一起傳入到解碼階段(如圖4(b)所示)，使得網(wǎng)絡提取更加精細的特征，提高CMR圖像邊界分割的精確度。

1.2.3 多尺度空洞卷積模塊

多尺度空洞卷積模塊(multi-scale dilated convolution block，MDC-Block)融合了空洞卷積和多尺度提取特征的優(yōu)點，首先使用r=1、r=2和r=5三種膨脹率的3*3空洞卷積依次進行特征提取，小膨脹率的空洞卷積的感受野大小為3*3，用來獲取CMR圖像的細節(jié)特征信息，大膨脹率的空洞卷積感受野大小為11*11，用來獲取更具有全局性的特征信息；然后將淺層特征和深層特征進行特征融合，使得編碼階段提取到的特征更加精細準確，解碼階段跳躍連接引入的信息更加完整，提高了CMR圖像左心室、右心室和心肌的分割精確度；最后將融合的特征采用1*1卷積恢復特征圖通道維度。多尺度空洞卷積模塊結(jié)構(gòu)如圖5所示。

1.2.4 MD-UNet網(wǎng)絡結(jié)構(gòu)

MD-UNet網(wǎng)絡的整個架構(gòu)如圖6所示，使用編碼器-解碼器作為基本網(wǎng)絡。編碼階段用于捕獲CMR圖像的上下文信息，解碼階段使用雙線性插值方法逐步恢復圖像的分辨率大小，且通過跳躍連接與編碼階段同一階段的特征圖進行拼接，減少網(wǎng)絡下采樣多次卷積池化造成的信息損失，對圖像的感興趣區(qū)域精準定位，從而實現(xiàn)左右心室及心肌的精確分割。

網(wǎng)絡的編碼階段由多尺度空洞卷積模塊和池化層交替構(gòu)成，每個多尺度空洞卷積模塊包括三個不同膨脹率(r=1、r=2和r=5)的空洞卷積，并且將模塊中卷積層提取的信息進行特征融合，再使用1*1的卷積恢復特征圖通道維度，能夠獲得更多CMR圖像的細節(jié)信息，使用批歸一化層增加模型的訓練速度，提高網(wǎng)絡分割精度，并采用ReLU激活函數(shù)加強網(wǎng)絡模型的表達能力[17]。解碼階段包括卷積塊、上采樣和Softmax輸出，通過跳躍連接將每一階段編碼器與解碼器進行特征圖拼接，使得網(wǎng)絡獲得更多感興趣區(qū)域(ROI)的特征信息，提高分割準確率，最后使用Softmax對像素分類以完成最終的CMR圖像分割。

2 損失函數(shù)

該文采用交叉熵損失函數(shù)和Dice損失函數(shù)的混合損失函數(shù)作為分割心室和心肌的損失函數(shù)。Dice損失函數(shù)用于衡量兩個樣本的重疊程度，但是其梯度計算形式比較復雜，反向傳播時容易梯度劇烈變化，導致訓練不穩(wěn)定。交叉熵損失函數(shù)梯度計算簡單，但不能解決前景類與背景類之間的不平衡問題，并且在分割多類輸入圖像時，分割性能不佳[18-19]。將兩者損失函數(shù)相結(jié)合，可以有效提高分割過程中的訓練穩(wěn)定性和分割精度。交叉熵損失函數(shù)和Dice損失函數(shù)如式(2)和式(3)所示：

(2)

(3)

其中，M是類別數(shù)目，N是每個批次中的像素集，g是標簽圖像的one-hot值，s是預測樣本為類別c的概率值。CMR圖像分割的混合損失函數(shù)如式(4)所示：

L=LCE+LDice

(4)

3 實驗部分

3.1 實驗數(shù)據(jù)集和實驗環(huán)境

實驗數(shù)據(jù)由55例病人的短軸CMR圖像數(shù)據(jù)組成，其數(shù)據(jù)存儲為Nifti格式，短軸切片約8～10個，相鄰切片之間的距離為10 mm～20 mm。每個Nifti文件包含一個病人心臟不同切面的25幀影像數(shù)據(jù)，每個病例由200多張圖片組成。33例CMR圖像數(shù)據(jù)為訓練集，11例為驗證集，11例為測試集。圖7展示了一個病人的一張原始圖像和對應的標簽圖像。

實驗使用的深度學習框架是pytorch，torch==1.2.0，torchvision==0.4.0環(huán)境，編譯器為Pycharm，并使用NVIDIA GeForce RTX2080S(8G)進行訓練加速，采用windows10操作系統(tǒng)，編程語言python3.7，每次訓練時間約為12個小時，采用Adam優(yōu)化器，學習率為0.01，batch size為16，epoch為300，動量參數(shù)為0.9。

3.2 數(shù)據(jù)預處理

首先提取ROI區(qū)域，選擇一個正方形區(qū)域，包括必要的心臟和不可避免的近鄰。通過傅里葉分析提取第一諧波圖像，在每一個切片相應的心跳頻率上捕獲最大的活動。假設左心室近似于一個圓，對第一次諧波圖像進行canny邊緣檢測。利用圓形霍夫變換方法從邊緣映射中計算出左心室的近似半徑和中心[20]。進而裁剪出感興趣區(qū)域，將圖像一致調(diào)整成128*128。然后將裁剪后的數(shù)據(jù)歸一化，避免像素灰度范圍分布較大影響分割效果。另外，使用數(shù)據(jù)增強對數(shù)據(jù)進行擴充，防止模型發(fā)生過擬合，方法是對輸入的CMR原圖像及其對應的金標準圖像進行平移、縮放、水平和垂直翻轉(zhuǎn)。

3.3 評價指標

為了檢測模型的分割效果，該文使用Dice系數(shù)、召回率(recall)、精確率(precision)和Hausdorff距離(HD)作為評價指標。

Dice系數(shù)表示兩個樣本重疊程度，取值范圍是[0，1]。指數(shù)越接近于1，分割結(jié)果越好。Dice系數(shù)如公式(5)所示：

(5)

Hausdorff距離(HD)表示兩個樣本之間的對稱距離，HD數(shù)值越小，方法越好。Hausdorff距離如公式(6)所示：

(6)

精確率(precision)表示預測是正的樣本被預測正確的概率。精確率如公式(7)所示：

(7)

召回率(recall)表示樣本中正樣本被預測正確的概率。召回率如公式(8)所示：

(8)

其中，TP表示預測是正例實際上也是正例的樣本，F(xiàn)P表示預測是正例實際上是負例的樣本，F(xiàn)N表示預測是負例實際上是正例的樣本，a、m分別是A、M上的像素點，d是a和m之間的距離。

3.4 實驗結(jié)果及分析

基于改進的U-Net網(wǎng)絡對CMR圖像中的左心室、右心室以及心肌的分割結(jié)果如圖8所示，其中(a)表示輸入的原始CMR圖像，里面包含了心臟以及除心臟以外的多個組織器官，(b)和(c)分別表示待分割圖像對應的專家標注的標簽圖像和文中模型的預測分割結(jié)果。如圖8所示，文中算法能準確地從CMR圖像中分割出心室和心肌，預測結(jié)果接近專家手動分割圖像。

為了進一步評價文中算法的分割性能，使用Dice系數(shù)、精確率(precision)、召回率(recall)和Hausdorff距離(HD)四個指標分別計算左心室(LV)、右心室(RV)與心肌(Myo)的分割結(jié)果，并且使用Dice系數(shù)和Hausdorff距離兩個評價指標將文中算法與其他算法進行了比較。

表1為改進的U-Net網(wǎng)絡模型使用交叉熵和Dice組合的混合損失函數(shù)對左心室、右心室以及心肌的分割結(jié)果?？梢钥闯?，左心室的平均Dice系數(shù)高于心肌和右心室，平均Hausdorff距離左心室最低，右心室最高，左心室分割效果好，可能是因為左心室與周圍組織之間相對右心室與心肌來說對比比較強烈。右心室有著最低Dice系數(shù)和最高Hausdorff距離，可能和右心室不規(guī)則形狀以及邊界不清晰有關。

表1 網(wǎng)絡分割評估均值

文中算法與U-Net、DeepLab和研究心臟分割的文獻[17，21]方法進行了比較，每種算法都使用相同的數(shù)據(jù)集與損失函數(shù)，采用Dice系數(shù)和Hausdorff兩種指標評估CMR圖像中左心室、右心室和心肌的分割精度。結(jié)果如表2所示，相比于其他實驗分割算法，文中算法的分割效果最好，平均Dice系數(shù)是0.902，平均Hausdorff距離是4.219 mm。說明文中算法存在一定優(yōu)勢，分割效果比較理想。

表2 文中算法與其他分割算法對比

4 結(jié)束語

針對醫(yī)學圖像標注數(shù)據(jù)量少難以滿足研究需求的問題，使用遷移學習方法，將Xception模型在ImageNet數(shù)據(jù)集上訓練得到的網(wǎng)絡權(quán)重參數(shù)和結(jié)構(gòu)對目標網(wǎng)絡進行遷移，提高目標網(wǎng)絡的特征學習能力。針對U-Net網(wǎng)絡丟失邊緣細節(jié)信息問題，加入多尺度空洞卷積模塊，提高了CMR圖像切片邊界的分割精度。實驗結(jié)果表明，該網(wǎng)絡模型比較完整地保留了CMR圖像的細節(jié)特征信息，能夠有效實現(xiàn)左心室、右心室以及心肌的準確分割。