脊柱MR圖像自動分割方法的研究

于文濤，張俊華，梅建華，羅旭東

1.云南大學(xué) 信息學(xué)院，昆明 650500

2.云南師范大學(xué) 信息學(xué)院，昆明 650500

磁共振（magnetic resonance，MR）技術(shù)作為常見的影像檢查手段具有無輻射、成像信息豐富等優(yōu)點。在脊柱相關(guān)疾病中，精確分割脊柱MR圖像技術(shù)是脊柱個性化配準、獲取三維模型等工作的前提[1]。手動分割一幅脊柱MR圖像需要大量時間，且人為主觀因素導(dǎo)致分割者存在內(nèi)部誤差，不同分割者之間存在相對誤差。半自動分割精度又難以滿足臨床診療需求。為解決脊柱圖像的精確分割問題，本研究基于深度學(xué)習(xí)提出了一種自動分割脊柱MR圖像的方法。

傳統(tǒng)的MR圖像分割方法包括閾值分割[2]、基于像素值分割[3]和模糊C-均值聚類分割[4]等。Zukic等[5]用Viola-Jones類似方法檢測所有柱體的邊界和中心，然后根據(jù)膨脹原理對椎體填充平行網(wǎng)格，最后達到分割脊柱的目的，該方法需要手動干預(yù)且分割時間較長。Chu等[6]用隨機森林回歸方法定義脊柱感興趣區(qū)域，然后用隨機森林分類方法分割脊柱。MR圖像邊界模糊問題會使相鄰空間體素的分類出現(xiàn)波動，最終影響隨機森林分割效果。近年來，以深度學(xué)習(xí)為代表的人工智能技術(shù)與醫(yī)學(xué)圖像處理的交叉融合研究是人工智能領(lǐng)域的熱點。Long等[7]提出了在圖像分割領(lǐng)域具有里程碑意義的全卷積神經(jīng)網(wǎng)絡(luò)（fully convolutional networks，F(xiàn)CN）解決了圖像像素級別的分類問題，F(xiàn)CN模型存在細節(jié)處理不敏感，沒有考慮到像素與像素之間的關(guān)聯(lián)性等問題。Janssens等[8]級聯(lián)定位FCN與分割FCN實現(xiàn)了脊柱CT圖像的分割，多個FCN導(dǎo)致這種模型存在大量參數(shù)。Ronneberger等[9]基于FCN提出了結(jié)構(gòu)清晰、訓(xùn)練速度快的U-Net模型，該模型一經(jīng)問世便成為醫(yī)學(xué)圖像分割領(lǐng)域的重要方法。但是經(jīng)典的U-Net存在提取特征單一的局限性。Horng等[10]利用U-Net網(wǎng)絡(luò)分割脊柱X線圖像中單個椎體，分割完成后進行拼接。Zhao等[11]提出的PSPNet模型聚合不同區(qū)域的上下文信息，解決了U-Net模型上下文信息丟失的問題。PSPNet模型在全局先驗表示上取得良好效果，在脊柱MR分割中精度還需要提升。Zhou等[12]提出了靈活使用深監(jiān)督，融合淺層和深層的特征UNet++模型，該模型大量使用跳躍連接層導(dǎo)致模型結(jié)構(gòu)復(fù)雜。Sekuboyina等[13]提出了用卷積神經(jīng)網(wǎng)絡(luò)標記脊柱邊界輪廓，然后用另一個卷積神經(jīng)網(wǎng)絡(luò)進行體素分類的脊柱分割方法。MR圖像自身分辨率和對比度較差，易受噪聲、偽影影響的特點，導(dǎo)致分割脊柱MR圖像難度較大。

本研究自主搭建深度學(xué)習(xí)模型對脊柱MR圖像自動分割進行分析，貢獻如下：首先提出了對稱通道卷積神經(jīng)網(wǎng)絡(luò)（symmetric channel convolutional neural network，SC-CNN），克服經(jīng)典網(wǎng)絡(luò)模型空間特征不足的問題，同時SC-CNN用于多尺度特征提取和輸出，可以互補不同通道的特征差異。然后用殘差連接模塊（residual path model，Res-Path）連接不同層次SC-CNN提取的特征，解決訓(xùn)練過程中網(wǎng)絡(luò)退化問題，同時把中間特征通過跳躍連接輸出到下一層SC-CNN，保證不丟失中間特征。

1 本文方法

本研究搭建一種深度學(xué)習(xí)模型分割脊柱MR圖像，在模型中提出了SC-CNN模塊，該模塊在網(wǎng)絡(luò)訓(xùn)練中代替?zhèn)鹘y(tǒng)卷積模塊，獲取不同層次特征信息；用Res-Path連接提取的多尺度特征信息緩解訓(xùn)練中梯度彌散問題，同時結(jié)合跳躍連接層防止中間層特征丟失；最后在搭建的網(wǎng)絡(luò)模型中融合卷積塊注意力機制模塊（convolutional block attention module，CBAM），使模型在訓(xùn)練過程中更關(guān)注圖像空間和通道的特征提取。所搭建的模型有效地提升了圖像邊緣細節(jié)處的分割效果。

1.1 總體模型

基于編碼-解碼結(jié)構(gòu)的U-Net模型在醫(yī)學(xué)圖像分割中被廣泛應(yīng)用，其跳躍連接層設(shè)計巧妙，結(jié)合高級語義特征和低級語義特征的結(jié)構(gòu)對醫(yī)學(xué)圖像的定位、分割起到重要作用。UNet++模型繼承U-Net模型的編碼-解碼思想并引入嵌套的和密集的跳躍連接，解決了純跳躍連接在結(jié)合語義特征中語義不相似的問題，并且在一定程度上減少了編碼器和解碼器之間的語義差距。盡管UNet和UNet++模型在諸多分割任務(wù)中取得了良好的性能，但在提取多尺度信息和分割注意力方面仍有很大提升空間。分割任務(wù)中低層次語義特征捕捉空間信息，能夠突出器官的邊界；而高級語義特征則體現(xiàn)分割位置信息。然而，經(jīng)過多次上采樣和下采樣時，這些微妙的信號可能會逐漸稀釋。為克服U-Net和UNet++模型的局限性，提出了如圖1所示的網(wǎng)絡(luò)模型。搭建的模型采用編碼-解碼的結(jié)構(gòu)，用15個SC-CNN提取多尺度特征，互補不同區(qū)域特征差異；上采樣過程的SC-CNN后加入CBAM模塊，每層上采樣的特征信息經(jīng)過不同數(shù)目（4，3，2，1）的殘差單元傳遞到后面的SC-CNN中，中間層信息通過跳躍連接層連接到后面的SC-CNN。搭建的網(wǎng)絡(luò)模型中用SC-CNN模塊代替?zhèn)鹘y(tǒng)卷積層可以為脊柱MR圖像分割提供多尺度特征；用跳躍連接和Res-Path保證多尺度提取的細粒度的細節(jié)和粗粒度的語義不會隨網(wǎng)絡(luò)加深而丟失；同時受UNet++結(jié)構(gòu)的啟發(fā)，把訓(xùn)練中的中間層信息通過跳躍連接傳遞到下一層網(wǎng)絡(luò)。Res-Path結(jié)構(gòu)的反饋功能解決了訓(xùn)練過程中網(wǎng)絡(luò)退化現(xiàn)象，這樣更有利于低分辨率特征信息與高分辨率特征信息的融合。6層的跳躍連接則避免中間層特征的丟失。提出的網(wǎng)絡(luò)模型輸入圖片尺寸大小可以任意設(shè)置，每次SC-CNN操作后用Rule函數(shù)激活。最大池化、反池化操作大小為2×2，最后通過一個sigmoid函數(shù)輸出預(yù)測結(jié)果，恢復(fù)原始圖像大小。

1.2 SC-CNN模塊

深度學(xué)習(xí)訓(xùn)練中增加網(wǎng)絡(luò)的深度和寬度是提升網(wǎng)絡(luò)性能最直接的辦法，但這種方法會產(chǎn)生大量的參數(shù)導(dǎo)致網(wǎng)絡(luò)過擬合。Szegedy等人[14-15]根據(jù)稀疏矩陣聚類成相對密集的子矩陣的想法，提出了Inception網(wǎng)絡(luò)結(jié)構(gòu)，如圖2（a）所示，這很大程度上解決了模型因參數(shù)量大出現(xiàn)過擬合的問題。Inception網(wǎng)絡(luò)結(jié)構(gòu)通過采用不同大小的卷積核拼接提取不同尺度特征，一定程度上提升了網(wǎng)絡(luò)的性能。圖2（a）中5×5卷積層隨著網(wǎng)絡(luò)深度增加仍帶來巨大計算量。深度學(xué)習(xí)分割任務(wù)中提取多尺度特征能有效提升圖像細節(jié)分割質(zhì)量[16]。為了解決計算量爆炸問題，同時提供更多尺寸特征信息，本研究提出了SC-CNN結(jié)構(gòu)。該結(jié)構(gòu)在分割語義相同區(qū)域中能有效提取特征交互的信息，同時該結(jié)構(gòu)在不增加網(wǎng)絡(luò)參數(shù)量的基礎(chǔ)下，對細節(jié)信息提取能力遠遠優(yōu)于傳統(tǒng)的單層卷積核。如圖2（b），1×1卷積層進行數(shù)據(jù)降維，同時可引入更多非線性參數(shù)提升網(wǎng)絡(luò)泛化能；對稱通道可以互補特征提取的差異；兩個3×3卷積層串聯(lián)可進行多尺度特征提??；每次卷積后通過跳躍連接輸出特征拼接層防止特征的遺漏；輸出為兩通道所有特征相加；最后用BN算法加速模型收斂。

其中BN算法利用式（1）對每層數(shù)據(jù)進行均值和標準差歸一化處理，提出的模型訓(xùn)練中使用批量下降法，E[x(k)]是同一批數(shù)據(jù)中各神經(jīng)元的平均值；Var[x(k)]是訓(xùn)練數(shù)據(jù)中各神經(jīng)元輸入值的標準差。

根據(jù)式（2）對網(wǎng)絡(luò)中間層的數(shù)據(jù)進行重構(gòu)。當γ(k)=時，網(wǎng)絡(luò)可以學(xué)習(xí)恢復(fù)出原始網(wǎng)絡(luò)所要學(xué)習(xí)的特征分布。

1.3 改進的Res-Path模塊

在神經(jīng)網(wǎng)絡(luò)模型收斂之前，隨著網(wǎng)絡(luò)深度增加，訓(xùn)練效果逐漸增加最后飽和，然后迅速下降，導(dǎo)致出現(xiàn)錯誤結(jié)果[17]。殘差網(wǎng)絡(luò)用跳層連接形式將單元出入和輸出加在一起后激活，有效解決了網(wǎng)絡(luò)退化問題。為解決多個SC-CNN拼接導(dǎo)致網(wǎng)絡(luò)模型加深、收斂速度慢等問題，本研究構(gòu)建了如圖3所示的多層次Res-Path模型，其特點是根據(jù)采樣層次調(diào)節(jié)反饋網(wǎng)絡(luò)的深度。第一次上采樣時SC-CNN提取特征后輸入特征圖，經(jīng)過4個3×3卷積層，得到非線性輸出F(x)，1×1卷積用來調(diào)整特征圖的維度。在總體模型中隨著上采樣次數(shù)的增加，Res-Path中3×3卷積層依次減少，詳情如表1所示。在Res-Path模型中去除個別中間層不會影響Res-Path模塊的表現(xiàn)，同時模型收斂速度明顯加快。最后搭建的模型在相鄰的SC-CNN模塊中用跳躍連接傳遞特征信息。

表1 Res-Path詳情Table 1 Details of Res-Path

1.4 注意力機制模塊

SC-CNN提取多尺度特征雖然保證了特征的多樣性，但不能關(guān)注特征的重要與否。搭建模型在SC-CNN模塊后加入CBAM能更好地關(guān)注采樣的有效特征。CBAM為卷積模塊結(jié)合空間和通道的注意力機制模塊，相比SENet[18]結(jié)構(gòu)在圖像分割和目標檢測中取得了更好的結(jié)果。

深度學(xué)習(xí)中，由于每個通道的權(quán)重值的差異性，每個權(quán)重值與原來通道的值的乘積是深度學(xué)習(xí)真正需要的特征值。在SENet基礎(chǔ)上，CBAM模塊考慮每個通道不同位置像素的重要性，通過學(xué)習(xí)獲取特征圖在通道和空間上的重要程度，改變不同特征權(quán)重值提取更有效的特征圖。設(shè)該模塊在網(wǎng)絡(luò)中間特征輸入為F∈RC×H×W的特征圖，C、H和W分別為輸入特征圖通道數(shù)、高和寬，經(jīng)過一維通道注意力機制Mc=RC×1×1運算輸出特征圖F′，如式（3）所示。F′經(jīng)過二維空間注意力機制Ms=R1×H×W運算輸出特征圖F″，如式（4）所示。其中?為特征圖逐元素相乘。

在式（3）中，通道注意力關(guān)注特征圖中有意義的學(xué)習(xí)特征，利用最大池化和平均池化，在空間維度壓縮特征圖，得到兩個不同的空間背景描述因子Fcmax和Fcavg，使用多層感知機組成的共享網(wǎng)絡(luò)對背景描述因子進行計算，得到通道注意力特征圖，如式（5），其中W0∈RC/r×C,W1∈RC×C/r,Relu作為W0后的激活函數(shù)。通道注意力結(jié)構(gòu)圖，如圖4所示。

在式（5）中，空間注意力更關(guān)注特征圖中位置信息，采用最大池化和平均池化，在通道維度中得到兩個不同的特征描述因子Fsmax∈R1×H×W和Fsavg∈R1×H×W，計算過程如式（6），最后合并兩特征，用卷積操作得到空間注意力特征圖Ms(F)∈RH×W?？臻g注意力結(jié)構(gòu)如圖5所示。

1.5 損失函數(shù)

在MR脊柱圖像分割中標簽為背景和脊柱體，屬于深度學(xué)習(xí)中的二分類任務(wù)，本模型采用二值交叉熵函數(shù)[19]評估模型的分割效果，如式（7）所示。

其中，yi表示樣本i的標簽，正類為1，負類為0；Pi表示樣本i預(yù)測為正的概率。交叉熵的使用涉及到計算每種類別的概率，因此二值交叉熵通常和sigmoid函數(shù)配合使用。sigmoid邏輯函數(shù)得到像素值概率，并結(jié)合交叉熵損失函數(shù)在模型訓(xùn)練效果差的時候?qū)W習(xí)速度加快，模型訓(xùn)練效果好的時候?qū)W習(xí)速度變慢。

1.6 評價指標

圖像分割中存在許多衡量算法精度的方法，使用Dice相似系數(shù)（dice similarity coefficient，DSC）與像素精度指標（pixel accuracy，PA）評價模型分割精度。DSC系數(shù)計算手動分割標準和自動分割結(jié)果之間重疊體素量的兩倍與手動分割標準和自動分割結(jié)果體素量的總和的比例。PA系數(shù)計算正確分類的像素個數(shù)和總像素數(shù)之間的比例。DSC與PA值越接近1，表明分割精度越高，如式（8）、（9）所示：

其中，TP、FP和FN分別表示分割任務(wù)中像素真陽性、假陽性和假陰性的數(shù)量，Pii為正確分類的像素數(shù)量，Pij為所有像素數(shù)量。

2 實驗內(nèi)容

2.1 實驗數(shù)據(jù)與預(yù)處理

本文脊柱MR數(shù)據(jù)集為SpineSagT2Wdataset3，該數(shù)據(jù)集包括215個病人（腰椎間盤突出、腰椎間盤退行性變等）的MR圖像。數(shù)據(jù)均為矢狀位T2加權(quán)MR三維數(shù)據(jù)，由同一臺設(shè)備采集，磁場強度均為3.0 T。實驗中用帶有專家手工標簽的195套MR圖像共2 460張作為訓(xùn)練集與測試集，提出的模型在訓(xùn)練集中提取MR圖像與標簽的對應(yīng)特征聯(lián)系，最后在驗證集中驗證分割結(jié)果。

核磁共振檢查期間，由于MR成像設(shè)備內(nèi)部磁場不均勻，產(chǎn)生低頻、平緩信號，產(chǎn)生偏移場，同時受人體組織差異性和外部環(huán)境干擾，MR圖像可能出現(xiàn)灰度變化緩慢、分布不均勻和同一組織呈現(xiàn)不同灰度值等情況，這些情況嚴重影響深度學(xué)習(xí)自動分割精度。故本文首先編程實現(xiàn)校正MR圖像的偏移場[20]，然后采用傳統(tǒng)灰度變換歸一化法[21]處理圖像灰度不均問題。

2.2 實驗設(shè)計

所有實驗以裝配CPU CoreTMi9-9900k和顯卡NVIDIA GeForce RTXTM2080Ti的計算機為硬件平臺；以Python3.7.6和Tensorflow-gpu 1.14支撐的Keras為實驗軟件平臺。

SpineSagT2Wdataset3數(shù)據(jù)共2 460張MR圖像，實驗中隨機將這些圖像劃分成2 360張訓(xùn)練集和100張驗證集。在深度學(xué)習(xí)中訓(xùn)練樣本越多，訓(xùn)練效果越好，模型的泛化能力越強。因此在提出的網(wǎng)絡(luò)模型訓(xùn)練前先對原數(shù)據(jù)集增強，數(shù)據(jù)增強的內(nèi)容包括圖片隨機旋轉(zhuǎn)、錯切、放大縮小等，圖片變換造成的內(nèi)容缺失部分用臨近值方式填充，詳細參數(shù)設(shè)置如表2，增強后的數(shù)據(jù)集為307 232張。

表2 數(shù)據(jù)增強參數(shù)Table 2 Data enhancement parameters

搭建的網(wǎng)絡(luò)模型和對比網(wǎng)絡(luò)模型訓(xùn)練時設(shè)置訓(xùn)練批尺寸為4，訓(xùn)練輪次150次，每個輪次輸入256張圖片數(shù)據(jù)，采用提前結(jié)果回調(diào)機制。首次訓(xùn)練采用U-Net的預(yù)訓(xùn)練權(quán)重，設(shè)置初始學(xué)習(xí)率為0.000 1，采用Adam優(yōu)化器計算自適應(yīng)學(xué)習(xí)率。如圖6，訓(xùn)練中輸出中間層特征熱力圖來更好地監(jiān)測學(xué)習(xí)過程。

2.3 實驗結(jié)果與分析

輕量級的CBAM模型不會增加整個網(wǎng)絡(luò)的額外開銷，并且可提升模型的性能。本研究提出的網(wǎng)絡(luò)模型同樣采取了CBAM模型，并進行消融實驗；同時用不同的網(wǎng)絡(luò)模型分割SpineSagT2Wdataset3數(shù)據(jù)集，驗證提出的網(wǎng)絡(luò)模型的優(yōu)越性能。

實驗1為提出的網(wǎng)絡(luò)模型不加CBAM模塊；實驗2為提出的網(wǎng)絡(luò)模型所有SC-CNN模塊后加入CBAM模塊；實驗3為提出的網(wǎng)絡(luò)模型上采樣中的SC-CNN模塊后加入CBAM模塊；實驗4為提出的網(wǎng)絡(luò)模型下采樣中的SC-CNN模塊后加入CBAM模塊；實驗5為提出的網(wǎng)絡(luò)模型中間層的SC-CNN模塊后加入CBAM模塊。表3為消融實驗中DCS系數(shù)與PA系數(shù)評價指標的對比和模型參數(shù)量，實驗3中DCS系數(shù)分割精度最高，PA系數(shù)與其他實驗都接近，醫(yī)學(xué)圖像分割任務(wù)中通常用分割精度決定模型優(yōu)越，提出的網(wǎng)絡(luò)模型最終在上采樣中的SC-CNN模塊后加入CBAM模塊，消融實驗結(jié)果證明在網(wǎng)絡(luò)訓(xùn)練中能更有效地提取特征，有利于提高分割精度。

表3 消融實驗結(jié)果對比Table 3 Comparison of ablation test results

在消融實驗的基礎(chǔ)上，實驗（a）、（b）、（c）、（d）分別為FCN、U-Net、UNet++和DeeplabV3+網(wǎng)絡(luò)模型分割SpineSagT2Wdataset3數(shù)據(jù)集的對比實驗，（e）為本研究提出的網(wǎng)絡(luò)模型。表4給出各對比模型分割結(jié)果的平均DCS系數(shù)、PA系數(shù)、訓(xùn)練時間、提出的網(wǎng)絡(luò)模型相對其他模型DCS系數(shù)提升幅度。在表4中，提出的網(wǎng)絡(luò)模型的參數(shù)量與訓(xùn)練時間都低于其他模型，PA系數(shù)和DSC系數(shù)指標明顯高于對比模型。為證明提出模型的優(yōu)勢，在結(jié)果中選出了不同椎體數(shù)量、角度的三幅圖來對比實驗分割效果與標簽。如圖7所示。紅框內(nèi)為不同模型分割結(jié)果與標簽的差異，（a）組中三幅圖的邊緣處存在分割偽影，且存在多余分割信息。（b）組中存在分割信息的缺失，偽影多存在于分割的椎體上，且有一處出現(xiàn)椎體粘連。（c）、（d）兩組相對（a）、（b）兩組在椎體邊緣處存在少數(shù)偽影，有椎體粘連但分割錯誤信息較少。（e）組幾乎不存在分割偽影問題，雖然有一處粘連但對比其他四組分割效果更接近標簽。偽影較少很大程度是因為提出的SC-CNN有效提取多尺度信息保證了邊緣細節(jié)的分割。

表4 實驗結(jié)果對比Table 4 Comparison of experimental results

對比實驗結(jié)果證明SC-CNN模塊提取多尺度特征，互補不同通道特征差異，Res-Path模塊關(guān)聯(lián)前后特征，跳躍連接傳送中間特征，CBAM模塊加強有效信息提取，這些工作都有助于提升網(wǎng)絡(luò)模型分割精度。

3 結(jié)束語

本研究對脊柱MR圖像手工分割步驟繁瑣、分割精度不高、結(jié)果難以復(fù)現(xiàn)、深度學(xué)習(xí)特征提取片面、上下文信息聯(lián)系缺失等問題，提出了一種端到端自動分割脊柱MR圖像的深度學(xué)習(xí)方法。該方法提出對稱通道卷積神經(jīng)網(wǎng)絡(luò)（SC-CNN）并在上采樣、中間層及下采樣過程中多次使用；用殘差連接模型Res-Path連接上采樣和下采樣中SC-CNN提取的特征，同時把中間特征通過跳躍連接輸出到下一層SC-CNN；最后在卷積層后加入CBAM模塊。提出的網(wǎng)絡(luò)模型能有效解決訓(xùn)練中網(wǎng)絡(luò)退化，多維度特征信息提取與互補，低分辨率語義信息和高分辨率細節(jié)語義信息丟失等問題。本研究對所提方法設(shè)計消融對比實驗，并與表現(xiàn)優(yōu)異網(wǎng)絡(luò)模型進行比較，提出的網(wǎng)絡(luò)模型分割結(jié)果的平均DCS系數(shù)為0.861 9，PA數(shù)為0.938 8，明顯優(yōu)于其他模型。后續(xù)工作將進一步改進模型結(jié)構(gòu)，用不同分割數(shù)據(jù)集驗證所提模型，提升模型泛化能力，以達到臨床中實時準確分割圖像的目的。