U形網(wǎng)絡(luò)的脊椎分割改進(jìn)方法研究

梁淑芬 楊芳臣 秦傳波

摘? 要： 針對當(dāng)前U?Net網(wǎng)絡(luò)模型以及相關(guān)卷積網(wǎng)絡(luò)在脊椎分割中分割邊緣精度低，對目標(biāo)的識別率低等問題，提出幾種改進(jìn)的語義分割網(wǎng)絡(luò)模型。考慮到脊椎MRI圖像中目標(biāo)區(qū)域連續(xù)且集中，并存在復(fù)數(shù)微小區(qū)域，邊緣特征豐富，運(yùn)用新型卷積塊替換標(biāo)準(zhǔn)卷積結(jié)構(gòu)，利用多路徑思想，融入復(fù)數(shù)編解碼器結(jié)構(gòu)，降低運(yùn)算復(fù)雜度，提升邊緣特征提取力度，應(yīng)對不同的特征提取問題。模型在SpineWeb的High anisotropy MRIs of the lower back數(shù)據(jù)集2 000張脊椎圖像上做實驗，運(yùn)用訓(xùn)練好的模型對同組脊椎MRI圖像作預(yù)測。實驗結(jié)果顯示，網(wǎng)絡(luò)模型的預(yù)測結(jié)果與提供的真值標(biāo)簽在Dice系數(shù)以及Precision系數(shù)等幾項評價指標(biāo)上分別達(dá)到0.891和0.894。

關(guān)鍵詞： 脊椎分割; 網(wǎng)絡(luò)模型; U形網(wǎng)絡(luò); 結(jié)構(gòu)替換; 特征提取; 圖像預(yù)測

中圖分類號： TN911.73?34? ? ? ? ? ? ? ? ? ? ? ?文獻(xiàn)標(biāo)識碼： A? ? ? ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2020）21?0031?04

Improved spinal segmentation method based on U?net

LIANG Shufen， YANG Fangchen， QIN Chuanbo

（Wuyi University， Jiangmen 529020， China）

Abstract： As the current U?net models and related convolution networks have low accuracy of edge segmentation in spinal segmentation， several improved semantic segmentation network models are proposed. Since the continuity and concentration of target areas in the spine MRI （magnetic resonance imaging） images， plural small areas and rich edge features are considered， a new convolution block is used in the method to replace standard convolution structure. Several codec structures are integrated with an idea of multi?path， which can reduce the computation complexity and improve segmentation edge feature extraction to deal with different feature extraction. The experiments of 2 000 spinal images in SpineWeb′s High Anisotropy MRIs of the Lower Back dataset were carried out， using the trained model to forecast the spine MRI images in the same group. The experimental results show that the prediction results of the network model and evaluation indexes on the provided truth?value label for Dice coefficient and Precision coefficient have reached 0.891 and 0.894.

Keywords： spinal segmentation; network model; U?net; structure replacement; feature extraction; image prediction

0? 引? 言

脊柱是人體的支柱，具有負(fù)重、減震、保護(hù)及日常運(yùn)動的功能。隨著人們工作生活節(jié)奏的日益加快，脊柱問題成為現(xiàn)代社會普遍存在、亟待解決的健康問題[1?3]。脊椎醫(yī)學(xué)影像的研究對輔助臨床診斷解決脊椎問題有重要意義，其中脊椎分割一直是醫(yī)學(xué)界的一項重要挑戰(zhàn)[4]。

為實現(xiàn)圖像的精準(zhǔn)分割，國內(nèi)外研究學(xué)者考慮諸多方法，傳統(tǒng)方法中邊緣檢測法[5]、基于閾值的分割法[6]、區(qū)域生長法[7?9]、基于活動輪廓的方法[10]、基于聚類的分割方法[11?12]等。但由于傳統(tǒng)方法分割過程繁瑣，醫(yī)學(xué)影像采集設(shè)備噪聲影響等，分割質(zhì)量有限。

與傳統(tǒng)的圖像分割方式相比，深度卷積網(wǎng)絡(luò)具有自動提取特征的特點，深度學(xué)習(xí)的方法對有標(biāo)簽的數(shù)據(jù)處理，尤其是語義分割領(lǐng)域具有顯見的優(yōu)勢。文獻(xiàn)[13]提出的FCN（Fully Convolutional Networks）架構(gòu)將神經(jīng)網(wǎng)絡(luò)應(yīng)用于端到端的圖像語義分割領(lǐng)域，并取得了顯著效果。文獻(xiàn)[14]提出的基于FCN網(wǎng)絡(luò)架構(gòu)的語義分割方法U?Net網(wǎng)絡(luò)框架，通過帶標(biāo)簽訓(xùn)練達(dá)到較高精度的語義分割，對醫(yī)學(xué)圖像分割的發(fā)展啟發(fā)深遠(yuǎn)。文獻(xiàn)[15]構(gòu)成的殘差網(wǎng)絡(luò)降低了網(wǎng)絡(luò)復(fù)雜度。文獻(xiàn)[16]所述的Dense致密結(jié)構(gòu)，通過特征融合更加緊密的快捷連接，提升了醫(yī)學(xué)圖像特征的利用率，增強(qiáng)了語義分割效果。結(jié)合殘差結(jié)構(gòu)以及可分離卷積結(jié)構(gòu)，文獻(xiàn)[17]提出一種卷積塊用于降低網(wǎng)絡(luò)復(fù)雜度，減少計算量。文獻(xiàn)[18]融合殘差結(jié)構(gòu)與注意力機(jī)制等，提出一種雙解碼器的網(wǎng)絡(luò)結(jié)構(gòu)，提升分割精度等。結(jié)合前述基于卷積神經(jīng)網(wǎng)絡(luò)的分割方法，針對脊椎圖像醫(yī)學(xué)特點，提出基于U?Net架構(gòu)的語義分割改進(jìn)網(wǎng)絡(luò)，實現(xiàn)脊椎影像更精確的脊椎分割。

1? 方法介紹

1.1? 編解碼網(wǎng)絡(luò)

文獻(xiàn)[13]證明了經(jīng)端到端、像素到像素訓(xùn)練過程的卷積神經(jīng)網(wǎng)絡(luò)優(yōu)于當(dāng)前語義分割中最先進(jìn)技術(shù)，并通過標(biāo)準(zhǔn)卷積形成卷積塊結(jié)構(gòu)，搭建出完全由卷積組成的卷積編解碼FCN網(wǎng)絡(luò)，其結(jié)構(gòu)如圖1所示。

文獻(xiàn)[19]運(yùn)用FCN獲得較高精度的分割結(jié)果;文獻(xiàn)[20]運(yùn)用基于FCN的方法在林木圖像上獲得了良好的分割效果。

與FCN結(jié)構(gòu)比較，U?Net架構(gòu)則更靈活，同樣采用編?解碼器架構(gòu)，通過完善網(wǎng)絡(luò)結(jié)構(gòu)中的擴(kuò)張路徑，與收縮路徑對應(yīng)地逐步恢復(fù)圖像尺寸，二者共同組成一個對稱的結(jié)構(gòu)，如圖2所示。

文獻(xiàn)[21]實現(xiàn)了基于U?Net的肺部影像自動分割;文獻(xiàn)[22]分割肺部腫瘤圖像，獲得了更精確的結(jié)果。此外還有些應(yīng)用于鼻咽喉腫瘤[23]和脊椎分割[24]，效果顯著。

編解碼網(wǎng)絡(luò)使用的帶標(biāo)簽數(shù)據(jù)通常很少，經(jīng)過相應(yīng)預(yù)處理，就能訓(xùn)練得到比較精確的分割結(jié)果，適應(yīng)能力較強(qiáng)。但特征圖譜的維度會隨網(wǎng)絡(luò)深度的加深而增加，導(dǎo)致目標(biāo)分割計算量增加。同時，圖像在收縮路徑中不斷地?fù)p失圖像細(xì)節(jié)，到擴(kuò)張路徑時，也會遇到難以恢復(fù)圖像邊緣等問題阻礙。

1.2? 基于U?Net的改進(jìn)網(wǎng)絡(luò)

針對U?Net應(yīng)用于醫(yī)學(xué)圖像分割時存在的問題，Res?U?Net（Residual U?Net）融入了文獻(xiàn)[15]的殘差結(jié)構(gòu)，將U型網(wǎng)絡(luò)中普通卷積塊轉(zhuǎn)換成殘差塊。如圖3a）所示，殘差塊由標(biāo)準(zhǔn)卷積和快捷連接（Shortcut Connection）構(gòu)成，可降低復(fù)雜度，減少計算量。

但殘差結(jié)構(gòu)也會損失部分信息，為了穩(wěn)定圖像的分割精度，并進(jìn)一步降低復(fù)雜度，Dense?U?Net網(wǎng)絡(luò)運(yùn)用文獻(xiàn)[16]的致密結(jié)構(gòu)，如圖3b）所示。Dense結(jié)構(gòu)在一定程度上緩解了神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程中梯度消失的問題，同時增強(qiáng)了對象特征傳播，促進(jìn)特征復(fù)用。

實驗表明，致密結(jié)構(gòu)需有較深層的卷積塊支撐，且輸出端的特征維度比較大。文獻(xiàn)[17]提出一種DAB結(jié)構(gòu)（Depth?wise Asymmetric Bottleneck）構(gòu)成新卷積塊，使用ResNet[15]中的瓶頸結(jié)構(gòu)，能在減少參數(shù)的同時穩(wěn)定分割精度。

DAB結(jié)構(gòu)塊如圖3c）所示，運(yùn)用可分離卷積的結(jié)構(gòu)思路，結(jié)合殘差網(wǎng)絡(luò)降低復(fù)雜度的特點，由標(biāo)準(zhǔn)卷積層、分離卷積層和1×1核卷積層組成非對稱式DAB卷積塊。

改進(jìn)的網(wǎng)絡(luò)DAB?U?Net仍使用編?解碼器結(jié)構(gòu)，將普通卷積替換為對應(yīng)的DAB卷積。編碼器提取語義信息，解碼器獲取圖像細(xì)節(jié);網(wǎng)絡(luò)運(yùn)用密集型skip connection，通過Feature Interaction將編碼器部分的所有特征整合并傳遞到高層特征中，減緩因編碼降采樣導(dǎo)致的信息丟失。

運(yùn)用文獻(xiàn)[18]提出的RIC?U?Net網(wǎng)絡(luò)結(jié)構(gòu)，同時為更進(jìn)一步利用DAB卷積塊提取的特征信息，在DAB?U?Net基礎(chǔ)上增加一條編碼路徑，保留跳層連接，通過新編碼器更新特征提取，補(bǔ)充單條編解碼路徑損失的信息。改進(jìn)的網(wǎng)絡(luò)模型為W型結(jié)構(gòu)，經(jīng)過不同程度調(diào)整，先后有W1，W2和W3三個版本結(jié)構(gòu)，如圖4a）所示。DAB?W?Net網(wǎng)絡(luò)進(jìn)一步提升特征利用率。

通過增加預(yù)編碼路徑，促使網(wǎng)絡(luò)提前進(jìn)入數(shù)據(jù)壓縮階段，形成DABN?Net網(wǎng)絡(luò)結(jié)構(gòu)，如圖4b）所示。改進(jìn)的DABN?Net網(wǎng)絡(luò)增加了預(yù)編碼路徑，采用標(biāo)準(zhǔn)卷積塊，初步提取特征，獲得更簡潔的數(shù)據(jù)信息后再輸入常規(guī)DAB?U?Net網(wǎng)絡(luò)中，強(qiáng)化對目標(biāo)特征的提取能力，提升分割精度。

實現(xiàn)分割的系統(tǒng)流程圖如圖5所示，先對數(shù)據(jù)集作預(yù)處理，然后輸入到網(wǎng)絡(luò)中訓(xùn)練。

以圖像尺寸為標(biāo)準(zhǔn)，對原圖和標(biāo)簽集同步作縮放傾斜等隨機(jī)形變，實現(xiàn)數(shù)據(jù)擴(kuò)增。

2? 結(jié)果與分析

2.1? 實驗材料

實驗使用SpineWeb的High anisotropy MRIs of the lower back數(shù)據(jù)集[25?26]。包含195例人體脊柱的腰椎MRI掃描圖像，其尺寸范圍在512×512～1 024×1 024之間。為方便實驗，對所選圖像進(jìn)行預(yù)處理增強(qiáng)并規(guī)范到512×512，最后按3∶1∶1比例分配實驗。根據(jù)實際背景，實驗設(shè)備配置見表1。

2.2? 評價指標(biāo)

為定量分析提出方法的分割性能，檢驗方法的分割效果，文中運(yùn)用幾種常見的評價指標(biāo)，包括Accuracy，Sensitivity，Specificity，Precision，[F1] Score，Jaccard Similarity以及Dice Coefficient。根據(jù)研究對象特點選擇其中五項為各方法作分割性能上的定量評估。

Sensitivity系數(shù)，又稱召回率，表示所有正像素中標(biāo)注正確的像素集所占比例，衡量分割方法對正像素的識別能力。

Specificity指標(biāo)，又稱真陰性率，表示所有負(fù)像素中被標(biāo)注正確的像素集合所占比例，衡量分割方法對負(fù)像素的識別能力。

Precision表示精度，又稱查準(zhǔn)率，是圖像分割精確性的度量參數(shù)，是被標(biāo)注為正的像素集合中實際為正的像素集合所占比例，衡量模型對正像素點的預(yù)測能力。

Jaccard相似性系數(shù)，給定兩個集合，正負(fù)集A，B，Jaccard系數(shù)表示集合A，B之間的交集與它們之間的并集的比值。

Dice Coefficient系數(shù)為圖像中兩個目標(biāo)形狀之間交集面積占總面積的比值，值越大，分割結(jié)果越好，完美重合時值為1。

2.3? 實驗結(jié)果與分析

實驗流程如圖5所示，在同一系統(tǒng)下使用不同網(wǎng)絡(luò)模型對MRI脊椎圖像進(jìn)行訓(xùn)練。經(jīng)過后處理，將網(wǎng)絡(luò)預(yù)測輸出的脊椎分割結(jié)果圖像轉(zhuǎn)換為二值圖像，如圖6a）所示。

比較預(yù)測結(jié)果，顯示DABW2?Net、DABW3?Net以及DABN?Net幾個分割網(wǎng)絡(luò)對醫(yī)學(xué)脊椎原圖的椎骨細(xì)節(jié)描述能力更強(qiáng)，展現(xiàn)的細(xì)節(jié)更為全面，其余包括U?Net，ResU?Net等模型在實驗預(yù)測過程中，都有不同程度的信息丟失。將訓(xùn)練好的模型應(yīng)用于臨床數(shù)據(jù)，得到如圖6b）所示分割結(jié)果。

實驗表明，提出的改進(jìn)網(wǎng)絡(luò)模型可以進(jìn)行臨床分割，效果顯著。

如表2所示，提出的改進(jìn)網(wǎng)絡(luò)對脊椎的分割在識別能力上有所強(qiáng)化，分割結(jié)果與標(biāo)簽更相似。此外，通過對比原圖與標(biāo)簽不難發(fā)現(xiàn)，人工標(biāo)簽明顯存在一些誤差，導(dǎo)致部分模型分割指標(biāo)數(shù)據(jù)稍有波動。但總體上，模型性能都略優(yōu)于傳統(tǒng)卷積方法。

3? 結(jié)? 論

本文提出幾種改進(jìn)的基于U?Net網(wǎng)絡(luò)模型的脊椎MRI醫(yī)學(xué)影像分割網(wǎng)絡(luò)模型，通過對網(wǎng)絡(luò)作改進(jìn)，提升網(wǎng)絡(luò)分割精度，增加網(wǎng)絡(luò)深度。將預(yù)處理后的圖集輸入到改進(jìn)的U型網(wǎng)絡(luò)模型中進(jìn)行訓(xùn)練，改進(jìn)的網(wǎng)絡(luò)在分割精度方面有所提高，對比同類型算法，所需訓(xùn)練樣本較少，訓(xùn)練速度較快。實驗結(jié)果表明，改進(jìn)的分割網(wǎng)絡(luò)能有效分割脊椎MRI圖像。

注：本文通訊作者為秦傳波。

參考文獻(xiàn)

[1] 吳旻昊，孫文超，閆飛飛，等.早發(fā)型脊柱側(cè)彎的治療研究與新進(jìn)展[J].中國組織工程研究，2017，21（3）：433?439.

[2] 尹慶水.脊椎相關(guān)疾病研究現(xiàn)狀及面臨的挑戰(zhàn)[J].中國骨科臨床與基礎(chǔ)研究雜志，2014（2）：69?72.

[3] 顧菊平，程天宇，華亮，等.面向脊柱生物建模的圖像分割與配準(zhǔn)研究綜述[J].系統(tǒng)仿真學(xué)報，2019，31（2）：167?173.

[4] RAMU S M， RAJAPPA M， KRITHIVASAN K， et al. A novel fast medical image segmentation scheme for anatomical scans [J]. Multimedia tools and applications， 2019， 78（15）： 1?32.

[5] 鈕圣虓，王盛，楊晶晶，等.完全基于邊緣信息的快速圖像分割算法[J].計算機(jī)輔助設(shè)計與圖形學(xué)學(xué)報，2016，24（11）：1410?1419.

[6] 李滾，劉歡，柯善群.脊椎圖像分割與椎體信息提取的算法及應(yīng)用[J].電子設(shè)計工程，2017，25（16）：183?186.

[7] 肖明堯，李雄飛，張小利，等.基于多尺度的區(qū)域生長的圖像分割算法[J].吉林大學(xué)學(xué)報（工學(xué)版），2017，47（5）：1591?1597.

[8] 曾鵬，王正勇，滕奇志.一種基于區(qū)域生長算法的脊椎椎體提取方法[J].科學(xué)技術(shù)與工程，2014，14（6）：222?225.

[9] GAO Huilin， DOU Lihua， CHEN Wenjie， et al. The applications of image segmentation techniques in medical CT images [EB/OL]. [2011?01?26]. https：//www.researchgate.net/publication/252035024.

[10] DOMINIK G， Gl?WKA P， KOTWICKI T， et al. Automatic spine tissue segmentation from MRI data based on cascade of boosted classifiers and active appearance model [EB/OL]. [2018?04?29]. https：//www.ncbi.nlm.nih.gov/pmc/articles/PMC5949193/.

[11] TIAN Yuan， GUAN Tao， WANG Cheng， et al. Interactive foreground segmentation method using mean shift and graph cuts [J]. Sensor review， 2009， 29（2）： 157?162.

[12] 葉偉，陶晶，陳小宇，等.一種新穎的MR脊柱圖像自動分割算法研究[J].中國醫(yī)療設(shè)備，2018，33（9）：61?64.

[13] LONG J， SHELHAMER E， DARRELL T. Fully convolutional networks for semantic segmentation [J]. IEEE transactions on pattern analysis & machine intelligence， 2014， 39（4）： 640?651.

[14] RONNEBERGER O， FISCHER P， BROX T. U?Net： convolutional networks for biomedical image segmentation [C]// MICCAI 2015： Medical Image Computing and Computer?Assisted Intervention. Munich， Germany： IEEE， 2015： 234?241.

[15] HE Kaiming， ZHANG Xiangyu， REN Shaoqing， et al. Deep residual learning for image recognition [C]// 2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Las Vegas， NV， USA： IEEE， 2016： 770?778.

[16] HUANG Gao， LIU Zhuang， VAN DER MAATEN L， et al. Densely connected convolutional networks [EB/OL]. [2018?01?28]. https：//www.researchgate.net/publication/319770123.

[17] LI Gen， YUN I， KIM J， et al. DABNet： depth?wise asymmetric bottleneck for real?time semantic segmentation [EB/OL]. [2019?07?26]. https：//github.com/nemonameless/DABNet.

[18] ZENG Zitao， XIE Weihao， ZHANG Yunzhe， et al. RIC?Unet： an improved neural network based on Unet for nuclei segmentation in histology images [J]. IEEE access， 2019， 7： 21420?21428.

[19] 郭樹旭，馬樹志，李晶，等.基于全卷積神經(jīng)網(wǎng)絡(luò)的肝臟CT影像分割研究[J].計算機(jī)工程與應(yīng)用，2017，53（18）：126?131.

[20] 黃英來，劉亞檀，任洪娥.基于全卷積神經(jīng)網(wǎng)絡(luò)的林木圖像分割[J].計算機(jī)工程與應(yīng)用，2019，55（4）：219?224.

[21] 袁甜，程紅陽，陳云虹，等.基于U?Net網(wǎng)絡(luò)的肺部CT圖像分割算法[J].自動化與儀器儀表，2017（6）：59?61.

[22] 周魯科，朱信忠.基于U?Net網(wǎng)絡(luò)的肺部腫瘤圖像分割算法研究[J].信息與電腦（理論版），2018（5）：41?44.

[23] 潘沛克，王艷，羅勇，等.基于U?net模型的全自動鼻咽腫瘤MR圖像分割[J].計算機(jī)應(yīng)用，2019，39（4）：1183?1188.

[24] 劉忠利，陳光，單志勇，等.基于深度學(xué)習(xí)的脊柱CT圖像分割[J].計算機(jī)應(yīng)用與軟件，2018，35（10）：206?210.

[25] EGGER J， NIMSKY C， KOLB A. Robust detection and segmentation for diagnosis of vertebral diseases using routine MR images [J]. Computer graphics forum， 2015， 33（6）： 190?204.

[26] EGGER J， ZUKI? D， FREISLEBEN B， et al. Segmentation of pituitary adenoma： a graph?based method vs. a balloon inflation method [J]. Computer methods and programs in biomedicine， 2013， 110（3）： 268?278.

作者簡介：梁淑芬（1975—），女，廣東江門人，碩士，副教授，主要研究方向為模式識別、信號處理與通信研究等。

楊芳臣（1995—），男，江西宜春人，碩士，主要研究方向為圖像處理。

秦傳波（1982—），男，安徽宿州人，博士，講師，主要研究方向為生物特征識別、醫(yī)學(xué)影像處理。