深度學(xué)習(xí)在脊柱質(zhì)心定位與分割的應(yīng)用進(jìn)展

孫 紅,莫光萍,徐廣輝,楊 晨

(1.上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院,上海 200093;2.上海市第四人民醫(yī)院 脊柱外科,上海 200434)

脊柱作為人體肌肉骨骼系統(tǒng)較重要的組成部分之一,在肌肉骨骼系統(tǒng)中維持和支撐身體及其器官、各關(guān)節(jié)轉(zhuǎn)動(dòng),并保護(hù)脊髓免受外力沖擊造成損傷,其質(zhì)心定位與椎骨分割對脊柱疾病研究具有重要意義。椎骨定位及分割可以幫助骨科醫(yī)生診斷脊柱疾病,確定治療方案并評(píng)估方案的有效性[1-2]。電子計(jì)算機(jī)斷層掃描(Computed Tomography,CT)和磁共振成像 (Magnetic Resonance Imaging,MRI)是兩種常見的人體脊椎三維成像方法。CT成像來自高級(jí)X射線成像的多角度、多方向組合,掃描使用不同測量參數(shù)從側(cè)面生成脊柱的橫截面圖像。CT掃描有利于形成脊柱的三維圖像。RI是脊柱三維成像中一種快速、高質(zhì)量和詳細(xì)的成像方法,通過產(chǎn)生強(qiáng)磁場和射頻脈沖來生成三維脊柱圖像。脊柱質(zhì)心定位與分割是具有挑戰(zhàn)性的任務(wù),這是由于脊柱在解剖學(xué)結(jié)構(gòu)上具有相似的外觀與復(fù)雜的空間結(jié)構(gòu),且相鄰椎骨交界處不易分割。一些脊柱椎骨病理情況增加了脊柱分割的異常情況,例如異常的脊柱彎曲、金屬植入物引起的視覺成像和偽像以及有限的視野場等,這些異常加大了脊柱自動(dòng)定位與分割的難度。由于醫(yī)學(xué)成像視野具有任意性,因此不能依靠某些參數(shù)化方法來對脊柱定位與分割進(jìn)行建模。從醫(yī)學(xué)圖像中手動(dòng)定位并標(biāo)記病變區(qū)域較耗時(shí),且手動(dòng)標(biāo)記病變區(qū)域具有主觀性,容易出現(xiàn)評(píng)分差異。在CT掃描中,超過85%的骨質(zhì)疏松型骨折會(huì)被漏診[3]。基于Atlas、多圖譜和機(jī)器學(xué)習(xí)的傳統(tǒng)方法雖可以將醫(yī)生從繁瑣的工作中解放,但機(jī)器學(xué)習(xí)方法依賴手工提取特征,手工提取三維醫(yī)學(xué)圖像特征較耗時(shí),因此機(jī)器學(xué)習(xí)方法并不適合處理此類任務(wù)。深度學(xué)習(xí)(Deep Learning,DL)是一種多層網(wǎng)絡(luò)組成的端到端學(xué)習(xí)模型,能夠自動(dòng)提取高層次特征并學(xué)習(xí)數(shù)據(jù)特點(diǎn),處理大規(guī)模的醫(yī)學(xué)數(shù)據(jù),無需手工提取特征。且基于DL的自動(dòng)定位與分割椎骨可以預(yù)防漏診,減少醫(yī)師的工作量。因此,自動(dòng)定位與分割在臨床診斷中是較可取的方法。文獻(xiàn)[4]按網(wǎng)絡(luò)框架、訓(xùn)練技巧與應(yīng)用數(shù)據(jù)集對深度學(xué)習(xí)在醫(yī)學(xué)圖像中的應(yīng)用,進(jìn)行分析與討論。文獻(xiàn)[5]全面總結(jié)了深度學(xué)習(xí)方法在CT肝臟腫瘤圖像分割中的應(yīng)用。文獻(xiàn)[6]對深度學(xué)習(xí)在腦組織、血管和肺部分割的應(yīng)用進(jìn)行研究討論。為全面比較與分析,本文首先介紹脊柱醫(yī)學(xué)圖像常用數(shù)據(jù)集及其任務(wù)結(jié)果評(píng)價(jià)指標(biāo),然后介紹脊柱圖像質(zhì)心定位與椎骨分割兩個(gè)子任務(wù)常用的深度學(xué)習(xí)方法基本思想、網(wǎng)絡(luò)架構(gòu)及其優(yōu)缺點(diǎn)等,最后對深度學(xué)習(xí)在脊柱醫(yī)學(xué)圖像應(yīng)用面臨的問題及未來發(fā)展展開討論。

1 數(shù)據(jù)集

1.1 數(shù)據(jù)集

因醫(yī)學(xué)圖像具有私密性,脊柱醫(yī)學(xué)圖像樣本較小且脊柱用于模型訓(xùn)練的數(shù)據(jù)集需要有經(jīng)驗(yàn)的專家與醫(yī)師進(jìn)行標(biāo)注,因此在脊柱醫(yī)學(xué)圖像處理任務(wù)中缺乏公開可用的數(shù)據(jù)集。為解決脊柱圖像處理的限制,MICCAI(Medical Image Computing and Computer Assisted Intervention Society)舉行了大型脊柱圖像標(biāo)注與分割挑戰(zhàn)賽,提供了大規(guī)?？捎?、已標(biāo)注脊柱醫(yī)學(xué)圖像數(shù)據(jù)集VerSe (2019～2020)。

數(shù)據(jù)集VerSe包括訓(xùn)練數(shù)據(jù)集、驗(yàn)證數(shù)據(jù)集和測試數(shù)據(jù)集。數(shù)據(jù)集VerSe2019對141個(gè)患者進(jìn)行斷層掃描,形成160幅三維 CT圖像。其中,80幅CT圖像用于訓(xùn)練,訓(xùn)練集包括經(jīng)過訓(xùn)練的醫(yī)學(xué)生對862塊椎骨做的標(biāo)志與分割mask,由具有經(jīng)驗(yàn)的醫(yī)師進(jìn)一步提升、改進(jìn),剩下80幅CT圖像作為驗(yàn)證集與測試集。掃描和分割mask以nifti格式存儲(chǔ),脊柱中每塊椎骨的質(zhì)心坐標(biāo)以json格式存儲(chǔ)。VerSe2020是VerSe2019的擴(kuò)充,從160幅CT圖像擴(kuò)充至300幅CT圖像,其數(shù)據(jù)標(biāo)注和分割mask與VerSe2019無明顯差別。數(shù)據(jù)集VerSe注釋有兩部分:1)椎骨質(zhì)心三維坐標(biāo);2)椎骨體素級(jí)別的分割mask。椎骨坐標(biāo)注釋以1 mm分辨率給出,質(zhì)心坐標(biāo)內(nèi)容包括三維坐標(biāo)與坐標(biāo)對應(yīng)的椎骨標(biāo)簽;分割mask以不同灰度表示不了同椎骨塊,文獻(xiàn)[3]和文獻(xiàn)[7]對數(shù)據(jù)集進(jìn)行了詳細(xì)解釋。

三維脊柱醫(yī)學(xué)圖像數(shù)據(jù)集還包括xVertSeg、Spinal Disease、CSI-Seg 2014、CSI-Label 2014、IVD和T2verse等。xVertSeg[8]包括25幅腰椎圖像,腰椎圖像包括健康和不同程度骨折的椎骨,數(shù)據(jù)集包括對每塊腰椎骨的分割mask以及對骨折程度的分類。如圖1所示,圖1(a)為腰椎的三維CT原始影像,圖1(b)為人工標(biāo)注的腰椎椎骨分割mask,圖1(c)為每塊腰椎骨對應(yīng)的骨折等級(jí)和骨折情況。其中L1～L5表示腰椎的標(biāo)簽,g代表輕度、中度和嚴(yán)重3種骨折程度,使用數(shù)值1～3表達(dá),c代表骨折情況。Spinal Disease為阿里天池提出的脊柱疾病診斷競賽的數(shù)據(jù)集,可供下載的數(shù)據(jù)集包括標(biāo)注的150份訓(xùn)練集以及50份測試集,剩下250份復(fù)賽訓(xùn)練集和100份測試集不可下載。Spinal Disease供T1、T2矢狀面和T2軸狀位MRI脊柱影像,標(biāo)注從胸腰椎間盤開始到腰骶間盤結(jié)束,并將椎骨分為正常和退行性病變兩類,椎間盤分為正常、膨出、突出、脫出以及椎體內(nèi)疝出5類。CSI 2014[9-10]是CSI 2014 Workshop挑戰(zhàn)賽提供的脊柱質(zhì)心定位與椎骨分割數(shù)據(jù)集,其中分割挑戰(zhàn)有20幅可用CT圖像,椎骨的分割標(biāo)記覆蓋胸腰椎,數(shù)據(jù)以mhd/raw格式存儲(chǔ)。用于脊柱質(zhì)心定位的242幅訓(xùn)練集與60幅測試集由不同類型病理患者的CT掃描組成,每幅CT圖像都提供相應(yīng)的椎骨質(zhì)心注釋。IVD共16幅CT圖像,其中原始圖像包括4種模態(tài)掃描,可用于多模態(tài)脊柱圖像研究。T2verse為MRSpineSeg挑戰(zhàn)的全脊柱數(shù)據(jù)集,包括172幅三維帶注釋訓(xùn)練集與20幅未標(biāo)注測試集,每幅圖像為T2加權(quán)矢狀MRI圖像,圖像中的10塊椎骨、9個(gè)椎間盤和背景分別在體素級(jí)別被標(biāo)注為不同灰度。

(a)

1.2 評(píng)價(jià)指標(biāo)

深度學(xué)習(xí)在圖像中的應(yīng)用評(píng)價(jià)指標(biāo)包括識(shí)別率(id.rate)、定位距離(dmean)、Dice系數(shù)(Dice)和Hausdorff距離(HD)等。

在脊柱醫(yī)學(xué)圖像處理任務(wù)中,對分割模型常用Dice系數(shù)和Hausdorff距離兩個(gè)指標(biāo)來評(píng)價(jià)模型性能。Dice系數(shù)可以衡量集合間的相似度,Hausdorff距離也稱作最大表面距離(Maximum Symmetric Surface Distance,MSSD),其作為表面距離對圖像的分割邊緣響應(yīng)較大,是兩個(gè)點(diǎn)集之間相似程度的度量,計(jì)算式為

(1)

其中,ypred表示模型預(yù)測結(jié)果的表面點(diǎn)集;y表示數(shù)據(jù)集中標(biāo)注真實(shí)值的表面點(diǎn)集;i表示對每塊椎骨的索引;d(p,t)代表兩點(diǎn)間的距離,例如歐式距離d(p,t)=‖p-t‖2。

id.rate和dmean是子任務(wù)定位識(shí)別脊柱常用的兩個(gè)評(píng)價(jià)指標(biāo)。識(shí)別率id.rate即為正確識(shí)別的椎骨與圖像中出現(xiàn)的總椎骨比率。dmean是深度學(xué)習(xí)模型預(yù)測的脊柱質(zhì)心坐標(biāo)與真實(shí)坐標(biāo)之間差距的度量指標(biāo),其可以衡量模型定位坐標(biāo)的魯棒性。定位距離dmean的計(jì)算式如式(2)所示,圖像中為預(yù)測坐標(biāo)與真實(shí)坐標(biāo)之間的歐氏距離加和。

(2)

用于脊柱定位與分割任務(wù)模型性能的評(píng)價(jià)指標(biāo)還有定位誤差和平均表面距離等,表1將常見指標(biāo)進(jìn)行了匯總。

表1 脊柱圖像處理模型評(píng)價(jià)指標(biāo)匯總

2 深度學(xué)習(xí)在脊柱質(zhì)心定位中的應(yīng)用

根據(jù)訓(xùn)練集數(shù)據(jù)標(biāo)注的每塊椎骨質(zhì)心來定位脊柱質(zhì)心,選擇模型進(jìn)行訓(xùn)練,使模型具有預(yù)測脊柱質(zhì)心的能力。在脊柱定位任務(wù)中,椎骨定位在臨床上具有較大輔助作用,椎骨定位可以提供椎骨位置信息,為椎骨分割做基礎(chǔ),也可輔助定位脊柱病灶位置。

一些研究者已將CNN(Convolutional Neural Network)用于脊柱質(zhì)心定位研究。文獻(xiàn)[11]分階段利用CNN檢測脊柱并劃定椎骨區(qū)域,采用沿脊柱的一維強(qiáng)度剖面空間變異IIR濾波定位椎間盤,并基于深度網(wǎng)絡(luò)引入其他信息對脊柱進(jìn)行定位。文獻(xiàn)[12]結(jié)合局部與遠(yuǎn)程上下文信息,提出長短距離上下文融合框架(Long-Short Range Context-Fusing,LSRC)。LSRC框架結(jié)合三維局部信息與二維遠(yuǎn)程上下文,利用三維局部語義網(wǎng)絡(luò)學(xué)習(xí)三維CT脊柱圖像特征生成與每塊椎骨位置相對應(yīng)的三維熱圖,并將生成的三維熱圖與CT圖像分別投影到矢狀面和冠狀面,將其輸入至二維遠(yuǎn)程上下文網(wǎng)絡(luò)中。二維遠(yuǎn)程上下文網(wǎng)絡(luò)中的編碼-解碼模塊從矢狀面與冠狀面兩個(gè)視圖中提取全局上下文信息,并結(jié)合網(wǎng)絡(luò)中的一個(gè)全局優(yōu)化模塊優(yōu)化椎骨的位置,最終得到預(yù)測的椎骨質(zhì)心。文獻(xiàn)[13]將脊柱質(zhì)心的定位分成兩個(gè)階段,由粗到細(xì)定位脊柱質(zhì)心。在脊柱質(zhì)心定位中,文獻(xiàn)[13]首先在UNet的基礎(chǔ)上提出一種UNet變體網(wǎng)絡(luò)對脊柱的中心線進(jìn)行熱圖回歸,然后以此中心線為基準(zhǔn),結(jié)合FCN(Fully Connected Neural Network)與熱圖優(yōu)化椎骨的質(zhì)心坐標(biāo)。文獻(xiàn)[14]也將熱圖引入脊柱質(zhì)心定位中,使用積分回歸模塊,將空間熱圖轉(zhuǎn)化為坐標(biāo)點(diǎn),結(jié)合高斯熱圖和直接回歸坐標(biāo)的優(yōu)點(diǎn)使模型具有完全差分和空間泛化的能力。雖然基于熱圖的脊柱質(zhì)心定位方法在預(yù)估質(zhì)心坐標(biāo)方面表現(xiàn)良好,但脊柱質(zhì)心與脊柱結(jié)構(gòu)相關(guān),結(jié)合熱圖的定位并未充分利用脊柱的解剖學(xué)信息,可能出現(xiàn)在多塊椎骨預(yù)測同一坐標(biāo)或某塊椎骨質(zhì)心未預(yù)測的問題。

針對該問題,一些學(xué)者提出將脊柱解剖學(xué)信息作為消息在網(wǎng)絡(luò)中傳遞,作為模型約束精準(zhǔn)定位質(zhì)心。消息傳遞的關(guān)鍵思想是在概率模型中將互信息在相鄰節(jié)點(diǎn)之間傳遞且進(jìn)行多次迭代,直到模型收斂達(dá)到最優(yōu)。消息傳遞一般提取椎骨解剖學(xué)中空間順序的局部與全局上下文信息,以及基于CT掃描的冠狀面與矢狀面的投影信息等作為先驗(yàn)知識(shí)在網(wǎng)絡(luò)中傳遞。文獻(xiàn)[15]有效地利用脊柱的解剖先驗(yàn)知識(shí)來促進(jìn)椎骨定位,訓(xùn)練關(guān)鍵點(diǎn)定位模型UNet以生成椎骨中心的三維激活圖,并將激活圖轉(zhuǎn)換成一維信號(hào),通過引入解剖學(xué)約束優(yōu)化模塊,在調(diào)節(jié)椎骨之間距離的軟約束和對連續(xù)椎骨索引的硬約束下聯(lián)合搜索最優(yōu)椎骨質(zhì)心。文獻(xiàn)[16]提取脊柱圖像的遠(yuǎn)程上下文信息在網(wǎng)絡(luò)中傳遞,將提取的特征轉(zhuǎn)換成特征序列來訓(xùn)練多任務(wù)雙向遞歸神經(jīng)網(wǎng)絡(luò),最終輸出每個(gè)樣本的定位結(jié)果。文獻(xiàn)[17]捕捉椎骨解剖學(xué)的空間順序與遠(yuǎn)程上下文信息,并在架構(gòu)的最底層額外使用各向異性濾波器增加感受野的大小,從而最大化網(wǎng)絡(luò)捕獲的上下文信息來預(yù)測質(zhì)心位置。在利用矢、冠狀面作為消息傳遞方面,文獻(xiàn)[18]利用三維脊柱圖像的矢狀位與冠狀位信息,首先生成二維冠狀面和矢狀面切片,使用二維卷積神經(jīng)網(wǎng)絡(luò)檢測椎骨同時(shí)評(píng)估正交方向(即矢狀和冠狀切片)上的二維檢測。在三維空間中,使用聚類算法對二維檢測結(jié)果進(jìn)行聚類,將二維信息逆轉(zhuǎn)換為三維信息。文獻(xiàn)[19]使用對抗生成自動(dòng)編碼器將脊柱矢、冠狀面信息編碼至網(wǎng)絡(luò)完成脊柱質(zhì)心標(biāo)記。一些研究者在引入消息傳遞算法的同時(shí)通過概率圖模型來預(yù)測椎骨質(zhì)心的位置。文獻(xiàn)[20]引入一種深度圖像至圖像的網(wǎng)絡(luò)(Deep Image-to-Image Network,DI2IN),利用特征串聯(lián)與深監(jiān)督生成椎骨質(zhì)心的概率圖,并以脊柱解剖結(jié)構(gòu)的空間關(guān)系為基礎(chǔ),使用消息傳遞策略來演化概率圖,最終通過學(xué)習(xí)稀疏表示約束與優(yōu)化椎骨的位置。DI2IN則通過消息傳遞增強(qiáng)CNN來準(zhǔn)確預(yù)測每塊椎骨質(zhì)心的像素級(jí)概率圖。使用消息傳遞算法成功地處理了為椎骨質(zhì)心預(yù)測像素級(jí)概率圖的任務(wù)中存在某塊椎骨無響應(yīng)的問題。然而,DI2IN糾正錯(cuò)誤識(shí)別不僅可補(bǔ)償缺失的檢測,還可糾正具有錯(cuò)誤標(biāo)簽的識(shí)別并刪除誤報(bào)識(shí)別,故可以進(jìn)一步利用消息傳遞的潛力來處理這些任務(wù)。

深度學(xué)習(xí)方法自引入醫(yī)學(xué)圖像處理與分析任務(wù)以來取得了較好的性能,在脊柱定位任務(wù)中通過加入新方法取得了良好的效果。表2對上述提到的深度學(xué)習(xí)方法進(jìn)行匯總,可以看出CSI-Label 2014是脊柱質(zhì)心定位常用的數(shù)據(jù)集,融合脊柱解剖信息的質(zhì)心定位方法在dmean和dst兩個(gè)指標(biāo)表現(xiàn)優(yōu)于基于熱圖的定位方法,尤其是文獻(xiàn)[15]提出的方法在定位距離指標(biāo)取得2.55 mm的結(jié)果。可以看出,在相同數(shù)據(jù)集中,文獻(xiàn)[15]與其他網(wǎng)絡(luò)同樣引入解剖學(xué)結(jié)構(gòu)信息,但同時(shí)利用椎骨順序與相鄰椎骨作兩重約束可取得更為準(zhǔn)確的定位精度。基于熱圖的表示方法取得較好的性能,為三維脊柱圖像中的每塊椎骨生成熱圖光點(diǎn),回歸熱圖并選擇熱圖中預(yù)測概率最大的特征點(diǎn)作為椎骨的質(zhì)心,但取概率最大值的操作過程不可微。回歸方法是進(jìn)行端到端的誤差訓(xùn)練,所以并不能實(shí)現(xiàn)傳統(tǒng)深度學(xué)習(xí)方法端到端訓(xùn)練質(zhì)心坐標(biāo)。文獻(xiàn)[12]根據(jù)這點(diǎn)不足之處,補(bǔ)充了基于殘差塊網(wǎng)絡(luò)進(jìn)行積分回歸的端到端的訓(xùn)練模塊。基于脊柱解剖學(xué)方法在脊柱定位任務(wù)中也取得了較好效果,但該方法在較大程度上依賴脊柱外觀的先驗(yàn)信息。在臨床醫(yī)學(xué)中,脊柱CT圖像包含不同視場,而椎骨相似的外觀可能導(dǎo)致提取的信息冗余,并且一些脊柱疾病例如脊柱側(cè)彎、骨折和椎骨金屬物植入造成的金屬偽影層導(dǎo)致椎骨外觀具有強(qiáng)烈的變異性,從而導(dǎo)致該方法預(yù)測的質(zhì)心不準(zhǔn)確,這也是深度學(xué)習(xí)在脊柱質(zhì)心定位領(lǐng)域面臨的難點(diǎn)之一。

表2 脊柱質(zhì)心定位的深度學(xué)習(xí)方法匯總

3 深度學(xué)習(xí)在脊柱分割中的應(yīng)用

不同于脊柱質(zhì)心定位與識(shí)別,椎骨分割是脊柱醫(yī)學(xué)圖像處理分析任務(wù)中的另一個(gè)重要挑戰(zhàn)。椎骨分割是在整個(gè)圖像中對像素進(jìn)行分類,以此生成不同解剖結(jié)構(gòu)的mask,即將椎骨作為感興趣區(qū)域與周圍區(qū)域在像素級(jí)別上進(jìn)行分類。

基于質(zhì)心定位是脊柱椎骨分割深度學(xué)習(xí)方法之一。在完成質(zhì)心檢測后,以質(zhì)心為基點(diǎn),識(shí)別椎骨的邊界框或分割整塊椎骨從而將椎骨與背景分割開?；谫|(zhì)心定位,文獻(xiàn)[13]從整個(gè)脊柱CT圖像中裁剪上一步定位的椎骨質(zhì)心周圍區(qū)域,使椎體位于裁剪圖像的中心并創(chuàng)建一個(gè)以預(yù)測椎骨坐標(biāo)為中心的高斯熱力圖,裁剪后的圖像和熱力圖輸入一個(gè)UNet網(wǎng)絡(luò)得到最終分割結(jié)果。文獻(xiàn)[21]在原始UNet網(wǎng)絡(luò)的基礎(chǔ)上進(jìn)行改動(dòng),并使用二維UNet來提取脊柱的前部區(qū)域脊髓前區(qū)中心線。然后利用垂直中心線沿脊柱前部區(qū)域定位所有椎骨的中心,并以所有椎骨中心點(diǎn)為基準(zhǔn),訓(xùn)練一個(gè)二維UNet對所有椎骨生成三維感興趣區(qū)域進(jìn)行最終分割。文獻(xiàn)[22]同樣在質(zhì)心定位的基礎(chǔ)上提出一種新的二值切割計(jì)算式。計(jì)算式融合基于斑塊的星形凸椎分割和相鄰斑塊之間的非重疊約束,并將初步的分割結(jié)果嵌入到圖像域中,最后利用FCN對圖像域做椎骨分割。該方法解決了單獨(dú)分割椎骨時(shí)由相鄰椎骨存在重疊區(qū)域引起的歧義問題?；谫|(zhì)心定位,文獻(xiàn)[23]將預(yù)測的椎骨質(zhì)心作為脊柱分割的先驗(yàn)信息,提出3D-Dense-UNet算法分割脊柱感興趣區(qū)域,并在xVertSeg和CSI-Seg 2014中表現(xiàn)出良好的性能。

深度學(xué)習(xí)在脊柱中的應(yīng)用還包括語義分割與級(jí)聯(lián)深度模型方法。自語義分割網(wǎng)絡(luò)UNet被用于醫(yī)學(xué)圖像分割后,以UNet為基礎(chǔ)框架的方法在脊柱圖像椎骨分割中也取得了良好的分割效果。文獻(xiàn)[24]采用二維UNet對椎骨進(jìn)行語義分割,但不同于其他方法,該方法椎骨分割的mask在三維頸椎軸向切面上,頸椎在軸切面上可以區(qū)分上頸椎與下頸椎,將上頸椎與下頸椎分別標(biāo)上不同的mask用于訓(xùn)練區(qū)分,在后續(xù)提升了分割精度。該方法利用連通分量分析來評(píng)估每個(gè)類區(qū)域的連續(xù)性,以解決錯(cuò)誤標(biāo)記問題?；赨Net網(wǎng)絡(luò)變體,文獻(xiàn)[25]結(jié)合記憶單元,提出一種用于椎骨檢測和分割的“V型”分割網(wǎng)絡(luò),并在CSI-Seg 2014數(shù)據(jù)集上取得較好的結(jié)果。受三維UNet啟發(fā),文獻(xiàn)[26]提出一種新框架,改變了分割過程迭代起始點(diǎn)的選擇方式。該方法首先利用迭代實(shí)例分割算法保證椎骨按塊分割,從而避免相鄰椎骨交界處的干擾。當(dāng)網(wǎng)絡(luò)從迭代分割中接收單個(gè)椎骨分割結(jié)果后,網(wǎng)絡(luò)提取該分割椎骨二值預(yù)測為正區(qū)域的多標(biāo)簽分類結(jié)果,從而計(jì)算出該節(jié)椎骨可能的解剖標(biāo)記概率,解剖標(biāo)記由該區(qū)域體素概率最高部分的標(biāo)記決定?；诩?jí)聯(lián)深度網(wǎng)絡(luò),文獻(xiàn)[27]提出一種從三維CT圖像中自動(dòng)分割腰椎的語義分割方法,該方法采用FCN回歸椎骨區(qū)域并級(jí)聯(lián)三維UNet從回歸區(qū)域中分割腰椎骨。文獻(xiàn)[28]提出一種基于級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的三維多椎骨分割方法,采用對比度受限的自適應(yīng)直方圖均衡化將原始的三維脊柱圖像預(yù)處理后,將處理后的圖像送入粗分割模糊神經(jīng)網(wǎng)絡(luò)中訓(xùn)練并得到粗分割結(jié)果,最后使用級(jí)聯(lián)精細(xì)CNN細(xì)化粗分割,并輸出三維椎骨分割結(jié)果。文獻(xiàn)[29]提出兩種新的不同于上述框架的結(jié)構(gòu)分割椎骨:基于MLPNN(Multi-Layer Perceptron Neural Network)的方法和基于自適應(yīng)三維PCNN(Pulse Coupled Neural Network)方法。兩種方法的具體步驟概括如下:1)基于MLPNN的方法主要分3部分,首先對圖像進(jìn)行預(yù)處理,主要目的是識(shí)別椎骨像素,增加椎骨和其他組織之間的區(qū)別;然后進(jìn)行特征提取網(wǎng)絡(luò)最終進(jìn)行分類,得到椎骨的分割結(jié)果。2)APCNN(Adaptive Pulse Coupled Neural Network)方法直接分析網(wǎng)絡(luò)的輸入圖像,但同樣需要進(jìn)行預(yù)處理步驟。首先將新開發(fā)的APCNN直接應(yīng)用于給定的圖像片段椎骨,然后使用中值濾波對結(jié)果進(jìn)行細(xì)化。在APCNN中,用戶自定義的脈沖耦合神經(jīng)網(wǎng)絡(luò)參數(shù)值針對每幅圖像分別自適應(yīng)調(diào)整,而不是像傳統(tǒng)PCNN一樣對所有圖像使用一個(gè)值,即不需要對圖像進(jìn)行特征提取和訓(xùn)練。

從表3可以看出,基于深度學(xué)習(xí)的脊柱分割應(yīng)用數(shù)據(jù)集大部分為脊柱段而不是全脊柱,其中胸腰椎居多。在胸腰椎段,文獻(xiàn)[22～23]、文獻(xiàn)[29]取得的Dice指標(biāo)平均達(dá)到95%,說明分割的準(zhǔn)確率較高。對于腰椎分割,調(diào)研設(shè)計(jì)的方法應(yīng)用同一數(shù)據(jù)集xVertSeg,級(jí)聯(lián)深度網(wǎng)絡(luò)的方法取得了較好的結(jié)果。文獻(xiàn)[13]提出的方法分割范圍較廣,在Dice指標(biāo)取得的分?jǐn)?shù)達(dá)到94%,但HD指標(biāo)較大,與其他方法相比較優(yōu)勢不大。數(shù)據(jù)集VerSe2019包括頸椎、胸椎、腰椎和全脊柱多個(gè)視野場組成的數(shù)據(jù)集,需要模型在不同脊柱段分割,具有較好的魯棒性。在表3中,A表示平均表面距離,H表示Hausdorff距離,NULL表示無可用數(shù)據(jù)

表3 脊柱分割的深度學(xué)習(xí)方法匯總

4 結(jié)束語

基于深度學(xué)習(xí)網(wǎng)絡(luò)方法是脊柱質(zhì)心定位與椎骨分割任務(wù)常用的方法。為研究深度學(xué)習(xí)在脊柱醫(yī)學(xué)圖像定位與分割任務(wù)中的應(yīng)用現(xiàn)狀與發(fā)展,本文對該領(lǐng)域近幾年脊柱定位與分割模型進(jìn)行了整理與研究。首先介紹脊柱常用數(shù)據(jù)集與評(píng)價(jià)指標(biāo),然后列舉脊柱質(zhì)心定位與分割方法,并分析模型實(shí)現(xiàn)過程以及存在的不足之處。

深度網(wǎng)絡(luò)在脊柱定位與分割任務(wù)中取得了良好的性能,但深度學(xué)習(xí)在脊柱圖像中的應(yīng)用研究也存在如下問題:1)需要大樣本數(shù)據(jù),模型的性能有時(shí)取決于數(shù)據(jù)多少;2)需要更高性能的GPU(Graphics Processing Unit),由于醫(yī)學(xué)圖像大多為三維圖像,三維圖像的計(jì)算需要消耗大量內(nèi)存資源以及高性能的GPU才能提高模型的計(jì)算速度;3)大部分DL模型仍處于試驗(yàn)階段,要達(dá)到臨床使用要求仍需長久研究。針對以上問題,深度學(xué)習(xí)在脊柱中應(yīng)用未來發(fā)展方向可以集中為以下3點(diǎn):1)在訓(xùn)練前對數(shù)據(jù)做增強(qiáng)或在二維層面對脊柱數(shù)據(jù)訓(xùn)練預(yù)測,當(dāng)三維數(shù)據(jù)轉(zhuǎn)為二維切片時(shí),數(shù)據(jù)得到增加;2)提出2.5D模型進(jìn)行訓(xùn)練,最終在三維層面進(jìn)行預(yù)測;3)DL模型在臨床階段需要根據(jù)實(shí)際情況進(jìn)行調(diào)整,并不斷積累數(shù)據(jù)訓(xùn)練模型,使模型精度不斷提高,適用于實(shí)踐情況。一些學(xué)者通過半監(jiān)督學(xué)習(xí)從小量帶標(biāo)簽醫(yī)學(xué)數(shù)據(jù)中學(xué)習(xí)以獲得高精度的分割效果。在處理模型計(jì)算量大問題時(shí),輕量化模型也是發(fā)展方向之一,通過深度可分離卷積、分組卷積等設(shè)計(jì)網(wǎng)絡(luò),提升網(wǎng)絡(luò)對三維醫(yī)學(xué)圖像的分割速度。

DL模型為脊柱圖像研究提供新思路,也是未來脊柱醫(yī)學(xué)圖像研究的趨勢。深度學(xué)習(xí)應(yīng)用于脊柱圖像中將提高醫(yī)學(xué)圖像的利用價(jià)值,促進(jìn)脊柱及其相關(guān)病癥的個(gè)性化研究。