洪雁飛,魏本征,劉川,韓忠義,李天陽
(1. 山東中醫(yī)藥大學(xué) 理工學(xué)院,山東 濟(jì)南 250355; 2. 山東中醫(yī)藥大學(xué) 計(jì)算醫(yī)學(xué)實(shí)驗(yàn)室,山東 濟(jì)南 250355)
椎間孔狹窄癥(intervertebral foraminal stenosis,IFS)是指由于椎間孔狹窄壓迫脊髓神經(jīng)根周圍神經(jīng)系統(tǒng)引發(fā)的退行性疾病[1]。脊髓神經(jīng)根作為感覺輸入的傳遞中樞,受壓迫后將會(huì)引起疼痛、肌肉無力,甚至身體殘疾,并且IFS會(huì)隨著人的自然衰老過程導(dǎo)致嚴(yán)重的脊柱側(cè)凸和脊椎滑脫,大約80%的老年人深受IFS引起的腰背疼痛折磨[2]。臨床數(shù)據(jù)表明,治療計(jì)劃隨著IFS等級(jí)的不同而變化,如對(duì)于1級(jí)狹窄,通常的物理治療和運(yùn)動(dòng)將是治療的第一選擇,而對(duì)于更嚴(yán)重的等級(jí),患者可能需要接受手術(shù)治療或者減壓治療等[3]。因此,有效和精確的分級(jí)是椎間孔狹窄癥診斷和治療至關(guān)重要的一步。但是現(xiàn)有的臨床椎間孔狹窄分級(jí)主要存在3個(gè)方面的問題:1)醫(yī)生對(duì)IFS圖像的目視檢查和人工評(píng)分,耗時(shí)耗力且低效;2)由于IFS的病癥多樣性,臨床醫(yī)生常更多關(guān)注椎間盤突出、椎管狹窄和側(cè)隱窩狹窄的情況,而容易忽略椎間孔的狹窄情況,主觀性強(qiáng);3)特殊的椎間孔解剖結(jié)構(gòu)及復(fù)雜的致狹窄因素,易導(dǎo)致臨床難以全面準(zhǔn)確判定,誤診、漏診率高。因此,為提高IFS診斷效率、減少醫(yī)生主觀影響以及降低誤診漏診率,設(shè)計(jì)自動(dòng)化的臨床輔助診斷系統(tǒng)具有重要的應(yīng)用價(jià)值[4]。
當(dāng)前,計(jì)算機(jī)輔助診斷IFS方面的研究已取得了重要進(jìn)展,按照感興趣區(qū)域的不同可分為兩種類型。第一種類型是基于椎間孔周圍結(jié)構(gòu)的自動(dòng)定位分割研究,主要有Alomari等[5]使用一種兩級(jí)模型在核磁共振圖像中捕獲像素級(jí)和對(duì)象級(jí)特征,以實(shí)現(xiàn)對(duì)椎間盤的局部異常檢測(cè);Zhan等[6]采用基于CT和MR圖像的共同的脊柱幾何結(jié)構(gòu)設(shè)計(jì)分析算法初始化椎骨的標(biāo)記實(shí)現(xiàn)椎體定位;Wang等[7]采用回歸分割的方法分割出M3脊柱圖。第二種類型是直接基于椎間孔的自動(dòng)分割或分級(jí)研究,主要有Ghosha等[8]通過對(duì)椎體中心線以及椎間孔主要邊界點(diǎn)的檢測(cè)實(shí)現(xiàn)分割;Huang等[9]采用Adaboost檢測(cè)算法和迭代歸一化分割算法對(duì)MRI椎體圖像進(jìn)行檢測(cè)同時(shí)成定位和分割;Klinder等[10]采用將全局脊柱形狀在連續(xù)的局部椎體坐標(biāo)系中表示,并將個(gè)體椎骨建模為三角曲面網(wǎng)絡(luò)的方法,實(shí)現(xiàn)了基于雙尺度的脊柱和椎間孔建模與分割;He等[11]采用超像素分割法在對(duì)椎間孔狹窄圖像定位和良惡性分類問題上精確度達(dá)到98.52%。
以上研究均取得不同程度的進(jìn)展,但仍存在一些問題。此類基于部分形態(tài)學(xué)解剖結(jié)構(gòu)的定位、分割或者比較簡單的二級(jí)分類的輔助診斷研究,忽略了全局信息,影響診斷精確度。而臨床上基于常規(guī)仰臥位MRI圖像的椎間孔狹窄診斷是由椎間孔形態(tài)、神經(jīng)根周圍脂肪或神經(jīng)根形態(tài)改變情況等多種因素決定的[3],如2級(jí)狹窄雖然在神經(jīng)根周圍4個(gè)方向(垂直和橫向)無形態(tài)學(xué)變化,但椎間盤空間狹窄、韌帶黃斑增厚、小關(guān)節(jié)病變和椎間盤突出等原因同樣會(huì)導(dǎo)致神經(jīng)根受壓迫,易導(dǎo)致誤診[12]。因此,研究一種高效的算法提取圖像全局“病灶特征”并實(shí)現(xiàn)自動(dòng)分級(jí)診斷,就成為輔助IFS診斷亟待解決的重要問題。
在圖像處理算法方面,深度學(xué)習(xí)模型能夠很好地提取圖像深層特征,且可通過改變模型的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu),如適當(dāng)增加網(wǎng)絡(luò)的深度和寬度,降低特征冗余度和提高特征相關(guān)性。自1995年Lo等[13]將卷積神經(jīng)網(wǎng)絡(luò)用于醫(yī)學(xué)圖像分析起,深度學(xué)習(xí)模型已經(jīng)迅速成為研究分析醫(yī)學(xué)圖像的重要方法[14],且其在輔助腦、乳腺、肺等器官的臨床診斷方面已取得重要進(jìn)展,但在輔助脊椎脊柱疾病診斷的研究基本處于空白。
針對(duì)IFS的自動(dòng)分級(jí)問題,本文采用設(shè)計(jì)基于椎間孔狹窄自動(dòng)分級(jí)的監(jiān)督式深度卷積神經(jīng)網(wǎng)絡(luò)(supervised deep convolutional neural network based on automatic classification of intervertebral foraminal stenosis,IFS-Net),提取圖像紋理特征、顏色特征、形狀特征和空間關(guān)系特征,并將這些特征融合起來作為不同級(jí)別的疾病“癥狀”特征與IFS之間建立特殊的“病理”聯(lián)系。另外,由于深度學(xué)習(xí)算法需要海量的訓(xùn)練數(shù)據(jù),而IFS影像數(shù)據(jù)的數(shù)量有限,因此本文選用先進(jìn)的遷移學(xué)習(xí)[15]和微調(diào)[16]方法,來克服和避免因IFS影像數(shù)據(jù)規(guī)模不足導(dǎo)致的過擬合等問題,提高算法對(duì)椎間孔狹窄圖像的識(shí)別率,滿足高標(biāo)準(zhǔn)的臨床要求。
本文設(shè)計(jì)的IFS-Net是一個(gè)端到端的模式識(shí)別模型,該模型可實(shí)現(xiàn)IFS的高精度自動(dòng)分級(jí),且具有網(wǎng)絡(luò)結(jié)構(gòu)簡單、高效的特點(diǎn)。端到端的方法使得模型完成提取圖像潛在特征的同時(shí),可以自動(dòng)將loss值前反饋到每一層,經(jīng)多次迭代調(diào)節(jié)模型參數(shù),獲得最優(yōu)解。
IFS-Net模型結(jié)構(gòu)共包含8層網(wǎng)絡(luò)結(jié)構(gòu),分別是3個(gè)卷積層、3個(gè)池化層、1個(gè)全連接層和1個(gè)輸出層,其中的全連接層和輸出層是該模型的優(yōu)勢(shì)模塊。因椎間孔圖像目標(biāo)區(qū)域小而集中(如圖1所示,圖1為椎間孔結(jié)構(gòu)及狹窄癥分級(jí)示意圖),故本文采用全連接的方式將所有模型學(xué)到的“分布式特征”映射到樣本標(biāo)記空間[17],以達(dá)到最大化利用模型提取的特征信息,進(jìn)而實(shí)現(xiàn)更有效的分類。IFS-Net模型框架如圖2所示,主要結(jié)構(gòu)和功能包括:
圖 1 椎間孔結(jié)構(gòu)及狹窄癥分級(jí)示意Fig. 1 Intervertebral foramen structure and stenosis classification diagram
圖 2 IFS-Net模型框架Fig. 2 IFS-Net model framework
1)輸入層:該層將整幅椎間孔圖像導(dǎo)入IFSNet結(jié)構(gòu),并產(chǎn)生第1個(gè)卷積層的輸入。
2)卷積層:負(fù)責(zé)特征的學(xué)習(xí)。該層通過卷積計(jì)算連接到輸入層或者上一層的局部區(qū)域的神經(jīng)元的輸出來提取特征,每個(gè)神經(jīng)元與前一層的區(qū)域連接為稀疏連接。其中輸入卷積的權(quán)重集為卷積核,也稱作濾波器。一個(gè)可學(xué)習(xí)的卷積核與前一層若干個(gè)Feature Maps作卷積,將所有元素累加后再加上一個(gè)偏置,傳給一個(gè)非線性激活函數(shù),本文結(jié)構(gòu)采用ReLU函數(shù)作為非線性激活函數(shù)。另外,為了減少計(jì)算復(fù)雜度,同一層中某些神經(jīng)元之間的連接權(quán)重是共享的,即相同的。每層濾波器的大小依次遞減分別為7×7、5×5和3×3,步長設(shè)置為2;并由高斯分布初始化,標(biāo)準(zhǔn)差為0.01。3個(gè)卷積層分別包含32、64和128個(gè)Feature maps。卷積計(jì)算公式如(1)所示:
3)池化層:池化層的目的是通過減少相似特征點(diǎn)實(shí)現(xiàn)Feature maps的降維,除此之外還可以降低噪聲和擴(kuò)大接受域[15]。池化層的輸出在保持標(biāo)量不變的基礎(chǔ)上減少了參數(shù)的數(shù)量。本文模型的3個(gè)池化層分別采用Max-pooling和Mean-pooling的策略實(shí)現(xiàn)特征降維,步長為2。池化層擁有與其前端卷積層相等的Feature map個(gè)數(shù),分別為32、64和128個(gè)。
4)全連接層:該層有512個(gè)神經(jīng)單元,每個(gè)神經(jīng)單元都與上一層進(jìn)行全連接,最終得到512維特征向量。
5)輸出層:輸出層由歐式徑向基函數(shù)(euclidean radial basis function,E-RNF)單元組成。計(jì)算公式為
此外,本文模型學(xué)習(xí)率為0.000 1,最大迭代次數(shù)為25 000次,動(dòng)量設(shè)置為0.9,選取隨機(jī)梯度下降(stochastic gradient descent,SGD)為優(yōu)化函數(shù)。
1.2.1 參數(shù)初始化
在IFS-Net模型的參數(shù)權(quán)重初始化方面,本文采用自訓(xùn)練和遷移學(xué)習(xí)相融合的參數(shù)初始化策略。自訓(xùn)練方法是將網(wǎng)絡(luò)參數(shù)用隨機(jī)初始化的方式從頭開始訓(xùn)練模型;遷移學(xué)習(xí)方法則是采用預(yù)先訓(xùn)練的參數(shù)權(quán)重來初始化網(wǎng)絡(luò),使得模型預(yù)先學(xué)到最基本特征(比如色彩、邊緣特征等)能夠有助于目標(biāo)數(shù)據(jù)集分類,并提高算法分類性能。隨機(jī)初始化網(wǎng)絡(luò)參數(shù)是最常用的深度學(xué)習(xí)訓(xùn)練方法,但考慮到采用深度學(xué)習(xí)對(duì)醫(yī)學(xué)圖像進(jìn)行處理的一個(gè)局限是數(shù)據(jù)集大小不能得到最大滿足。因此,為提高分類精確度并解決深度學(xué)習(xí)算法在小樣本數(shù)據(jù)集上的過擬合問題,本研究借鑒參考文獻(xiàn)[18]的方法,將遷移學(xué)習(xí)應(yīng)用于本文算法中。
本文在ImageNet數(shù)據(jù)集上對(duì)模型進(jìn)行預(yù)訓(xùn)練,之后再將獲得的網(wǎng)絡(luò)參數(shù)遷移到目標(biāo)數(shù)據(jù)集上進(jìn)行訓(xùn)練,從而獲得穩(wěn)定的網(wǎng)絡(luò)參數(shù)。該數(shù)據(jù)集包含120余幅自然圖像和1 000多種不同的類別。
1.2.2 Softmax分類器
模型采用Softmax分類器對(duì)模型提取的“分布式特征”進(jìn)行概率量化,Softmax是邏輯回歸二分類器泛化到多分類的推廣。對(duì)于訓(xùn)練集對(duì)應(yīng)標(biāo)簽為,本文設(shè)定。對(duì)于每個(gè)輸入都有對(duì)應(yīng)的每個(gè)類的概率,即Softmax函數(shù):
為驗(yàn)證和測(cè)試IFS-Net模型的性能,實(shí)驗(yàn)選用國際通用的脊柱椎間孔圖像(intervertebral foraminal stenosis znxtxb-14-4-hongyanfeis, IFSI)數(shù)據(jù)集作為測(cè)試數(shù)據(jù)集。該數(shù)據(jù)集包含從110個(gè)臨床實(shí)驗(yàn)對(duì)象的脊柱圖像中采集的406個(gè)椎間孔圖像。每一個(gè)脊柱圖像均使用矢狀T1加權(quán)MRI掃描,重復(fù)時(shí)間(repetition time, TR)為4 000 ms,回波時(shí)間(echo time, TE)為85 ms,磁場(chǎng)為1.5 t。平面分辨率為0.5 mm,厚度為1 mm或1.6 mm。在IFSI數(shù)據(jù)集中,每個(gè)IFS圖像Ground Truth由擁有7年工作經(jīng)驗(yàn)的專業(yè)醫(yī)生手工標(biāo)注,分別是0級(jí)(正常)圖像108幅、1級(jí)(輕微)圖像100幅、2級(jí)(顯著)圖像105幅和3級(jí)(嚴(yán)重)圖像93幅。IFSI數(shù)據(jù)集分級(jí)標(biāo)注遵循的是Wildermuth椎間孔狹窄分級(jí)診斷系統(tǒng)[19]。
在醫(yī)學(xué)圖像數(shù)據(jù)集中評(píng)估機(jī)器學(xué)習(xí)算法的多分類性能,主要有基于患者水平和圖像水平的兩種評(píng)價(jià)方法。由于IFSI數(shù)據(jù)集是基于圖像層面的,因此本文從圖像層面評(píng)估算法的識(shí)別率。假設(shè)為圖像驗(yàn)證集或測(cè)試集的圖像總數(shù)量,如果幅圖像被正確分類,那么圖像層面的準(zhǔn)確率RR為
由于多分類問題中準(zhǔn)確率不再是唯一的評(píng)價(jià)指標(biāo),因此本文引入F-score作為評(píng)價(jià)本文模型的另一個(gè)指標(biāo)。與F-score密切相關(guān)的兩個(gè)值分別為精確度Pr和召回率Rc:
式中:TP為真陽性記錄數(shù);FN為假陰性記錄數(shù);FP為假陽性記錄數(shù)。
F-score作為調(diào)和精確度和召回率的一個(gè)綜合指標(biāo),計(jì)算公式如下:
發(fā)展性原則在資源庫的構(gòu)建過程中也是必不可少的。時(shí)代在不斷地發(fā)展,各項(xiàng)事物也隨之在不斷革新,幼兒音樂教育也應(yīng)該與時(shí)俱進(jìn),不斷地更新,保證資源庫的時(shí)代性、有效性。這就要求教師要不斷地、及時(shí)地完善、充實(shí)資源庫,遵循發(fā)展性原則,保障其蓬勃的生命力。
為保證實(shí)驗(yàn)的嚴(yán)謹(jǐn)性,盡量避免特殊個(gè)例影響最終結(jié)果,本文采用交叉驗(yàn)證的方式將IFSI數(shù)據(jù)集平均分成5份,每次實(shí)驗(yàn)訓(xùn)練集和測(cè)試集比例為4∶1,且確保用于構(gòu)建訓(xùn)練集的圖像不再用于測(cè)試。
本文算法采用Caffe模型編寫基本框架[20]。算法在Lenovo ThinkStation、Intel e3 CPU、NVIDIA Quadro K2200 GPU上訓(xùn)練,平均訓(xùn)練時(shí)間為4 min 21 s,單張測(cè)試時(shí)間平均為0.047 s。
為了驗(yàn)證本文模型的有效性,本文采用傳統(tǒng)機(jī)器學(xué)習(xí)算法對(duì)IFSI數(shù)據(jù)集進(jìn)行分類。傳統(tǒng)機(jī)器學(xué)習(xí)算法主要包含兩個(gè)步驟:特征提取和分類。特征提取部分本文選取5種最先進(jìn)的紋理表示的全局算法,分別是:局部二值模式 (local binary patterns,LBP)[21]、局部相位量化 (local phase quantization,LPQ)[22]、灰度共生矩陣 (gray-level cooccurrence matrix,GLCM)[23]、方向梯度直方圖特征 (histogram of oriented gridien,HOG)、ORB (oriented FAST and rotated BRIEF)[24]。5種特征描述子的特征維度如表1所示。
表 1 特征描述子及其特征向量維度列表Table 1 Feature descriptor and feature vector dimension table
本文利用4種不同的分類器來評(píng)估上述特征集:k近鄰算法(k-NN)[25]、極限學(xué)習(xí)機(jī) (extreme learning machine,ELM)[26]、支持向量機(jī) (support vector machine,SVM)[27]以及隨機(jī)森林算法(random forest,RF)[28]。
2.5.1 IFS-Net與傳統(tǒng)機(jī)器學(xué)習(xí)算法性能對(duì)比結(jié)果
為驗(yàn)證本文算法在IFSI數(shù)據(jù)集上的多分類性能,將其與具有代表性的4種傳統(tǒng)機(jī)器學(xué)習(xí)分類器算法(k-NN、ELM、SVM和RF)對(duì)比分析,實(shí)驗(yàn)結(jié)果如表2所示。
在測(cè)試集準(zhǔn)確度和F1兩個(gè)評(píng)價(jià)指標(biāo)上,本文設(shè)計(jì)的IFS-Net算法模型的結(jié)果明顯優(yōu)于傳統(tǒng)機(jī)器學(xué)習(xí)算法所取得的結(jié)果。由圖3傳統(tǒng)機(jī)器學(xué)習(xí)算法(特征描述子+分類器)分類準(zhǔn)確率對(duì)比圖,可更直觀地看出,傳統(tǒng)機(jī)器學(xué)習(xí)方法中,選取的特征向量在分類性能上都表現(xiàn)出穩(wěn)定接近的結(jié)果,4種傳統(tǒng)分類器對(duì)于每個(gè)特征描述子的識(shí)別率差距都在4%之內(nèi)。值得一提的是,ORB雖然為關(guān)鍵點(diǎn)描述符且通常用于對(duì)象識(shí)別,但其在微觀圖像分類問題上獲得了比傳統(tǒng)紋理特征更優(yōu)的結(jié)果。
表 2 不同方法的準(zhǔn)確率和F1統(tǒng)計(jì)表Table 2 Accuracy of different methods and F1 statistics
圖 3 傳統(tǒng)機(jī)器學(xué)習(xí)算法(特征描述子+分類器)分類準(zhǔn)確率對(duì)比Fig. 3 The classification accuracy of traditional machine learning algorithm (feature descriptor + classifier)
2.5.2 IFS-Net與其他深度學(xué)習(xí)算法性能對(duì)比結(jié)果
本文算法與其他典型深度學(xué)習(xí)算法在IFSI數(shù)據(jù)集上的分類性能對(duì)比實(shí)驗(yàn)結(jié)果,如圖4所示。實(shí)驗(yàn)中,IFS-Net取得了87.5%的分類精度結(jié)果,明顯優(yōu)于其他深度學(xué)習(xí)算法。該圖還直觀地顯示出本文算法的驗(yàn)證集和測(cè)試集幾乎具有相同的精確度,這表明IFS-Net模型具有較強(qiáng)的泛化和避免過擬合的能力。而由于數(shù)據(jù)集的限制,層數(shù)過深的卷積神經(jīng)網(wǎng)絡(luò)在IFSI數(shù)據(jù)集上沒有表現(xiàn)出層級(jí)優(yōu)勢(shì),如GoogLe-Net模型出現(xiàn)的嚴(yán)重的過擬合現(xiàn)象,就是由于其過于復(fù)雜的結(jié)構(gòu)造成的,這也是本文采用較為簡單網(wǎng)絡(luò)結(jié)構(gòu)的一個(gè)原因。另外,采用遷移學(xué)習(xí)+微調(diào)訓(xùn)練策略的分類精度高于自訓(xùn)練2.5%。如圖5不同模型loss曲線擬合度對(duì)比所示,從IFS-Net和IFS-Net +TL兩個(gè)模型的train-loss和val-loss曲線圖可以看出,采用遷移學(xué)習(xí)方法能夠降低模型的過擬合程度。
圖 4 不同深度學(xué)習(xí)模型算法性能對(duì)比Fig. 4 Performance comparison of different depth learning model algorithms
圖 5 不同訓(xùn)練策略 loss曲線擬合度對(duì)比Fig. 5 Different training strategy models loss curve fitting degree comparison chart
2.5.3 IFS圖像狹窄度識(shí)別分析結(jié)果
為進(jìn)一步測(cè)試IFS-Net算法在狹窄程度識(shí)別分析中的性能,本研究在IFSI數(shù)據(jù)集上做了不同IFS圖像狹窄度識(shí)別分析測(cè)試實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如表3所示。實(shí)驗(yàn)結(jié)果表明,IFS-Net算法對(duì)IFSI數(shù)據(jù)集中的0級(jí)和3級(jí)的區(qū)分度最高,1級(jí)分類結(jié)果較差。分析其原因,主要是1級(jí)圖像中的椎間孔是在兩個(gè)相對(duì)方向(垂直或橫向)的脂肪閉塞引起的輕度口部狹窄,沒有顯示神經(jīng)根的形態(tài)學(xué)變化[19],因此容易被誤分為C0(正常類)。另外,雖然2級(jí)椎間孔也沒有表現(xiàn)出形態(tài)學(xué)上的變化,但其周圍結(jié)構(gòu)的變化使得算法可以挖掘出潛在特征并對(duì)特征進(jìn)行相關(guān)性建模實(shí)現(xiàn)精準(zhǔn)分類,說明本文模型具有提取微小病變特征的能力,能夠?qū)⒉煌?jí)別的疾病“癥狀”特征與IFS分級(jí)之間建立起特殊的“病理”聯(lián)系。
表 3 IFS-Net算法狹窄度分類結(jié)果混淆矩陣Table 3 A hybrid matrix of the classification results of IFS-Net algorithm
為提高計(jì)算機(jī)輔助椎間孔狹窄癥診斷準(zhǔn)確率及工作效率,本文提出并設(shè)計(jì)出一種基于深度學(xué)習(xí)的椎間孔狹窄圖像自動(dòng)多分級(jí)模型。并且在基于設(shè)計(jì)的IFS-Net模型基礎(chǔ)上,采用遷移學(xué)習(xí)有效提升了網(wǎng)絡(luò)分類性能。實(shí)驗(yàn)結(jié)果表明,本文設(shè)計(jì)的模型不僅結(jié)構(gòu)簡單,且分類性能高效,可為臨床輔助診斷及分級(jí)提供有效的技術(shù)支撐。本研究中遷移學(xué)習(xí)的特定引入方式以及數(shù)據(jù)聯(lián)合訓(xùn)練的應(yīng)用方法,對(duì)于醫(yī)學(xué)影像微觀數(shù)據(jù)集分析及多分類任務(wù)具有一定的參考價(jià)值。在后續(xù)的研究工作中,將針對(duì)椎間孔狹窄圖像多分級(jí)工作,融合特定的形態(tài)解剖學(xué)特征,研究設(shè)計(jì)性能更優(yōu)的深度學(xué)習(xí)模型算法,進(jìn)一步提高分類識(shí)別的性能,給臨床提供更有效的輔助診斷技術(shù)。