基于骨振信號和深度網(wǎng)絡(luò)的膝關(guān)節(jié)退行性病變早期篩查方法

鄭田田,周海天,宋江玲,張 瑞

(1.西北大學(xué) 醫(yī)學(xué)大數(shù)據(jù)研究中心， 陜西 西安 710127；2.華南理工大學(xué) 電子與信息學(xué)院,廣東 廣州 510641)

膝關(guān)節(jié)退行性病變(knee osteoarthritis,KOA)是一種由于關(guān)節(jié)軟骨變性和破環(huán)[1]、軟骨下骨增生而導(dǎo)致膝關(guān)節(jié)發(fā)生不可逆損傷的一種慢性進(jìn)展性疾病。導(dǎo)致KOA的因素復(fù)雜繁多,如過大的機(jī)械載荷、年齡增長、生活中的不良姿勢和習(xí)慣[2-3]等。臨床表現(xiàn)主要為膝關(guān)節(jié)紅腫僵硬、活動受限,伴隨嚴(yán)重疼痛感,疾病后期會出現(xiàn)關(guān)節(jié)脫位,甚至引發(fā)殘疾[4]。

據(jù)統(tǒng)計(jì),目前我國KOA患者超過人口總數(shù)的10%[5],其中60歲以上人群的發(fā)病率為50%[6]。KOA已成為影響中老年人生活質(zhì)量和心理健康的主要疾病之一[5]，此外,研究表明，KOA的發(fā)生呈年輕化趨勢[7]。因此,若能在病變初期對KOA進(jìn)行有效診斷,并及時采取相應(yīng)管理和控制措施,則可在很大程度上避免患者病情進(jìn)一步加重，陷入半殘疾、甚至殘疾的生活狀態(tài)。

目前，對KOA的臨床檢測主要是醫(yī)生通過對KOA患者的影像學(xué)檢查結(jié)果進(jìn)行視覺分析完成。如醫(yī)生可通過X射線檢查膝關(guān)節(jié)是否存在骨質(zhì)增生[8],通過核磁共振(MRI)檢測膝關(guān)節(jié)軟骨是否存在不規(guī)則、邊界不清晰等異常[9]，或通過多普勒超聲檢查膝關(guān)節(jié)半月板血流及形態(tài),進(jìn)而給出相應(yīng)診斷結(jié)果[10]。但這些檢查手段均存在一定的局限性：如X射線、多普勒超聲對人具有一定傷害,無法長期使用;多普勒超聲與MRI的檢查時間長、價格昂貴;上述設(shè)備均對環(huán)境要求較高,無法日常使用。且KOA在發(fā)病初期,由于關(guān)節(jié)病變范圍小、程度輕、癥狀不明顯,上述檢查手段幾乎無法得到顯著的病理信息,這使得早期篩查變得十分困難,易出現(xiàn)延誤就診。因此,需要一種更為便捷準(zhǔn)確、價格低廉、無創(chuàng)無害的檢測手段。

關(guān)節(jié)摩擦音[11],又稱為骨振信號(vibroarthrographic signal,VAG)，有可能為實(shí)現(xiàn)早期篩查提供一種新的途徑。VAG信號是膝關(guān)節(jié)在活動過程中髕骨和股骨的關(guān)節(jié)軟骨摩擦音。由于KOA患者存在軟骨退化損傷和骨質(zhì)增生,其髕股之間的摩擦相較正常人更大,故VAG信號能夠有效反映KOA的發(fā)展情況。鑒于此,從VAG信號出發(fā)，基于信號處理和機(jī)器學(xué)習(xí)方法實(shí)現(xiàn)對KOA的自動檢測越來越受到廣大學(xué)者的關(guān)注。

基于VAG信號的KOA自動檢測方法本質(zhì)是一個模式識別問題,即從VAG信號中提取恰當(dāng)特征，訓(xùn)練分類器完成正常VAG信號與膝關(guān)節(jié)退行性病變VAG信號(KOA-VAG)的分類。早在1997年,Rangayyan提出以極值點(diǎn)個數(shù)和倒譜系數(shù)為特征,結(jié)合Logistic回歸分析實(shí)現(xiàn)KOA的檢測[12]。其后,從時域角度提取信號及其導(dǎo)數(shù)的方差、偏度、峰度和熵等統(tǒng)計(jì)指標(biāo),并采用徑向基神經(jīng)網(wǎng)絡(luò)完成KOA的檢測[13]。另有基于概率密度函數(shù)的Kullback-Leibler距離[14]、變異參數(shù)[15]等特征被相繼提出。從時頻角度,如基于短時傅里葉變換的頻譜局部極大值的平均值、個數(shù)[16],基于小波包變換的相關(guān)指數(shù)、節(jié)點(diǎn)能量和方差[17],基于MP稀疏分解的能量和能量擴(kuò)散指標(biāo)[18]等特征提取方法也可用于KOA檢測。此外,B?czkowicz于2015年提出了與患者年齡相關(guān)的生理特征對于有效檢測KOA具有重要意義[19]。一方面這些方法均需要人為設(shè)計(jì)特征,而構(gòu)造泛化能力較強(qiáng)的特征需要經(jīng)過大量實(shí)驗(yàn),過程耗時;另一方面,現(xiàn)有工作大部分針對是否患病進(jìn)行檢測,而很少聚焦于KOA的早期篩查。

深度學(xué)習(xí)是一種具有層級結(jié)構(gòu)的學(xué)習(xí)算法[20]，近年來,這一技術(shù)因強(qiáng)大的特征自主學(xué)習(xí)能力與完整的端到端學(xué)習(xí)策略,在各個領(lǐng)域得到了廣泛應(yīng)用[21-22]。基于此,本文從深度學(xué)習(xí)角度出發(fā),結(jié)合VAG信號與卷積神經(jīng)網(wǎng)絡(luò)提出了一種新的膝關(guān)節(jié)退行性病變早期篩查方法。首先,結(jié)合自動裁剪、補(bǔ)零處理、白化處理等方法對VAG信號進(jìn)行信號對齊與去相關(guān)等預(yù)處理;其次,采用Fourier變換對VAG信號進(jìn)行頻域轉(zhuǎn)換,從VAG信號頻域角度出發(fā),基于卷積神經(jīng)網(wǎng)絡(luò)框架設(shè)計(jì)了一種KOA早期篩查方法;最后,結(jié)合772條臨床采集的VAG信號驗(yàn)證所提方法的可行性與有效性。

1 基于CNN模型的膝關(guān)節(jié)退行性病變早期篩查方法

1.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)是Hubel和Wiesel于20世紀(jì)60年代提出的一種以卷積運(yùn)算為基礎(chǔ)的前饋神經(jīng)網(wǎng)絡(luò),主要受到大腦視覺皮層神經(jīng)元機(jī)制的啟發(fā),即只對特定區(qū)域的刺激做出響應(yīng)。卷積神經(jīng)網(wǎng)絡(luò)在傳統(tǒng)網(wǎng)絡(luò)的基礎(chǔ)上引入局部連接、權(quán)值共享的運(yùn)算模式,大大降低了網(wǎng)絡(luò)運(yùn)算復(fù)雜度。卷積神經(jīng)網(wǎng)絡(luò)框架包含卷積層、池化層和全連接層三種層級結(jié)構(gòu)。

1)卷積層

卷積層(convolutional layer,conv)主要通過引入卷積核(卷積算子)對信號的局部特征進(jìn)行提取[20],其計(jì)算公式如下

y=f(W*x+b)。

(1)

其中：x為卷積層的輸入向量；W為卷積核的權(quán)重矩陣；b為偏置向量,*表示卷積運(yùn)算,y為卷積層的輸出向量；f為激活函數(shù),常用的激活函數(shù)包括sigmoid、tanh、relu等。由式(1)知,輸入x通過與不同維度的卷積核權(quán)重矩陣W進(jìn)行卷積,實(shí)現(xiàn)信號在不同尺度上的反褶、平移、內(nèi)積、積分等運(yùn)算,從而提取信號在各尺度上的特征。

2)池化層

池化層(pooling layer,pooling)主要通過max函數(shù)或者average函數(shù)舍棄信號中的部分信息。其中,max函數(shù)對應(yīng)最大池化,average函數(shù)對應(yīng)平均池化。由于max函數(shù)效率更高,故本文選擇最大池化。最大池化的計(jì)算公式為

(2)

其中：x為池化層的輸入向量；r為感受野,y為池化層的輸出向量。由式(2)知,感受野值的大小決定了輸入x響應(yīng)區(qū)域的大小,通過在不同大小的響應(yīng)區(qū)域上由max函數(shù)舍棄部分信息,增加所提特征的泛化能力。

3)全連接層

全連接層(fully connected layer,FC)的主要作用為完成分類任務(wù),其計(jì)算公式如下

y=f(WT·x+b)。

(3)

其中:W為連接權(quán)重矩陣;b為偏置向量;(·)表示矩陣乘法運(yùn)算。

1.2 基于CNN模型的膝關(guān)節(jié)退行性病變早期篩查方法

VAG信號的頻域特征對于檢測膝關(guān)節(jié)退行性病變具有重要意義。本文首先將VAG信號轉(zhuǎn)換為頻域信號(功率譜與相位譜),進(jìn)而搭建一個CNN網(wǎng)絡(luò)對VAG信號頻域信息進(jìn)行挖掘(稱之為頻域CNN(frequency domain-CNN,F-CNN)),以完成對KOA的早期篩查。

1)VAG信號的頻域轉(zhuǎn)換

(4)

(5)

(6)

為信號Xj的功率譜，

(7)

為信號Xj的相位譜。

2)網(wǎng)絡(luò)搭建

由于VAG信號的功率譜與相位譜存在較多噪聲,因此，在F-CNN的第1層中采用伯努利分布構(gòu)建dropout層，伯努利分布的參數(shù)p即為失活概率,設(shè)置為20%。第2層、第4層、第6層、第8層是卷積核大小為9*1的卷積層,用以提取不同尺度與層級的VAG信號頻域特征,并隨著網(wǎng)絡(luò)加深,網(wǎng)絡(luò)提取到的特征逐漸抽象，其中，卷積核個數(shù)分別為48,96,129,384,卷積步長均為1。為增加網(wǎng)絡(luò)泛化能力,分別設(shè)第3層、第5層、第7層、第9層是池化核大小為4*1的池化層,其步長均設(shè)為4。第10層與第12層為含384個神經(jīng)元的全連接層，用以完成分類任務(wù)。為防止過擬合,在全連接層后(即第11層與第13層)增加失活概率為50%的dropout層。最后,增加包含2個神經(jīng)元的輸出層,輸出信號屬于每一類的概率值。F-CNN參數(shù)設(shè)置列于表1，圖1描述了F-CNN的網(wǎng)絡(luò)結(jié)構(gòu)。

3)基于CNN模型的膝關(guān)節(jié)退行性病變早期篩查方法

在上述所搭建網(wǎng)絡(luò)的基礎(chǔ)上,首先，對數(shù)據(jù)進(jìn)行自動裁剪與補(bǔ)零、Fourier變換、白化等預(yù)處理,然后，采用Fourier變換后的VAG信號基于Adam算法訓(xùn)練F-CNN網(wǎng)絡(luò),完成KOA的早期篩查;最后,結(jié)合臨床采集的VAG信號驗(yàn)證所提方法的可行性與有效性。本文所提的基于VAG信號和卷積神經(jīng)網(wǎng)絡(luò)的膝關(guān)節(jié)退行性病變早期篩查方法流程圖如圖2所示。

圖1 本文所提CNN結(jié)構(gòu)Fig.1 The architecture of proposed CNN model

表1 本文所提F-CNN參數(shù)設(shè)置Tab.1 Detailed parameters used for all the layers of proposed F-CNN model

圖2 基于骨振信號和卷積神經(jīng)網(wǎng)絡(luò)的膝關(guān)節(jié)退行性病變早期篩查方法過程示意圖Fig.2 Procedure of early screening of KOA based on VAG and CNN

2 實(shí)驗(yàn)

2.1 數(shù)據(jù)來源

本文實(shí)驗(yàn)數(shù)據(jù)來源于西安市某醫(yī)院骨科的VAG信號數(shù)據(jù)庫,數(shù)據(jù)記錄了受試者在完成3組“蹲下—起立”動作時的關(guān)節(jié)摩擦聲。數(shù)據(jù)庫共包含從2017年10月到2019年09月采集的1 440條VAG信號,其中，正常信號為395條,KOA信號為1 045條,采樣率為10 240 Hz。膝關(guān)節(jié)退行性病變VAG信號根據(jù)Kellgren-Lawrence評級系統(tǒng)[23]進(jìn)一步分為1～4級。1級代表發(fā)病初期,2～4級代表病變程度逐漸加深。由于發(fā)病初期病變程度較輕,與正常信號極為相似,若能有效區(qū)分這兩類信號，則能在病變早期對患者采取防控措施,有效緩解KOA的進(jìn)一步加重。因此，本文主要關(guān)注這兩類信號的自動檢測。

2.2 數(shù)據(jù)預(yù)處理

由于數(shù)據(jù)采集過程中不同受試者在完成“蹲下—起立”動作時所需時間長短不一,此外對于一些特殊患者,其完成3組動作有較大困難,最終只完成了一組,這些均導(dǎo)致每條信號的持續(xù)時長差異較大。圖3展示了實(shí)驗(yàn)數(shù)據(jù)持續(xù)時長的分布,可以看到，信號持續(xù)時長由4s到30s不等。圖4A和4B分別展示了一個正常(0級)的VAG信號與一個1級膝關(guān)節(jié)退行性病變VAG信號的7s片段。

圖3 信號長度的分布Fig.3 Distribution of the length of signals

CNN要求輸入數(shù)據(jù)維度必須相等,因此，首先對信號進(jìn)行自動裁剪與補(bǔ)零預(yù)處理,即對較長信號隨機(jī)裁剪至13s,對較短信號進(jìn)行末尾補(bǔ)零,使其為等長信號。

進(jìn)一步采用1.2節(jié)所述方法將VAG信號轉(zhuǎn)化為對應(yīng)的頻域信號,即采用Fourier變換[24]將VAG信號轉(zhuǎn)化為其對應(yīng)的功率譜與相位譜,最終，將功率譜序列與相位譜序列作為F-CNN的輸入信號。圖4C和4D分別展示了圖4A和4B經(jīng)Fourier變換后的功率譜。

圖4 0級與1級VAG信號對比Fig.4 Comparison of VAG between level 0 and level 1

此外,為降低網(wǎng)絡(luò)運(yùn)算復(fù)雜度,減小信號相關(guān)性,進(jìn)一步采用Z-score方法對信號進(jìn)行白化處理。

2.3 實(shí)驗(yàn)結(jié)果與分析

將預(yù)處理后所得的772條信號按7∶1.5∶1.5的比例隨機(jī)分為訓(xùn)練集、驗(yàn)證集和測試集,即訓(xùn)練集包含540條信號,驗(yàn)證集包含116條信號,測試集中包含116條信號。網(wǎng)絡(luò)的損失函數(shù)設(shè)置為交叉熵?fù)p失。為了防止過擬合、降低時間成本,采用早停法控制訓(xùn)練過程,即在網(wǎng)絡(luò)進(jìn)入穩(wěn)定狀態(tài)時立即終止訓(xùn)練。所提模型在Python3的Keras框架下實(shí)現(xiàn),圖5為對應(yīng)F-CNN訓(xùn)練損失函數(shù)與準(zhǔn)確率的變化曲線,可以看到，網(wǎng)絡(luò)在前14個epoch中迅速收斂,損失函數(shù)迅速下降,準(zhǔn)確率快速上升,到第14個epoch時損失函數(shù)趨于0,準(zhǔn)確率趨于100%,但是在第14個epoch后網(wǎng)絡(luò)準(zhǔn)確率出現(xiàn)略微下降,即網(wǎng)絡(luò)進(jìn)入震蕩階段,故網(wǎng)絡(luò)在第15個epoch停止訓(xùn)練。數(shù)值實(shí)驗(yàn)中主要采用準(zhǔn)確率(accuracy)、靈敏度(sensitivity)、特異性(specificity)以及F1分?jǐn)?shù)作為性能評價指標(biāo),其計(jì)算公式如下:

(8)

(9)

(10)

(11)

本文所提方法性的準(zhǔn)確率、靈敏度、特異性及F1分?jǐn)?shù)分別為86.20%、88.20%、83.30%與0.88,可以看出，本文方法能較好地實(shí)現(xiàn)KOA的早期篩查。最后，將本文所提方法與其他已有關(guān)于KOA自動檢測的方法[25-27]進(jìn)行比較,結(jié)果如表2所示。從表2中可以看出,相比其他已有方法,本文所提方法的準(zhǔn)確率與靈敏度都得到了顯著提高。盡管文獻(xiàn)[25]中所提方法的特異性比本文方法高出了12.4%,這主要是由于文獻(xiàn)[25]聚焦于對正常與KOA患者的檢測,這兩者的差異性明顯大于正常與KOA早期狀態(tài)之間的差異性,因此，更不容易誤檢。值得注意的是,本文研究目標(biāo)及所用數(shù)據(jù)與文獻(xiàn)[26]均一致,可以看出，即使與最近的早期篩查方法相比,本文所提方法的檢測性能都得到了提升。

圖5 F-CNN訓(xùn)練損失函數(shù)和準(zhǔn)確率曲線Fig.5 Training loss and accuracy of F-CNN

表2 本文方法與已有關(guān)于KOA自動檢測方法對比Tab.2 Comparison between the methods of this paper and existing automatic detection methods of KOA

3 總結(jié)與展望

本文提出了一種新的用于進(jìn)行膝關(guān)節(jié)退行性病變早期篩查的方法:基于頻譜分析的CNN模型。首先，對臨床采集的VAG信號進(jìn)行數(shù)據(jù)預(yù)處理;然后，設(shè)計(jì)基于卷積神經(jīng)網(wǎng)絡(luò)的KOA早期篩查方法:F-CNN模型;最后，結(jié)合所采集數(shù)據(jù)驗(yàn)證本文方法的有效性。實(shí)驗(yàn)結(jié)果表明,本文所提出的F-CNN模型在整體上性能更好,能夠更準(zhǔn)確地完成早期篩查任務(wù)。但是,如年齡等生理特征對于KOA早期篩查也具有重要意義,因此，下一步研究將考慮聯(lián)合生理特征與VAG信號完成膝關(guān)節(jié)退行性病變的輔助診斷。