基于深度卷積神經(jīng)網(wǎng)絡(luò)的帕金森步態(tài)識別

王金甲 劉青玉 陳 浩

(燕山大學(xué)信息科學(xué)與工程學(xué)院，河北 秦皇島 066004)

基于深度卷積神經(jīng)網(wǎng)絡(luò)的帕金森步態(tài)識別

王金甲*劉青玉 陳 浩

(燕山大學(xué)信息科學(xué)與工程學(xué)院，河北 秦皇島 066004)

步態(tài)凍結(jié)(FOG)是晚期帕金森病患者最常見的癥狀，F(xiàn)OG的突然發(fā)作會造成患者的行走障礙。為患者佩戴FOG檢測可穿戴設(shè)備助手是一種有效可行的治療途徑，當(dāng)檢測到FOG發(fā)作時，可穿戴設(shè)備助手為患者提供一段有節(jié)奏的聽覺信號刺激患者恢復(fù)行走。針對FOG檢測，提出一種系統(tǒng)式的特征學(xué)習(xí)方法。該方法采用一個基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)，對原始輸入信號自動地進(jìn)行特征學(xué)習(xí)。采用監(jiān)督式學(xué)習(xí)方法利用標(biāo)簽信息，使學(xué)習(xí)到的特征更具識別能力。在整個網(wǎng)絡(luò)模型中，特征學(xué)習(xí)和分類互相加強(qiáng)使整個網(wǎng)絡(luò)更加穩(wěn)定，更具智能化。通過DAPHNet數(shù)據(jù)集進(jìn)行驗(yàn)證，結(jié)果表明，該方法可以自動地進(jìn)行特征學(xué)習(xí)并識別出步態(tài)凍結(jié)。與以往的閾值法實(shí)驗(yàn)結(jié)果相比，平均正確率提高到91.43%，靈敏性提高到85.58%，特異性提高到了93.63%。該方法可以在一定程度上代替人工干預(yù)，在處理頻繁出現(xiàn)FOG癥狀的帕金森患者的治療中具有重要意義。

帕金森疾??；步態(tài)凍結(jié)識別；深度學(xué)習(xí)；卷積神經(jīng)網(wǎng)絡(luò)

引言

帕金森病 (Parkinson′s disease，PD)，也稱為震顫麻痹，是中老年人常見的神經(jīng)系統(tǒng)性疾病，嚴(yán)重影響患者的生活質(zhì)量，危害極大。該病的主要臨床特點(diǎn)是：靜止性震顫，動作遲緩及減少，肌張力增高，姿勢不穩(wěn)等。根據(jù)國際統(tǒng)計(jì)數(shù)據(jù)顯示，目前，中國帕金森病患者人數(shù)已達(dá)到200多萬人，約占全球的50%，75歲以上的老人患病率高達(dá)10%，且正呈現(xiàn)年輕化趨勢。帕金森病尚無有效預(yù)防辦法，早期診斷治療，加強(qiáng)對患者的護(hù)理，可有效提高患者的生活質(zhì)量。

帕金森病患者最常見的步態(tài)障礙是FOG(步態(tài)凍結(jié))，F(xiàn)OG被定義為“企圖行走時或前進(jìn)過程中步伐短暫、突然地中止或明顯減少”[1]。一項(xiàng)對6 620位PD患者的調(diào)查報告顯示，47%的患者出現(xiàn)定期的步態(tài)凍結(jié)，28%的患者每天都會出現(xiàn)步態(tài)凍結(jié)[2]?；颊咧心行园l(fā)生FOG的頻率高于女性，但與主要癥狀為震顫的患者相比，頻率較低[3]。FOG對環(huán)境誘因，認(rèn)知輸入及藥物有著高度敏感性，因此FOG難以衡量。為了定量評估日常生活中的步態(tài)凍結(jié)事件，Giladi等設(shè)計(jì)了凍結(jié)步態(tài)量表，通過表中的第三項(xiàng)篩查患者是否出現(xiàn)步態(tài)凍結(jié)，即對患者進(jìn)行詢問 “在行走、轉(zhuǎn)彎或起步時是否覺得你的腳黏在地面上”[4]。

對PD患者步態(tài)凍結(jié)癥狀的藥物治療具有一定的局限性；傳統(tǒng)的FOG評估是基于人的主觀性，如自我報告、醫(yī)生的患者報告。這些臨床評估缺乏準(zhǔn)確性以及評估之間的差異性[5]。為了解決這些局限性，許多研究開始通過各種傳感器分析設(shè)計(jì)識別FOG的客觀性方法，如力敏感鞋墊[6]、可穿戴式慣性傳感器[7]、3Dmarker[8]。除此之外，臨床醫(yī)生及患者研究出各種行為“技巧”共同克服FOG癥狀。例如，步進(jìn)式的指揮，跨過地面上的拐杖或裂縫，走向有音樂或節(jié)拍的方向，等等。這種外在的提示有效地緩解了PD患者的FOG癥狀[9-10]，其中有節(jié)奏的聽覺刺激(rhythmic auditory stimulation，RAS)是一種有效的工具[11]。在檢測到患者FOG發(fā)作時，給予有節(jié)奏的滴答聲可以幫助患者重新恢復(fù)行走。因此，RAS可以被應(yīng)用到許多可穿戴設(shè)備上，利用運(yùn)動傳感器的數(shù)據(jù)來檢測FOG，若檢測到FOG癥狀則觸發(fā)RAS緩解帕金森病患者的步態(tài)障礙。

步態(tài)識別是治療PD患者FOG癥狀的關(guān)鍵。數(shù)年來，許多科研工作者取得了不錯的成就。Hausdorff等通過時間序列及分形分析方法定量描述了11位PD患者FOG發(fā)作期間腳下力量的波動[12]；Bonato等的研究初步證明，數(shù)據(jù)挖掘和人工智能系統(tǒng)能識別出PD患者運(yùn)動波動的存在及其嚴(yán)重性[13]；Moore等對11位PD患者進(jìn)行動態(tài)FOG監(jiān)測，通過一個安裝在腳踝的傳感器獲得左小腿的垂直線性加速度數(shù)據(jù)，對加速度器的頻譜分析，發(fā)現(xiàn)在正常站立或者行走時，F(xiàn)OG發(fā)作期腿部運(yùn)動的高頻部分在(3～8 Hz)頻率帶上不明顯[14]。Moore定義了凍結(jié)指數(shù)FI(freeze index)，即freeze帶(3～8 Hz)上的功率除以locomotor帶(0.5～3 Hz)上的功率所得的比率。這樣，設(shè)定一個凍結(jié)閾值，當(dāng)FI值大于該閾值時識別出FOG事件。實(shí)驗(yàn)中7名受試者共出現(xiàn)46個FOG事件，該方法檢測到78%的FOG；Tay等人利用可穿戴傳感器設(shè)計(jì)了一套生物反饋系統(tǒng)，使用FOG檢測算法進(jìn)行時頻分析實(shí)現(xiàn)對PD患者實(shí)時監(jiān)控[14]。Bachlin等，研究了在線FOG檢測實(shí)驗(yàn)，包括8名患者237個FOG事件，在線檢測結(jié)果敏感性73.1%，特異性81.6%[16]。以上幾個研究都是基于一種可穿戴式計(jì)算機(jī)系統(tǒng)[14-16]，使用放置在患者身體不同部位(腳踝，膝蓋和臀部)的加速度傳感器采集的加速度數(shù)據(jù),計(jì)算運(yùn)動中固有的凍結(jié)指數(shù)FI檢測FOG，一旦檢測到FOG，則提供一段有節(jié)奏的聽覺信號刺激患者恢復(fù)行走。

不同于計(jì)算FI檢測FOG方法，一些研究通過力敏感電阻對PD患者腳步的能量進(jìn)行評估[17-18]，研究發(fā)現(xiàn)，正常步態(tài)時腳下振蕩的能量是一種有組織有規(guī)律的模式，而在FOG發(fā)作期這種規(guī)律性減弱。Popovic等通過計(jì)算并分析地面反作用力的時間序列，得出皮爾森相關(guān)系數(shù)(Pearson correlation coefficient，PCC)作為兩種信號(正常步態(tài)與FOG)間線性關(guān)系的度量[17]。

除此之外，最近有研究使用Bachlin等收集的數(shù)據(jù)[16]實(shí)現(xiàn)了FOG檢測并已應(yīng)用于智能手機(jī)[19]。Mazilu等使用Weka數(shù)據(jù)挖掘工具，采用監(jiān)督機(jī)器學(xué)習(xí)技術(shù)，實(shí)現(xiàn)了FOG檢測[19]。他們對身體不同位置的加速度傳感器數(shù)據(jù)提取時域和頻域的特征，進(jìn)而將FOG檢測轉(zhuǎn)換為對這些特征的分類問題。實(shí)驗(yàn)中采用AdaBoost和random forest分類器，得到98.35%的平均敏感性、99.72%的平均特異性結(jié)果。相應(yīng)地，Tripoliti提出Random Forests classification算法檢測FOG事件，通過對加速度和陀螺儀傳感器采集的信號進(jìn)行處理，結(jié)果正確率達(dá)到96.11%[20]。最近，Ali Saad致力于帕金森病步態(tài)凍結(jié)檢測問題的研究，利用一套多類型的傳感器裝置獲得實(shí)驗(yàn)數(shù)據(jù)，提出一種高斯神經(jīng)網(wǎng)絡(luò)分類方法，取得了不錯的結(jié)果，分類效率達(dá)到87%[21]。

本研究采用DAPHNet數(shù)據(jù)集(archive.ics.uci.edu/ml/datasets/Daphnet+Freezing+of+Gait)，并利用合成少數(shù)類過取樣算法(synthetic minority over-sampling technique, SMOTE)，解決該數(shù)據(jù)集存在的類別樣本不平衡問題。SMOTE算法是一種對不平衡數(shù)據(jù)進(jìn)行糾偏的有效方法[22]。此外，深度學(xué)習(xí)在語音識別[23-24]和圖像識別[25-26]問題上取得了良好的分類效果，采用深度卷積神經(jīng)網(wǎng)絡(luò)方法，進(jìn)行自動特征提取，實(shí)現(xiàn)了端到端分類?；谝陨戏治觯Y(jié)合SMOTE算法數(shù)據(jù)預(yù)處理，結(jié)合深度卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型，提出了一種對帕金森病患者步態(tài)凍結(jié)癥狀進(jìn)行檢測的系統(tǒng)。

1 數(shù)據(jù)與方法

1.1 數(shù)據(jù)集

本實(shí)驗(yàn)采用DAPHNet數(shù)據(jù)集，是由Tel Aviv Sourasky醫(yī)療中心神經(jīng)科的步態(tài)與神經(jīng)動力學(xué)實(shí)驗(yàn)室采集的有關(guān)10位PD患者的FOG數(shù)據(jù)[16]。如圖1所示，可穿戴式系統(tǒng)是基于一臺可穿戴式微型計(jì)算機(jī)，能夠記錄數(shù)據(jù)并進(jìn)行在線信號處理。3個3D加速度傳感器(大小為25 mm×44 mm×17 mm，質(zhì)量小于22 g)。3個傳感器分別位于測試者的小腿(高于腳踝)、大腿(高于膝蓋)和后背下方的腰帶處，分別測量3個不同位置的水平橫向、水平加速度向前和垂直方向的加速度，共9個通道時間序列信號。

圖1 可穿戴式系統(tǒng)Fig.1 The wearable system

測試者被要求執(zhí)行兩組10～15 min的活動任務(wù)，每組活動包括直線走，180°的轉(zhuǎn)身；隨機(jī)走，開始、停止和360°的轉(zhuǎn)身；日常生活活動(進(jìn)入廚房弄一點(diǎn)飲料，帶著飲料回到開始的房間)。該數(shù)據(jù)集包含237 FOG發(fā)作期，F(xiàn)OG持續(xù)時間介于0.5～40.5 s(7.3±6.7 s)之間。50%的FOG持續(xù)時間少于5.4 s，93.2%短于20 s。專業(yè)理療醫(yī)生通過同步的視頻分析標(biāo)記出FOG事件。

該數(shù)據(jù)集中每位患者都有兩組實(shí)驗(yàn)數(shù)據(jù)記錄，其中第4、10名患者未出現(xiàn)FOG癥狀，第6名患者的第二組數(shù)據(jù)未出現(xiàn)FOG癥狀，第8、9名患者只有一組實(shí)驗(yàn)數(shù)據(jù)，因此不考慮實(shí)驗(yàn)。剩余5名患者數(shù)據(jù)，分別進(jìn)行實(shí)驗(yàn)。選取每位患者數(shù)據(jù)中的一組作為訓(xùn)練集，另一組作為測試集。

1.2 方法流程簡述

本研究方法流程如圖2所示。針對DAPHNet數(shù)據(jù)集樣本類不平衡問題，采用SMOTE算法修整樣本，增加少數(shù)類樣本；然后將經(jīng)過處理后的樣本采用劃分時間窗策略處理，送入卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural networks, CNN)訓(xùn)練，得到一個深度模型；最后用該模型對測試樣本進(jìn)行分類。

圖2 本方法整體流程Fig.2 The overall flow chart ofpaper′s method

1.2.1 數(shù)據(jù)預(yù)處理方法

本實(shí)驗(yàn)數(shù)據(jù)集采用DAPHNet數(shù)據(jù)集[16]。經(jīng)實(shí)驗(yàn)得知數(shù)據(jù)存在有偏性，F(xiàn)OG樣本遠(yuǎn)小于非FOG樣本。處理有偏性數(shù)據(jù)最簡單的方法就是隨機(jī)復(fù)制，但這種方法會在判別分析中產(chǎn)生過擬合問題，并且影響模型的外推能力[22]。使用SMOTE算法處理原始數(shù)據(jù)集中樣本類不平衡問題，很好地克服了過擬合問題。SMOTE算法的思想是合成少數(shù)類樣本，而多數(shù)類樣本不變。特點(diǎn)是不按照隨機(jī)過采樣方法簡單地復(fù)制樣例，而是增加新的并不存在的樣例。

SMOTE算法合成策略如下，有少數(shù)類樣本X，每一個樣本x，搜索其k個少數(shù)類最近鄰樣本；設(shè)向上采用的倍率為N，則在其k個最近鄰樣本中隨機(jī)選擇個樣本，記為x1，x2，x3，…，xN；在少數(shù)類樣本x與xi(i=1,2,…,N)之間進(jìn)行隨機(jī)線性插值，構(gòu)成新的少數(shù)類樣本yi，有

(1)

式中，rand(0,1)表示區(qū)間(0,1)內(nèi)的一個隨機(jī)數(shù)。

如圖3所示，描述SMOTE算法合成新數(shù)據(jù)這一過程。x是個少數(shù)類實(shí)例，x1～x4分別為x的4個近鄰，y1～y4為生成的4個新的人造數(shù)據(jù)。

圖3 SMOTE合成少數(shù)樣本點(diǎn)Fig.3 Schematic diagram generating new data with SMOTE

例如，DAPHNet數(shù)據(jù)集中患者1的第一組樣本(S07R01)中,消除掉實(shí)驗(yàn)無關(guān)類后，非FOG樣本數(shù)與FOG樣本數(shù)之比為18∶1，存在嚴(yán)重的類不平衡問題，這樣訓(xùn)練出的模型測試結(jié)果90%多都為非FOG，這樣的模型毫無分類意義。經(jīng)SMOTE算法處理后，非FOG樣本數(shù)與FOG樣本數(shù)之比為2∶1，很好地解決了樣本類不平衡。

原始樣本是由3個3D傳感器采集到的9個通道的時間序列信號，經(jīng)SMOTE算法處理后得到新的樣本集，然后采用劃分時間窗策略，將時間序列信號分割成一系列短信號作為訓(xùn)練網(wǎng)絡(luò)的輸入信號。如圖4所示，例如一名PD患者新的樣本集有R個樣本，每個樣本有D(本研究中為9，分別為3個傳感器在3個不同位置采集的3個不同方向的加速度)個屬性?；瑒哟翱诓介L為3，每r個樣本作為一個窗，這樣可以將該患者的新樣本集分割成I=(R-r)/3+1個窗，每個窗視為一個實(shí)例。步長的長短與實(shí)例的數(shù)量及計(jì)算成本有著直接的關(guān)系，較短的步長，可以增加實(shí)例的數(shù)量，但可能產(chǎn)生較高的計(jì)算成本。對于訓(xùn)練數(shù)據(jù)，每個窗的標(biāo)簽為r個樣本標(biāo)簽中出現(xiàn)最頻繁的那個標(biāo)簽。

圖4 劃分時間窗策略Fig.4 The sliding time window strategy

1.2.2 CNN模型

人類活動識別問題中，提取有效的特征是關(guān)鍵且具有挑戰(zhàn)的一步。從可穿戴式傳感器收集的信號是時間序列，不同于其他時間序列，如語音信號。人類活動識別信號只有很少一部分連續(xù)信號流與所研究的活動有關(guān)，無關(guān)的部分主要對應(yīng)于“空”活動。此外，考慮到人類活動在現(xiàn)實(shí)中大多是由幾個基本的連續(xù)動作組合成的。一個人的活動可能會持續(xù)幾秒鐘，每一秒內(nèi)可能會有多個基本動作參與。從傳感器信號的角度看，基本的連續(xù)動作更可能對應(yīng)于平滑信號，不同的基本連續(xù)動作之間的轉(zhuǎn)換可能會導(dǎo)致信號值顯著地變化。這些信號的屬性需要一種有效的特征提取方法，既能提取到基本的連續(xù)動作的本質(zhì)，又能獲得一組基本連續(xù)動作結(jié)合后突出的屬性。

因此，筆者的動機(jī)是建立一個以一系列信號處理單元為基礎(chǔ)的用于特征提取的深層結(jié)構(gòu)。這種深層結(jié)構(gòu)由多個淺層結(jié)構(gòu)組成。每個淺層有一組線性/非線性處理單元，提取信號不同層次的顯著特征，最后級聯(lián)所有的淺層結(jié)構(gòu)。這種深度結(jié)構(gòu)不僅將一個大而復(fù)雜的問題分解成一系列小問題，而且更重要的是可以從不同的層次上提取到信號的屬性。

以往的特征提取方法有人工提取法，以及一些淺層的特征學(xué)習(xí)模型。針對PD患者的FOG識別，本文研究提出了一個基于卷積神經(jīng)網(wǎng)絡(luò)的深度模型用于自動特征學(xué)習(xí)。通過監(jiān)督學(xué)習(xí)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，使學(xué)習(xí)到的特征更具辨別力。在整個深度模型中，特征學(xué)習(xí)和分類是相互加強(qiáng)的。

模型結(jié)構(gòu)：本研究所提出的深度模型如圖5所示，共9層結(jié)構(gòu)(包含輸入層)。開始幾層是卷積和下采樣的交替，最后在靠近輸出層的一些層，為一維的全鏈接網(wǎng)絡(luò)。

圖5 CNN模型結(jié)構(gòu)。采用DAPHNet數(shù)據(jù)集第1名患者作為一個說明示例。圖中‘C’、‘S’、‘U’、‘O’分別表示卷積操作、子采樣操作、統(tǒng)一操作、輸出操作(下標(biāo)表示第n部分的卷積操作或子采樣操作)。@前后的數(shù)字分別表示本層中特征映射的數(shù)目和一張?zhí)卣饔成涞木S數(shù)。由于空間限制，ReLU層和歸一化層未標(biāo)注。Fig.5 Illustration of the CNN architecture. We use the first PD of DAPHNet dataset as an illustrative example. The symbols “c”, “s”, “u”, “o” in the layer tags refer to convolution, subsampling, unification and output operations respectively(The index represents a convolution operation or sub-sampling operation in part n). The numbers before and after “@” refer to the number of feature maps and the dimension of a feature map in this layer. Note that pooling, ReLU and normalization layers are not showed due to the limitation of space.

在卷積層中，上一層的特征映射與一個卷積核(可訓(xùn)練得到)進(jìn)行卷積，加上偏差(由訓(xùn)練得到)，然后通過一個激活函數(shù)，得到輸出特征映射。注釋vij，x,d為CNN第i層第j個特征映射中傳感器d第x行的值，即

(2)

式中，tanh(.)(?d=1,...,D)為雙曲正切激活函數(shù)，bij為該特征映射的偏差，m為第i-1層中特征映射連接當(dāng)前特征映射的集合，pi為卷積核的長度，wijm，p為卷積核在位置p的值。

池化層即下采樣層，是對上一層特征映射的采樣處理。有N個輸入特征映射，就有N個輸出特征映射，只是每個輸出特征映射分辨率降低了。池化層通過組合(取平均或者最大的)局部鄰域的濾波器響應(yīng)，因而達(dá)到對微小變形的不變性。本研究采用最大池化函數(shù)如下：

(3)

式中，Qi為池化區(qū)域的長度。

如圖5所示，整個模型可以分為6個部分詳細(xì)解釋如下。

前三部分，每個部分都由4層計(jì)算組成。第一，卷積濾波器組層，由輸入或前一層的輸出與一組可學(xué)習(xí)到的卷積核卷積計(jì)算組成。第二，ReLu(rectified linear units)層，加速收斂。前一卷積層的輸出通過校正激活函數(shù)relu(v)=max(v,0)，從數(shù)據(jù)變量中解離出關(guān)鍵因子，提取稀疏特征。第三，最大池化層，采樣窗口所有值取最大得到下采樣層的值，實(shí)現(xiàn)對提取的特征的平移不變性。第四，歸一化層，該模塊主要進(jìn)行局部做減和做除歸一化。

第4部分，由卷積層、ReLu層和歸一化層構(gòu)成。前一層的輸出經(jīng)過卷積操作后，輸出特征映射的維度變?yōu)榱?×D，所以省略了池化層。

第5部分，統(tǒng)一層。將上一層所有輸出的特征映射連接成一個一維向量，圖6為第4部分到第5部分統(tǒng)一層處理過程。

圖6 統(tǒng)一層Fig.6 Illustration of unification layer

模型訓(xùn)練：該深度卷積模型是一種監(jiān)督式的學(xué)習(xí)網(wǎng)絡(luò)，即任一樣本的類別是已知的，根據(jù)各類樣本在空間的分布及類間的分離程度找到一個適當(dāng)?shù)姆诸愡吔?。這需要一個長時間且復(fù)雜的學(xué)習(xí)訓(xùn)練過程，不斷地調(diào)整網(wǎng)絡(luò)中各層的權(quán)值使分類邊界達(dá)到最優(yōu)分類。網(wǎng)絡(luò)的訓(xùn)練算法與BP(back propagation)算法相似，主要包括兩個階段，向前傳播階段：從訓(xùn)練集中取出一個樣本(X,Yp)，將X輸入網(wǎng)絡(luò)；經(jīng)過逐級變換，傳送到輸出層，計(jì)算得出相應(yīng)的實(shí)際輸出Op。向后傳播階段：計(jì)算實(shí)際輸出Op與相應(yīng)的理想輸出Yp的偏差；根據(jù)極小化誤差的方法反向傳播調(diào)整權(quán)值矩陣。

該方法的主要優(yōu)點(diǎn)有：非手工式特征提取，而是自動地進(jìn)行特征提?。粚τ谌祟惢顒臃诸悊栴}，提取到的特征更具識別能力；特征提取與分類統(tǒng)一在一個模型中，它們互相加強(qiáng)，實(shí)現(xiàn)了端到端分類。

1.2.3 閾值法

Bachlin實(shí)驗(yàn)使用Context Recognition Network[16](CRN) Toolbox作為可穿戴設(shè)備，檢測FOG的算法實(shí)現(xiàn)。選取最優(yōu)凍結(jié)閾值，Moore定義了凍結(jié)指數(shù)FI(freeze index)，即freeze帶(3～8Hz)上的功率除以locomotor帶(0.5～3.0 Hz)上的功率所得的比率。這樣，設(shè)定一個凍結(jié)閾值，當(dāng)FI值大于該閾值時，識別出FOG事件。

1.2.4 其他傳統(tǒng)機(jī)器學(xué)習(xí)方法

基于監(jiān)督式的機(jī)器學(xué)習(xí)方法很多，在以往的研究實(shí)驗(yàn)[19]中，研究人員采用以下算法已經(jīng)對DAPHNet數(shù)據(jù)集進(jìn)行過驗(yàn)證。用到的分類器包括：隨機(jī)森林(RF)，決策樹與修剪決策樹(C4.5)，Naive Bayes(NB), Multilayer perceptron(MLP)，AdaBoost，Bagging with pruned C4.5trees。

實(shí)驗(yàn)的檢測性能是基于窗口評估的，并對原始數(shù)據(jù)進(jìn)行了以下預(yù)處理，分別從原始數(shù)據(jù)中計(jì)算出每個窗口中的直流分量(平均值)、信號的標(biāo)準(zhǔn)偏差、方差、頻率成分的分布、信號能量、Freeze Index等作為每個窗口的屬性。訓(xùn)練集和測試集采用10倍交叉驗(yàn)證法。

1.2.5 性能評估參數(shù)

所有評估都是參考由專業(yè)理療醫(yī)生對DAPHNet數(shù)據(jù)集的注釋。為了驗(yàn)證本研究方法的有效性，筆者使用的評估參數(shù)有靈敏性、特異性及正確率。

靈敏性表示所有正例即是FOG被分對的比例，衡量了該模型對FOG的識別能力，即

sensitive=TP/(TP+FN)

(4)

特異性表示所有負(fù)例即非FOG被分對的比例，衡量了該模型對非FOG的識別能力，即

specificity=TN/(TN+FP)

(5)

正確率即所有樣例被分類正確的比例，即

accuracy=(TP+TN)/(TP+FP+TN+FN)

(6)

在文獻(xiàn)[19]實(shí)驗(yàn)中，評估指標(biāo)F1是準(zhǔn)確率和召回率的調(diào)和平均值，即

F1=(2×precision×recall)/(precision+recall)

(7)

準(zhǔn)確率 precision=TP/(TP+FP)

(8)

召回率 recall=TP/(TP+FN)

(9)

式中，TP表示預(yù)測正確的FOG樣例，F(xiàn)P表示預(yù)測為非FOG的FOG樣例，TN表示預(yù)測正確的非FOG樣例，F(xiàn)N表示預(yù)測為FOG的非FOG樣例。

2 結(jié)果

2.1 CNN法實(shí)驗(yàn)

表1為每位患者數(shù)據(jù)訓(xùn)練CNN架構(gòu)所對應(yīng)的特征映射數(shù)目。

表1 各患者CNN模型的特征映射參數(shù)

Tab.1 The feature maps parameters of CNN model in each patient

特征圖數(shù)患者12357C11010101010C22020705020C37010507010C410080705060U400400400400400

表2為利用所提出的方法對5名患者數(shù)據(jù)進(jìn)行實(shí)驗(yàn)的結(jié)果，包括檢測FOG癥狀的正確率，靈敏性與特異性。實(shí)驗(yàn)中除各層特征映射數(shù)目不同外，其他參數(shù)設(shè)置相同，調(diào)節(jié)各層特征映射數(shù)以達(dá)到各患者結(jié)果優(yōu)化。

表2 CNN模型檢測FOG結(jié)果

2.2 閾值法實(shí)驗(yàn)

表3為5名患者數(shù)據(jù)閾值法的實(shí)驗(yàn)結(jié)果，包括檢測FOG癥狀的正確率、靈敏性與特異性。

表3 閾值法檢測FOG結(jié)果

2.3 其他傳統(tǒng)機(jī)器學(xué)習(xí)方法實(shí)驗(yàn)

表4為其他機(jī)器學(xué)習(xí)方法基于窗口長度為1 s對DAPHNet數(shù)據(jù)集進(jìn)行分類驗(yàn)證的結(jié)果。分類器包括：隨機(jī)森林(RF)，決策樹與修剪決策樹(C4.5)，Naive Bayes(NB), Multilayer perceptron(MLP)，AdaBoost，Bagging with pruned C4.5trees。從結(jié)果中看出，應(yīng)用隨機(jī)森林(RF)算法所得結(jié)果靈敏性和特異性較高。

表4 機(jī)器學(xué)習(xí)法檢測FOG結(jié)果(1 s窗口)

Tab.4 The FOG detection result for different machine learning algorithms(1 s window)

分類器靈敏性/%特異性/%F1/%RandomForest99.7699.7598.35C4.593.4799.3895.94AdaBoostwithC4.598.3599.7298.37BaggingwithC4.597.5799.5997.60Na?veBayes48.0698.6673.62MLP77.4697.2982.94

3 討論

CNN法與閾值法均使用DAPHNet數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，得到的正確率(Acc)、靈敏性(Sensitivity)和特異性(Specificity)平均值對比結(jié)果如表5所示。深度卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)與閾值法相比，結(jié)果在正確率、靈敏性、特異性方面均有較大提高。分別對每名患者通過閾值法和CNN法得到的預(yù)測值進(jìn)行配對t檢驗(yàn)，所得P值均小于0.05，說明通過本研究提出的CNN法所得實(shí)驗(yàn)結(jié)果顯著，可信度高，表明卷積神經(jīng)網(wǎng)絡(luò)用于PD患者的FOG識別行之有效。

表5 CNN法與閾值法

Tab.5 The comparison between CNN algorithms and threshold method

方法正確率/%靈敏性/%特異性/%閾值法87.3182.5387.68CNN91.4385.5893.63

傳統(tǒng)機(jī)器學(xué)習(xí)方法中，一般都是通過人工提取出特征送入分類器進(jìn)行分類。實(shí)驗(yàn)中隨機(jī)森林算法與AdaBoost with C4.5算法得到的靈敏性和特異性結(jié)果均較高，但是實(shí)驗(yàn)數(shù)據(jù)預(yù)處理部分進(jìn)行了大量的手工提取特征，并且分類模型選擇較困難[19]。卷積神經(jīng)網(wǎng)絡(luò)是機(jī)器學(xué)習(xí)的一種，隨著深度學(xué)習(xí)的膨脹，越來越多的深度模型不斷得到應(yīng)用。這種深度模型需要大量的樣本訓(xùn)練網(wǎng)絡(luò)參數(shù)，可以實(shí)現(xiàn)端到端分類，自動地進(jìn)行特征提取，更能體現(xiàn)出智能化。在以后的研究中，可以學(xué)習(xí)更好的參數(shù)優(yōu)化算法，獲取最優(yōu)的參數(shù)。加深網(wǎng)絡(luò)深度，學(xué)習(xí)到更準(zhǔn)確的特征，以便得到更準(zhǔn)確的分類。

對DAPHNet數(shù)據(jù)集中每位患者的研究表明,每個患者走路姿勢及頻率有很大不同,導(dǎo)致每人的FOG檢測結(jié)果的不同。在這種情況下，用通用數(shù)據(jù)訓(xùn)練的網(wǎng)絡(luò)測試某個特定主體時并非會出現(xiàn)好的結(jié)果。因此，筆者設(shè)計(jì)了一個通用的CNN架構(gòu)，保證除每層特征圖數(shù)目這個參數(shù)外的其他參數(shù)一致，用每位患者自己的數(shù)據(jù)訓(xùn)練這個CNN架構(gòu)去符合自己的步態(tài)識別。實(shí)驗(yàn)中，筆者用5名患者數(shù)據(jù)驗(yàn)證了這個通用架構(gòu)，正如表1所示，每個患者有自己的一套每層特征圖數(shù)，而其他參數(shù)保證不變。因?yàn)槊總€患者都是用自己的數(shù)據(jù)訓(xùn)練的CNN網(wǎng)絡(luò)，保證了每位患者的結(jié)果可靠性。

實(shí)驗(yàn)是在一臺普通的裝有Matlab 2014的計(jì)算機(jī)上運(yùn)行，系統(tǒng)為64位，CPU是3.1 GHz，內(nèi)存是4 GB。筆者以DAPHNet數(shù)據(jù)集中第一名患者為例，其訓(xùn)練集和測試集預(yù)處理后樣本個數(shù)分別為81286與40881，樣本屬性為9維，訓(xùn)練時間約為43 min，測試所需時間約為4 min。本研究中的模型雖顯示出比閾值法的優(yōu)越性，但不一定是結(jié)果最好的模型。最后，相信未來CNN方法一定能取得更好的分類結(jié)果。

4 結(jié)論

有效的特征提取和選擇方法是識別人類活動問題的關(guān)鍵。本研究針對帕金森病患者的步態(tài)凍結(jié)信號提出了一種新的方法自動地進(jìn)行特征提取和分類。該方法基于建立一個深度卷積神經(jīng)網(wǎng)絡(luò)模型研究多通道的時間序列信號。該深度架構(gòu)主要采用卷積和池化操作捕捉傳感器信號在不同時間段內(nèi)的顯著特征，將捕捉到的所有顯著特征系統(tǒng)地統(tǒng)一到多個通道內(nèi)，最后映射出人類活動的不同類別。實(shí)驗(yàn)結(jié)果可觀，較以往的閾值法實(shí)驗(yàn)取得了不錯的成果。本實(shí)驗(yàn)所提出的方法只是針對線下檢測FOG癥狀，下一步研究工作將尋找醫(yī)院合作進(jìn)行在線FOG檢測。

[1] Nutt JG, Bloem BR, Giladi N, et al. Freezing of gait: moving forward on a mysterious clinical phenomenon.[J]. Lancet Neurology, 2011, 10(8):734-744.

[2] Macht M, Kaussner YJ, Stiasny-Kolster K, et al. Predictors of freezing in Parkinson′s disease: a survey of 6,620 patients.[J]. Movement Disorders, 2007, 22(7):953-956.

[3] Giladi N, Mcdermott MP, Fahn S, et al. Freezing of gait in PD: prospective assessment in the DATATOP cohort.[J]. Neurology, 2001, 56(12):1712-1721.

[4] 李利, 劉晶, 羅蔚鋒,等. 帕金森病凍結(jié)步態(tài)研究進(jìn)展[J]. 中華神經(jīng)科雜志, 2014, 47(8):565-567.

[5] Morris TR, Cho C, Dilda V, et al. A comparison of clinical and objective measures of freezing of gait in Parkinson′s disease.[J]. Parkinsonism & Related Disorders, 2012, 18(5):572-577.

[6] Hausdorff JM, Schaafsma JD, Balash Y, et al. Impaired regulation of stride variability in Parkinson′s disease subjects with freezing of gait.[J]. Experimental Brain Research, 2003, 149(2):187-194.

[7] Moore ST, Macdougall HG, Ondo WG. Ambulatory monitoring of freezing of gait in Parkinson′s disease[J]. Journal of the Neurological Sciences, 2008, 167(2):340-348.

[8] Arnaud D, Snijders AH, Vivian W, et al. Objective detection of subtle freezing of gait episodes in Parkinson′s disease[J]. Movement Disorders, 2010, 25(11):1684-1693.

[9] Giladi N. Freezing of gait. Clinical overview.[J]. Advances in Neurology, 2001, 87(2):191-197.

[10] Macht M, Kaussner YJ, Stiasny-Kolster K, et al. Predictors of freezing in Parkinson′s disease: a survey of 6,620 patients.[J]. Movement Disorders, 2007, 22(7):953-956.

[11] HashimotoT. Speculation on the responsible sites and pathophysiology of freezing of gait[J]. Parkinsonism & Related Disorders, 2006, 12(S2):S55-S62.

[12] Hausdorff JM, Balash Y, Giladi N. Time series analysis of leg movements during freezing of gait in Parkinson′s disease: akinesia, rhyme or reason?[J]. Physica A Statistical Mechanics & its Applications, 2003, 321(3-4):565-570.

[13] Bonato P, Sherrill DM, Standaert DG, et al. Data mining techniques to detect motor fluctuations in Parkinson′s disease[C]//Proceedings of the 26th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. San Francisco:IEEE,2004:4766-4769.

[14] Moore ST, Macdougall HG, Ondo WG. Ambulatory monitoring of freezing of gait in Parkinson′s disease[J]. Journal of the Neurological Sciences, 2008, 167(2):340-348.

[15] Tay A, Yen SC, Lee PY, et al. Freezing of Gait (FoG) detection for Parkinson Disease[C] //Tay A, 2015 10th Asian Control Conference. Kota Kinabal: IEEE, 2015:1-6.

[16] Marc B, Meir P, Daniel R, et al. Wearable assistant for Parkinson′s disease patients with the freezing of gait symptom.[J]. IEEE Transactions on Information Technology in Biomedicine, 2010, 14(2):436-446.

[17] Hausdorff JM, Balash Y, Giladi N. Time series analysis of leg movements during freezing of gait in Parkinson′s disease: akinesia, rhyme or reason?[J]. Physica A Statistical Mechanics &its Applications, 2003, 321(3-4):565-570.

[18] Popovic MB, Djuric-Jovicic M, Radovanovic S, et al. A simple method to assess freezing of gait in Parkinson′s disease patients[J]. Brazilian Journal of Medical And Biological Research, 2010, 43(9):883-889.

[19] Mazilu S, Hardegger M, Zhu Z, et al. Online detection of freezing of gait with smartphones and machine learning techniques[C]//2012 6th International Conference on Pervasive Computing Technologies for Health Care and Workshops. San Diego: IEEE, 2012:123-130.

[20] Tripoliti EE, Tzallas AT, Tsipouras MG, et al. Automatic detection of freezing of gait events in patients with Parkinson′s disease[J]. Computer Methods & Programs in Biomedicine, 2012, 110(1):12-26.

[21] Saad A, Zaarour I, Guerin F, et al. Detection of freezing of gait for Parkinson′s disease patients with multi-sensor device and Gaussian neural networks[J]. International Journal of Machine Learning & Cybernetics, 26 Dec 2015:1-14[Epub ahead of print].

[22] 孫濤, 吳海豐, 梁志剛,等. SMOTE算法在不平衡數(shù)據(jù)中的應(yīng)用[J]. 北京生物醫(yī)學(xué)工程, 2012,1(5):528-530.

[23] Sánchez-Gutiérrez ME, Albornoz EM, Martinez-Licona F, et al. Deep learning for emotional speech recognition[C]//Proceedings of 6th Mexican Conference on Pattern Recognition. Cancun: Springer, 2014. 311-320

[24] Zhao Yue, Xu Yan,WangHui, et al. Cross-language transfer speech recognition using deep learning [C]//2014 11th IEEE International Conference on Control & Automation (ICCA 2014).Taichung:IEEE,2014:1422-1426.

[25] Yan Zhennan, Zhan Yiqiang, PengZhigang, et al. Multi-instance deep learning: discover discriminative local anatomies for bodypart recognition.[J]. IEEE Transactions on Medical Imaging, 2016,35(5):1332-1343.

[26] Druzhkov PN, Kustikova VD. A survey of deep learning methods and software tools for image classification and object detection[J]. Pattern Recognition & Image Analysis, 2016, 26(1):9-15.

Detection of Freezing of Gait for Parkinson′s Disease Patients Based on Deep Convolutional Neural Networks

Wang Jinjia*Liu Qingyu Chen Hao

SchoolofInformationScienceandEngineer,YanshanUniversity,Qinhuangdao066004,Hebei,China)

The freezing of gait(FOG)is the most common symptoms of late-stage Parkinson′s disease. The sudden attack of FOG can cause patients walking trouble. It is an effective and feasible treatment method to equip patients with wearable device assistant which can detect FOG. When the FOG attack is detected, the wearable device provides patients with the rhythm of the auditory signal to HELP the recovery of walking. In this article, in view of FOG detection, we proposed a systemic feature learning method. This method used a convolutional neural network based on deep learning to automatically conduct feature learning from the original input signals. And a supervised learning method was adopted to improve learned features′ recognition capability using tag information. In the entire network model, feature learning and classification reinforced each other to make the whole network more stable and more intelligent, which was verified by the DAPHNet datasets. Compared with the previous threshold method, the average correct rate was increased to 91.43%, the sensitivity was increased to 85.58% and the specificity was increased to 93.63%. To some extent, the proposed method could alleviate the FOG of patients with Parkinson′s disease, and reduce the number of falls, which is of great significance to improve the ability of daily life of the patients and the quality of life.

Parkinson′s disease; the gait freeze identification; deep learning; convolutional neural network

10.3969/j.issn.0258-8021. 2017. 04.005

2016-04-27， 錄用日期:2016-09-30

國家自然科學(xué)基金(61473339)；河北省青年拔尖人才支持計(jì)劃資助項(xiàng)目([2013]17)；中國博士后科學(xué)基金(2014M561202)

R318

A

0258-8021(2017) 04-0418-08

*通信作者(Corresponding author)，E-mail: wjj@ysu.edu.cn