基于雙目視覺的帕金森癥狀量化識別方法研究

張 凱，牟新剛

(武漢理工大學(xué) 機(jī)電工程學(xué)院，湖北 武漢430070)

帕金森病(Parkinson's disease, PD)[1]是老年人中一種常見神經(jīng)性系統(tǒng)疾病。據(jù)統(tǒng)計，中國有超過300萬的帕金森病患者，約占全世界帕金森病患者的一半，是世界上帕金森病患者最多的國家。臨床上帕金森癥的主要表現(xiàn)為運(yùn)動遲緩、姿勢步態(tài)障礙、肌強(qiáng)直和靜止性震顫。目前對帕金森癥的運(yùn)動學(xué)研究主要是通過可穿戴式傳感器和電子步道系統(tǒng)等采集患者運(yùn)動數(shù)據(jù)進(jìn)而進(jìn)行分析研究。William等[2]設(shè)計一個4.9 m的電子步道系統(tǒng)來采集帕金森病患者在快速、慢速以及正常速度行走狀態(tài)下的相關(guān)步態(tài)特征進(jìn)行對比分析，分析發(fā)現(xiàn)帕金森病患者的步長會相對變短，而步頻會變快。Rana等[3]使用長為10 m的電子步道和一個連接在背部的加速度計提取了患者的14個步態(tài)特征參數(shù)，將這些參數(shù)作為支持向量機(jī)(support vector machine, SVM)和隨機(jī)森林(random forest, RF)的輸入?yún)?shù)特征，并使用10折交叉驗證和ROC(receiver operating characteristic curve)曲線下的面積進(jìn)行帕金森病評估。電子步道鋪設(shè)較為麻煩，對場地要求也比較高，容易受到空間限制。Chiang等[4]使用可編程芯片系統(tǒng)加上壓力傳感器，開發(fā)了一種便攜式足底壓力采集和分析系統(tǒng)，并將該系統(tǒng)放置在足底收集帕金森病患者足底壓力信號。Lin等[5]在鞋墊上放置了壓力傳感器，并在護(hù)膝上放置了慣性傳感器，以收集和分析有關(guān)用戶的足底壓力和膝蓋壓力的數(shù)據(jù)。Jeon等[6]使用由加速度計和陀螺儀組成的可穿戴設(shè)備測量了帕金森病患者的震顫信號，并使用加速度、角速度、位移和角度信號進(jìn)行分析,從每個信號中提取19個特征以此來評估帕金森病人的病情。但與此同時，大量的傳感器安裝在患者身上會對患者造成一定的負(fù)擔(dān)，影響實驗結(jié)果的準(zhǔn)確性。

基于以上分析，筆者提出了一種基于雙目視覺的帕金森癥狀量化識別方法。搭建雙目視覺采集系統(tǒng)記錄帕金森病人在運(yùn)動功能檢測流程中的視頻數(shù)據(jù)，計算出人體運(yùn)動信號，在此信號基礎(chǔ)上提取相關(guān)特征參數(shù)，最后構(gòu)建出分類模型進(jìn)行帕金森病識別。

1 系統(tǒng)及流程介紹

研究所使用的帕金森步態(tài)數(shù)據(jù)采集系統(tǒng)如圖1所示，其中包括兩臺工業(yè)相機(jī)、相機(jī)同步系統(tǒng)和相機(jī)固定裝置。相機(jī)通過底座安裝在鋁合金型材上，型材安裝在相機(jī)固定支架上，相機(jī)采用的是大恒水星工業(yè)相機(jī)，型號為MER-125-30UM，幀率可調(diào)，該相機(jī)具有較高的分辨率，可通過外部硬件觸發(fā)進(jìn)行兩臺相機(jī)之間同步，能穩(wěn)定工作在各種環(huán)境下。

圖1 帕金森步態(tài)數(shù)據(jù)采集系統(tǒng)實物圖

為了計算步態(tài)相關(guān)參數(shù)，需在實驗對象身上人工安裝光學(xué)標(biāo)記點。光學(xué)標(biāo)記點為反光小球，其外表面鍍有金屬反射層以及涂有反光粉，能將大部分光線按照原路徑反射回去，在圖像上可以清晰地成像為白色小圓，以便進(jìn)行標(biāo)記物提取。實驗動作選取帕金森癥綜合評分量表(unified parkinson’s disease rating scale, UPDRS)[7]中手指捏合實驗(finger pinch, FP)、腳趾拍地實驗(toes stand the ground, TSG)和步態(tài)實驗(gait)。

整個系統(tǒng)工作流程如圖2所示。實驗對象按照指定實驗流程完成動作，相機(jī)以視頻形式記錄病人完成動作的過程，并通過USB(universal serial bus)將視頻存儲在計算機(jī)中，通過對視頻數(shù)據(jù)進(jìn)行標(biāo)記點跟蹤、提取、三維重建得到運(yùn)動信號，并進(jìn)行特征提取，最后構(gòu)建分類模型進(jìn)行帕金森識別。

圖2 系統(tǒng)工作流程圖

2 運(yùn)動數(shù)據(jù)提取

2.1 標(biāo)記點提取

在采集到的原圖像上涵蓋的信息眾多，需要消除噪聲、背景等其他干擾的影響因素，只提取出需要的信息。標(biāo)記點的提取步驟為：

(1)標(biāo)記點圖像提取。首先利用目標(biāo)跟蹤算法得到標(biāo)記點相關(guān)的ROI(region of interest)區(qū)域，便于后續(xù)標(biāo)記點的提取，同時可以減少背景信息的干擾?？紤]本文標(biāo)記點的光照特性，使用相關(guān)濾波算法[8]進(jìn)行目標(biāo)跟蹤并對跟蹤之后得到的ROI區(qū)域圖像進(jìn)行閾值化處理，同時將ROI區(qū)域外圖像全部設(shè)置為背景黑色，但仍存在原圖中較亮物體的干擾。筆者采用一種基于圖像連通域面積分析方法消除過大或者過小的圖像孔洞。其采用4鄰接方法表示連通域，遍歷整個圖像找出圖像中包含多少個連通域，然后計算出連通域含有的像素點個數(shù)，再依據(jù)連通域面積閾值判斷當(dāng)前連通域是否需要消除，如果需要消除則將當(dāng)前連通域灰度值置為0。標(biāo)記點圖像提取結(jié)果如圖3所示。

圖3 標(biāo)記點圖像提取結(jié)果

(2)標(biāo)記點圓心坐標(biāo)提取。為提取標(biāo)記點圓心坐標(biāo)，首先需要提取標(biāo)記點邊緣，筆者采用基于Zernike矩[9]的亞像素邊緣提取方法。圖像亞像素邊緣理想模型如圖4所示，直線L中與單位圓相交部分表示為理想邊緣，兩邊的灰度值分別為h和h+k，l表示原點到邊緣線L的距離，α為l與x軸所成的夾角。

圖4 亞像素邊緣理想模型

亞像素邊緣提取過程如下:

(a)首先計算7×7的Zernike矩模板系數(shù)。

(b)將Canny處理之后的圖像與模板做卷積運(yùn)算得到7個Zernike矩。

(c)對每個像素點計算邊緣參數(shù)l、α和k。

(d)根據(jù)l和k判斷當(dāng)前邊緣點是否滿足條件，如果滿足條件，則利用式(1)計算當(dāng)前邊緣點的亞像素坐標(biāo)(xs,ys)。如果不滿足則轉(zhuǎn)入下一個邊緣點進(jìn)行判斷，直到遍歷完所有的邊緣點。

(1)

式中，(x,y)為亞像素邊緣理想模型中心點坐標(biāo)，N=7。

最后根據(jù)提取到的標(biāo)記點圖像邊緣利用最小二乘法擬合圓心坐標(biāo),其結(jié)果如圖5所示。

圖5 圓心坐標(biāo)提取結(jié)果

(3)標(biāo)記點圓心三維坐標(biāo)提取。筆者使用兩個相機(jī)構(gòu)成立體視覺以對標(biāo)記點進(jìn)行三維坐標(biāo)提取。雙目定位原理如圖6所示，使用雙目相機(jī)成像，空間點P在左右兩臺相機(jī)C1和C2的圖像平面上的成像點分別為P1和P2。P1和P2在相機(jī)C1和C2中是唯一確定的，而O1P1和O2P2兩條直線相交于點P，則點P位置唯一確定。

圖6 雙目定位原理

通過標(biāo)定得到兩臺相機(jī)的投影矩陣，以不同坐標(biāo)系下坐標(biāo)對應(yīng)關(guān)系，采用最小二乘法即可求出點P的空間三維坐標(biāo)。標(biāo)記點圓心三維坐標(biāo)提取結(jié)果如圖7所示。

圖7 圓心三維坐標(biāo)提取

2.2 特征參數(shù)提取

根據(jù)手指捏合實驗中大拇指和食指標(biāo)記點相對距離變化計算手指捏合實驗運(yùn)動信號；腳趾拍地實驗以初始腳趾上方標(biāo)記點位置為原點，計算不同時刻標(biāo)記點與原點距離得到腳趾拍地實驗運(yùn)動信號；步態(tài)實驗根據(jù)左右腳踝處標(biāo)記點位置變化得到對應(yīng)運(yùn)動信號。

在各實驗動作運(yùn)動信號基礎(chǔ)上進(jìn)行特征參數(shù)提取。文中帕金森病研究所提取的特征參數(shù)包括手指捏合實驗、腳趾拍地實驗兩組實驗提取得到的變異系數(shù)CV(coefficient of variation)、均方根、DFA(detrended fluctuation analysis)標(biāo)度指數(shù)和近似熵APEN(approximate entropy)，以及步態(tài)實驗的兩組離散步態(tài)對稱性指標(biāo)。

(1)變異系數(shù)反映了實驗對象在完成實驗動作過程中產(chǎn)生的運(yùn)動信號的離散程度，它是概率統(tǒng)計中一種常見指標(biāo)。變異系數(shù)的計算公式為：

(2)

式中：Cv為變異系數(shù)；σ為樣本標(biāo)準(zhǔn)差；μ為樣本均值。

(2)均方根(root mean sguare, RMS)是運(yùn)動遲緩量化研究領(lǐng)域中常用的特征參數(shù)，與帕金森病人運(yùn)動遲緩特性相關(guān)。均方根計算公式為:

(3)

式中:RMS為均方根；N為序列長度；Xi為樣本值。

(3)DFA標(biāo)度指數(shù)。DFA標(biāo)度指數(shù)反映了生物信號對應(yīng)的時間序列具有相關(guān)性和可預(yù)測性[10]。其計算過程如下：

(a)對于一個序列x(1),x(2),…，x(N),N為序列的總長度，對該序列計算其累積離差,得到新的序列X(1),X(2),…，X(N),其計算方法為：

(4)

(c)對每個子序列進(jìn)行多項式擬合，得到的擬合函數(shù)稱為局部趨勢函數(shù)。設(shè)擬合階數(shù)為n，每個子序列的n階局部趨勢為ns(i),濾除對應(yīng)局部趨勢后得到新的序列為Xs(i)。

Xs(i)=X(i)-ns(i),i=1,2,…,2M

(5)

(d)對每個子序列對應(yīng)區(qū)間求均方根得到DFA波動函數(shù)。

(6)

一般F(h)與h呈冪函數(shù)關(guān)系，對兩者取對數(shù)，然后利用最小二乘擬合方法得到lgF(h)和lg (h)線性曲線的斜率α，α為一個Hurst指數(shù)，被稱為標(biāo)度指數(shù)或者相關(guān)性系數(shù)，表示序列的相關(guān)性。文中計算標(biāo)度指數(shù)時h取值為7。

(4)近似熵。對于人體運(yùn)動產(chǎn)生的信號使用近似熵衡量時，近似熵值越大，表明其對應(yīng)的時間序列越復(fù)雜，重復(fù)性運(yùn)動信號中產(chǎn)生新模式的概率越大[11]。近似熵的具體計算過程如下：

(a)存在一個總長度為N的序列X(1),X(2),…,X(N)。

(b)定義一個正整數(shù)m對序列進(jìn)行重構(gòu)，即以m為窗對時間序列進(jìn)行劃分成k個序列(k=N-m+1),劃分后的每個序列表示為xi(t),xi+1(t),…,xi+m-1(t)。

(c)計算每個序列與其他所有序列之間的距離。序列間的距離取兩個序列中對應(yīng)元素差值絕對值的最大值，如式(7)所示，并將所有序列距離計算結(jié)果按行存入表中。

(7)

(8)

式中，閾值r=α×SD,α為0.2～0.25的系數(shù)，SD表示序列的標(biāo)準(zhǔn)差。

(e)將m加1，重復(fù)步驟(b)、步驟(c)和步驟(d)。

(f)利用式(9)計算近似熵。

ApEn=Φm(r)-Φm+1(r)

(9)

由于計算近似熵的過程中r和m為需要確定的參數(shù)。根據(jù)實踐研究，m通常取2或3，r選取需要根據(jù)序列的標(biāo)準(zhǔn)差來決定。文中m取2，r=0.2SD(SD為標(biāo)準(zhǔn)差)。

(5)離散步態(tài)對稱性指標(biāo)。離散步態(tài)檢驗指標(biāo)常使用絕對對稱指數(shù)(absolute symmetry index, ASI)和對稱角度(symmetry angle, SA)來評價步態(tài)對稱性[12]。絕對對稱指數(shù)表示如下：

(10)

式中:X1和X2分別為人體左步長和右步長。當(dāng)ASI等于0時，步態(tài)兩側(cè)完全對稱，當(dāng)ASI等于100%時，步態(tài)完全非對稱。

對稱角度計算公式如下：

(11)

(12)

式中:當(dāng)SA等于0時，步態(tài)兩側(cè)完全對稱，當(dāng)SA等于100%時，步態(tài)完全非對稱。

3 分類模型構(gòu)建

支持向量機(jī)SVM是一種基于統(tǒng)計學(xué)理論的監(jiān)督學(xué)習(xí)方法，可以用作數(shù)據(jù)分類以及回歸等問題。SVM的主要思想是尋找數(shù)據(jù)樣本的最大邊距超平面(maximum margin hyperplane),使得數(shù)據(jù)樣本距離超平面最大。對于數(shù)據(jù)樣本,SVM需要構(gòu)建的超平面方程表示為wTx+b=0,wT為權(quán)重，b為偏置。對于分類問題，則有：

s.t.yi(wTxi+b)≥1-ξiξi≥0

(13)

式中:ξi為第i個樣本點允許偏移的間隔，這是為了增加模型的泛用性；c為懲罰系數(shù)。懲罰系數(shù)默認(rèn)為最大值1.0，但是懲罰系數(shù)過大時容易產(chǎn)生過擬合現(xiàn)象，過小又會導(dǎo)致模型識別效果較差，因此需要根據(jù)不同的模型選取不同的值。

4 帕金森癥狀識別

4.1 數(shù)據(jù)采集

在受試者同意的情況下進(jìn)行實驗樣本采集。所有受試人員按照要求完成手指捏合實驗、腳趾拍地實驗和步態(tài)實驗，總共采集到160個數(shù)據(jù)，其中80個為帕金森組(PD)；80個為正常健康組(normal people, NP)，帕金森組人員具有不同程度的病情；健康組人員無明顯殘疾或者步態(tài)障礙等帕金森病特征。

4.2 評價標(biāo)準(zhǔn)

采用的評價標(biāo)準(zhǔn)包括準(zhǔn)確率、精確率、召回率和F1分?jǐn)?shù)。

準(zhǔn)確率(Accuracy)表示實驗中所有被正確檢測的樣本數(shù)與所有樣本之比。

(14)

式中:TP為正樣本中被檢測為正的樣本數(shù)；FP為負(fù)樣本中被檢測為正的樣本數(shù)；TN為負(fù)樣本中被檢測為負(fù)的樣本數(shù)；FN為正樣本中被檢測為負(fù)的樣本數(shù)。

精確率(Precision)表示實驗中檢測到的正樣本中正確的樣本數(shù)與檢測到的所有正樣本數(shù)據(jù)之比。

(15)

召回率(Recall)表示實驗中檢測到的正樣本中正確的樣本數(shù)與實際正樣本數(shù)之比。

(16)

F1分?jǐn)?shù)(F1-Score)為精確率和召回率的加權(quán)調(diào)和平均數(shù)，其值越高則說明分類效果越好。

(17)

5 實驗結(jié)果與分析

圖8和圖9分別為正常人和帕金森病人在手指捏合實驗中所對應(yīng)的運(yùn)動信號。從圖8和圖9可知，帕金森病人運(yùn)動信號相對于正常人更加混亂，節(jié)律性較差，運(yùn)動過程中容易出現(xiàn)震顫現(xiàn)象導(dǎo)致信號出現(xiàn)波動情況。因此，在相應(yīng)運(yùn)動信號基礎(chǔ)上提取對應(yīng)特征參數(shù)可用于區(qū)分帕金森病人和正常人。

圖8 正常人運(yùn)動信號

圖9 帕金森病人運(yùn)動信號

帕金森組成員(PD)和正常對照組成員(NP)的特征參數(shù)如圖10所示。

圖10 PD組和NP組特征參數(shù)對比

圖10中FP_DFA、TSG_DFA、FP_APEN、TSG_APEN、FP_CV、TSG_CV、FP_RMS、TSG_RMS分別表示手指捏合實驗和腳趾拍地實驗對應(yīng)的DFA標(biāo)度指數(shù)、近似熵、變異系數(shù)和均方根，ASI和SA分別表示兩種離散步態(tài)對稱性指標(biāo)。從圖10可知，帕金森病患者的平均DFA指數(shù)小于健康人，表明其長程相關(guān)性相比于正常健康人更低；帕金森病患者近似熵值大于正常人，這一結(jié)果表明，帕金森病患者運(yùn)動信號更加混亂，運(yùn)動過程中產(chǎn)生新模式的概率更大；帕金森病患者的變異系數(shù)和均方根參數(shù)小于正常人，反映了其運(yùn)動遲緩性；帕金森病患者ASI指數(shù)比正常人顯著降低，SA指數(shù)高于正常人，反映了帕金森病人的步態(tài)不對稱性。

筆者構(gòu)建SVM模型進(jìn)行帕金森病識別，為了減少數(shù)據(jù)集劃分方法帶來的影響，采用10折交叉驗證法進(jìn)行訓(xùn)練和測試。SVM模型中核函數(shù)選取為徑向核函數(shù)，g取0.25，當(dāng)誤差值小于0.001時停止訓(xùn)練，使用網(wǎng)格搜索得到不同懲罰系數(shù)對應(yīng)帕金森病人與正常人分類模型誤差如圖11所示，選取懲罰系數(shù)為0.6時誤差最小，模型結(jié)果如表1所示。

圖11 不同懲罰系數(shù)對應(yīng)誤差

表1 模型性能評估結(jié)果 %

從表1可知，在帕金森病人和健康人分類實驗中，SVM模型取得了較好的分類效果，其準(zhǔn)確率、召回率、精確率和F1分?jǐn)?shù)達(dá)到95%、94.56%、96.66%和95.6%。

6 結(jié)論

筆者提出了一種基于雙目視覺的帕金森病識別方法，通過在人體身上放置光學(xué)標(biāo)記點，對標(biāo)記點進(jìn)行圖像提取、圓心計算和三維重建得到人體運(yùn)動信號，在此信號基礎(chǔ)上提取DFA標(biāo)度指數(shù)、近似熵和離散步態(tài)對稱性指標(biāo)等特征，以此構(gòu)建分類模型進(jìn)行帕金森病識別。實驗結(jié)果表明，該方法可以較好地識別出帕金森病人與正常人，可以輔助醫(yī)生更好地診斷和治療帕金森病。