步態(tài)骨骼模型的協(xié)同表示識(shí)別方法*

關(guān)桂珍，楊天奇

暨南大學(xué) 信息科學(xué)技術(shù)學(xué)院，廣州 510632

1 引言

步態(tài)識(shí)別作為生物識(shí)別技術(shù)的一種典型代表，相比其他識(shí)別技術(shù)（人臉識(shí)別、語(yǔ)音識(shí)別和虹膜識(shí)別等），因其可遠(yuǎn)距離識(shí)別、難以偽造和不需要配合等獨(dú)特優(yōu)勢(shì)成為研究熱點(diǎn)[1]，并在門禁系統(tǒng)、醫(yī)療診斷和人機(jī)交互等領(lǐng)域具有很好的應(yīng)用前景。但在目前的研究發(fā)展中，各種約束因素（環(huán)境變化、服飾、攜帶條件等）使得步態(tài)識(shí)別在實(shí)際應(yīng)用上仍存在挑戰(zhàn)。

傳統(tǒng)的步態(tài)識(shí)別主要用普通的攝像機(jī)來(lái)記錄目標(biāo)的行走，大部分研究都基于所捕獲的個(gè)體輪廓圖使用非模型[2-3]或構(gòu)建模型[4-5]的方法進(jìn)行步態(tài)分析?；诜悄Ｐ偷姆椒ㄓ?jì)算量小，但對(duì)光照和背景敏感，當(dāng)目標(biāo)具有攜帶物或有遮擋物時(shí)，不準(zhǔn)確的步態(tài)輪廓成為研究難題。而構(gòu)建模型的方法是針對(duì)人體運(yùn)動(dòng)規(guī)律特征建立的，對(duì)環(huán)境、遮擋問(wèn)題有很好的魯棒性，但是這類方法計(jì)算復(fù)雜，對(duì)序列圖像清晰度要求高。因此有必要研究一種計(jì)算量小，對(duì)視頻清晰度要求不太高，且當(dāng)受各種攜帶條件約束影響時(shí)仍具有魯棒性的新方法。

微軟在2010年發(fā)布了廉價(jià)、高性能配置的體感控制器Kinect，此后基于Kinect的研究已涉及到模式識(shí)別、虛擬現(xiàn)實(shí)和人機(jī)交互等各個(gè)領(lǐng)域。研究表明[6]可以用Kinect作為解釋和跟蹤三維人體姿態(tài)的運(yùn)動(dòng)捕捉系統(tǒng)。與傳統(tǒng)的彩色攝像頭相比，Kinect可以直接獲取人體骨骼關(guān)節(jié)點(diǎn)的三維數(shù)據(jù)。如Preis等人[7]基于骨骼信息定義了11個(gè)靜態(tài)生物特征與2個(gè)動(dòng)態(tài)特征，但沒(méi)有很好地融合特征，從其實(shí)驗(yàn)結(jié)果可看出，采用全部動(dòng)靜態(tài)特征的識(shí)別率沒(méi)有只用一部分靜態(tài)特征的識(shí)別率高。Ball等人[8]提取了18個(gè)關(guān)于下肢體關(guān)節(jié)的角度變化的動(dòng)態(tài)特性，Araujo等人[9]提取了骨骼長(zhǎng)度和身高等總共11個(gè)特征作為靜態(tài)特征。這兩種方法只片面研究了動(dòng)態(tài)或靜態(tài)特征，缺少其中一方面的信息會(huì)影響識(shí)別效果。Andersson等人[10-11]將基于鐘擺模型[4]提取出的下肢夾角的統(tǒng)計(jì)特征、步長(zhǎng)、周期時(shí)間和速度作為特征，但這種方法只考慮了下肢的動(dòng)態(tài)信息，不夠全面。Kastaniotis等人[12]提出使用稀疏表示對(duì)步態(tài)骨骼特征進(jìn)行識(shí)別的方法。稀疏表示分類方法（sparse representation based classification，SRC）[13]利用最小化l1范式重構(gòu)測(cè)試樣本來(lái)提高識(shí)別效果，但代價(jià)是增加了計(jì)算復(fù)雜度。Zhang等人[14]在人臉識(shí)別中對(duì)稀疏表示與協(xié)同表示深入研究，發(fā)現(xiàn)是類之間的協(xié)同性起到了關(guān)鍵作用。相比稀疏表示，協(xié)同表示具有計(jì)算簡(jiǎn)單、效果明顯等優(yōu)勢(shì)，因此在步態(tài)識(shí)別中值得進(jìn)一步地探討協(xié)同表示識(shí)別方法。

研究表明[15]在行走過(guò)程中人體總質(zhì)心（total center of mass，TCOM）呈規(guī)律性變化。在基于輪廓圖的步態(tài)識(shí)別研究中，許多工作[16]將質(zhì)心作為一個(gè)重要的特征，但目前TCOM仍未被用到步態(tài)3D骨骼模型中。基于以上研究，本文提出一種基于TCOM與骨骼信息并結(jié)合協(xié)同表示分類器（collaborative representation based classification，CRC）進(jìn)行特征融合的步態(tài)識(shí)別方法，以全面考慮問(wèn)題。選擇Kinect采集的3D骨骼數(shù)據(jù)進(jìn)行研究，對(duì)動(dòng)態(tài)特征進(jìn)行小波分解和頻譜分析，并通過(guò)把動(dòng)態(tài)時(shí)間規(guī)整與協(xié)同表示結(jié)合將動(dòng)態(tài)特征與靜態(tài)特征加權(quán)融合，最后根據(jù)最近鄰準(zhǔn)則進(jìn)行分類識(shí)別。實(shí)驗(yàn)使用Matlab對(duì)目前所知公開(kāi)的樣本數(shù)量較大的UPCV數(shù)據(jù)庫(kù)[12]和Andersson等人[11]發(fā)布的數(shù)據(jù)庫(kù)進(jìn)行仿真，結(jié)果表明，本文方法取得了較好的識(shí)別效果。

2 步態(tài)骨骼模型分析

2.1 步態(tài)骨骼模型與質(zhì)心

根據(jù)人體測(cè)量學(xué)可知，每個(gè)人的關(guān)節(jié)點(diǎn)位置和骨骼尺寸比例都不相同，在某種行動(dòng)下體態(tài)也各不相同，理論上可根據(jù)人體關(guān)鍵關(guān)節(jié)點(diǎn)和骨骼模型進(jìn)行身份識(shí)別。而在行走過(guò)程中質(zhì)心更是綜合人體信息的一個(gè)重要度量，在步態(tài)識(shí)別研究中，一般質(zhì)心都是基于輪廓圖用平均輪廓點(diǎn)的方法獲得的。質(zhì)心是指質(zhì)量中心，顯然在骨骼模型上單純地求各個(gè)關(guān)節(jié)點(diǎn)的坐標(biāo)平均值未能體現(xiàn)出質(zhì)心的定義，不夠精準(zhǔn)。于是本文使用在臨床評(píng)估上將Kinect用作動(dòng)作捕捉系統(tǒng)來(lái)精準(zhǔn)測(cè)量TCOM的方法[17]。

Kinect能夠直接獲取20個(gè)骨骼關(guān)節(jié)點(diǎn)的三維坐標(biāo)。基于人體模型和整個(gè)身體運(yùn)動(dòng)關(guān)聯(lián)性[18]，可把人體合理地分為15部分：頭部、軀干、左/右上臂、左/右前臂、左/右手部、盆骨、左/右大腿、左/右小腿和左/右腳部。根據(jù)人體模型的劃分和其參數(shù)（見(jiàn)表1）分別算出每個(gè)部分的分質(zhì)心（part center of mass，PCOM）：

其中，i=1,2,…,15；xp、yp和zp是近端點(diǎn)的坐標(biāo)值；xd、yd和zd是遠(yuǎn)端點(diǎn)的坐標(biāo)值；wp和wd分別是近端點(diǎn)和遠(yuǎn)端點(diǎn)的坐標(biāo)值百分比系數(shù)。根據(jù)加權(quán)平均法，TCOM計(jì)算如式（2）。

其中，mi是第i個(gè)分區(qū)質(zhì)量；M是人體總質(zhì)量；xi、yi和zi是第i個(gè)PCOM的坐標(biāo)值。將提取的TCOM的三維坐標(biāo)投影到Z軸上，得到在X-Y坐標(biāo)系上質(zhì)心在骨骼模型中的軌跡如圖1所示。以上所用的樣本數(shù)據(jù)來(lái)自UPCV數(shù)據(jù)庫(kù)，Kincet放置在行走路徑的左側(cè)，攝像頭方向與其形成30°角，因此原始數(shù)據(jù)會(huì)隨著與攝像頭的距離的改變而改變?？梢?jiàn)，由上述方法提取出人在正常狀態(tài)下行走的質(zhì)心軌跡更為合理。

Fig.1 TCOM trajectory圖1 質(zhì)心軌跡

2.2 步態(tài)骨骼特征提取

研究表明[15]選用人體質(zhì)心軌跡作為步態(tài)特征可以進(jìn)行個(gè)體識(shí)別，但僅僅靠質(zhì)心作為唯一的信號(hào)輸入顯得過(guò)于單一。且每個(gè)人都是正常行走，質(zhì)心波動(dòng)也不會(huì)有太大的顯著性差異，因此隨著樣本數(shù)量增加，質(zhì)心的運(yùn)動(dòng)軌跡的相似度也會(huì)增加，這種情況下會(huì)使識(shí)別效果變差。因此，本文將質(zhì)心與骨骼模型中其他具有豐富運(yùn)動(dòng)特征的步態(tài)信息結(jié)合，這樣既可以反應(yīng)人體在行走過(guò)程中各個(gè)部分的相對(duì)變化，又能使特征更為豐富和全面。

Table 1 Body segment parameters表1 人體分區(qū)參數(shù)

2.2.1 動(dòng)態(tài)特征

在人行走過(guò)程中，人體的四肢具有豐富動(dòng)態(tài)信息，是關(guān)鍵的步態(tài)信息來(lái)源。雙腳質(zhì)心與總質(zhì)心之間形成的角度會(huì)隨著行走的步伐有著周期性的變化。同理，人在行走時(shí)腳著地到腳抬起也是個(gè)周期過(guò)程，可知總質(zhì)心到雙腳質(zhì)心之間所形成直線的距離也有著周期性的波動(dòng)變化。除此外，在行走中手部也會(huì)隨之而擺動(dòng)，這個(gè)動(dòng)態(tài)信息也不可忽視，因此還選取了手前臂質(zhì)心、手上臂質(zhì)心與總質(zhì)心之間的角度作為特征。選取的動(dòng)態(tài)特征分別記為Dyn1、Dyn2和Dyn3，如圖2（a）、（b）和（c）所示。

Fig.2 Primeval features圖2 原始特征

特征的計(jì)算分別如下：

其中，C為TCOM，Ci為第i個(gè)PCOM（見(jiàn)圖2中的標(biāo)注），且向量CiCj=Cj-Ci，|CiCj|為其模。在穿大衣的情況下，Kinect仍能獲取人體關(guān)節(jié)點(diǎn)，但若出現(xiàn)障礙物或突然改變方向時(shí)，關(guān)節(jié)點(diǎn)的位置會(huì)出現(xiàn)偏移而有誤差，因此提取出來(lái)的特征值也會(huì)受到影響。小波分解可通過(guò)伸縮平移對(duì)信號(hào)進(jìn)行空間頻域的局部化分析，逐步將信號(hào)尺度細(xì)化，分解為低頻和高頻信息。其中的高頻信息是快速變化的部分，是信號(hào)的突變，存在著噪聲信息。提取出的步態(tài)動(dòng)態(tài)特征實(shí)質(zhì)上是步態(tài)的離散信號(hào)，為了有效地消除外界干擾，對(duì)步態(tài)信號(hào)進(jìn)行小波分解，保留低頻信息的同時(shí)對(duì)高頻信息進(jìn)行軟閾值量化處理，再將處理過(guò)的信息進(jìn)行小波重構(gòu)。

選用Haar小波[19]進(jìn)行分解，設(shè)其基尺度函數(shù)為φ(t)，基小波函數(shù)為ψ(t)，k=0,1,…,2j-1。標(biāo)準(zhǔn)化后，可得尺度函數(shù)與小波函數(shù)如下：

為了避免丟失有用的步態(tài)信息，選擇進(jìn)行單尺度小波分解，以達(dá)到消除干擾而又保留步態(tài)特征的效果。原信號(hào)的小波分解和本文選擇的軟閾值η的計(jì)算公式分別如下：

其中，cj(k)為尺度系數(shù)；dj(k)為小波系數(shù)；|X|為輸入信號(hào)的長(zhǎng)度。

圖3給出了Dyn1特征的原信號(hào)和軟閾值量化的重構(gòu)信號(hào)?？梢?jiàn)，原信號(hào)中在第10幀附近時(shí)因干擾出現(xiàn)一些突出的局部極值，經(jīng)過(guò)小波分解后有效消除了這些干擾。雖然得到較好的周期信號(hào)，但是在時(shí)域上觀察時(shí)各個(gè)序列的特征值很類同，顯著性差異還不夠明顯。進(jìn)一步突出特征的差異性和顯著性，選用離散傅里葉變換將重構(gòu)后的時(shí)域信號(hào)轉(zhuǎn)為分析其頻譜，變換公式如下：

其中，x為輸入信號(hào)；xc為核函數(shù)中心；σ為函數(shù)的寬度參數(shù)；將通過(guò)高斯濾波函數(shù)后的信號(hào)記為Sg。為了進(jìn)一步表征信號(hào)的動(dòng)態(tài)特性，最后引入信號(hào)的差分譜，計(jì)算公式如下：

圖4給出了經(jīng)過(guò)高斯濾波的離散傅里葉變換后的相位、幅值、一階差分和二階差分圖，得到的頻域信息和差分信息構(gòu)成最終的步態(tài)動(dòng)態(tài)特征。

Fig.3 Wavelet analysis of gait signal圖3 步態(tài)信號(hào)的小波分析

Fig.4 Spectrum and difference spectrum圖4 頻譜與差分譜

2.2.2 靜態(tài)特征

步態(tài)3D骨骼模型與其他模型相比，最明顯的優(yōu)勢(shì)在于骨骼模型很直觀地給出人體各個(gè)關(guān)節(jié)點(diǎn)的位置，可以直接測(cè)量出人體骨骼的長(zhǎng)度。本文選擇了5個(gè)具有顯著性差異的個(gè)體固有特征，分別為高度、雙肩長(zhǎng)、手臂長(zhǎng)、上身軀干長(zhǎng)和腿長(zhǎng)。由于人體手臂和腿部具有對(duì)稱性，本文選取左右兩邊加和平均作為其長(zhǎng)度值。第Pi個(gè)關(guān)節(jié)點(diǎn)到第Pj個(gè)關(guān)節(jié)點(diǎn)的骨骼長(zhǎng)度，計(jì)算公式如下：

此外，人體四肢的PCOM到TCOM的距離也包含著重要信息，PCOM可由式（1）計(jì)算得到。由表1可以發(fā)現(xiàn)，人體各分區(qū)的質(zhì)量占總質(zhì)量比值不同，且左右兩側(cè)是對(duì)稱的，選擇考慮右側(cè)的上臂、前臂、大腿和小腿這4部分質(zhì)心到總質(zhì)心的距離便足以，分別記為d1、d2、d3和d4。如圖2（d）所示，計(jì)算公式與式（9）相似。最后將這些距離度量的均值mean與標(biāo)準(zhǔn)差std作為最終的靜態(tài)特征Sta：

3 協(xié)同表示識(shí)別方法

3.1 協(xié)同表示

稀疏表示與協(xié)同表示的核心思想都是通過(guò)訓(xùn)練樣本與稀疏系數(shù)來(lái)重構(gòu)出測(cè)試樣本，以最小的重構(gòu)誤差作為分類依據(jù)，若測(cè)試樣本屬于某一類，則除了該類以外其他系數(shù)都為0，因此稀疏系數(shù)a的求解成為分類的關(guān)鍵所在。設(shè)測(cè)試樣本為y，稀疏字典為X，求解問(wèn)題如下：

其中，ε為常數(shù)；p通常取0或1。而求解l0范式是NP難題，因此SRC采用l1范式去理論逼近l0范式[20]，但由于其不可避免的迭代優(yōu)化步驟和需要其稀疏字典過(guò)完備的條件，使得求解過(guò)程仍存在耗時(shí)大、處理復(fù)雜等問(wèn)題。協(xié)同表示[14]用l2范式來(lái)取代稀疏表示中的l1范式，并根據(jù)拉格朗日公式和正則化的最小二乘法可進(jìn)一步將求解問(wèn)題轉(zhuǎn)化如下：

式中，λ是正則化參數(shù)。第一項(xiàng)表示訓(xùn)練樣本的重構(gòu)程度，并通過(guò)與第二項(xiàng)求最小值來(lái)約束樣本，防止出現(xiàn)過(guò)擬合。根據(jù)最小二乘法求解如下：

這種方法不僅可穩(wěn)定地得到解，還可以使求得的系數(shù)具有稀疏性，降低了計(jì)算復(fù)雜度。

3.2 與骨骼模型結(jié)合的CRC步態(tài)識(shí)別

將步態(tài)骨骼模型與CRC識(shí)別方法結(jié)合，存在的關(guān)鍵問(wèn)題是每個(gè)人不同的行走速度使得獲得的特征維度不同，特別是具有周期性的動(dòng)態(tài)特征，而對(duì)每個(gè)特征進(jìn)行維度歸整會(huì)導(dǎo)致信息的丟失。為了使CRC方法應(yīng)用到步態(tài)識(shí)別中，采用將動(dòng)態(tài)時(shí)間規(guī)整（dynamic time warping，DTW）與CRC結(jié)合的方法解決以上問(wèn)題。DTW方法可以對(duì)長(zhǎng)度不一的信息進(jìn)行直接度量，先使用DTW將特征值投影到相異空間，再通過(guò)CRC方法得到每個(gè)特征的匹配分?jǐn)?shù)并加權(quán)融合，最后根據(jù)最近鄰算法分類。

算法在步態(tài)骨骼模型中的CRC識(shí)別算法

輸入：步態(tài)3D骨骼數(shù)據(jù)庫(kù)。

輸出：識(shí)別率。

訓(xùn)練階段：

步驟1分別求出訓(xùn)練集中m個(gè)序列的原始動(dòng)態(tài)特征，并進(jìn)行小波分解得到低頻信息與高頻信息，對(duì)高頻信息進(jìn)行軟閾值加權(quán)后重構(gòu)信號(hào)。

步驟2對(duì)每個(gè)重構(gòu)后的信號(hào)使用離散傅里葉變換和高斯濾波器，得到頻域譜。

步驟3分別求得每個(gè)頻域譜的一階差分和二階差分，得到差分譜，將頻域譜和差分譜結(jié)合構(gòu)成最終的動(dòng)態(tài)特征DynR。

步驟4求出靜態(tài)特征StaR。

步驟5分別對(duì)每個(gè)特征使用DTW算法求得m×m的相異度量矩陣Xi。

步驟6對(duì)每個(gè)Xi去掉主對(duì)角線（值為0）的元素，采用最近鄰準(zhǔn)則得出每個(gè)特征的識(shí)別率作為匹配分?jǐn)?shù)si。

步驟7設(shè)定每個(gè)特征的權(quán)重為其錯(cuò)誤率的倒數(shù)，即wi=(1-si)-1。

識(shí)別階段：

步驟1分別求出n個(gè)測(cè)試樣本的最終的動(dòng)態(tài)特征DynT和靜態(tài)特征StaT。

步驟2每個(gè)特征分別與訓(xùn)練集中的特征使用DTW算法求得m×n的相異度量矩陣Yi。

步驟3根據(jù)Xi和Yi計(jì)算出第i個(gè)特征的協(xié)同系數(shù)，公式如下：

步驟4分別對(duì)每個(gè)特征按如下公式計(jì)算重構(gòu)殘差：

步驟5對(duì)得到的重構(gòu)殘差用Min-Max標(biāo)準(zhǔn)歸一化：

步驟6將每個(gè)特征所得的重構(gòu)殘差選用加權(quán)的加法融合得到最終的匹配分?jǐn)?shù)，具體計(jì)算如下所示：

步驟7根據(jù)最近鄰準(zhǔn)則分類，得到識(shí)別率。

4 實(shí)驗(yàn)

4.1 實(shí)驗(yàn)結(jié)果

Andersson等人[11]建立了一個(gè)140個(gè)人的步態(tài)數(shù)據(jù)庫(kù)（Kinect gait raw dataset，KGRD），每個(gè)人從左到右以Kinect為圓心的半圓軌跡順時(shí)針行走，并且有一個(gè)轉(zhuǎn)盤用來(lái)確保Kinect能夠?qū)崟r(shí)跟蹤，以保證人體始終保持在Kinect攝像范圍內(nèi)。每個(gè)人來(lái)回走5次，每個(gè)序列大概有500～600幀數(shù)據(jù)。Kastaniotis等人[12]發(fā)布了含有30個(gè)人的UPCV步態(tài)骨骼數(shù)據(jù)庫(kù)，每個(gè)人包含有5個(gè)步態(tài)序列。目前，數(shù)量較大、公開(kāi)的、基于骨骼的步態(tài)數(shù)據(jù)庫(kù)就是以上所提及到的數(shù)據(jù)庫(kù)。因此，本文采用這兩個(gè)數(shù)據(jù)庫(kù)進(jìn)行實(shí)驗(yàn)。經(jīng)研究發(fā)現(xiàn)，KGRD數(shù)據(jù)庫(kù)因數(shù)據(jù)缺失、周期不足等問(wèn)題，有少部分?jǐn)?shù)據(jù)無(wú)效，最終選取了130個(gè)樣本，每個(gè)樣本含有5個(gè)步態(tài)序列。另外，UPCV數(shù)據(jù)庫(kù)也存在同樣情況，因此對(duì)該數(shù)據(jù)庫(kù)的每個(gè)樣本選取了4個(gè)步態(tài)序列進(jìn)行研究，一共120個(gè)步態(tài)序列。

Kinect攝像頭每秒可以捕捉30幀數(shù)據(jù)，因此處理起來(lái)的數(shù)據(jù)量很大，特別是KGRD數(shù)據(jù)庫(kù)。為了減少計(jì)算量和運(yùn)算時(shí)間，實(shí)驗(yàn)選擇提取一個(gè)步態(tài)周期作為研究。圖5展示了在正常狀態(tài)下人行走時(shí)的骨骼姿態(tài)模型。

Fig.5 Skeleton model display during walking圖5 行走中的步態(tài)骨骼模型顯示

表2給出了本文方法使用不同數(shù)據(jù)庫(kù)的識(shí)別率。為了在不同數(shù)據(jù)庫(kù)之間進(jìn)行比較，實(shí)驗(yàn)中選取了相同的樣本數(shù)量?？梢园l(fā)現(xiàn)，該方法在不同數(shù)據(jù)庫(kù)中得到的識(shí)別效果都比較好，具有一定的魯棒性。對(duì)比可得，不同數(shù)據(jù)庫(kù)對(duì)識(shí)別率有一定的影響，但識(shí)別的效果都不錯(cuò)，在UPCV數(shù)據(jù)庫(kù)的識(shí)別效果最好，達(dá)到96.67%的識(shí)別率。

Table 2 Recognition rate in different databases表2 不同數(shù)據(jù)庫(kù)的識(shí)別率

為了驗(yàn)證文中對(duì)特征的處理效果，對(duì)不同處理下的特征值在UPCV數(shù)據(jù)庫(kù)中進(jìn)行了實(shí)驗(yàn)。如表3所示，原始特征的識(shí)別效果不是很理想，但經(jīng)過(guò)小波分解和重構(gòu)，識(shí)別率有所提升，消除外界干擾的影響起到了作用。最后將空間域轉(zhuǎn)到頻域上分析，提取特征的頻譜和差分譜，進(jìn)一步提高了識(shí)別率。

Table 3 Recognition rate under different treatments表3 不同處理下的識(shí)別率

4.2 性能檢驗(yàn)

進(jìn)一步檢驗(yàn)提出方法的識(shí)別性能，引入受試者工作特征（receiver operating characteristic，ROC）曲線進(jìn)行分析。規(guī)定不同的閾值，得到每個(gè)測(cè)試序列的真陽(yáng)性率（true positive rate，TPR）和假陽(yáng)性率（false positive rate，F(xiàn)PR）后進(jìn)行求和平均，可以得到ROC曲線，如圖6所示。根據(jù)ROC曲線和曲線下的面積（area under curve，AUC）定義可知，越靠近左上角，AUC面積越大，識(shí)別算法的效果越好。由圖6（a）可見(jiàn)，動(dòng)態(tài)和靜態(tài)特征融合后的識(shí)別效果比單獨(dú)動(dòng)態(tài)或靜態(tài)特征的效果要好，圖6（b）展示了不同數(shù)據(jù)庫(kù)中使用此方法的效果都較為理想。ROC曲線里面通常用EER（equal error rate）作為衡量分類器的一個(gè)客觀標(biāo)準(zhǔn)，是一條從（0,1）到（1,0）的直線，也就是真陽(yáng)性率（TPR）=假陽(yáng)性率（FPR）的值。

Fig.6 ROC curve圖6 ROC曲線

4.3 方法比較

目前，國(guó)內(nèi)外基于Kinect獲取的骨骼模型的步態(tài)研究還在初步階段，一個(gè)完備的、公而有力的骨骼步態(tài)數(shù)據(jù)庫(kù)仍未被提出。因此，在骨骼步態(tài)研究中，大部分工作選用自己所采集的骨骼步態(tài)數(shù)據(jù)，且數(shù)據(jù)庫(kù)的樣本數(shù)量較少（如10～20個(gè)人）。表4給出了本文方法與其他方法的識(shí)別率，在對(duì)比實(shí)驗(yàn)時(shí)采用隨機(jī)選取的樣本數(shù)與相關(guān)方法中使用的數(shù)據(jù)集樣本數(shù)相同，進(jìn)行10次隨機(jī)實(shí)驗(yàn)并取平均值作為識(shí)別結(jié)果。經(jīng)對(duì)比可發(fā)現(xiàn)，本文方法相對(duì)于其他方法總體性能都比較好，識(shí)別效果理想。

Table 4 Comparison of different methods表4 不同方法的比較

由于大部分工作都采用私有非公開(kāi)的數(shù)據(jù)庫(kù)，且這些數(shù)據(jù)庫(kù)拍攝的角度、方向和距離等條件差異大。再者，每種方法使用不同的特征、不同的處理方法和不同的分類算法，導(dǎo)致了不同方法之間的對(duì)比困難和缺乏可比較性。為了得到不同方法選取的特征之間貢獻(xiàn)度的更有針對(duì)性的對(duì)比，將不同工作中的分類算法替換為基于DTW的最近鄰（nearest neighbor，NN）算法[21]，并在公開(kāi)的數(shù)據(jù)庫(kù)[12]中不同樣本數(shù)下進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)時(shí)同樣采取隨機(jī)樣本10次后取平均值得到最終識(shí)別率，如圖7所示。結(jié)果表明，本文對(duì)特征進(jìn)行顯著性差異的增強(qiáng)處理和加權(quán)融合的有效處理，使得在相同數(shù)據(jù)、相同識(shí)別方法的情況下，特征貢獻(xiàn)效果優(yōu)于其他方法，且隨著樣本數(shù)增加，識(shí)別效果較為穩(wěn)定。

進(jìn)一步使本文與其他方法有一個(gè)更科學(xué)和有說(shuō)服力的比較，除了跟本領(lǐng)域一些先驅(qū)工作比較外，還與文獻(xiàn)[12]進(jìn)行比較。該方法不僅建立UPCV數(shù)據(jù)庫(kù)，還基于骨骼模型采用稀疏表示作為分類器，與本文的CRC識(shí)別方法進(jìn)行對(duì)比分析。表5給出了在UPCV數(shù)據(jù)庫(kù)中使用30個(gè)人進(jìn)行稀疏表示方法與協(xié)同表示方法的比較結(jié)果，可見(jiàn)兩種方法的識(shí)別效果都不錯(cuò)，本文的協(xié)同表示融合方法識(shí)別效果更優(yōu)。由此可見(jiàn)，本文的分析較為合理，提出的方法具有研究意義。

Fig.7 Recognition rate under different sample numbers圖7 不同樣本數(shù)下的識(shí)別率

Table 5 Comparison of SRC method表5 與SRC的比較

5 結(jié)束語(yǔ)

本文基于Kinect建立的步態(tài)骨骼模型與質(zhì)心信息結(jié)合，提取人體總質(zhì)心與四肢分質(zhì)心相關(guān)的動(dòng)態(tài)和靜態(tài)特征，將動(dòng)態(tài)特征進(jìn)行小波變換后使用離散傅里葉變換的快速算法提取頻譜和差分譜，對(duì)特征的處理體現(xiàn)了步態(tài)關(guān)鍵信息之間的關(guān)聯(lián)性和協(xié)同性，提高了識(shí)別效果。最后給出協(xié)同表示與動(dòng)態(tài)時(shí)間規(guī)整結(jié)合的方法，將步態(tài)特征進(jìn)行加權(quán)融合，再按最近鄰原則分類，最終得到了理想的識(shí)別效果。Kinect相對(duì)傳統(tǒng)攝像頭處于優(yōu)勢(shì)的位置，在穿大衣、有攜帶物等條件下仍能獲取出人體關(guān)節(jié)點(diǎn)，解決了步態(tài)識(shí)別中由于穿著、攜帶物等原因出現(xiàn)的難題。后期將繼續(xù)對(duì)Kinect進(jìn)行研究，進(jìn)一步考慮Kinect可提供的深度圖像與骨骼模型相結(jié)合的步態(tài)識(shí)別。

[1]Li Yibo,Jiang Tianxiao,Qiao Zhihua,et al.General methods and development actuality of gait recognition[C]//Proceedings of the 2007 International Conference on Wavelet Analysis and Pattern Recognition,Beijing,Nov 2-4,2007.Piscataway,USA:IEEE,2007:1333-1340.

[2]Han Ju,Bhanu B.Individual recognition using gait energy image[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2006,28(2):316-322.

[3]Zhang Erhu,Zhao Yongwei,Xiong Wei.Active energy image plus 2DLPP for gait recognition[J].Signal Processing,2010,90(7):2295-2302.

[4]Cunado D,Nixon M S,Carter J N.Automatic extraction and description of human gait models for recognition purposes[J].Computer Vision&Image Understanding,2003,90(1):1-41.

[5]Lu Haiping,Plataniotis K N,Venetsanopoulos A N.A fullbody layered deformable model for automatic model-based gait recognition[J].EURASIP Journal on Advances in Signal Processing,2008:261317.

[6]Bonnechère B,Jansen B,Salvia P,et al.Validity and reliability of the Kinect within functional assessment activities:comparison with standard stereophotogrammetry[J].Gait&Posture,2013,39(1):593-598.

[7]Preis J,Kessel M,Linnhoff-Popien C,et al.Gait recognition with Kinect[C]//Proceedings of the 1st International Workshop on Kinect in Pervasive Computing,Newcastle,Jun 18-22,2012:1-4.

[8]Ball A,Rye D,Ramos F,et al.Unsupervised clustering of people from“skeleton”data[C]//Proceedings of the 7th Annual International Conference on Human-Robot Interaction,Boston,Mar 5-8,2012.New York:ACM,2012:225-226.

[9]Araujo R M,Gra?a G,Andersson V.Towards skeleton biometric identification using the microsoft kinect sensor[C]//Proceedings of the 28th Annual ACM Symposium on Applied Computing,Coimbra,Mar 18-22,2013.New York:ACM,2013:21-26.

[10]Andersson V O,Araujo R M.Full body person identification using the Kinect sensor[C]//Proceedings of the 26th International Conference on Tools with Artificial Intelligence,Limassol,Nov 10-12,2014.Washington:IEEE Computer Society,2014:627-633.

[11]Andersson V O,Araujo R M.Person identification using anthropometric and gait data from Kinect sensor[C]//Proceedings of the 29th AAAI Conference on Artificial Intelligence,Austin,Jan 25-30,2015.Menlo Park:AAAI,2015:425-431.

[12]Kastaniotis D,Theodorakopoulos I,Theoharatos C,et al.A framework for gait-based recognition using Kinect[J].Pattern Recognition Letters,2015,68:327-335.

[13]Wright J,Ma Yi,Mairal J,et al.Sparse representation for computer vision and pattern recognition[J].Proceedings of the IEEE,2010,98(6):1031-1044.

[14]Zhang Lei,Yang Meng,Feng Xiangchu.Sparse representation or collaborative representation:which helps face recognition?[C]//Proceedings of the 2011 International Conference on Computer Vision,Barcelona,Nov 6-13,2011.Washington:IEEE Computer Society,2011:471-478.

[15]Veeraraghavan A,Chowdhury A R,Chellappa R.Role of shape and kinematics in human movement analysis[C]//Proceedings of the 2004 Conference on Computer Vision and Pattern Recognition,Washington,Jun 27-Jul 2,2004.Washington:IEEE Computer Society,2004:730-737.

[16]Chen Xin,Yang Tianqi.Research on gravity center eliminating influence of dress on gait recognition[J].Computer Engineering andApplications,2016,52(5):141-146.

[17]Yeung L F,Cheng K C,Fong C H,et al.Evaluation of the Microsoft Kinect as a clinical assessment tool of body sway[J].Gait&Posture,2014,40(4):532-538.

[18]Winter DA.Biomechanics and motor control of human movement[M].4th ed.New York:John Wiley&Sons,Inc,2009.

[19]Sun Yankui.Wavelet transform and image processing technology[M].Beijing:Tsinghua University Press,2012.

[20]Wu Yang,Jarich V,Mukunoki M,et al.Collaborative representation for classification,sparse or non-sparse?[J].arXiv:1403.1353.

[21]Luo Zhengping,Liu Yanjun,Yang Tianqi.Gait recognition based on decomposition of optical flow components[J].Computer Science,2016,43(9):295-300.

附中文參考文獻(xiàn):

[16]陳欣,楊天奇.不受服飾攜帶物影響的步態(tài)識(shí)別方法[J].計(jì)算機(jī)工程與應(yīng)用,2016,52(5):141-146.

[19]孫延奎.小波變換與圖像、圖形處理技術(shù)[M].北京:清華大學(xué)出版社,2012.

[21]羅正平,劉延鈞,楊天奇.光流分量分解的步態(tài)識(shí)別[J].計(jì)算機(jī)科學(xué),2016,43(9):295-300.