基于關(guān)節(jié)點定位的重點人群步態(tài)分類方法研究

劉巖松 沈馨 沈喆

摘? 要：基于模型的主流步態(tài)識別方法通常過于關(guān)注下肢運動而忽視上肢信息。為解決該方法中上肢信息利用率不足的問題，文章通過改進的ZS細化算法提取到更完整的上肢骨架，同時提出一種基于關(guān)節(jié)點定位的步態(tài)特征提取方法應用于重點人群步態(tài)分類。將細化所得人體骨架與行人輪廓圖相結(jié)合，定位全身10個關(guān)節(jié)點坐標并建立人體模型，利用關(guān)節(jié)角度的時序特征進行分類效果驗證，在中科院CASIA-B數(shù)據(jù)集上進行實驗。實驗結(jié)果表明：該文所提取的步態(tài)特征有較高的識別性能，平均步態(tài)識別率為77.35%，同時使用上下肢進行步態(tài)分類的平均召回率為84%，與僅采用下肢信息相比提高38%。

關(guān)鍵詞：步態(tài)識別；人群分類；關(guān)節(jié)點定位；上肢特征

中圖分類號：TP391.4? ? 文獻標志碼：A? ? 文章編號：2096-4706（2023）02-0073-06

Research on Gait Classification Method of Key Population Based on Joint Point Location

LIU Yansong， SHEN Xin， SHEN Zhe

（College of Civil Aviation， Shenyang Aerospace University， Shenyang? 110136， China）

Abstract： The mainstream gait recognition methods based on model usually pay too much attention to the movement of lower limbs and ignore the information of upper limbs. In order to solve the problem of insufficient utilization of upper limb information in this method， a more complete upper limb skeleton is extracted through the improved ZS thinning algorithm， and a gait feature extraction method based on joint point localization is proposed to apply to the gait classification of key populations. The human skeleton obtained by thinning algorithm is combined with the pedestrian contour map to locate the coordinates of 10 joint points of the whole body. Then the human model could be established. The classification effect is verified by using the time series feature of joint angle， and the experiment is carried out on CASIA-B dataset of Chinese Academy of Sciences. The experimental results show that the gait features extracted in this paper have high recognition performance. The average gait recognition rate is 77.35%， and the average recall rate of gait classification using upper and lower limbs is 84%， which is 38% higher than that using only lower limb information.

Keywords： gait recognition; population classification; joint point location; upper limb characteristic

0? 引? 言

最近幾年，國際局勢的復雜多變對國內(nèi)安全穩(wěn)定形勢造成較大壓力，公安部明確規(guī)定涉恐人員、涉穩(wěn)人員、涉毒人員、在逃人員、重大刑事犯罪前科人員、肇事精神病人、重點上訪人員七類人員為重點人員[1]?；谝曨l圖像的目標跟蹤技術(shù)近年來不斷發(fā)展[2]，利用視頻監(jiān)控進行重點人群分類使視頻監(jiān)控的利用效率得到提高，且有利于公共場所的安全管理與平穩(wěn)運轉(zhuǎn)。利用步態(tài)特征進行身份識別是生物特征識別領(lǐng)域的一個研究熱點[3，4]，行人在肌肉力量、肌腱及骨骼、重心等方面的差異可以唯一標識一個人，因此利用這些差異可以搭建出人體運動模型或直接提取特征實現(xiàn)步態(tài)識別[5]。與其他生物識別特征相比，步態(tài)識別在目標跟蹤方面的優(yōu)勢體現(xiàn)在遠距離識別、非受控性、無需路人配合及難于隱藏偽裝等[6]。

步態(tài)識別的研究方向可以分為基于非模型的和基于模型的方法[7，8]?；诜悄Ｐ偷牟綉B(tài)識別方法直接從人體輪廓中提取步態(tài)特征，主要分為基于步態(tài)圖像序列[9]的方法和基于步態(tài)能量圖[10]的方法?；谀Ｐ偷牟綉B(tài)識別方法是對運動學模型的構(gòu)建，即對人體結(jié)構(gòu)實現(xiàn)建模，并且通過這些模型獲取特征表達，常用的模型包括骨架[11]、橢圓[12]等。

人體運動由骨骼、肌肉以及關(guān)節(jié)協(xié)調(diào)完成，根據(jù)有關(guān)實驗結(jié)論[13，14]，人行走過程中，關(guān)節(jié)角度變化具有穩(wěn)定性，能夠反映出人行走時的步態(tài)變化。在以往的研究中[15，16]，基于視頻的步態(tài)特征提取通常聚焦于下肢，上肢在運動過程中的豐富信息被忽略[17]，因此本文根據(jù)運動過程中各關(guān)節(jié)角度的變化，提出一種基于全身模型的步態(tài)識別方法進行重點人群分類，首先用改進的ZS細化算法進行人體骨架的提取，其次提出基于細化骨架的關(guān)節(jié)點定位方法，建立人體模型并計算出關(guān)節(jié)角度，最后以關(guān)節(jié)角度時間序列作為步態(tài)特征，進行分類識別。在中科院公開的步態(tài)數(shù)據(jù)集中，隨機設(shè)定部分人為重點人員驗證分類效果，實驗結(jié)果顯示，上下肢特征同時輸入分類器中得到的分類召回率高于單獨使用上肢或下肢特征，并且證明本文算法能夠準確區(qū)分重點人群與普通人群。

1? 周期性骨架提取

1.1? 步態(tài)周期檢測

步態(tài)周期檢測是步態(tài)識別任務中的第一個關(guān)鍵環(huán)節(jié)[18]，該環(huán)節(jié)能夠控制輸入序列的長度并影響識別的精度。通過檢測關(guān)鍵狀態(tài)可以直接實現(xiàn)步態(tài)周期檢測[19]，一個步態(tài)周期中的４種關(guān)鍵狀態(tài)如表1所示。

對人體輪廓的外接矩形的寬高比變化曲線進行自相關(guān)分析可以獲取行人的關(guān)鍵狀態(tài)[20]，寬高比變化圖中第一個極小值點對應幀為步態(tài)周期中的狀態(tài)1，第二個極大值點為狀態(tài)2，第二個極小值點為狀態(tài)3，第三個極大值點對應幀為狀態(tài)4。一個行人整個行走過程的寬高比變化圖如圖1所示。

從圖1中可以看出，寬高比在第5、17、29、42、53幀達到極大值點，在第11、23、35、48幀達到極小值點，選取第一個極小值點到第三個極大值點之間的所有幀，即可得到該行人在90°視角下一個完整的步態(tài)周期，如圖2所示。

1.2? 基于細化算法的人體骨架提取

細化算法[21]是一種能夠保持原二值圖像拓撲結(jié)構(gòu)的骨架提取算法，可應用于人體骨架提取。而ZS細化算法[22]是一種并行算法，運行速度快，且細化后曲線連接性好，但無法保證細化結(jié)果為單像素骨架。P1的八鄰域如圖3所示。

ZS細化算法的操作步驟為：

（1）首先將同時滿足以下條件的邊界點進行標記：

a1：2≤N（P1）≤6

a2：S（P1）＝1

a3：P2×P4×P6＝0

a4：P4×P6×P8＝0

a5：P2×P4×P8＝0

a6：P2×P6×P8＝0

其中N（P1）是P1的八鄰域中所有非零點的個數(shù)，S（P1）是以P2，P3，…，P9為變化順序時，該點值從0到1變化的次數(shù)總和，如果前四個條件中有任意條件不滿足，則S（P1）＝2，像素點P1不會被刪除。

（2）只執(zhí)行條件a5和a6，對所有邊界點檢驗完畢后，刪除所有標記點。

重復進行這兩個操作，直至沒有邊界點符合標記的條件，則細化過程完畢，未被刪除的點構(gòu)成骨架，即細化后結(jié)果。

條件a1可以保留骨架端點，條件a2可以避免骨架線上端點之間的點被刪除；條件a3的作用是移除圖像中東南邊界的邊界點，條件a4的作用是移除圖像中西北角的邊界點；條件a5、a6使西北角的點或者東南角的點被刪除。

提取結(jié)果如圖4所示，可以看出將ZS細化算法用于人體骨架提取，所得人體骨架可以清晰地描述人體骨架的走向并保持原圖像人體結(jié)構(gòu)。

1.3? 基于改進ZS細化算法的周期骨架提取

圖5為ZS細化骨架提取結(jié)果，對比原輪廓圖可以看出當一只手臂后擺且與軀干距離較近時，后擺手臂結(jié)構(gòu)易被忽視，如圖6所示，針對后擺手臂缺失的問題，本文對ZS細化算法做出相應的改進。

將條件a1改為3≤N（P1）≤6，該條件使連接數(shù)為2的邊界點被保留，同時亦增加圖像中的冗余像素。因此，本文引入消除模板[23]，用來去除骨架斜線處的冗余像素點。消除模板如圖7所示。

消除模板滿足的五個條件為：

b1：（P2＋P8＝1）＆＆（P4＋P5＋P6＋P9＝0）

b2：（P6＋P8＝1）＆＆（P2＋P3＋P4＋P7＝0）

b3：（P6＋P8＝1）＆＆（P2＋P3＋P4＋P7＝0）

b4：（P2＋P4＝1）＆＆（P3＋P6＋P7＋P8＝0）

b5：P2＋P4＋P6＋P8＝3＆＆P3＋P5＋P7＋P9＝0

消除條件b1～b4用于消除斜線冗余像素。當N（P1）＝3時，P1點可能是分叉點或邊界點，因此引入條件b5用于刪除分叉點處的非骨架像素。

當一只手臂后擺且與軀干相連時，改進后的ZS細化算法與ZS細化算法提取骨架的結(jié)果如圖8所示。

改進的ZS細化算法增加了消除模板，因此提取人體骨架的時間亦增加，但能夠解決后擺手臂骨架丟失的問題，同時不會增加冗余像素。

2? 步態(tài)特征提取

2.1? 基于改進ZS細化算法的周期骨架提取

從解剖學的角度看，人體是由骨、骨連接及骨骼肌組成[24]，骨通過關(guān)節(jié)連成骨骼，構(gòu)成人體支架。在運動中，骨起杠桿作用，關(guān)節(jié)是運動的支點，骨只能在關(guān)節(jié)上在一定范圍內(nèi)按一定自由度運動，不能脫離關(guān)節(jié)[25]?；谶@種運動約束，本文根據(jù)圖9所示人體骨骼模型和細化所得人體骨架分析行人關(guān)節(jié)點位置。

人體在行走過程中，后擺大臂與小臂成直線，后擺肘關(guān)節(jié)點始終在這條直線上，因此本文定位的10個關(guān)節(jié)點分別為頭部、肩關(guān)節(jié)點、前擺手肘關(guān)節(jié)點、兩個手腕關(guān)節(jié)點、髖關(guān)節(jié)點、兩個膝關(guān)節(jié)點、兩個踝關(guān)節(jié)點。各關(guān)節(jié)點連接關(guān)系如圖10所示。

假設(shè)行人全部從右向左行走，以二值圖像的左上頂點為原點（0，0），向右為x軸正方向，向下為y軸正方向，建立坐標系。遍歷行人狀態(tài)1圖像中像素為1的點，由式（1）計算可得該行人人體高度H：

H＝y(tǒng)low－yhigh? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ?（1）

其中yhigh為像素點為1的最高點縱坐標，ylow為最低點縱坐標。

肩關(guān)節(jié)點與髖關(guān)節(jié)點易受衣著、背包等因素影響，且縱坐標位置可由人體骨骼圖確定，因此根據(jù)縱坐標橫向掃描輪廓圖進行定位，其中髖關(guān)節(jié)點掃描結(jié)果有三種[26]，如圖11所示。

圖11中，結(jié)果一形成的原因是兩個手臂與軀干重疊或粘連，目標區(qū)間即為該掃描區(qū)間；結(jié)果二是因為一個手臂與軀干重疊或粘連，另一個手臂與軀干分離，目標區(qū)間為第二個掃描區(qū)間；兩個手臂同時與軀干分離時為掃描結(jié)果三，目標區(qū)間為最大掃描區(qū)間。

肩關(guān)節(jié)點與髖關(guān)節(jié)點提取過程如表2所示。

表2中，xsl表示肩部目標區(qū)間的左端點橫坐標，Ls代表肩部寬度，xhl表示髖部目標區(qū)間的左端點橫坐標，Lhip表示髖部寬度。

當手臂前擺且與軀干分離時，易在骨架圖中尋得指尖Pfinger位置，以指尖Pfinger為圓心，手掌長度0.108H為半徑作圓，該圓與骨架的交點即為前擺手腕關(guān)節(jié)點Pwrist1。

肘關(guān)節(jié)是小臂與大臂的交點，大臂在運動時無法脫離肩關(guān)節(jié)，小臂始終與腕關(guān)節(jié)相連，因此前肘關(guān)節(jié)點的定位問題可以用解析幾何來分析，如圖12所示。

已知前擺手腕關(guān)節(jié)點Pwrist1坐標和肩關(guān)節(jié)點Pshoulder坐標，小臂長度0.145H，大臂長度0.188H，以Pwrist1為圓心，0.145H為半徑作圓，以Pshoulder為圓心，0.188H為半徑作圓，兩圓在圓心連線下方的交點即為前擺肘關(guān)節(jié)點Pelbow。

由式（2）（3）（4）（5）分別可計算出頭部中心點、后擺手腕關(guān)節(jié)點、膝關(guān)節(jié)點、踝關(guān)節(jié)點：

Phead＝{（x， y） | y＝0.065H，SK（x， y）＝1}? ? ? ? （2）

Pwrist2＝{（x， y） | SK（x， y）＝1，disk（Pshoulder， Pwrist2）＝0.24H}（3）

Pknee＝{（x， y） | SK（x， y）＝1，disk（Phip， Pknee）＝0.245H}（4）

Pankle＝{（x， y） | SK（x， y）＝1，disk（Pknee， Pankle）＝0.25H}（5）

式中SK（x， y）表示骨架圖中（x， y）坐標點像素值，disk（P1， P2）表示P1與P2之間的距離。

依據(jù)上述方法所得關(guān)節(jié)點與文獻[15]方法相比，本文在下肢關(guān)節(jié)點定位的基礎(chǔ)上，準確定位頭部、肩部、手腕以及前擺手肘關(guān)節(jié)點。將各關(guān)節(jié)點相連，即可得到完整的人體模型，如圖13所示。

2.2? 關(guān)節(jié)角度計算與時序特征提取

僅通過二值圖像無法判斷左右腳及左右手臂，因此本文僅討論關(guān)節(jié)點的前后，不考慮左右的區(qū)別。本文所用的關(guān)節(jié)角度如圖14所示。

依據(jù)式（6）計算：

（6）

其中（xa， ya）表示在所求夾角邊上的關(guān)節(jié)點坐標，（xb， yb）表示所求夾角的頂點關(guān)節(jié)坐標。

由式（6）計算得關(guān)節(jié)角度在一個步態(tài)周期內(nèi)變化的時間序列，其中大腿和小腿4個關(guān)節(jié)角度定義為下肢關(guān)節(jié)角度、手臂、手肘及頸部4個關(guān)節(jié)角度定義為上肢關(guān)節(jié)角度，上下肢關(guān)節(jié)角度和軀干關(guān)節(jié)角度定義為全身關(guān)節(jié)角度。關(guān)節(jié)角度變化對比如圖15所示。

從圖15中可以看出，不同行人的關(guān)節(jié)角度變化差異較大，而同一行人的時序相似。最直接的特征提取方法是通過基本統(tǒng)計量來進行特征提取[27]，因此本文選擇利用有量綱的時域特征來描述關(guān)節(jié)角度變化的時間序列，包括最大值、最小值、均值、方差、偏度、峰度以及熵，進行歸一化處理后得到最后的特征向量。

3? 實驗數(shù)據(jù)統(tǒng)計與分析

本文選擇中科院CASIA-B數(shù)據(jù)集作為實驗數(shù)據(jù)集，選取數(shù)據(jù)集中124個人90°視角下，4個正常行走的序列作為訓練集，1個正常行走的序列作為測試集，以MATLAB 2020b為實驗平臺進行兩部分的實驗。一是對本文方法進行步態(tài)識別實驗，用三種不同的分類器驗證與分析本文方法的識別性能；二是進行重點人群步態(tài)分類實驗，統(tǒng)計不同的特征分類的召回率和精確率作為實驗結(jié)果，分析上下肢與全身關(guān)節(jié)角度特征對分類結(jié)果的影響。

本文方法的步態(tài)識別結(jié)果如表3所示，從表中看，將全身關(guān)節(jié)角度作為步態(tài)特征進行識別時識別率最高，下肢關(guān)節(jié)角度識別率最低，使用支持向量機作為分類器時識別率最高，最高識別率為82.26%。

重點人群分類實驗選擇將124個人中的隨機某五個人定義為重點人員，將支持向量機分類得到的標簽作為小標簽，是否為重點人員作為大標簽。例如將前5名認為是重點人員，其實際小標簽為1～5，實際大標簽全為2，若待測樣本中預測小標簽為1～5中的任意數(shù)，則該樣本的預測大標簽為2。實驗結(jié)果如表4所示。

人群分類的精確率全部達到100%，即所識別的重點人員實際全為重點人員。從表4中看，單獨使用下肢關(guān)節(jié)角度特征進行步態(tài)分類召回率僅為46%，單獨使用上肢關(guān)節(jié)角度特征召回率則為68%，利用全身關(guān)節(jié)角度特征進行分類實驗平均召回率能夠達到84%，即能夠在124個人當中找出4.2名重點人員。

從兩個實驗的結(jié)果來看，本文方法解決了視頻圖像上肢信息利用率不足的問題，僅利用上肢關(guān)節(jié)角度進行步態(tài)分類時效果并不低于下肢關(guān)節(jié)角度，甚至優(yōu)于下肢特征，而全身關(guān)節(jié)角度可以更好地表示步態(tài)特征

4? 結(jié)? 論

本文提出了一種基于關(guān)節(jié)點定位的步態(tài)分類方法，通過改進的ZS細化算法獲取完整人體骨架，根據(jù)人體骨骼模型定位全身關(guān)節(jié)點，計算出關(guān)節(jié)角度，并依據(jù)全身關(guān)節(jié)角度特征進行步態(tài)識別，充分利用上肢信息。

首先，根據(jù)寬高比變化曲線確定步態(tài)周期，在ZS細化算法的基礎(chǔ)上，保留邊界數(shù)為2的點，同時引入消除模板，保留后擺手臂結(jié)構(gòu)且去除冗余像素點，得到一個步態(tài)周期內(nèi)的人體骨架信息。

其次，在人體運動約束的基礎(chǔ)上，根據(jù)人體骨架信息和輪廓圖定位出全身10個關(guān)節(jié)點，包括上肢手臂、手肘關(guān)節(jié)，建立人體模型，以此計算出關(guān)節(jié)角度并得到關(guān)節(jié)角度時間序列的統(tǒng)計特征。

最后，本文實驗目的是驗證本文所提取上肢特征對于步態(tài)分類的有效性，因此不同于當前步態(tài)識別領(lǐng)域的研究成果，僅利用統(tǒng)計特征進行分類驗證，忽略了更多時域和頻域特征。

后續(xù)工作包括以下兩點：

（1）進一步提高關(guān)節(jié)點提取的魯棒性，研究如何在行人背包的狀態(tài)下得到精確的關(guān)節(jié)數(shù)據(jù)，并從關(guān)節(jié)角度的時序變化中挖掘出更有效的特征。

（2）在挖掘有效特征的基礎(chǔ)上，尋找精度更高的步態(tài)識別方法。

參考文獻：

[1] 陳建，胡長海.淺析新形勢下重點人員動態(tài)管控對策 [J].河南警察學院學報，2013，22（4）：57-60.

[2] 李璽，查宇飛，張?zhí)熘?，?深度學習的目標跟蹤算法綜述 [J].中國圖象圖形學報，2019，24（12）：2057-2080.

[3] 孫哲南，赫然，王亮，等.生物特征識別學科發(fā)展報告 [J].中國圖象圖形學報，2021，26（6）：1254-1329.

[4] 柴艷妹，夏天，韓文英，等.步態(tài)識別研究進展 [J].計算機科學，2012，39（6）：10-15+46.

[5] 朱應釗，李嫚.步態(tài)識別現(xiàn)狀及發(fā)展趨勢 [J].電信科學，2020，36（8）：130-138.

[6] 王科俊，丁欣楠，邢向磊，等.多視角步態(tài)識別綜述 [J].自動化學報，2019，45（5）：841-852.

[7] Singh J P，Jain S，Arora S，et al.A survey of behavioral biometric gait recognition： current success and future perspectives [J].Archives of Computational Methods in Engineering，2019，28（1）：1-42.

[8] 李貽斌，郭佳旻，張勤.人體步態(tài)識別方法與技術(shù) [J].吉林大學學報：工學版，2020，50（1）：1-18.

[9] 王亮，胡衛(wèi)明，譚鐵牛.基于步態(tài)的身份識別 [J].計算機學報，2003（3）：353-360.

[10] JU H，BIR B. Individual Recognition Using Gait Energy Image [J].Ieee Transactions on Pattern Analysis and Machine Intelligence，2005，28（2）：316-322.

[11] 劉玉棟，蘇開娜，馬麗.一種基于模型的步態(tài)識別方法 [J].計算機工程與應用，2005（9）：88-92.

[12] LEE L，GRIMSON W E L. Gait analysis for recognition and classification [C]//Proceedings of Fifth IEEE International Conference on Automatic Face Gesture Recognition.Washington：IEEE，2002：1-8.

[13] 楊年峰.人體運動協(xié)調(diào)規(guī)律及其參數(shù)化描述 [D].北京：清華大學，2001.

[14] 馬越，丁浩.人行走過程中膝關(guān)節(jié)角度特征研究 [J].刑事技術(shù)，2019，44（4）：322-326.

[15] 周倩，孫運強，姚愛琴，等.基于人體關(guān)節(jié)點定位的步態(tài)識別技術(shù)研究 [J].國外電子測量技術(shù)，2019，38（1）：52-56.

[16] 初凱.基于下肢關(guān)節(jié)點運動關(guān)系的特定人群步態(tài)識別 [J].山東農(nóng)業(yè)大學學報：自然科學版，2020，51（6）：1170-1174.

[17] MOATAZ E，CHRISTOPHER K，JEONGHOON O，et al. Microsoft kinect can distinguish differences in over-ground gait between older persons with and without parkinson's disease [J].Medical Engineering and Physics，2016，44：1-7.

[18] 徐怡博.步態(tài)周期檢測方法研究 [D].哈爾濱：哈爾濱工程大學，2018.

[19] 趙喜玲，張曉惠.基于動態(tài)特征和靜態(tài)特征融合的步態(tài)識別方法 [J].湘潭大學自然科學學報，2017，39（4）：89-91.

[20] WANG L，TAN T，NING H Z，et al.Silhouette analysis-based gait recognition for human identification [J].IEEE Trans Pattern Anal Mach Intell，2003，25（12）：1505-1518.

[21] 韓建峰，宋麗麗.改進的字符圖像細化算法 [J].計算機輔助設(shè)計與圖形學學報，2013，25（1）：62-66.

[22] ZHANG T Y，SUEN C Y. A fast parallel algorithm for thinning digital patterns [J].Commun ACM，1984，27（3）：236-239.

[23] 常慶賀，吳敏華，駱力明.基于改進ZS細化算法的手寫體漢字骨架提取 [J].計算機應用與軟件，2020，37（7）：107-113+164.

[24] 王晏.人體下肢運動分析[D].大連：大連理工大學，2005.

[25] 王建輝，徐秀林.人體下肢動力學建模與仿真研究現(xiàn)狀 [J].中國康復理論與實踐，2012，18（8）：731-733.

[26] 孫怡，王晏，宋植官.基于圖像信息的人體下肢關(guān)節(jié)定位 [J].中國生物醫(yī)學工程學報，2007（1）：157-160.

[27] 林珠，邢延.數(shù)據(jù)挖掘中適用于分類的時序數(shù)據(jù)特征提取方法 [J].計算機系統(tǒng)應用，2012，21（10）：224-229.

作者簡介：劉巖松（1963—），男，漢族，遼寧沈陽人，教授，碩士研究生，研究方向：交通信息工程及控制；沈馨（1995—），女，漢族，江蘇儀征人，碩士在讀，研究方向：交通信息工程及控制；沈喆（1980—），女，漢族，遼寧鞍山人，講師，博士，研究方向：圖像處理。

收稿日期：2022-07-31

基金項目：遼寧省教育廳青年科技人才“育苗”項目（JYT2020130）；痕跡檢驗鑒定技術(shù)公安部重點實驗室開放課題（HJKF201907）；公安部文件檢驗重點實驗室開放課題（FTKF202102）