黃凱 周旭輝 梅健 鄒青宇
摘 要 歸納了壓力感知方向的步態(tài)識(shí)別技術(shù)近年來的研究現(xiàn)狀,分別闡述可穿戴式傳感器和地板壓力傳感器兩種應(yīng)用方向,并分析、對(duì)比各自的優(yōu)勢與不足。最后對(duì)壓力感知方向的步態(tài)識(shí)別技術(shù)進(jìn)行了展望。
關(guān)鍵詞 步態(tài)識(shí)別 壓力感知 傳感器 人工智能
中圖分類號(hào) TP212.9? ?文獻(xiàn)標(biāo)識(shí)碼 A? ?文章編號(hào) 1000-3932(2023)04-0406-05
步態(tài)識(shí)別作為一種生物特征識(shí)別技術(shù),在身份識(shí)別、健康檢測及智能家居等應(yīng)用場景中具有極大的發(fā)展空間,與人臉、指紋及虹膜等其他生物技術(shù)相比,傳統(tǒng)的步態(tài)識(shí)別不需要人為的接觸,可以使用攝像機(jī)遠(yuǎn)距離采集步態(tài)信息。此外NIXON M研究發(fā)現(xiàn),人的步態(tài)特征具有唯一性[1],從而使步態(tài)識(shí)別在安全防護(hù)、智能監(jiān)控等領(lǐng)域有可觀的發(fā)展空間[2]。
步態(tài)識(shí)別在1994年被首次提出[3]。與過去基于機(jī)器視覺的步態(tài)研究相比,近些年隨著傳感器的更新和發(fā)展,采用壓力傳感器來采集信號(hào)再通過算法進(jìn)行步態(tài)識(shí)別的研究已成為一個(gè)比較熱門的方向。因此,基于可穿戴傳感器和基于地板傳感器的步態(tài)識(shí)別[4]在步態(tài)識(shí)別技術(shù)的研究中脫穎而出,其中基于地板傳感器和可穿戴傳感器的系統(tǒng)以傳感器為核心部件來采集數(shù)據(jù)。根據(jù)所使用的傳感器類型,基于可穿戴的步態(tài)識(shí)別系統(tǒng)一般分為兩種:表面肌電圖(Surface Electromyography,SEMG)系統(tǒng)和微機(jī)電系統(tǒng)(Microelectro Mechanical Systems,MEMS);基于地板傳感器的系統(tǒng)可分為3種:壓電式傳感器系統(tǒng)、壓阻式傳感器系統(tǒng)和電容式傳感器系統(tǒng)。
1 基于可穿戴傳感器的步態(tài)識(shí)別
1.1 可穿戴傳感器的發(fā)展現(xiàn)狀
壓力傳感器能夠?qū)碜酝饨绲哪M信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)方便人們進(jìn)行觀察分析,依據(jù)不同傳感原理設(shè)計(jì)的傳感器具有多種多樣的特點(diǎn)與其各自適用的場景[5]。隨著研究者們對(duì)壓力傳感器的深入研究,目前,數(shù)據(jù)采集和特征提取被普遍應(yīng)用到柔性壓力傳感器上,柔性壓力傳感器的設(shè)計(jì)指標(biāo)主要在于靈敏度、響應(yīng)時(shí)間、數(shù)據(jù)準(zhǔn)確性及穩(wěn)定性等性能?;诳纱┐鱾鞲衅鞯牟綉B(tài)識(shí)別對(duì)于柔性壓力傳感器的選用需要從腳底的舒適度、設(shè)備價(jià)格與性能、適用條件等諸多的因素來綜合考慮。云服務(wù)技術(shù)的興起,推動(dòng)了可穿戴傳感器對(duì)于數(shù)據(jù)采集與傳輸?shù)难芯堪l(fā)展[6]。筆者主要從3個(gè)方面總結(jié)了可穿戴傳感器的步態(tài)識(shí)別:基于下肢傳感器、基于足底傳感器、基于多傳感器。
1.2 基于下肢傳感器的步態(tài)識(shí)別
下肢運(yùn)動(dòng)是通過人體各個(gè)肌肉相互協(xié)調(diào)配合形成的動(dòng)作,各個(gè)肌肉在運(yùn)動(dòng)中的作用各有不同,因此要實(shí)現(xiàn)步態(tài)識(shí)別的功能,需要用多個(gè)傳感器對(duì)各個(gè)部位分別采集信息,整個(gè)系統(tǒng)一般由4個(gè)主要模塊組成:數(shù)據(jù)采集模塊,使用傳感器對(duì)下肢運(yùn)動(dòng)參數(shù)進(jìn)行采集;無線傳輸模塊,將采集的數(shù)據(jù)傳到PC端;電源模塊,為傳感器提供動(dòng)力;數(shù)據(jù)處理模塊,對(duì)傳輸來的數(shù)據(jù)進(jìn)行整理、比對(duì)和分析。
基于下肢傳感器的方法一般采用表面肌電圖系統(tǒng),肌電信號(hào)由有源表面電極收集。MEHMOOD A等用腿部的兩個(gè)關(guān)鍵肌肉區(qū)域放置的可穿戴式肌電圖傳感器[7],檢測肌肉疲勞,評(píng)估跌倒的風(fēng)險(xiǎn)。與表面肌電圖系統(tǒng)類似,表皮傳感器系統(tǒng)也被放置在皮膚上進(jìn)行檢測,KIM K K等研究了一種基于深度神經(jīng)網(wǎng)絡(luò)裂紋檢測的新型電子皮膚,該皮膚呈蛇形,能夠適應(yīng)皮膚表面[8]。
吳平平等用獲取的單肌肉表面肌電信號(hào)和加速度信號(hào)來識(shí)別步態(tài)信息[9]。選定股直肌作為實(shí)驗(yàn)相關(guān)肌肉,采集其表面肌電和加速度信號(hào),采用小波去噪原理降低外界干擾對(duì)數(shù)據(jù)采集造成的影響,采用核主成分分析(Kernel Principal Components Analysis,KPCA)方法[10]對(duì)數(shù)據(jù)進(jìn)行信息融合,利用支持向量機(jī)(Support Vector Machine,SVM)算法[11]與BP神經(jīng)網(wǎng)絡(luò)分別建模,最后獲得了較高的識(shí)別率,但其仍然面臨舒適性差、數(shù)據(jù)類型不全面等問題。
1.3 基于足底傳感器的步態(tài)識(shí)別
足部是人體運(yùn)動(dòng)中使用最頻繁的部位,足底壓力包含豐富的步態(tài)信息,可用于識(shí)別人體狀態(tài)。然而,足底壓力受年齡、穿戴、身體狀態(tài)及外界環(huán)境等諸多因素的影響。因此學(xué)者們對(duì)足底壓力分布特征進(jìn)行了統(tǒng)計(jì)分析,并研究出各種形式的足底壓力信息收集方法及步態(tài)識(shí)別方法與算法?;谧愕讉鞲衅鞯姆椒ù蠖嗖捎脺y力鞋墊系統(tǒng),需要對(duì)足底部位進(jìn)行分區(qū)研究。根據(jù)人體生物力學(xué)研究,支撐相和搖擺相是正常人體完成一個(gè)行走周期的必要?jiǎng)幼?,支撐相可以?xì)分為足跟著地期、負(fù)荷反應(yīng)期和足尖離地期[12]。
宋禮文等提出一種算法,對(duì)足部運(yùn)動(dòng)數(shù)據(jù)加以提取,其把整個(gè)足部活動(dòng)劃分為著地階段、整足接觸階段、足跟離地階段和離地階段4個(gè)階段[13],分解過程如圖1所示。采用多貝西小波(Daubechies Wavelet)對(duì)數(shù)據(jù)進(jìn)行預(yù)處理,減少干擾。將傳感器采集的一次數(shù)據(jù)視為一個(gè)數(shù)據(jù)切片,計(jì)算足底壓力峰值-均值。根據(jù)計(jì)算的壓力峰值進(jìn)行足部運(yùn)動(dòng)特征提取,采集到的足底數(shù)據(jù)可以很好地滿足步態(tài)識(shí)別的準(zhǔn)確性,且冗余量少,但對(duì)特殊人群、特定環(huán)境還有待提升。
1.4 基于多傳感器的步態(tài)識(shí)別
多傳感器結(jié)合下肢傳感器與足底壓力傳感器的數(shù)據(jù)、特征及信號(hào)等,可以使得識(shí)別精度更高。因此基于多傳感器的步態(tài)識(shí)別較基于下肢傳感器與基于足底傳感器的來說,可以更精確、全面地采集數(shù)據(jù)。將識(shí)別過程設(shè)備分為慣性測量單元(Inertial Measurement Unit,IMU)和足底壓力測量單元兩個(gè)部分。將IMU固定在人體的下肢,用于采集下肢數(shù)據(jù),使用壓力鞋墊采集人的足底壓力數(shù)據(jù),采集到的數(shù)據(jù)傳輸?shù)酱┐髟谘g的微處理器內(nèi),微處理器負(fù)責(zé)數(shù)據(jù)的采集與傳輸,將數(shù)據(jù)傳輸?shù)街鳈C(jī)中,再由主機(jī)完成復(fù)雜的計(jì)算。
呂佳樂等設(shè)計(jì)了基于多傳感器信息的人體下肢步態(tài)識(shí)別系統(tǒng)[14],系統(tǒng)整體框架如圖2所示。系統(tǒng)采用了柔性姿態(tài)傳感器與足底壓力鞋墊,重新構(gòu)建了數(shù)據(jù)收集體系并利用二階卡爾曼濾波[15]對(duì)雙腿下肢關(guān)節(jié)角度信息進(jìn)行計(jì)算,采用比例化和模糊化的方法來對(duì)不同的足底進(jìn)行處理,利用SVM進(jìn)行識(shí)別研究。通過同一人多次實(shí)驗(yàn)驗(yàn)證了算法的有效性、正確性、通用性,具有更高的識(shí)別準(zhǔn)確率和更低的信號(hào)處理負(fù)荷。但過多的穿戴,不僅成本上更高,而且要比采用單一傳感器對(duì)人的行為操作造成的影響更大,舒適性也有一定影響。
2 基于地板傳感器的步態(tài)識(shí)別
2.1 地板傳感器的研究現(xiàn)狀
地板傳感器系統(tǒng)需要用到的技術(shù)包括采集裝置的選取、壓力數(shù)據(jù)的特征提取及識(shí)別算法的設(shè)計(jì)等。采集裝置可嵌入地面或采用隱蔽性強(qiáng)的攝像頭,以保證裝置的隱蔽性;壓力數(shù)據(jù)包括壓力分布、形狀特征及最大壓力等參數(shù);識(shí)別算法有SVM、極限學(xué)習(xí)機(jī)(Extreme Learning Machine,ELM)算法[16]及卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Networks,CNN)算法[17]等。與可穿戴傳感器相比,地板傳感器雖然有不需要人為佩戴的便利以及隱藏性強(qiáng)等優(yōu)點(diǎn),但為了保證信息采集的準(zhǔn)確性,實(shí)際應(yīng)用中需要用到大量的傳感器,因此基于地板傳感器的步態(tài)識(shí)別所需的成本較高,應(yīng)用場合也有一定的局限性。地板傳感器的步態(tài)識(shí)別主要分兩個(gè)方面:基于地板壓力的傳感器和基于視觸結(jié)合的地板傳感器。
2.2 基于地板壓力的傳感器
地板傳感器的研究與實(shí)驗(yàn)大多用測力臺(tái)和測力板來實(shí)現(xiàn),通過采集行走人員的腳掌壓力分布情況及其變化趨勢進(jìn)行特征分析,從而對(duì)進(jìn)出人員身份進(jìn)行鑒別,在一些特定場所也可以布置基于地板傳感器的步態(tài)識(shí)別系統(tǒng),檢測人員出入時(shí)體重和步態(tài)的微小變化,判別人員的物品攜帶問題。楊春生等提出一種可應(yīng)用于入侵防范系統(tǒng)的步態(tài)識(shí)別方法[18],采用60×40的矩陣排列方式收集測力板采集的足底觸覺信息,并對(duì)數(shù)據(jù)進(jìn)行預(yù)處理從而降低誤差,然后采用基于CNN模型的算法進(jìn)行特征提?。?9],最后通過數(shù)據(jù)識(shí)別結(jié)果分析得到,靜態(tài)數(shù)據(jù)得到了很高的識(shí)別率,動(dòng)態(tài)數(shù)據(jù)得到了較高的識(shí)別率,但在靜態(tài)識(shí)別率穩(wěn)定在95%以上的情況下,動(dòng)態(tài)識(shí)別率仍有待提高。
2.3 基于視觸融合的地板傳感器
視觸融合的步態(tài)識(shí)別方式是地面壓力傳感器與遠(yuǎn)處的攝像頭相結(jié)合的方法。與單一地面?zhèn)鞲衅飨啾?,視觸融合的方法不僅能提升識(shí)別準(zhǔn)確率,應(yīng)用范圍也更加廣泛。李昱等提出一種全身步態(tài)模型[20],該模型將視覺與觸覺兩種特征進(jìn)行融合,算法包括全身步態(tài)模型的建立、視觸覺特征的提取和分類器的分類識(shí)別。對(duì)步行動(dòng)作進(jìn)行分析,建立身體質(zhì)量與地面所受壓力的動(dòng)力學(xué)關(guān)系,觸覺特征通過地面儀器獲得,分別求解支撐腿加速度、擺動(dòng)腿加速度和上半身加速度。實(shí)驗(yàn)系統(tǒng)采用Walkway步道式足底壓力測試設(shè)備和應(yīng)用廣泛的微軟Kinect for Windows V2.0進(jìn)行特征提?。?1]。分類器的分類識(shí)別選用徑向基核函數(shù)(Radial Basis Function,RBF)構(gòu)造多分類器,這是一種基于SVM的學(xué)習(xí)方法[22],這種方法可以盡可能避免由于欠學(xué)習(xí)和過學(xué)習(xí)而導(dǎo)致的問題的發(fā)生。RBF有效降低了不同穿搭、背包負(fù)重等因素對(duì)步態(tài)識(shí)別率造成的干擾,得到了較高的步態(tài)識(shí)別率。建立的實(shí)驗(yàn)系統(tǒng)也能更方便快捷地進(jìn)行特征提取和模型驗(yàn)證。文中模型采用了對(duì)足底壓力分區(qū)增加特征識(shí)別點(diǎn)的方式,具有很好的穩(wěn)健性,但目前國內(nèi)該方面的研究仍處于發(fā)展階段,數(shù)據(jù)庫也有待完善,因此識(shí)別率仍有待提高。
3 總結(jié)與展望
3.1 總結(jié)
基于壓力感知的步態(tài)識(shí)別,現(xiàn)在逐漸成為步態(tài)識(shí)別應(yīng)用中的一個(gè)重要研究方向。步態(tài)識(shí)別作為近年來越來越熱門的技術(shù),由于在某些特定領(lǐng)域的應(yīng)用有優(yōu)于其他生物識(shí)別技術(shù)的優(yōu)點(diǎn),吸引了越來越多的學(xué)者對(duì)其進(jìn)行深入的研究。目前,步態(tài)識(shí)別研究仍處于探索階段,與其他成熟的生物識(shí)別應(yīng)用相比還有一段發(fā)展路程。對(duì)于可穿戴壓力傳感器,舒適性、敏感性、數(shù)據(jù)的延遲、采集的準(zhǔn)確性問題仍亟待改善,其中多傳感器融合中各部分的協(xié)調(diào)性、數(shù)據(jù)的抗干擾性及識(shí)別的準(zhǔn)確性等不足之處仍有待提高;對(duì)于地板壓力傳感器,鋪設(shè)所需花費(fèi)的資源、抗壓性、高昂的成本及各種環(huán)境造成的影響等問題也需要考慮。為了克服單一識(shí)別的不足,與其他生物識(shí)別技術(shù)相互融合的識(shí)別可能會(huì)逐漸變成一個(gè)熱門的方向。
3.2 展望
步態(tài)識(shí)別作為識(shí)別技術(shù)中的一種研究方向,雖然有其他識(shí)別技術(shù)沒有的優(yōu)點(diǎn),但由于其便利性、成本以及其他因素,還未能像面容、指紋等技術(shù)一樣成熟地應(yīng)用在日常生活中。基于壓力感知的步態(tài)識(shí)別技術(shù)未來的發(fā)展方向有:
a. 算法的創(chuàng)新與優(yōu)化。目前的算法可以識(shí)別單人靜態(tài)的足底壓力信息,但對(duì)于多人的、動(dòng)態(tài)的情況,尤其是運(yùn)用在復(fù)雜環(huán)境中時(shí),則需要考慮到方方面面,因此對(duì)于算法的創(chuàng)新與優(yōu)化是非常必要的。
b. 傳感材料的發(fā)展與設(shè)計(jì)。傳感材料的進(jìn)一步發(fā)展對(duì)于步態(tài)識(shí)別來說也是至關(guān)重要的,選用更敏感、傳輸速率更快的傳感材料可以有效地改善采集數(shù)據(jù)的準(zhǔn)確性,增加采集數(shù)據(jù)的類型以及提高識(shí)別的速率,從而提高步態(tài)識(shí)別的準(zhǔn)確性。此外,隨著步態(tài)識(shí)別技術(shù)在未來的應(yīng)用普及,舒適性、便攜性、可忽略性以及成本問題也需要加以考慮。
c. 數(shù)據(jù)采集與傳輸。近年來,無線傳感器的發(fā)展為動(dòng)靜態(tài)數(shù)據(jù)的采集提供了極大的便利,但與此同時(shí),無線傳感器也存在數(shù)據(jù)傳輸準(zhǔn)確率低、失真率高及傳輸速率低等一系列問題,因此,在未來對(duì)于無線傳感器的數(shù)據(jù)采集和傳輸也是一個(gè)亟待解決并需要不斷提高的問題。
d. 數(shù)據(jù)的篩選。對(duì)于單特性的數(shù)據(jù)采集來說,需要確定采集到的數(shù)據(jù)的類型。對(duì)于多特性相互融合的數(shù)據(jù)采集來說,不僅需要確定數(shù)據(jù)類型,還需要注意冗余數(shù)據(jù)。不論是單特性還是多種特性相互融合,都需要將大量采集到的數(shù)據(jù)進(jìn)行融合篩選,將融合的數(shù)據(jù)提煉簡化并提取所需要的數(shù)據(jù),從而降低數(shù)據(jù)篩選方面的成本。
e. 數(shù)據(jù)庫的創(chuàng)建與完善。相較于比較成熟的指紋識(shí)別技術(shù),基于壓力的步態(tài)數(shù)據(jù)庫信息還十分匱乏。在研究的過程中,研究者們可以使用的壓力數(shù)據(jù)也非常局限,往往需要尋找志愿者或自己充當(dāng)實(shí)驗(yàn)對(duì)象,此過程浪費(fèi)大量的時(shí)間與精力,而且采集的數(shù)據(jù)信息一般都是小范圍內(nèi)的,因其特異性和區(qū)域的局限性不能廣泛應(yīng)用。因此,建立可以共享的數(shù)據(jù)庫是十分必要的。
參 考 文 獻(xiàn)
[1] NIXON M.Gait biometrics[J].Biometric Technology Today,2008,16(7-8):8-9.
[2]? ?鄔明漢,黃永禎,郭柏冬,等.基于步態(tài)識(shí)別的視頻偵查技術(shù)與應(yīng)用[J].中國人民公安大學(xué)學(xué)報(bào)(自然科學(xué)版),2021,27(3):22-28.
[3]? ?SHAKHNAROVICH G,LEE L,DARRELL T.Inte-grated face and gait recognition from multiple views[C]∥Proceedings of the 2001 IEEE Computer Society Conference on Computer Vision and Pattern Recogni-tion.IEEE,2001:1439-1446.
[4]? ?DERAWI M O,BOURS P,HOLIEN K.Improved Cycle Detection for Accelerometer Based Gait Authentication[C]// Sixth International Conference on Intelligent Information Hiding & Multimedia Signal Processing.IEEE,2010.DOI:10.1109/IIHMSP.2010.84.
[5]? ?白成,耿達(dá),周偉,等.高性能電阻型柔性壓力傳感器研究進(jìn)展[J].微納電子技術(shù),2021,58(7):559-570.
[6]? ?聞建強(qiáng).支持云服務(wù)高性價(jià)比可穿戴設(shè)備的設(shè)計(jì)研究[J].吉林化工學(xué)院學(xué)報(bào),2021,38(7):36-42.
[7]? ?MEHMOOD A,NADEEM A,ASHRAF M,et al.A fall risk assessment mechanism for elderly people through muscle fatigue analysis on data from body area sensor network[J].IEEE Sensors Journal,2021,21(5):6679-6690.
[8]? ?KIM K K,HA I,KIM M,et al.A deep-learned skin sensor decoding the epicentral human motions[J].Nature Communications,2020,11:2149.
[9]? ?吳平平,徐劍華,杜明家,等.基于單肌肉表面肌電-加速度融合的步態(tài)識(shí)別[J].合肥工業(yè)大學(xué)學(xué)報(bào)(自然科學(xué)版),2020,43(7):884-889.
[10]? ?DENG F Y,YANG S P,LIU Y Q,et al. Fault diag-nosis of rolling bearing using the Hermitian wavelet analysis,KPCA and SVM[C]//2017 International Conference on Sensing,Diagnostics,Prognostics,and Control(SDPC).IEEE,2017:632-637.
[11]? ?張語萌,李志俊,步子豪,等.基于SVM-KNN的人體步態(tài)相位識(shí)別[J].科技視界,2019(28):23-24;26.
[12]? ?賈山,路新亮,韓亞麗,等.在擺動(dòng)相中用于下肢外骨骼跟蹤人體踝關(guān)節(jié)軌跡的方法[J].東南大學(xué)學(xué)報(bào)(自然科學(xué)版),2014,44(1):87-92.
[13]? ?宋禮文,向長城,邱達(dá),等.基于足底壓力分布的足部運(yùn)動(dòng)特征提?。跩].醫(yī)用生物力學(xué),2021,36(3):431-436.
[14]? ?呂佳樂,高學(xué)山,石永杰,等.基于多傳感器信息的人體下肢步態(tài)識(shí)別[J].兵工自動(dòng)化,2021,40(10):85-90.
[15]? ?趙瑜,周波,綦俊峰,等.基于雙階卡爾曼濾波的九軸姿態(tài)融合算法研究[J].電子世界,2019(7):98-99.
[16]? ?趙治羽,馬磊,孫永奎.基于足底壓力傳感器的步態(tài)識(shí)別方法研究[J].電子測量技術(shù),2019,42(13):26-31.
[17]? OU J,LI Y J. Vector-kernel convolutional neural networks[J].Neurocomputing,2019,330:253-258.
[18]? ?楊春生,化晨冰,王鳴鏑,等.一種可用于入侵防范的步態(tài)識(shí)別方法研究[J].計(jì)算機(jī)應(yīng)用與軟件,2017,34(3):248-251.
[19]? ?HINTON G E,SALAKHUTDINOV R R.Reducing the dimensionality of data with neural networks[J].Science,2006,313(5786):504-507.
[20]? ?李昱,季文彬,戴士杰.全身步態(tài)模型的視觸融合步態(tài)識(shí)別算法[J].哈爾濱工業(yè)大學(xué)學(xué)報(bào),2022,54(1):88-95.
[21]? ?HUITZIL I,DRANCA L,BERNAD J,et al.Gait reco-gnition using fuzzy ontologies and Kinect sensor data[J].International Journal of Approximate Reasoning,2019,113:354-371.
[22]? ?WANG H,F(xiàn)AN Y Y,F(xiàn)ANG B F,et al.Generalizedlinear discriminant analysis based on euclidean norm for gait recognition[J].International Journal of Ma-chine Learning and Cybernetics,2018,9(4):569.
(收稿日期:2022-11-15,修回日期:2023-06-08)
Research Status of Gait Recognition Based on Pressure Sensing
HUANG Kai ZHOU Xu-huiMEI Jian ZOU Qing-yu
(1. College of Information and Control Engineering, Jilin University of Chemical Technology;
2. School of Electrical and Information Engineering, Beihua University)
Abstract? ?In this paper, the research status of gait recognition technologies for pressure sensing direction in recent years was summarized and two application directions of wearable sensor and floor pressure sensor were expounded, respectively, including analysis, comparison of their strengths and weaknesses and the prospect of the gait recognition technologies.
Key words? ?gait recognition, pressure sensing, sensor, artificial intelligence