面向行為識別的人體空間協(xié)同運動結(jié)構(gòu)特征表示與融合

莫宇劍，侯振杰，*，常興治，梁久禎，陳宸，宦娟

（1.常州大學(xué) 信息科學(xué)與工程學(xué)院，常州213164； 2.常州信息職業(yè)技術(shù)學(xué)院 智能制造工業(yè)云開放實驗室，常州213164；3.北卡羅來納大學(xué)夏洛特分校 電氣與計算機工程系，夏洛特市28223）

行為識別實現(xiàn)了計算機對人體行為的理解與描述，是視頻監(jiān)控［1］、智能看護、人機交互［2］等領(lǐng)域的關(guān)鍵技術(shù)。人體行為識別的研究具有廣泛的應(yīng)用前景以及可觀的經(jīng)濟價值［3］。執(zhí)行不同動作時，不同身體部位的協(xié)同運動結(jié)構(gòu)特征是行為識別的難題?，F(xiàn)今行為識別的方法大致分為3類：①利用單一模態(tài)的行為數(shù)據(jù)進行人體行為識別；②利用多個不同模態(tài)的行為數(shù)據(jù)進行人體行為識別；③利用單一模態(tài)內(nèi)的不同人體部位間的協(xié)同運動結(jié)構(gòu)特征進行行為識別。

利用單一模態(tài)的行為數(shù)據(jù)進行人體行為識別，學(xué)者們已經(jīng)提出了許多成熟的算法。按行為識別算法使用的數(shù)據(jù)類型大致分為：①基于深度圖像的人體行為識別，如DMM-LBP-FF（Depth Motion Maps-based Local Binary Patterns-Feature Fusion）［4］、HOJ3D（Histograms of 3D Joint locations）［5］等；②基于骨骼數(shù)據(jù)的人體行為識別，如協(xié)方差描述符［6］等；③基于慣性傳感器數(shù)據(jù)的人體行為識別，如函數(shù)擬合［7］等。

利用多個不同模態(tài)的行為數(shù)據(jù)進行人體行為識別，也有很多的學(xué)者進行了研究。多模態(tài)行為數(shù)據(jù)的融合大致可以分為2類：特征級融合和決策級融合［8］。常見的特征級融合方法有CRC（Collaborative Representation Classifier）［9］、SRC（Sparse Representation Classifier）［10］、CCA（Canonical Correlation Analysis）［11］、DCA（Discriminant Correlation Analysis）［12］等。決 策 級 融 合 方 法 如DS（Dempster-Shafer）證據(jù)理論［10］、多學(xué)習(xí)器協(xié)同訓(xùn)練［13］。

利用單一模態(tài)內(nèi)的不同人體部位間的協(xié)同運動結(jié)構(gòu)特征進行行為識別，目前已有少量的研究。Si等［14］提出空間推理網(wǎng)絡(luò)，其利用Kinect采集的人體關(guān)節(jié)點位置數(shù)據(jù)來捕捉每個幀內(nèi)的高級空間結(jié)構(gòu)特征。首先將身體每個部位的連接轉(zhuǎn)換成具有線性層的單獨空間特征，然后將身體部位的個體空間特征輸入到殘差圖神經(jīng)網(wǎng)絡(luò)（Residual Graph Neutral Network，RGNN）以捕獲不同身體部位之間的高級結(jié)構(gòu)特征。Liu等［15］提出動態(tài)姿態(tài)圖像描述人體行為，其利用姿態(tài)估計方法得到人體14個聯(lián)合估計圖，每一個聯(lián)合估計圖表示一個關(guān)節(jié)的運動，然后使用神經(jīng)網(wǎng)絡(luò)融合不同關(guān)節(jié)的運動。鄧詩卓等［16］利用人體不同部位的三軸向傳感器（三軸加速度、三軸陀螺儀等）的相同軸向數(shù)據(jù)間隱藏的空間依賴性并結(jié)合卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）進 行 動 作識別。

基于單模態(tài)、多模態(tài)的行為識別方法雖然可以識別不同的行為，但是忽略了人體在執(zhí)行動作時不同身體部位的空間協(xié)同運動結(jié)構(gòu)特征。動作的完成需要多塊肌肉共同協(xié)調(diào)配合，例如走路不僅需要雙腿，同時也需要擺動手臂以協(xié)調(diào)身體平衡［14］?，F(xiàn)有計算不同身體部位結(jié)構(gòu)特征的方法大都使用了神經(jīng)網(wǎng)絡(luò)，其訓(xùn)練時間復(fù)雜度高、計算資源消耗高、可解釋性差等。

本文針對使用神經(jīng)網(wǎng)絡(luò)計算結(jié)構(gòu)特征的復(fù)雜性高等問題，提出利用人體不同部位的三軸加速度數(shù)據(jù)構(gòu)建人體空間協(xié)同運動的結(jié)構(gòu)特征模型，并無監(jiān)督、自適應(yīng)地對不同身體部位的運動特征進行約束。首先對執(zhí)行不同動作時的人體不同部位的三軸加速度曲線進行曲線特征分析，確定不同身體部位對不同動作的完成具有不同的貢獻度；其次對執(zhí)行某一動作時人體全身三軸加速度曲線進行曲線特征分析，并提出利用曲線的多個統(tǒng)計值度量人體不同部位的貢獻度；然后由于多個統(tǒng)計量對構(gòu)建結(jié)構(gòu)特征模型具有不同的權(quán)重，需要進行權(quán)重的確定；再使用協(xié)同運動結(jié)構(gòu)特征模型對人體不同部位的運動特征進行無監(jiān)督、自適應(yīng)地約束；最后使用多模態(tài)特征選擇與特征融合算法將不同模態(tài)的特征進行融合并分類識別。

1 總體框架

本文提出利用人體空間協(xié)同運動的結(jié)構(gòu)特征模型，對不同人體部位的運動特征進行約束，然后對多模態(tài)特征進行特征選擇與特征融合，總體框架如圖1所示。對骨骼圖序列按Chen等［17］方法進行特征提取，圖1中的“骨骼圖序列”引自文獻［18］。首先，對人體不同部位的三軸加速度數(shù)據(jù)分別提取特征；然后使用結(jié)構(gòu)特征模型約束特征；最后使用多模態(tài)特征選擇與特征融合方法訓(xùn)練多模態(tài)特征投影矩陣用于融合三軸加速度數(shù)據(jù)特征與關(guān)節(jié)點位置數(shù)據(jù)特征，使用分類器對融合后的特征進行分類識別，得到類別標(biāo)簽。

圖1 總體框架Fig.1 Overall framework

2 協(xié)同運動結(jié)構(gòu)特征表示

設(shè)γk=｛ax，ay，az｝為人體第k個慣性傳感器采集的三軸加速度數(shù)據(jù)，人體執(zhí)行動作時全身的三軸加速度數(shù)據(jù)為γ=｛γ1，…，γk，…，γK｝，其中K為人體慣性傳感器的總數(shù)。對人體不同部位的三軸加速度數(shù)據(jù)進行特征提取，得到人體全身的運動特征FK=［fxk，fyk，fzk］，k=1，2，…，K，其中fxk為人體第k個部位x軸的特征，fyk為人體第k個部位y軸的特征，fzk為人體第k個部位z軸的特征。然后使用協(xié)同運動結(jié)構(gòu)特征模型對特征進行約束從而使得樣本具有更好的分類能力。

分別計算類間距離Sb與類內(nèi)距離Sw：

然后計算類間距離Sb與類內(nèi)距離Sw的比值Jw。為了使得樣本具有更好的可分離性，需要增大比值Jw：

本文利用人體空間協(xié)同運動的結(jié)構(gòu)特征模型對特征進行約束，約束后的第i類樣本均值、所有c類樣本均值的計算式分別為

式中：Wij=［wxk，wyk，wzk］，k=1，2，…，K為第i類第j個樣本對應(yīng)的結(jié)構(gòu)特征，并用于約束人體全身的運動特征，得到約束后的特征（FK）*=［，，］，k=1，2，…，K。以計算為例=wykfyk。計算約束后的類間距離與類內(nèi)距離：

以左高揮手、右高揮手動作為例，左高揮手動作的主運動結(jié)點為左手肘、左手腕；右高揮手動作的主運動結(jié)點為右手肘、右手腕，其他的身體部位為附加運動結(jié)點。本文分別對比左高揮手與右高揮手動作的主運動結(jié)點以及附加運動結(jié)點的三軸加速度曲線。主運動結(jié)點曲線的對比如圖2所示，附加運動結(jié)點曲線的對比如圖3所示。圖2（a）為執(zhí)行左高揮手動作時左手肘、左手腕、右手肘、右手腕部位對應(yīng)的三軸加速度曲線圖。類似地，圖2（b）為執(zhí)行右高揮手動作時左手肘、左手腕、右手肘、右手腕部位對應(yīng)的三軸加速度曲線圖。圖3（a）為左高揮手動作附加運動結(jié)點的三軸加速度曲線圖，圖3（b）為右高揮手動作附加運動結(jié)點的三軸加速度曲線圖。

首先對比左高揮手、右高揮手動作附加運動結(jié)點的三軸加速度曲線，可以發(fā)現(xiàn)這2個動作附加結(jié)點的三軸加速度曲線形狀相同均保持平穩(wěn)即方差差異性小，此外曲線的均值也接近，即這2個動作附加結(jié)點的類間距離小，分類能力差。然后比對左高揮手、右高揮手動作主運動結(jié)點的三軸加速度曲線，對于區(qū)分左高揮手與右高揮手動作主要是根據(jù)左手肘、左手腕、右手肘、右手腕處三軸加速度曲線的統(tǒng)計特征。為了使樣本更好地分離，需要強化每個動作主運動結(jié)點的特征、削弱附加運動結(jié)點的特征，基于此本文使用基于人體空間協(xié)同運動的結(jié)構(gòu)特征模型對不同身體部位的特征進行約束。以右高揮手動作為例，從圖2（b）、圖3（b）中可以觀察到，對于動作的完成不同身體部位的貢獻度是不同的，其主運動結(jié)點為右手肘、右手腕，即右手肘、右手腕對動作的完成具有高的貢獻度，附加運動結(jié)點的貢獻度相對較小。本文使用執(zhí)行動作時不同身體部位的貢獻度構(gòu)建協(xié)同運動的結(jié)構(gòu)特征模型。為了度量不同部位對完成動作的貢獻，本文通過式（10）度量人體第k個部位x、y、z軸的貢獻，其他結(jié)點貢獻度的度量與此類似：

圖2 左高揮手、右高揮手動作主運動結(jié)點的三軸加速度曲線Fig.2 Triaxial acceleration curves of main motion nodes of left high wave and right high wave

圖3 左高揮手、右高揮手動作附加運動結(jié)點的三軸加速度曲線Fig.3 Triaxial acceleration curves of additional motion nodes of left high wave and right high wave

為了說明本文提出的結(jié)構(gòu)特征模型的有效性，分別計算類間距離為2 175、類內(nèi)距離為10383以及Jw為0.209 5。然后再計算使用結(jié)構(gòu)特征模型約束后的特征的類間距離為575、類內(nèi)距離為2 046以及為0.281 0。從計算結(jié)果可知＞Jw，即使用結(jié)構(gòu)特征模型約束后的特征具有更佳的分離能力。

3 多模態(tài)特征選擇與特征融合

在采集人體的行為數(shù)據(jù)時一般會采集多個模態(tài)的數(shù)據(jù)。為了利用不同模態(tài)的數(shù)據(jù)進行行為識別，需要融合多模態(tài)特征。此外每個模態(tài)內(nèi)包含了大量的冗余特征，需要對特征進行選擇。設(shè)Γ=｛，，…，｝表示N個動作樣本，其中每個樣本包含M個不同模態(tài)的特征。雖然第i個樣本Γi=｛，，…，｝包含了M個不同模態(tài)的特征，但類別標(biāo)簽相同，，…，→yi。本文為每個模態(tài)的特征分別學(xué)習(xí)投影矩陣。用于將不同模態(tài)的特征投影到子空間。并在投影的過程中完成對特征的選擇。最后按式（12）進行多模態(tài)特征的融合：

式中：f為融合后的特征；xp為第p個模態(tài)的特征，p=1，2，…，M；Up為第p個模態(tài)的投影矩陣，p=1，2，…，M；為第p個模態(tài)投影后的特征，p=1，2，…，M。將融合后的特征稱之為多模態(tài)融合特征（multi-modal fusion features）并用于分類識別。本文借鑒聯(lián)合特征選擇與子空間學(xué)習(xí)JFSSL方法［19］學(xué)習(xí)多模態(tài)投影矩陣，用于將不同模態(tài)的特征投影到子空間，并使用?2，1范數(shù)來實現(xiàn)特征選擇［20］，其最小化問題如下：

式中：Xp為第p個模態(tài)的特征矩陣，p=1，2，…，M；Y 為JFSSL方 法 構(gòu) 造 的 子 空 間，Y∈RN×c。式（13）的第1項用于學(xué)習(xí)投影矩陣，第2項用于特征選擇，第3項用于保持模態(tài)內(nèi)和模態(tài)間的相似關(guān)系。式（13）的第3項的推導(dǎo)為

本文使用式（16）迭代計算得到不同模態(tài)的投影矩陣，將不同模態(tài)的特征投影到子空間，再將子空間的特征按式（12）進行融合用于行為識別。

4 數(shù)據(jù)采集

本節(jié)介紹自建的數(shù)據(jù)采集系統(tǒng)，并將其用于全身運動數(shù)據(jù)的獲取。

4.1 采樣系統(tǒng)搭建

Kinect v2傳感器可以采集RGB-D圖像以及人體25個關(guān)節(jié)點的位置數(shù)據(jù)。MPU9250慣性傳感器是一種體積小、功耗小的傳感器，采樣率為500 Hz，可同時捕獲三軸加速度、三軸角速度和三軸磁場強度數(shù)據(jù)并輸出四元數(shù)等。

本文利用Kinect采集深度圖像和關(guān)節(jié)點位置數(shù)據(jù)，利用MPU9250采集三軸加速度數(shù)據(jù)。為了采集人體全身部位的三軸加速度數(shù)據(jù)，本文搭建了包含10個慣性傳感器的運動數(shù)據(jù)采集系統(tǒng)，采樣系統(tǒng)架構(gòu)如圖4所示，其中NTP（Network Time Protocol）服務(wù)器用于提供標(biāo)準(zhǔn)時間，無線AP（wireless Access Point）用于組建無線局域網(wǎng)絡(luò)。利用卡片式計算機樹莓派控制MPU9250傳感器，利用筆記本電腦控制Kinect v2，每次采集數(shù)據(jù)時都與NTP服務(wù)器進行時間同步。本文綜合考慮了MHAD［22］、UTD-MHAD［23］等行為數(shù)據(jù)庫的采樣方案后，確定慣性傳感器的位置如圖5所示，圖中紅色標(biāo)記點為慣性傳感器的位置，“左”為人體的左側(cè)，“右”為人體的右側(cè)。圖6為本文的真實采樣場景。

圖4 采樣系統(tǒng)架構(gòu)Fig.4 Sampling system architecture

圖5 可穿戴傳感器位置示意圖Fig.5 Position schematic diagram of wearable sensor

圖6 真實采樣場景Fig.6 Real sampling scene

4.2 數(shù)據(jù)庫描述

本文自建的行為數(shù)據(jù)庫包含7位男性受試者，年齡分布為20～26歲，其中包括一個肥胖型受試者、一個瘦弱型受試者。7個男性受試者分別執(zhí)行15個動作，每個動作重復(fù)執(zhí)行10次。15個動作類別如表1所示。

表1 自建的行為數(shù)據(jù)庫中的15個動作Table 1 Fifteen actions in self-built behavior database

5 實驗結(jié)果與分析

5.1 特征提取

本文在自建的數(shù)據(jù)庫上進行實驗，實驗選取了5位受試者執(zhí)行的15個行為動作，其中每個動作由每位受試者重復(fù)執(zhí)行8次，實驗用的行為數(shù)據(jù)庫一共包含600個樣本。對三軸加速度數(shù)據(jù)提取經(jīng)典的時域特征：均值、方差、標(biāo)準(zhǔn)差、峰度、偏度。

5.2 實驗設(shè)置

1）設(shè)置1。與Chen等［4］類似，在第1組實驗中將3/8樣本作為訓(xùn)練，剩下數(shù)據(jù)作為測試；在第2組實驗中將4/8樣本作為訓(xùn)練；在第3組實驗中將5/8樣本作為訓(xùn)練；在第4組實驗中將6/8樣本作為訓(xùn)練。本文使用T1～T4代表上述4組實驗。

2）設(shè)置2。與Chen等［24］類似，在第1組實驗中將標(biāo)記為1、2對象的數(shù)據(jù)作為訓(xùn)練樣本；在第2組實驗中將標(biāo)記為1、2、5對象的數(shù)據(jù)作為訓(xùn)練樣本；在第3組實驗中將標(biāo)記為1、2、3、5對象的數(shù)據(jù)作為訓(xùn)練樣本。本文使用T5～T7代表上述3組實驗。

5.3 參數(shù)設(shè)置

本文的實驗需要對分類器參數(shù)、超參數(shù)等進行選擇，所需參數(shù)都通過CV（Cross Validation）校驗的方法進行確定。

1）分類器參數(shù)設(shè)置。本文中使用的分類器如CRC（Collaborative Respresentation Classifier）、KNN （K-Nearest Neighbor）、RandomF（Random Forest）等需要確定最佳參數(shù)。最終確定的分類器最優(yōu)參數(shù)為：KNN的參數(shù)設(shè)置為1；RandomF的參數(shù)設(shè)置為65；CRC的參數(shù)設(shè)置為0.000 1。

2）超參數(shù)設(shè)置。聯(lián)合特征選擇與子空間學(xué)習(xí)的參數(shù)λ1、λ2分別設(shè)置為0.001和0.001；本文提出的結(jié)構(gòu)特征模型中的超參數(shù)λ1、λ2分別設(shè)置為5和0.05。

5.4 三軸加速度數(shù)據(jù)特征分類識別

本節(jié)對全身三軸加速度數(shù)據(jù)的特征以及使用結(jié)構(gòu)特征模型約束后的特征進行分類識別。表2為使用人體全身的三軸加速度數(shù)據(jù)特征的識別率（即本節(jié)的基線實驗），表3為使用結(jié)構(gòu)特征模型約束后的特征的識別率。

從表2可知，封閉測試T1～T4在使用判別分析、RandomF分類器的情況下識別率很高，如表2中的T4實驗使用判別分析分類器的識別率可高達(dá)到97.40%。然而表2中的開放測試T5～T7的識別率均低于T1～T4的識別率。因此本文的目的是提高開放測試T5～T7的識別率。為此，將表3中的T5～T7與表2中的T5～T7的識別率進行對比，對比的結(jié)果如圖7所示。

圖7中每個分類器后的數(shù)字為特征約束后的識別率減去基線識別率的結(jié)果。從圖7中可以直觀看出，特征約束后T5～T7的識別率明顯高于基線識別率。說明本文利用基于人體空間協(xié)同運動的結(jié)構(gòu)特征模型約束的特征具有更佳的分類能力。

表2 三軸加速度識別率Table 2 Recognition rate of triaxial acceleration %

表3 三軸加速度約束后的識別率Table 3 Recognition rate of constrained triaxial acceleration %

圖7 約束后的識別率與基線識別率的對比Fig.7 Comparison of recognition rate after constraints with baseline recognition rate

5.5 關(guān)節(jié)點位置數(shù)據(jù)的識別率

表4為關(guān)節(jié)點位置數(shù)據(jù)的識別率。由于5.6節(jié)實驗為多模態(tài)特征的融合，故本節(jié)先計算關(guān)節(jié)點位置數(shù)據(jù)的識別率作為多模態(tài)特征融合的基線識別率。

5.6 多模態(tài)特征選擇與特征融合的識別率

本節(jié)使用多模態(tài)特征選擇與特征融合方法對三軸加速度數(shù)據(jù)特征、關(guān)節(jié)點位置數(shù)據(jù)特征進行融合并使用多個分類器進行分類識別，其識別結(jié)果如表5所示，并且將表5作為本節(jié)的基線實驗，將表5與表4、表3的T1～T7識別率進行對比可知，多模態(tài)特征融合的識別率均優(yōu)于單個模態(tài)特征的識別率。將本文結(jié)構(gòu)特征模型約束后的特征與關(guān)節(jié)點位置數(shù)據(jù)特征進行融合，結(jié)果如表6所示。

表6與表5的T1～T4相比，融合約束后的特征與關(guān)節(jié)點位置數(shù)據(jù)特征的識別率均顯著高于基線實驗。由于本文的重點是提高開放測試的識別率，因此將表6與表5的T5～T7進行對比，對比結(jié)果如圖8所示。

表4 關(guān)節(jié)點位置識別率Table 4 Recognition rate of joint point position %

表5 多模態(tài)特征選擇與特征融合的識別率Table 5 Recognition rate of multi-modal feature selection and feature fusion %

表6 融合約束后的三軸加速度數(shù)據(jù)特征與關(guān)節(jié)點位置數(shù)據(jù)特征識別率Table 6 Recognition rate of triaxial acceleration featur e and joint point position data feature after fusion constraints %

從圖8中可以直觀看出，在T6、T7實驗中本文方法明顯優(yōu)于基線實驗，在T5測試中本文方法略低于基線實驗。這是由于T5測試選取2/5受試者的樣本作為訓(xùn)練，選取的受試者數(shù)量少，從側(cè)面說明本文提出的算法還可以進一步改良。此外表6中T7實驗的識別率在5個分類器中高達(dá)100.00%。上述的對比結(jié)果說明本文提出的基于人體空間協(xié)同運動的結(jié)構(gòu)特征模型的有效性。

6 結(jié) 論

本文提出了利用人體不同部位三軸加速度數(shù)據(jù)的多個統(tǒng)計值用于度量不同部位對完成動作的貢獻度，利用不同部位的貢獻度構(gòu)建面向行為識別的人體空間協(xié)同運動結(jié)構(gòu)特征模型，并無監(jiān)督、自適應(yīng)地對人體不同部位的特征進行約束。在此基礎(chǔ)上，借鑒JFSSL方法融合多模態(tài)的行為特征，并在融合過程中完成了對特征的篩選。實驗結(jié)果表明：

1）該模型適用于具有全身三軸加速度數(shù)據(jù)的行為識別，模型的構(gòu)建不需要復(fù)雜的算法計算，具有較好的實時性。

2）在自建的行為數(shù)據(jù)庫的封閉測試（T1～T4）、開放測試（T5～T7）中均有優(yōu)異的效果。

3）通過實驗證明了人體在執(zhí)行動作時不同部位之間存在協(xié)同性。這為進一步探索人體空間協(xié)同運動的結(jié)構(gòu)特征提供了實驗依據(jù)。