基于骨骼數(shù)據(jù)特征的人體行為識(shí)別方法綜述

孫滿貞，張鵬，蘇本躍

（1.安慶師范大學(xué)計(jì)算機(jī)與信息學(xué)院，安徽安慶 246133；2.銅陵學(xué)院數(shù)學(xué)與計(jì)算機(jī)學(xué)院，安徽銅陵 244061）

0 引言

人體行為識(shí)別以人為中心研究人體運(yùn)動(dòng)，賦予計(jì)算機(jī)“人的智能”，使之能智能地識(shí)別人的行為，因而被廣泛應(yīng)用于工業(yè)系統(tǒng)、虛擬現(xiàn)實(shí)及視頻監(jiān)控等領(lǐng)域。用于人體行為識(shí)別的數(shù)據(jù)有骨骼數(shù)據(jù)、視頻數(shù)據(jù)、深度數(shù)據(jù)和運(yùn)動(dòng)流數(shù)據(jù)等多種類別。由于人體可視為由關(guān)節(jié)點(diǎn)和骨骼連接形成的剛性鉸鏈系統(tǒng)，而運(yùn)動(dòng)是指骨骼空間結(jié)構(gòu)與身體姿態(tài)的連續(xù)變化，因此骨骼數(shù)據(jù)可表達(dá)人體運(yùn)動(dòng)信息的高級(jí)特征。

隨著Kinect、Asus Xtion和Intel RealSense等低成本深度相機(jī)的開(kāi)發(fā)，以及Openpose、SDK等估計(jì)關(guān)節(jié)點(diǎn)坐標(biāo)算法趨于成熟，獲取關(guān)節(jié)點(diǎn)位置信息變得相對(duì)容易。此外，相較于視頻數(shù)據(jù)、深度數(shù)據(jù)等易受光線亮度、觀察視角、身體遮擋、背景雜亂等因素干擾，骨骼數(shù)據(jù)不易受人體外觀、光照和視角變化等因素影響，且能很好地避免噪聲干擾，從而使得基于骨骼數(shù)據(jù)的人體行為識(shí)別受到了研究者青睞。

基于骨骼數(shù)據(jù)的人體行為識(shí)別，按特征選擇方式可將相關(guān)研究方法分為：基于手工特征的機(jī)器學(xué)習(xí)方法和基于深度特征的深度學(xué)習(xí)方法。已有文獻(xiàn)主要側(cè)重于對(duì)深度學(xué)習(xí)方法的總結(jié)或從深度學(xué)習(xí)架構(gòu)改進(jìn)的角度進(jìn)行綜述，而從特征方面對(duì)相關(guān)研究工作進(jìn)行歸納的較少，但是特征選擇對(duì)正確識(shí)別人體行為至關(guān)重要。

因此，本文從機(jī)器學(xué)習(xí)方法采用的手工特征和深度學(xué)習(xí)方法自學(xué)習(xí)的深度特征兩方面對(duì)人體行為識(shí)別方法進(jìn)行綜述，從特征入手系統(tǒng)地梳理現(xiàn)階段骨骼數(shù)據(jù)行為識(shí)別相關(guān)工作。

1 基于傳統(tǒng)機(jī)器學(xué)習(xí)的手工特征提取方法

手工特征是指研究者根據(jù)自身先驗(yàn)知識(shí)定義的特征或從動(dòng)作數(shù)據(jù)中提取的統(tǒng)計(jì)特征等。手工特征可較好地反映出運(yùn)動(dòng)本身的物理特性或數(shù)據(jù)自身的統(tǒng)計(jì)特性，進(jìn)而可在一定程度上可對(duì)動(dòng)作的運(yùn)動(dòng)力學(xué)或統(tǒng)計(jì)學(xué)特性等進(jìn)行表征。

具有統(tǒng)計(jì)屬性的特征如均值、方差、中位數(shù)、相關(guān)系數(shù)、偏度與峰度等刻畫(huà)了動(dòng)作變化的幅度、快慢和劇烈程度等。具有物理屬性的特征如關(guān)節(jié)點(diǎn)相對(duì)位置、距離、夾角、位移、速度和加速度等可反映出人體運(yùn)動(dòng)時(shí)關(guān)節(jié)點(diǎn)之間的空間結(jié)構(gòu)變化和時(shí)間動(dòng)態(tài)演變。Su等、Vantigodi等從三維骨骼序列數(shù)據(jù)中提取統(tǒng)計(jì)屬性特征進(jìn)行人體行為識(shí)別，Tommi等、李夢(mèng)荷等提取物理屬性特征進(jìn)行人體行為識(shí)別，其具體采用的手工特征及對(duì)應(yīng)的特征屬性如表1所示。

Table 1 Related research based on manual features表1 基于手工特征的相關(guān)研究

基于手工提取特征的方法充分利用研究者的先驗(yàn)知識(shí)，特征的可解釋性強(qiáng)，在識(shí)別精度較高的情況下構(gòu)建的模型簡(jiǎn)單易懂。但是手工特征往往只能反映人體行為某個(gè)方面的運(yùn)動(dòng)特性，不能完全地表征運(yùn)動(dòng)整體狀態(tài)。而且選擇的手工特征依賴于研究者的先驗(yàn)知識(shí)，主觀性較強(qiáng)，不易推廣，即手工特征的泛化能力較弱。

2 基于深度學(xué)習(xí)的特征自提取方法

隨著深度學(xué)習(xí)的快速發(fā)展，將深度學(xué)習(xí)應(yīng)用于骨骼數(shù)據(jù)行為識(shí)別領(lǐng)域的工作越來(lái)越多。作為端到端的學(xué)習(xí)方式，深度學(xué)習(xí)方法較好地避免了研究者主觀因素的干擾。

深度學(xué)習(xí)網(wǎng)絡(luò)采用無(wú)監(jiān)督方式從三維骨骼序列數(shù)據(jù)中自學(xué)習(xí)到特征，這種學(xué)習(xí)方式符合人類感知世界的機(jī)理，當(dāng)訓(xùn)練樣本量足夠大時(shí)，深度網(wǎng)絡(luò)學(xué)習(xí)到的特征往往具有一定的語(yǔ)義特征或能抓取人體的拓?fù)浣Y(jié)構(gòu)。目前應(yīng)用于基于骨骼數(shù)據(jù)的人體行為識(shí)別研究的深度學(xué)習(xí)網(wǎng)絡(luò)主要有卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）、循環(huán)神經(jīng)網(wǎng)絡(luò)（Recurrent Neural Network，RNN）、圖卷積神經(jīng)網(wǎng)絡(luò)（Graph Convolutional Network，GCN）及混合神經(jīng)網(wǎng)絡(luò)等。CNN、RNN、GCN 3種深度學(xué)習(xí)網(wǎng)絡(luò)處理的關(guān)節(jié)點(diǎn)數(shù)據(jù)表示方式依次為偽圖像、長(zhǎng)向量和拓?fù)鋱D。深度特征提取方法的具體步驟為：首先將三維骨骼序列數(shù)據(jù)處理成深度學(xué)習(xí)網(wǎng)絡(luò)能學(xué)習(xí)的數(shù)據(jù)格式，然后輸入深度學(xué)習(xí)網(wǎng)絡(luò)，經(jīng)過(guò)網(wǎng)絡(luò)自學(xué)習(xí)深度特征進(jìn)行動(dòng)作分類。

2.1 卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)側(cè)重于從靜態(tài)面板數(shù)據(jù)中提取有效信息，主要采用兩種方式自學(xué)習(xí)特征進(jìn)行人體行為識(shí)別：①直接將原始關(guān)節(jié)點(diǎn)3D坐標(biāo)數(shù)據(jù)采用不同方法映射為X、Y、Z三通道數(shù)據(jù)，并采用CNN進(jìn)行分類；②在骨骼數(shù)據(jù)上自定義表示動(dòng)作空間結(jié)構(gòu)和時(shí)間動(dòng)態(tài)變化等特征，將其映射成彩色圖像，輸入到CNN中進(jìn)行分類，即人工特征與自學(xué)習(xí)特征相結(jié)合的方法。

2.1.1 三維骨骼坐標(biāo)映射方法

將骨骼數(shù)據(jù)的X、Y、Z坐標(biāo)看作圖像的RGB通道，把原始骨骼數(shù)據(jù)編碼成偽圖像，利用圖像識(shí)別的方式進(jìn)行動(dòng)作識(shí)別。

Du等保留了動(dòng)作序列的空間結(jié)構(gòu)和時(shí)間動(dòng)態(tài)信息，提出一種將動(dòng)作序列表示為彩色圖像的方法。Li等在此基礎(chǔ)上，提出圖像平移尺度不變映射如式（1）所示，將三維骨骼坐標(biāo)數(shù)據(jù)映射成彩色圖像。

Table 2 Related research of 3D skeletal coordinate mapping method表2 三維骨骼坐標(biāo)映射方法相關(guān)研究

將3D骨骼坐標(biāo)數(shù)據(jù)視為X、Y、Z三通道的數(shù)據(jù)，深度網(wǎng)絡(luò)能從每個(gè)通道捕捉到不同的特征表征動(dòng)作，綜合多通道互補(bǔ)的特征信息有益于準(zhǔn)確識(shí)別動(dòng)作。

2.1.2 人工特征與自學(xué)習(xí)特征相結(jié)合的方法

三維骨骼序列數(shù)據(jù)中既含有空間結(jié)構(gòu)信息，又含有時(shí)間動(dòng)態(tài)信息，這兩者是準(zhǔn)確識(shí)別動(dòng)作類型的重要因素。人工特征與自學(xué)習(xí)特征相結(jié)合的方法是將研究者自定義的表示動(dòng)作空間和時(shí)間變化的特征輸入深度網(wǎng)絡(luò)進(jìn)行動(dòng)作識(shí)別，例如將關(guān)節(jié)距離、關(guān)節(jié)角等特征映射為彩色圖像，輸入CNN進(jìn)行學(xué)習(xí)。

Li等設(shè)計(jì)了平移尺度不變映射公式，如式（2）所示，將骨骼序列時(shí)空信息編碼成彩色圖像用于骨骼數(shù)據(jù)動(dòng)作識(shí)別。

Li等基于骨骼數(shù)據(jù)自定義了距離特征，并通過(guò)式（2）將其映射成彩色紋理圖像，結(jié)合AlexNet深度網(wǎng)絡(luò)進(jìn)行自學(xué)習(xí)，具體采用融合策略融合原始3D骨骼坐標(biāo)序列及其主、側(cè)、俯三視圖4條支路的識(shí)別結(jié)果。其隨后定義了關(guān)節(jié)點(diǎn)軌跡、距離、方向、點(diǎn)到邊距離、邊邊夾角以及關(guān)節(jié)點(diǎn)光譜等特征，結(jié)合CNN開(kāi)展了一系列研究。Caetano等自定義了關(guān)節(jié)點(diǎn)大小、方向特征，并將其映射成彩色圖像。Naveenkumar等基于自定義關(guān)節(jié)點(diǎn)坐標(biāo)三分量各自的差分特征，以及節(jié)點(diǎn)在主、側(cè)、俯3個(gè)視圖下的距離映射等，將圖像轉(zhuǎn)化為彩色圖像，結(jié)合使用CNN方法開(kāi)展了相關(guān)研究。結(jié)合人工特征與自學(xué)習(xí)特征的相關(guān)研究如表3所示。

Table 3 Related research on the combination of artificial features and self-learning features表3 結(jié)合人工特征與自學(xué)習(xí)特征的相關(guān)研究

續(xù)表

自定義特征結(jié)合CNN用于基于骨骼數(shù)據(jù)的人體行為識(shí)別研究，同時(shí)對(duì)骨骼數(shù)據(jù)的自定義特征和深度特征進(jìn)行學(xué)習(xí)，有利于準(zhǔn)確識(shí)別動(dòng)作。

2.2 循環(huán)神經(jīng)網(wǎng)絡(luò)

循環(huán)神經(jīng)網(wǎng)絡(luò)能夠傳遞和積累動(dòng)作數(shù)據(jù)隨時(shí)間演變更新的信息。人體動(dòng)作骨骼數(shù)據(jù)作為典型的時(shí)間序列數(shù)據(jù)，關(guān)節(jié)點(diǎn)坐標(biāo)隨時(shí)間的推移而變化，因此RNN及其變形模型被較多地應(yīng)用于基于骨骼數(shù)據(jù)的人體動(dòng)作識(shí)別。

Shahroudy等于2016年創(chuàng)建NTU RGBD數(shù)據(jù)集，并運(yùn)用LSTM建模不同身體部分特征之間的長(zhǎng)期依賴關(guān)系，在此數(shù)據(jù)集跨表演者（Cross-Subject，CS）和跨視角（Cross-View，CV）兩個(gè)評(píng)價(jià)指標(biāo)下的識(shí)別率分別達(dá)到62.93%和70.27%。此后，該團(tuán)隊(duì)又創(chuàng)建了NTU RGBD120數(shù)據(jù)集，該數(shù)據(jù)集有跨表演者（CS）和跨設(shè)置號(hào)（Cross-Setup，C-Setup）兩個(gè)評(píng)價(jià)指標(biāo)。主干網(wǎng)絡(luò)為循環(huán)神經(jīng)網(wǎng)絡(luò)，針對(duì)輸入端改變數(shù)據(jù)排列方式，在網(wǎng)絡(luò)內(nèi)部結(jié)構(gòu)中增加注意力機(jī)制，輸出端采用融合策略等相關(guān)改進(jìn)?；谘h(huán)神經(jīng)網(wǎng)絡(luò)的相關(guān)研究如表4所示。

將骨骼數(shù)據(jù)按關(guān)節(jié)點(diǎn)序號(hào)和時(shí)間幀排列成長(zhǎng)向量，RNN利用網(wǎng)絡(luò)內(nèi)部的狀態(tài)轉(zhuǎn)移機(jī)制，學(xué)習(xí)到動(dòng)作隨時(shí)間推移發(fā)生的變化用于人體行為識(shí)別。

2.3 圖卷積神經(jīng)網(wǎng)絡(luò)

CNN和RNN均針對(duì)排列規(guī)則的歐式數(shù)據(jù)進(jìn)行學(xué)習(xí)，而不能直接處理非歐式數(shù)據(jù)。人體骨骼數(shù)據(jù)具有很多非歐式數(shù)據(jù)的特性，可將人體骨骼數(shù)據(jù)視為由關(guān)節(jié)點(diǎn)和骨骼組成的圖數(shù)據(jù)，采用圖卷積神經(jīng)網(wǎng)絡(luò)能夠直接對(duì)圖數(shù)據(jù)進(jìn)行學(xué)習(xí)。

Yan等將歐式數(shù)據(jù)卷積推廣到骨骼數(shù)據(jù)這種非歐數(shù)據(jù)的卷積上，如式（3）所示。

Table 4 Related research based on recurrent neural network表4 基于循環(huán)神經(jīng)網(wǎng)絡(luò)的相關(guān)研究

將骨骼數(shù)據(jù)視為圖數(shù)據(jù)，更符合骨骼數(shù)據(jù)是非結(jié)構(gòu)化數(shù)據(jù)的本質(zhì)。GCN通過(guò)卷積能夠?qū)W習(xí)關(guān)節(jié)點(diǎn)自身的特性，根據(jù)相鄰關(guān)節(jié)點(diǎn)之間以及非相鄰關(guān)節(jié)點(diǎn)之間的關(guān)系，能捕獲動(dòng)作變化的時(shí)空特征用于動(dòng)作識(shí)別。

2.4 混合神經(jīng)網(wǎng)絡(luò)

CNN輸入的骨骼數(shù)據(jù)形式為二維偽圖像，其采用局部連接、共享權(quán)值的方式進(jìn)行學(xué)習(xí)，但局部卷積只能學(xué)習(xí)到相鄰關(guān)節(jié)點(diǎn)之間的關(guān)系，而不能學(xué)習(xí)到非相鄰關(guān)節(jié)點(diǎn)之間的關(guān)系，因此不能較好地識(shí)別大幅度動(dòng)作。RNN輸入的骨骼數(shù)據(jù)形式是長(zhǎng)向量，其利用網(wǎng)絡(luò)內(nèi)部的狀態(tài)轉(zhuǎn)移機(jī)制，可學(xué)習(xí)到動(dòng)作隨時(shí)間推移發(fā)生的變化，但長(zhǎng)向量的數(shù)據(jù)排列方式忽略了人體骨骼固有的拓?fù)浣Y(jié)構(gòu)信息。GCN同時(shí)考慮關(guān)節(jié)點(diǎn)自身特征與相鄰關(guān)節(jié)點(diǎn)之間的關(guān)系，能較好地學(xué)習(xí)到骨骼序列中的時(shí)空特征，但是對(duì)于遠(yuǎn)距離關(guān)節(jié)點(diǎn)之間的關(guān)系以及動(dòng)作序列長(zhǎng)時(shí)動(dòng)態(tài)信息的建模能力較差。

混合神經(jīng)網(wǎng)絡(luò)是CNN、RNN、GCN等深度網(wǎng)絡(luò)之間的有機(jī)組合，通過(guò)合理組合多類型深度網(wǎng)絡(luò)使混合神經(jīng)網(wǎng)絡(luò)的整體識(shí)別性能達(dá)到最佳。主干網(wǎng)絡(luò)采用CNN+LSTM、CNN+GCN、GCN+Bi-LSTM等不同類型深度網(wǎng)絡(luò)組合的相關(guān)研究如表6所示。

混合神經(jīng)網(wǎng)絡(luò)對(duì)不同類型深度網(wǎng)絡(luò)有機(jī)組合，可捕捉動(dòng)作不同方面的特征信息，以達(dá)到信息互補(bǔ)、信息增強(qiáng)的效果，進(jìn)一步提高了模型的動(dòng)作識(shí)別性能。

綜上，基于深度特征的方法能充分利用各種網(wǎng)絡(luò)的優(yōu)勢(shì)從骨骼數(shù)據(jù)中學(xué)習(xí)到有利于動(dòng)作識(shí)別的時(shí)空特征，且深度網(wǎng)絡(luò)的識(shí)別性能一般略優(yōu)于機(jī)器學(xué)習(xí)算法。但其缺點(diǎn)是深度特征的解釋性較差。深度網(wǎng)絡(luò)也存在需要訓(xùn)練的參數(shù)過(guò)多及訓(xùn)練模型耗時(shí)較長(zhǎng)等問(wèn)題。

Table5 Related research based on graph convolutional neural network表5 基于圖卷積神經(jīng)網(wǎng)絡(luò)的相關(guān)研究

Table 6 Related research based on hybrid neural network表6 基于混合神經(jīng)網(wǎng)絡(luò)的相關(guān)研究

2.5 基于深度特征的各網(wǎng)絡(luò)之間對(duì)比

基于深度特征的骨骼數(shù)據(jù)行為識(shí)別方法常采用的深度網(wǎng)絡(luò)有CNN、RNN和GCN。RNN可較好地反映運(yùn)動(dòng)時(shí)序信號(hào)特征，但是忽略了人體骨骼的拓?fù)浣Y(jié)構(gòu)；CNN通過(guò)卷積操作獲取時(shí)間和空間域的動(dòng)作特征，卷積計(jì)算易于實(shí)現(xiàn)，但不能較好地反映運(yùn)動(dòng)固有特性；GCN是將人體結(jié)構(gòu)表達(dá)為圖結(jié)構(gòu)，并通過(guò)卷積操作獲取相應(yīng)動(dòng)作特征。圖結(jié)構(gòu)可較好地反映人體的結(jié)構(gòu)表達(dá)，但其拓?fù)浣Y(jié)構(gòu)較為復(fù)雜。同時(shí)對(duì)比基于RNN、CNN、GCN的人體行為識(shí)別方法的識(shí)別率，可以發(fā)現(xiàn)運(yùn)用圖卷積網(wǎng)絡(luò)能較為精準(zhǔn)地識(shí)別出動(dòng)作類型，其原因是將骨骼數(shù)據(jù)視為圖數(shù)據(jù)比表示為偽圖像和長(zhǎng)向量更合適?；诨旌暇W(wǎng)絡(luò)（不同類型深度網(wǎng)絡(luò)的有機(jī)組合）的整體識(shí)別性能優(yōu)于單獨(dú)使用某種深度網(wǎng)絡(luò)，但其存在模型復(fù)雜度較高的問(wèn)題。

3 總結(jié)與展望

本文從手工特征和深度特征角度出發(fā)對(duì)基于骨骼數(shù)據(jù)的人體行為識(shí)別方法相關(guān)研究進(jìn)行了分析總結(jié)?；跈C(jī)器學(xué)習(xí)方法的特征提取依賴于人的先驗(yàn)知識(shí)，基于深度學(xué)習(xí)方法的特征學(xué)習(xí)依賴于對(duì)數(shù)據(jù)的訓(xùn)練。觀察兩類方法的識(shí)別結(jié)果可知，深度特征較手工特征更能有效地表征動(dòng)作。

在基于骨骼數(shù)據(jù)的人體行為識(shí)別研究中，仍有很多問(wèn)題需要作進(jìn)一步探索，例如：真實(shí)場(chǎng)景下關(guān)節(jié)點(diǎn)之間由于存在遮擋導(dǎo)致部分關(guān)節(jié)點(diǎn)數(shù)據(jù)缺失時(shí)的動(dòng)作識(shí)別、具有“相似運(yùn)動(dòng)軌跡”的動(dòng)作區(qū)分，以及如何篩選出人體運(yùn)動(dòng)過(guò)程中位置變化較大的關(guān)節(jié)點(diǎn)用于動(dòng)作識(shí)別等，這些問(wèn)題的解決依賴于對(duì)算法的進(jìn)一步優(yōu)化與改進(jìn)。