人體行為識別研究綜述

裴利沈，劉少博+，趙雪專

1.河南財(cái)經(jīng)政法大學(xué) 計(jì)算機(jī)與信息工程學(xué)院，鄭州450046

2.鄭州航空工業(yè)管理學(xué)院 智能工程學(xué)院，鄭州450046

計(jì)算機(jī)視覺是由計(jì)算機(jī)科學(xué)和工程、信號處理、統(tǒng)計(jì)學(xué)和認(rèn)知科學(xué)等多門學(xué)科交叉融合的一門綜合性學(xué)科。人體行為識別是計(jì)算機(jī)視覺領(lǐng)域的一個熱門話題，在機(jī)器人行為研究、智能人機(jī)交互、智能視頻監(jiān)控、仿真虛擬現(xiàn)實(shí)、智能安防、運(yùn)動員輔助訓(xùn)練等方面具有很大的探索和應(yīng)用價(jià)值，被國內(nèi)外學(xué)者和研究人員廣泛關(guān)注。

依據(jù)特征提取方式將行為識別劃分為傳統(tǒng)方式法和深度學(xué)習(xí)法。手工提取特征的傳統(tǒng)方式法在大數(shù)據(jù)時(shí)代具有很大的局限性。卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network，CNN）在圖像領(lǐng)域中的卓越表現(xiàn)，使得基于視頻的行為研究看到希望。深度神經(jīng)網(wǎng)絡(luò)應(yīng)用之后，彌補(bǔ)了一些傳統(tǒng)方式的缺陷，在公共數(shù)據(jù)集上效果優(yōu)異。

早期的靜態(tài)數(shù)據(jù)集動作單一，場景簡單，隨著行為識別的發(fā)展，數(shù)據(jù)集趨近于真實(shí)生活場景，標(biāo)簽逐漸多樣化，數(shù)據(jù)量也迅速增長。數(shù)據(jù)集的發(fā)展大致經(jīng)歷了最初的簡單個體——復(fù)雜場景多個體——真實(shí)場景數(shù)據(jù)集——大型數(shù)據(jù)集——面向細(xì)粒度動作分析的層次化高質(zhì)量數(shù)據(jù)集的過程，數(shù)據(jù)集的發(fā)展歷程見證和加速著行為識別方式的發(fā)展。

在之前研究的基礎(chǔ)上，本文對已有的主流人體行為識別方法進(jìn)行歸納與對比，主要從傳統(tǒng)方法、深度學(xué)習(xí)方法、數(shù)據(jù)集等方面進(jìn)行介紹。首先，介紹了行為識別的研究背景，對行為識別簡單概述。然后，按照發(fā)展歷程重點(diǎn)介紹了傳統(tǒng)方法和深度學(xué)習(xí)方法下的經(jīng)典算法，闡述了識別算法的主要研究思路和改進(jìn)之處，簡單介紹了對受限玻爾茲曼機(jī)（restricted Boltzmann machines，RBM）和非局部神經(jīng)網(wǎng)絡(luò)（nonlocal neural networks）。其次，總結(jié)了常用數(shù)據(jù)集，對比與分析了主流的人體行為識別方法在不同數(shù)據(jù)集上的識別精度。最后，對全文進(jìn)行總結(jié)，并對未來進(jìn)行了預(yù)測與展望，期望方便初學(xué)者快速入門，激勵研究者發(fā)現(xiàn)新問題與新思路。本文的突出特點(diǎn)是對比介紹，突出不同方式的優(yōu)缺點(diǎn)，同時(shí)結(jié)合改進(jìn)的研究方法，對行為識別算法進(jìn)行新舊與經(jīng)典的綜合論述。

1 行為識別概述

人體行為識別的成功與否直接取決于特征提取的正確與否，特征處理以及分析理解都建立在特征提取的基礎(chǔ)上。圖1 對比了傳統(tǒng)方法與深度學(xué)習(xí)方法下行為識別的流程。傳統(tǒng)方式手工提取特征需要一定的相關(guān)知識，設(shè)計(jì)特征時(shí)耗費(fèi)大量的人力物力；深度學(xué)習(xí)方法下，使用不同的深度特征提取網(wǎng)絡(luò)，能夠依據(jù)關(guān)注點(diǎn)不同適應(yīng)特征變化。

圖1 傳統(tǒng)方法與深度學(xué)習(xí)方法流程對比Fig.1 Process comparison between traditional methods and deep learning methods

主流的傳統(tǒng)方法有輪廓剪影（human silhouette）、時(shí)空興趣點(diǎn)（space-time interest points）、人體關(guān)節(jié)點(diǎn)（human joint point）和運(yùn)動軌跡（trajectories）。依照網(wǎng)絡(luò)結(jié)構(gòu)將基于深度學(xué)習(xí)行為識別劃分為三大類：雙流網(wǎng)絡(luò)（two-stream network）、3D 卷積神經(jīng)網(wǎng)絡(luò)（3D convolution network）和混合網(wǎng)絡(luò)（hybrid network）。同時(shí)，一些其他的研究思路，如基于骨架識別、受限玻爾茲曼機(jī)、非局部神經(jīng)網(wǎng)絡(luò)等也有良好的效果。

傳統(tǒng)方法中的特征表示，可以使用整體表示方法與局部表示方法，兩種方式各具特色，優(yōu)缺點(diǎn)互補(bǔ)。整體表示方式主要包括輪廓剪影方式、背景剪除法等；局部表示主要包括時(shí)空興趣點(diǎn)檢測等。在考慮時(shí)空特征的深度學(xué)習(xí)行為識別算法中，雙流網(wǎng)絡(luò)代表性算法有Temporal Segments Networks、Temporal Relation Network、SlowFast Network等；3D 卷積神經(jīng)網(wǎng)絡(luò)代表性算法有C3D（convolutional 3D network）、P3D（pseudo-3D residual networks）等；混合網(wǎng)絡(luò)代表性算法有CNN-LSTM（convolutional neural network-long short-term memory）、LRCN（long-term recurrent convolutional networks）、VideoLSTM等。行為識別的簡單劃分如圖2 所示。

圖2 行為識別分類Fig.2 Action recognition classification

2 基于傳統(tǒng)方法的人體行為識別

傳統(tǒng)行為識別方法的特點(diǎn)是利用手工設(shè)計(jì)特征對行為進(jìn)行表征，利用統(tǒng)計(jì)學(xué)習(xí)的分類方法對行為進(jìn)行分類識別。特征提取根據(jù)人類行為構(gòu)成和表示方式的不同，可以細(xì)分為整體表示和局部表示方法。輪廓剪影方式通過構(gòu)建各種描述符表達(dá)行為信息；時(shí)空興趣點(diǎn)方式嘗試突破二維，從三維角度強(qiáng)調(diào)時(shí)空域信息；人體關(guān)節(jié)點(diǎn)方式利用姿勢估計(jì)推測關(guān)節(jié)點(diǎn)位置與運(yùn)動信息；運(yùn)動軌跡方式追蹤動作軌跡。

2.1 整體特征表示

整體特征表示方法把視頻幀認(rèn)為一個整體，輪廓剪影、人體關(guān)節(jié)點(diǎn)等方式使用整體表示方法提取全局特征。提取特征時(shí)，需要對前景、噪聲等進(jìn)行處理。從背景中提取運(yùn)動前景，一般使用背景剪除法、幀間差分、分流、人體輪廓剪影等方法，然后將獲得的整個人體行為區(qū)域作為行為表征。對于噪聲影響問題，可采用形態(tài)學(xué)等處理方法。

整體特征表達(dá)方法中，基于視頻幀的信息描述方式有運(yùn)動能量圖（motion energy image，MEI）、運(yùn)動歷史圖（motion history image，MHI）、運(yùn)動網(wǎng)格特征矢量、運(yùn)動歷史體積模板（motion history volume，MHV）、形狀上下文（shape context，SC）等方法。

傳統(tǒng)方式中對于運(yùn)動方式的描述至關(guān)重要。Bobick 等使用背景剪除法獲取人體輪廓，并重疊輪廓特征獲取圖像幀的差別，從而設(shè)計(jì)出MEI 和MHI。MEI粗略描述運(yùn)動的空間分布，MHI表示人體的運(yùn)動方式，兩者表示運(yùn)動存在并且解釋視頻幀中人體的運(yùn)動情況，可以簡單闡述視頻中的有效信息。此種方式的核心和基本思想是編碼圖像的相關(guān)運(yùn)動信息。

時(shí)空體積（space-time volume，STV）表示是疊加給定序列的幀，但仍需背景剪除、對齊等。Yilmaz等使用STV 獲取動作描述和動作草圖，并且執(zhí)行圖形識別，結(jié)果表明已知運(yùn)動情況闡述了潛在的運(yùn)動情況。MHV、STV 等描述方式容易關(guān)注于重要區(qū)域，在一些簡單背景中效果良好。

Matikainen 等經(jīng)過研究，發(fā)現(xiàn)當(dāng)背景逐漸復(fù)雜，出現(xiàn)遮擋、噪聲等時(shí)候，輪廓特征提取變得愈發(fā)困難，其闡述了整體方法的局限性，難以解決遮蓋變化、計(jì)算效率低、不能捕捉細(xì)節(jié)等問題，證明了整體方法并不是最優(yōu)選擇。

基于人體關(guān)節(jié)點(diǎn)的傳統(tǒng)行為識別核心思想是對人體運(yùn)動姿勢進(jìn)行捕捉，描繪出各姿勢關(guān)節(jié)點(diǎn)的位置情況，以及同一關(guān)節(jié)點(diǎn)不同時(shí)間維度下的位置變化情況，從而推斷出人體行為。

Fujiyoshi 等創(chuàng)造出經(jīng)典的五關(guān)節(jié)星形圖（四肢、頭顱），從視頻流中實(shí)時(shí)提取人體目標(biāo)，將人體五關(guān)節(jié)與人體重心構(gòu)成矢量，從骨架化線索中獲取人類活動。使用自適應(yīng)模型來應(yīng)對背景改變，需要先對視頻進(jìn)行背景分離和預(yù)處理，最后進(jìn)行運(yùn)動分析。對于人體關(guān)節(jié)點(diǎn)特征進(jìn)行提取時(shí)，需要實(shí)時(shí)目標(biāo)提取，人力物力耗費(fèi)較大，為了解決這一問題，可以使用深度相機(jī)、深度傳感器等技術(shù)。

Yang 等利用RGBD 相機(jī)的3D 深度數(shù)據(jù)復(fù)刻3D 人體關(guān)節(jié)點(diǎn)進(jìn)行動作識別，效果優(yōu)于其他關(guān)節(jié)點(diǎn)特征提取識別算法。卷積神經(jīng)應(yīng)用后，人體關(guān)節(jié)點(diǎn)方式與深度學(xué)習(xí)方法進(jìn)行有效結(jié)合，獲得了高效高精度的識別效果。Zhang 等用OpenPose 提取關(guān)節(jié)向量的各種特征，使用最近鄰（-nearest neighbor,NN）動作分類，驗(yàn)證深度特征算法的精進(jìn)性。

基于人體關(guān)節(jié)點(diǎn)的方法通過關(guān)節(jié)點(diǎn)構(gòu)建動作輪廓，在簡單背景下對于大幅度動作識別效果較好，但是受限于人體關(guān)節(jié)遮擋、細(xì)粒度關(guān)節(jié)變化等問題，傳統(tǒng)的人體關(guān)節(jié)點(diǎn)行為識別方式在真實(shí)場景下難以應(yīng)用。

2.2 局部特征表示

局部特征表示方法將視頻段落認(rèn)為一個整體，在處理視角和遮擋變化等方面有更好的效果。時(shí)空興趣點(diǎn)和運(yùn)動軌跡使用局部表示方法獲取特征。有多種局部特征描述符，如梯度直方圖（histogram of oriented gradient，HOG）、運(yùn)動邊界直方圖（motion of boundary history，MBH）、光流梯度直方圖（histograms of oriented optical flow，HOF）等。

在時(shí)空域中提取時(shí)域和空域變化都明顯的鄰域點(diǎn)是時(shí)空興趣點(diǎn)檢測的核心，時(shí)空興趣點(diǎn)檢測是局部表示方法的一種典型例子，將行為信息使用興趣點(diǎn)描述。時(shí)空興趣點(diǎn)提取法本質(zhì)是映射三維函數(shù)至一維空間，得到其局部極大值的點(diǎn)。此種方式相比于基于輪廓剪影方式，更適用于一些復(fù)雜背景。

Laptev不僅提出時(shí)空興趣點(diǎn)，還將Harris 角點(diǎn)興趣點(diǎn)探測器擴(kuò)展至三維時(shí)空興趣點(diǎn)探測器。Harris3D 檢測的鄰域塊大小能夠自適應(yīng)時(shí)間和空間維度，使鄰域像素值在時(shí)空域中有顯著變化。

興趣點(diǎn)提取的多少和稀疏情況，是使用基于時(shí)空興趣點(diǎn)方法中的關(guān)鍵因素。Dollar等指出Laptev的方法存在短板，獲取的穩(wěn)定興趣點(diǎn)過少，因此其團(tuán)隊(duì)在時(shí)空域上使用Gabor 濾波器和高斯濾波器，使得興趣點(diǎn)數(shù)量過少情況得到適量改善。Wang 等提出使用稠密網(wǎng)格方式提取行為特征，并對于興趣點(diǎn)的稀疏和密集問題做出詳細(xì)論證。通常情況下，密集興趣點(diǎn)效果更好，但是時(shí)空復(fù)雜度較高。Willems等使用Hessian 矩陣改善時(shí)空興趣點(diǎn)方法，優(yōu)先找出興趣點(diǎn)所在位置，使得檢索興趣點(diǎn)時(shí)間復(fù)雜度大幅降低，缺點(diǎn)是興趣點(diǎn)不夠密集。

時(shí)空興趣點(diǎn)不再過度依賴于背景，不需要對視頻進(jìn)行分割處理，因此在一些復(fù)雜的背景下識別效果比整體表示方式好，但是對于人體遮擋、興趣點(diǎn)采樣數(shù)量等要求較高。

運(yùn)動軌跡利用光流場獲取視頻片段中的軌跡?；谶\(yùn)動軌跡的手工特征提取方法是通過追蹤目標(biāo)的密集采樣的點(diǎn)獲得運(yùn)動軌跡，根據(jù)軌跡提取行為識別特征，分類器訓(xùn)練后，得到識別結(jié)果。

HOG 描述符可以展示靜態(tài)的表面信息，MBH 描述符表示光流的梯度，HOF 描述符展示局部運(yùn)動信息。相對于單一特征，Chen 等連接HOG、光流、重心、3D SIFT（3D scale invariant feature transform）等特征，能適應(yīng)于更為復(fù)雜的場景，有更好的魯棒性和適應(yīng)性。Wang 等根據(jù)之前的對比研究發(fā)現(xiàn)，密集采樣興趣點(diǎn)比稀疏采樣效果好，因此使用“密集軌跡”（dense trajectories）的方式。

基于運(yùn)動軌跡的行為識別軌跡描述符可以保留運(yùn)動的全面信息，關(guān)注點(diǎn)在于時(shí)空域變化下的目標(biāo)運(yùn)動，該方法的缺點(diǎn)也很明顯，即相機(jī)運(yùn)動的影響較大，HOF 記錄絕對運(yùn)動信息，包含相機(jī)運(yùn)動軌跡，MBH 記錄相對運(yùn)動信息。Wang 等提出更為完善的密集軌跡方法（improved dense trajectories，IDT），通過軌跡的位移矢量來進(jìn)行閾值處理，如果位移太小，則移除，只保留下來流場變化的信息，這樣能夠消解拍攝時(shí)運(yùn)動的影響，使得HOF 和MBH 組合得到的結(jié)果進(jìn)一步改善。優(yōu)化后的密集軌跡算法可以適當(dāng)?shù)窒鄼C(jī)光流帶來的影響，對軌跡增加平滑約束，獲得了魯棒性更強(qiáng)的軌跡。盡管IDT 已經(jīng)有較好的識別效果，外界環(huán)境仍然會對其造成一定程度的影響，可以使用Fisher進(jìn)行向量編碼，訓(xùn)練比較耗時(shí)。

IDT 算法是傳統(tǒng)手工特征提取所有方法中實(shí)際效果最理想、應(yīng)用場景最多的算法。IDT 以其較好的可靠性和穩(wěn)定性在深度學(xué)習(xí)應(yīng)用之前廣泛應(yīng)用。卷積神經(jīng)應(yīng)用后，很多利用深度學(xué)習(xí)并結(jié)合IDT 算法進(jìn)行行為識別的實(shí)驗(yàn)，呈現(xiàn)優(yōu)異的效果。Li等用深度運(yùn)動圖進(jìn)行卷積網(wǎng)絡(luò)訓(xùn)練，利用密集軌跡描述運(yùn)動信息，高效提取深度信息和紋理信息，能有效判別相似動作，減弱光照等影響，但是復(fù)雜度較高，識別速度較慢。表1 總結(jié)了基于傳統(tǒng)方式的行為識別方法的對比。

表1 基于傳統(tǒng)方法行為識別對比Table 1 Comparison of action recognition based on traditional methods

在傳統(tǒng)人體行為識別算法中，行為特征提取依靠人工觀察、手工表征。輪廓剪影方法能在簡單背景中表現(xiàn)出良好的性能，但是靈活度低，對于遮擋、噪聲等非常敏感；時(shí)空興趣點(diǎn)方法不再對RGB 視頻序列進(jìn)行前景和后景裁剪，有豐富的興趣點(diǎn)時(shí)識別效果更好，但是計(jì)算復(fù)雜度就相對提高，時(shí)間增長，對光線等敏感；人體關(guān)節(jié)點(diǎn)方法行為識別時(shí)不再要求高像素，但對于拍攝角度等敏感，不過由關(guān)節(jié)點(diǎn)發(fā)展而成的骨架，結(jié)合深度學(xué)習(xí)，在人體行為識別領(lǐng)域具有良好的發(fā)展勢頭，目前多數(shù)的電影電視特效團(tuán)隊(duì)拍攝時(shí)通過關(guān)節(jié)和骨架進(jìn)行取樣；運(yùn)動軌跡方法是傳統(tǒng)方式中信息保留較好、表征能力較強(qiáng)、識別效果最好的方法，但受到光流的影響。

總之，傳統(tǒng)方法下，人體行為識別技術(shù)仍然受到物體之間的遮擋、噪聲、環(huán)境的光照、相機(jī)移動、算法魯棒性的影響。對于這些問題，有兩個主要的解決途徑：使用深度圖像和尋找更好的描述符。

深度相機(jī)提供了改善部分問題的解決方式，但是深度圖像不容易獲得。微軟新推出的3D 體感傳感器Kinect，可以方便地獲取深度和骨骼位置信息。研究人員設(shè)計(jì)的輪廓梯度方向直方圖（contour-histogram of oriented gradient，CT-HOG）、邊緣方向直方圖特征（edge orientation histogram，EOH）、局部二值模式特征（local binary pattern，LBP）、梯度局部自相關(guān)特征（gradient local auto-correlation，GLAC）等嘗試規(guī)避光照改變和物體之間遮擋等問題帶來的不良影響。這些問題正在被逐步改善。

3 基于深度學(xué)習(xí)的人體行為識別

深度學(xué)習(xí)基于對數(shù)據(jù)進(jìn)行表征學(xué)習(xí)，使用特征學(xué)習(xí)和分層特征提取的高效算法自動提取特征來代替人工獲得特征。深度學(xué)習(xí)以其強(qiáng)大的學(xué)習(xí)能力、高適應(yīng)性、可移植性等優(yōu)點(diǎn)成為熱門。雙流網(wǎng)絡(luò)關(guān)注時(shí)空域特征，識別準(zhǔn)確度很高；3D 卷積網(wǎng)絡(luò)強(qiáng)調(diào)連續(xù)幀之間的信息處理；結(jié)合多種網(wǎng)絡(luò)架構(gòu)的混合網(wǎng)絡(luò)則側(cè)重于優(yōu)點(diǎn)結(jié)合。同時(shí)，還有一些學(xué)者從不同角度利用深度學(xué)習(xí)探索行為識別，如基于骨架的關(guān)節(jié)點(diǎn)識別方式、受限玻爾茲曼機(jī)、非局部神經(jīng)網(wǎng)絡(luò)等，也有不錯的效果?；陔p流網(wǎng)絡(luò)的改進(jìn)、對3D 卷積結(jié)構(gòu)的修改和擴(kuò)展、結(jié)合CNN 和LSTM 的混合網(wǎng)絡(luò)，都是目前的研究熱點(diǎn)。

3.1 雙流網(wǎng)絡(luò)結(jié)構(gòu)

雙流網(wǎng)絡(luò)結(jié)構(gòu)（two-stream）將卷積信息分為時(shí)域和空域兩部分，兩條網(wǎng)絡(luò)流結(jié)構(gòu)相同（CNN 和Softmax 組成）但互不干擾。從單幀RGB 圖像中獲取環(huán)境、物體等空間表面信息；從連續(xù)光流場中獲取目標(biāo)的運(yùn)動信息，最終將雙流的訓(xùn)練結(jié)果融合，得到識別結(jié)果。Two-stream 網(wǎng)絡(luò)基本流程如圖3 所示。

圖3 雙流結(jié)構(gòu)框架Fig.3 Structure framework of two-stream

2014 年Simonyan 等在神經(jīng)信息處理系統(tǒng)大會NIPS 上提出Two-stream 方法，分別考慮時(shí)空維度，設(shè)計(jì)思路巧妙。從流程的整個過程考慮，視頻幀的分割、單幀RGB 處理、連續(xù)幀的選擇與相關(guān)性描述、網(wǎng)絡(luò)選擇、雙流融合方式、訓(xùn)練方式與規(guī)模等都可以選擇不同的方案以達(dá)到更好的識別效果，也是后續(xù)雙流網(wǎng)絡(luò)完善的主要思路。

CNN 結(jié)構(gòu)深度太淺，用于視頻識別時(shí)模型的擬合能力受到影響，同時(shí)受限于訓(xùn)練的數(shù)據(jù)集規(guī)模較小，容易過擬合，導(dǎo)致訓(xùn)練效果并不是很好。卷積核尺寸、卷積步長、網(wǎng)絡(luò)結(jié)構(gòu)深度的改變產(chǎn)生了性能更好的VGGNet、GoogleNet 等網(wǎng)絡(luò)結(jié)構(gòu)，新的網(wǎng)絡(luò)結(jié)構(gòu)逐步替代CNN 網(wǎng)絡(luò)。使用預(yù)訓(xùn)練、多GPU 并行訓(xùn)練等方式改善訓(xùn)練結(jié)果，減少內(nèi)存消耗，識別效果有了很大的提升，但是會增大硬件要求，對于普適應(yīng)用并不友好。

ConvNet 框架缺乏處理長時(shí)間結(jié)構(gòu)的能力，一些解決辦法計(jì)算開銷較大，對于超長時(shí)間序列的視頻，可能存在著重要信息丟失的風(fēng)險(xiǎn)。Wang和Xiong等基于分段和稀疏化思想提出時(shí)域分割網(wǎng)絡(luò)（temporal segments networks，TSN），使用系數(shù)時(shí)間采樣和視頻級別監(jiān)督，對長視頻進(jìn)行分段，隨機(jī)選取短片段使用雙流方法。針對數(shù)據(jù)樣本量不足問題，應(yīng)用交叉預(yù)訓(xùn)練、正則化和數(shù)據(jù)增強(qiáng)技術(shù)，降低了復(fù)雜性，同時(shí)消除相機(jī)運(yùn)動帶來的偏差影響，但比較耗時(shí)。

雙流網(wǎng)絡(luò)中的局部特征相似，容易導(dǎo)致識別失敗，Zhou 等通過角落裁剪和多尺度結(jié)合對數(shù)據(jù)進(jìn)行增強(qiáng)，利用殘差塊提取局部特征和全局特征，使用非局部CNN 提取視頻級信息，表征能力更強(qiáng)。Wang等在卷積神經(jīng)中加入高階注意力模塊，調(diào)整各部分權(quán)重，強(qiáng)化對局部細(xì)微變化的關(guān)注。

Feichtenhofer 等沿襲雙流網(wǎng)絡(luò)結(jié)構(gòu)時(shí)，發(fā)現(xiàn)空間網(wǎng)絡(luò)已然能完成大部分行為識別，時(shí)間網(wǎng)絡(luò)并沒有發(fā)揮很大的作用，于是研究將兩個網(wǎng)絡(luò)在特定卷積層進(jìn)行融合，提出的時(shí)空融合架構(gòu)框架如圖4 所示。結(jié)果顯示，在最后一個卷積層，將兩個網(wǎng)絡(luò)融合在空間流中，使用3D Conv 融合方式和3D Pooling 將其轉(zhuǎn)化為時(shí)空流，保持雙流持續(xù)運(yùn)作，相對于截?cái)鄷r(shí)間流，減少了很多參數(shù)，進(jìn)一步提高了識別率。對比傳統(tǒng)的雙流架構(gòu)，仍增加了參數(shù)數(shù)量，加大了運(yùn)算復(fù)雜度。

圖4 時(shí)空融合架構(gòu)框架Fig.4 Structure framework of spatiotemporal fusion

基礎(chǔ)雙流模型在時(shí)空交互性上的處理影響識別準(zhǔn)確度。ResNets 具有更強(qiáng)的表征能力，殘差結(jié)果對數(shù)據(jù)變動更為敏感，因此Feichtenhofer 等對雙流網(wǎng)絡(luò)和殘差網(wǎng)絡(luò)進(jìn)行創(chuàng)造性的結(jié)合，提出時(shí)空殘差網(wǎng)絡(luò)模型（spatiotemporal residual networks，STResNet）。STResNet 通過殘差連接進(jìn)行數(shù)據(jù)交互，允許通過雙流通道進(jìn)行時(shí)空特性的分層學(xué)習(xí)。Pan 等提出了一種基于時(shí)空交互注意力模型的行為識別方法，在空域上設(shè)計(jì)空間注意力模型，計(jì)算幀的顯著性位置，在時(shí)域上設(shè)計(jì)時(shí)間注意力模型，定位顯著幀，更加關(guān)注于有效幀和幀的有效區(qū)。時(shí)空交互和注意力機(jī)制使得各種算法模型識別效果更好，但模型變得復(fù)雜難以避免，探索交互方式和高效使用是一個重要的研究方向。

由雙流網(wǎng)絡(luò)衍生出多種多流網(wǎng)絡(luò)。Wang 等提出一種全局時(shí)空三流CNN 架構(gòu)，傳統(tǒng)的CNN 在時(shí)空域上基于局部信息進(jìn)行動作識別，三流架構(gòu)從單幀、光流和全局疊加運(yùn)動特征中開展空間、局部時(shí)域和全局時(shí)域流分析。Bilen 等引入四流網(wǎng)絡(luò)架構(gòu)，訓(xùn)練RGB 和光流幀以及對應(yīng)的動態(tài)圖像，獲得時(shí)序演變。多流網(wǎng)絡(luò)相對于雙流網(wǎng)絡(luò)，加寬了網(wǎng)絡(luò)模型，提高了卷積神經(jīng)網(wǎng)絡(luò)在特征提取上的充分性和有效性，但也增大了網(wǎng)絡(luò)架構(gòu)的復(fù)雜性。

以雙流網(wǎng)絡(luò)為基礎(chǔ)的網(wǎng)絡(luò)架構(gòu)是學(xué)者研究的熱點(diǎn)。改進(jìn)網(wǎng)絡(luò)的學(xué)習(xí)特征表示、多信息流的正確組合、針對過擬合問題的數(shù)據(jù)增強(qiáng)方案等都是研究人員對于雙流網(wǎng)絡(luò)改進(jìn)的探索。雙流網(wǎng)絡(luò)以其強(qiáng)調(diào)時(shí)空特性而具有較好的準(zhǔn)確度，但對于網(wǎng)絡(luò)流的訓(xùn)練硬件要求高、速度慢、視頻預(yù)處理等問題嚴(yán)重影響雙流網(wǎng)絡(luò)的實(shí)時(shí)應(yīng)用。

3.2 3D 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

單幀RGB 的二維網(wǎng)絡(luò)訓(xùn)練，容易導(dǎo)致連續(xù)視頻幀間的運(yùn)動關(guān)系被忽略，造成一些重要的視頻信息丟失。Baccouche 等對卷積網(wǎng)絡(luò)進(jìn)行3D 擴(kuò)展，增加時(shí)間維度，使其自動學(xué)習(xí)時(shí)間和空間特征，提升行為識別的準(zhǔn)確度和魯棒性。2D 卷積和3D 卷積區(qū)別如圖5 所示。

圖5 2D-CNN 與3D-CNN 對比Fig.5 Comparison of 2D-CNN and 3D-CNN

Ji等于2013 年提出基于3D 卷積神經(jīng)網(wǎng)絡(luò)的行為識別方式，在由疊加多個連續(xù)視頻幀構(gòu)成的立方體中運(yùn)用3D 卷積核捕捉連續(xù)幀中的運(yùn)動信息。3D卷積網(wǎng)絡(luò)存在參數(shù)過多、數(shù)據(jù)量嚴(yán)重不足等問題。Sun 等將3D 卷積網(wǎng)絡(luò)分解為2D 空間卷積和1D 時(shí)間卷積學(xué)習(xí)，提出空間時(shí)間分解卷積網(wǎng)絡(luò)（factorized spatio-temporal convolutional networks，F(xiàn)CN），大大減少了參數(shù)量，但分解之后，也犧牲了一些表達(dá)能力。使用偽3D 卷積代替3D 卷積也具有不錯的識別效果。

Tran 等認(rèn)為基于RGB 的深層特征并不直接適合于視頻序列，其團(tuán)隊(duì)嘗試使用三維卷積實(shí)現(xiàn)大規(guī)模學(xué)習(xí)，通過改變3D 卷積網(wǎng)絡(luò)中不同層的卷積核的時(shí)間深度來尋找最優(yōu)的3D 卷積核尺寸，提出尺寸卷積核為3×3×3 的C3D 網(wǎng)絡(luò)。C3D 卷積網(wǎng)絡(luò)是3D 卷積網(wǎng)絡(luò)的奠基石。基于ResNet 和C3D 提出Res3D 卷積網(wǎng)絡(luò)，減少參數(shù)量，同時(shí)每秒峰值速度更小，整體上，網(wǎng)絡(luò)性能相對于C3D 有明顯的提升。

3×3×3 尺寸的卷積核計(jì)算量大，內(nèi)存要求高，Li等設(shè)計(jì)出高效3D 卷積塊替換3×3×3 卷積層，進(jìn)而提出融合3D 卷積塊的密集殘差網(wǎng)絡(luò)，降低模型復(fù)雜度，減小資源需求，縮短訓(xùn)練時(shí)間，且卷積塊易于優(yōu)化和復(fù)用。

網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)量不足的問題，一直阻礙著行為識別性能的進(jìn)一步提升。Carreira 等發(fā)布了一個超大的Kinetics 數(shù)據(jù)集，用于解決數(shù)據(jù)局限性問題。同時(shí)提出一種由2D-CNN Inception-V1擴(kuò)張的I3D（twostream inflated 3D ConvNet）模型，將RGB 視頻與堆疊的光流輸入3D 卷積網(wǎng)絡(luò)，并將雙流結(jié)果融合，使得網(wǎng)絡(luò)性能進(jìn)一步提升。

3D 卷積參數(shù)量大、數(shù)據(jù)需求量大以及對光流的利用要求高等問題，限制了3D 卷積對于長時(shí)間信息的充分挖掘與使用。Diba 等嘗試在不同長度視頻范圍內(nèi)對3D 卷積核進(jìn)行建模，提出了T3D（temporal 3D ConvNets）。T3D采用TTL（temporal transition layer）替換池化層，能夠模擬可變的卷積核深度，避免造成不必要的損失；采用3D DenseNet 擴(kuò)展了三維卷積架構(gòu)DenseNet，避免從頭開始訓(xùn)練3D 卷積網(wǎng)絡(luò)。為了探究持續(xù)長時(shí)間輸入視頻對行為建模影響問題，Varol 等提出LTC（long-term temporal convolutions）網(wǎng)絡(luò)結(jié)構(gòu)，以不同時(shí)長視頻作為實(shí)驗(yàn)輸入，結(jié)果顯示隨著視頻長度的增加，識別的準(zhǔn)確度也相應(yīng)增加。T3D 方式雖然能一定程度上在較好的參數(shù)空間內(nèi)初始化網(wǎng)絡(luò)，但是參數(shù)量的增加使得處理過程復(fù)雜耗時(shí)，在兩者的取舍上需要進(jìn)一步考慮。

針對3D 卷積網(wǎng)絡(luò)訓(xùn)練時(shí)間長、調(diào)參難等優(yōu)化問題，Zhang 等將3D 卷積核拆為時(shí)域和空域卷積神經(jīng)結(jié)構(gòu)，形成可交互的雙流，使用殘差網(wǎng)絡(luò)，減少參數(shù)量，降低了硬件要求，提高了訓(xùn)練速度，可廣泛運(yùn)用于機(jī)器人領(lǐng)域。

綜合論述，3D 卷積神經(jīng)網(wǎng)絡(luò)充分關(guān)注人體的運(yùn)動信息，但是3D 卷積中卷積核復(fù)雜、參數(shù)量大等不利因素嚴(yán)重限制其發(fā)展。C3D 存在網(wǎng)絡(luò)結(jié)構(gòu)較淺、訓(xùn)練時(shí)間長、提取特征能力有限等問題，盡管在不同方面已經(jīng)有較好的解決方法，但是沒有統(tǒng)一的方法能夠完美地處理所有問題。使用VGGNet-16、ImageNet預(yù)訓(xùn)練、高效和輕量化三維卷積神經(jīng)、不同解決方案之間的搭配組合是其重要研究方向。

3.3 混合網(wǎng)絡(luò)結(jié)構(gòu)

不同的網(wǎng)絡(luò)架構(gòu)組件具有不同的側(cè)重點(diǎn)和優(yōu)點(diǎn)，多種結(jié)構(gòu)的結(jié)合使用可以有效提取時(shí)空信息，CNN-LSTM 結(jié)構(gòu)是混合網(wǎng)絡(luò)的代表。結(jié)合方式的多樣性，使得混合結(jié)構(gòu)具有很大的潛力和很高的熱度。

遞歸演進(jìn)的循環(huán)網(wǎng)絡(luò)（recurrent neural network，RNN），允許信息持久化，但其激活函數(shù)會導(dǎo)致“梯度消失”問題以及ReLU 函數(shù)導(dǎo)致的“梯度爆炸”問題，使得RNN 解決長序列問題時(shí)能力不足。Hochreiter等設(shè)計(jì)出一種帶“門”結(jié)構(gòu)的循環(huán)神經(jīng)網(wǎng)絡(luò)單元LSTM，避免長期依賴。LSTM 的變體在行為識別中應(yīng)用非常廣泛，但是導(dǎo)致參數(shù)增加，訓(xùn)練難度陡增。RNN 和LSTM 結(jié)構(gòu)區(qū)別如圖6 所示。

圖6 RNN 與LSTM 結(jié)構(gòu)區(qū)別Fig.6 Structural differences between RNN and LSTM

Andrej 等在設(shè)計(jì)網(wǎng)絡(luò)架構(gòu)時(shí)考慮時(shí)間連續(xù)性，嘗試輸入幾個連續(xù)的幀，對神經(jīng)網(wǎng)絡(luò)的融合方式進(jìn)行研究，對比晚融合、早融合以及慢融合進(jìn)行實(shí)驗(yàn)，證明了慢融合具有最好地效果。LSTM 提取短時(shí)信息效率有限，Qi 等使用多維卷積核提取短時(shí)間特征，運(yùn)用LSTM 訓(xùn)練長時(shí)間特征，融合多通道信息，獲得上下文的長期時(shí)空信息。融合上下文特征信息的LSTM 具有更好的表征能力。

CNN-LSTM 結(jié)構(gòu)主要思路為：從RGB 中獲取骨架序列，每一幀都對應(yīng)人體關(guān)節(jié)點(diǎn)的坐標(biāo)位置，若干幀組成一個時(shí)間序列，使用CNN 提取空間特征，LSTM 處理序列化數(shù)據(jù)來挖掘時(shí)序信息，最后使用Softmax 分類器分類。CNN-LSTM 結(jié)構(gòu)可以對時(shí)序信息進(jìn)行更完整的學(xué)習(xí)。Donahue等研究LRCN 循環(huán)卷積結(jié)構(gòu)，將CNN 用于圖像描述板塊中獲取空間特征，LSTM 則獲取時(shí)間特征，其在空間運(yùn)動特征提取、長期依賴等方面有不錯的效果，其框架圖如圖7所示。

圖7 LRCN 框架圖Fig.7 LRCN structure diagram

使用CNN 訓(xùn)練單幀RGB，并在視頻級上進(jìn)行平均預(yù)測會導(dǎo)致信息收集不完整，從而極易造成行為類別混淆，在細(xì)粒度或視頻部分與感興趣部分行為無關(guān)的數(shù)據(jù)集上，此種現(xiàn)象更為明顯。Ng 等為緩解這個問題，提出了一種描述全局視頻級的CNN 描述符，利用特征池和LSTM 網(wǎng)絡(luò)學(xué)習(xí)全局描述。在時(shí)間上共享參數(shù)，在光流圖上訓(xùn)練時(shí)間模型，達(dá)到了比較好的效果。

注意力機(jī)制的引入和后續(xù)LSTM 的優(yōu)化，使得雙流CNN 和LSTM 的結(jié)合能更好地融合視頻的時(shí)空信息。Ma 等使用時(shí)空雙流卷積網(wǎng)絡(luò)和注意力機(jī)制提取特征向量，將其輸入DU-DLSTM 模塊后進(jìn)行深度解析；Jie 等將基于注意力機(jī)制的長短時(shí)記憶循環(huán)卷積網(wǎng)絡(luò)（Attention-ConvLSTM）和雙流網(wǎng)絡(luò)進(jìn)行結(jié)合，更準(zhǔn)確地學(xué)習(xí)非線性特征，分析視頻數(shù)據(jù)，縮短了訓(xùn)練時(shí)長，提高了識別準(zhǔn)確度。

研究者將圖卷積網(wǎng)絡(luò)（graph convolutional network，GCN）與LSTM 結(jié)合，如Kipf 等提出一個圖卷積網(wǎng)絡(luò)，使用圖作為輸入，經(jīng)過多層特征映射，完成半監(jiān)督學(xué)習(xí)。但此種方式存在一些計(jì)算量大、不支持有向圖等棘手問題。

Li等使用卷積注意力網(wǎng)絡(luò)代替注意力網(wǎng)絡(luò)，將二維數(shù)組輸入LSTM 網(wǎng)絡(luò)，提出VideoLSTM。通過引入基于運(yùn)動的注意映射和動作類標(biāo)簽，將VideoLSTM的注意力定位動作的時(shí)空位置。該方法更加適應(yīng)視頻媒體要求，提高了空間布局的相關(guān)性。

全卷積網(wǎng)絡(luò)與多層循環(huán)網(wǎng)絡(luò)結(jié)合、3D 卷積與GRU 結(jié)合、雙流網(wǎng)絡(luò)與膨脹3D 網(wǎng)絡(luò)結(jié)合等都是混合網(wǎng)絡(luò)的研究方向。其不再局限于單一的網(wǎng)絡(luò)架構(gòu)，從而降低人工特征依賴，避免復(fù)雜的預(yù)處理，提高時(shí)間信息利用率，加快識別速度。表2 整理了基于深度學(xué)習(xí)的行為識別的各種網(wǎng)絡(luò)架構(gòu)的優(yōu)缺點(diǎn)。

表2 基于深度學(xué)習(xí)的行為識別算法比較Table 2 Comparison of deep learning based behavior recognition algorithms

經(jīng)典的網(wǎng)絡(luò)模型框架如圖8 所示。雙流網(wǎng)絡(luò)中空間分支處理單幀RGB，時(shí)間分支處理堆疊的光流，注重時(shí)空信息，識別準(zhǔn)確度高，但不同網(wǎng)絡(luò)分離訓(xùn)練，速度慢；3D 卷積網(wǎng)絡(luò)依靠卷積核計(jì)算運(yùn)動特征，速度快，但識別效果與參數(shù)相關(guān)，參數(shù)多時(shí)，計(jì)算量大，硬件要求高，與2D 卷積相比，3D 卷積通過減少輸入幀的空間分辨率，尋求減少內(nèi)存消耗，從而易丟失信號，識別效果受到影響；CNN-LSTM 結(jié)構(gòu)中CNN的平均池化結(jié)果作為LSTM 網(wǎng)絡(luò)的輸入，LSTM 獲取時(shí)間特征，識別時(shí)間快，精度高。

圖8 經(jīng)典網(wǎng)絡(luò)模型框架圖對比Fig.8 Comparison of classical network model framework diagrams

3.4 其他優(yōu)秀的人體行為識別算法

人體行為識別有多種方式，除了關(guān)注時(shí)空特征的網(wǎng)絡(luò)架構(gòu)外，一些其他的方式也有很好的識別效果。基于骨架的行為識別，特征明顯，不易受到外觀等因素的影響；受限波爾茲曼機(jī)利用其無監(jiān)督學(xué)習(xí)能力，可以很好地把握運(yùn)動特性；非局部神經(jīng)網(wǎng)絡(luò)架構(gòu)能夠獲取更加詳細(xì)的特征信息。

Wang 等在三維空間疊加關(guān)節(jié)點(diǎn)軌跡，并投影到正交平面上，生成正交編碼圖，使用卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練，獲得識別結(jié)果，此方法創(chuàng)新于投影關(guān)節(jié)點(diǎn)軌跡，更為簡單。基于人體骨架的研究并結(jié)合卷積神經(jīng)網(wǎng)絡(luò)也是深度學(xué)習(xí)中行為識別的熱點(diǎn)。Shao 等使用層次模型表達(dá)人體局部信息，構(gòu)建層次旋轉(zhuǎn)和相對速度描述符，在公共數(shù)據(jù)集上具有普適性?；诠羌艿男袨樽R別容易忽略骨架數(shù)據(jù)的噪聲和時(shí)序特征，比較難以識別細(xì)微的動作以及有意義的差異，使得提取的特征魯棒性不強(qiáng)。為了更好地解決這些問題，基于骨架研究的學(xué)者嘗試結(jié)合深度圖序列、彩色圖序列等提升識別準(zhǔn)確率。一般使用CNN-LSTM進(jìn)行關(guān)節(jié)點(diǎn)估計(jì)或者采用深度攝像機(jī)提取人體骨架序列，效果較好。

受限玻爾茲曼機(jī)（RBM）是一類具有雙層結(jié)構(gòu)、可通過數(shù)據(jù)集輸入進(jìn)行概率分布學(xué)習(xí)的生成網(wǎng)絡(luò)模型，具有強(qiáng)大的無督促學(xué)習(xí)能力。在一定條件下，其通過學(xué)習(xí)數(shù)據(jù)集中復(fù)雜的規(guī)則，可以處理高維序列數(shù)據(jù)。

RBM 由于其獨(dú)立的連接方式，在網(wǎng)絡(luò)學(xué)習(xí)中計(jì)算量更小，速度更快。Taylor 等為了更好地理解視頻中的數(shù)據(jù)信息，使用卷積門控RBM，順利地學(xué)習(xí)了表達(dá)光流和圖像模擬，以無督促的方式提取了運(yùn)動敏感特征。Tran 等定義兩個視頻幀之間的減法函數(shù)，創(chuàng)建時(shí)空顯著圖，從而使用高斯RBM 從顯著圖上學(xué)習(xí)運(yùn)動差分特征。此種方式消除了無關(guān)性的形狀和背景圖，進(jìn)而突顯運(yùn)動特征。

Wang 等在CVPR2018 年提出一個自注意力模型，其并不局限于一個局部特征，而是相當(dāng)于構(gòu)造了一個可以維持更多信息的卷積核，從而獲取較為全局的信息。研究者提出的non-local 塊能夠與現(xiàn)有的各種架構(gòu)進(jìn)行組合，通過non-local 操作獲取遠(yuǎn)程依賴關(guān)系，提高了各種架構(gòu)基準(zhǔn)。將non-local 塊置入C2D 或I3D 網(wǎng)絡(luò)中，取得了更好的識別結(jié)果。

對于長距離空間相關(guān)性建模問題，大多數(shù)解決方案都存在計(jì)算效率較低或者感受野不足的問題，Chi 等提出基于頻譜剩余學(xué)習(xí)（spectral residual learning，SRL）的快速non-local 網(wǎng)絡(luò)結(jié)構(gòu)，利用SRL 實(shí)現(xiàn)全局感受野，是視頻分類和人體姿勢估計(jì)中的重要研究方向。

表3 簡單分析了兩種識別方法：傳統(tǒng)方式提取特征時(shí)設(shè)計(jì)復(fù)雜，實(shí)現(xiàn)簡單，可應(yīng)用于小樣本識別項(xiàng)目，目前已難以適配復(fù)雜情景，不能滿足高精度識別和普適性的要求。基于深度學(xué)習(xí)的行為識別效率高，魯棒性強(qiáng)，更適用于大規(guī)模人體行為、群體行為、長時(shí)間序列人體動作等情景，也滿足大數(shù)據(jù)時(shí)代海量數(shù)據(jù)識別的要求。

表3 行為識別方式對比Table 3 Comparison of action recognition methods

然而，深度學(xué)習(xí)方法并不是萬能的，甚至帶來了新的難題，例如動作標(biāo)簽非單一化、維數(shù)災(zāi)難、算法復(fù)雜度變大、參數(shù)增多、計(jì)算量擴(kuò)大、識別準(zhǔn)確度不穩(wěn)定等。一些主要的探索為：（1）對于海量樣本標(biāo)簽的準(zhǔn)確、高效注入問題，弱監(jiān)督或無監(jiān)督網(wǎng)絡(luò)模型逐步廣泛應(yīng)用，節(jié)省大量人力與時(shí)間。（2）數(shù)據(jù)樣本的“維數(shù)災(zāi)難”影響識別精度，Ye 等提出SPLDA 算法可以進(jìn)行特征約減，去除冗余數(shù)據(jù)信息，實(shí)現(xiàn)降維。（3）為了識別方法的高準(zhǔn)確率、高實(shí)時(shí)性與強(qiáng)魯棒性，現(xiàn)有算法嘗試多視角特征融合。（4）避免耗時(shí)、高硬件需求，研究人員開發(fā)基于深度運(yùn)動圖、局部建模等的高效、輕量化卷積神經(jīng)網(wǎng)絡(luò)。

4 人體行為識別數(shù)據(jù)集及方法對比

為了評測行為識別中不同算法的性能，現(xiàn)已存在的公共數(shù)據(jù)集為研究人員提供了良好的測試基礎(chǔ)。

數(shù)據(jù)集的完善逐漸趨近于真實(shí)生活的復(fù)雜性，可以簡單分為早期數(shù)據(jù)集、真實(shí)場景數(shù)據(jù)集、大型數(shù)據(jù)集。采用雙流網(wǎng)絡(luò)、3D 卷積等架構(gòu)的識別算法仍會在經(jīng)典的HMDB51 和UCF101 數(shù)據(jù)集上測試。

4.1 常用數(shù)據(jù)集及比較

KTH 數(shù)據(jù)集數(shù)據(jù)量很少，是最早的一批行為數(shù)據(jù)集之一，拍攝相機(jī)固定，包含一些簡單的單人行為。Weizmann 數(shù)據(jù)集包含10 個動作，每種動作9 個樣本，是一些場景清晰的單人動作，為適應(yīng)當(dāng)時(shí)的行為識別方式，標(biāo)注還包括前景的行為剪影和背景序列。KTH 數(shù)據(jù)集和Weizmann 數(shù)據(jù)集都是靜態(tài)數(shù)據(jù)集。IXMAS 數(shù)據(jù)集從5 個視角拍攝，包含不同角度的13 種行為180 個視頻序列。這些數(shù)據(jù)集場景單一，動作簡單，人物唯一，數(shù)據(jù)量少，目前基本不會再使用，但具有劃時(shí)代的意義。

真實(shí)場景數(shù)據(jù)集更貼近日常生活，也為行為識別早日應(yīng)用奠定了基礎(chǔ)。Hollywood 系列來自好萊塢電影中的動作場景。Hollywood 數(shù)據(jù)集來自32 部電影，分為8 種類別，不同的演員在不同的場景下進(jìn)行相同的動作。Hollywood2是對Hollywood 數(shù)據(jù)集的擴(kuò)展，從69 部電影中剪切出3 669 個視頻，分為12 種行為類別和10 種場景類別，該數(shù)據(jù)集包含行為子數(shù)據(jù)集和場景子數(shù)據(jù)集。Hollywood Extended 中添加了有序的一段動作序列。

UCF 系列數(shù)據(jù)集主要從體育廣播電視頻道和視頻網(wǎng)站YouTube 中截取而得，場景豐富，種類繁多。UCF-Sports包含多場景多視角變換的舉重、騎馬、鞍馬等10 類體育運(yùn)動。UCF YouTube（UCF11）對同組視頻片段設(shè)置相似的特征，如背景相似、演員相同，并且增加相機(jī)運(yùn)動、背景雜亂、照明陰暗變化等因素，使得此數(shù)據(jù)集在當(dāng)時(shí)具有高挑戰(zhàn)性。UCF50將UCF11 的11 種類別擴(kuò)展到50 種。UCF101是對UCF50 的擴(kuò)充，動作類別增加至101 種，共計(jì)13 320個視頻，每組視頻的動作又可分為5 類。UCF101 數(shù)據(jù)集延續(xù)了UCF11 的特征相似性和質(zhì)量高差異性，一直屬于挑戰(zhàn)性較大的數(shù)據(jù)集。

Olympic Sports數(shù)據(jù)集來自視頻網(wǎng)站YouTube，包含了16 種運(yùn)動類別，每種類別約50 個視頻，同時(shí)包含物體遮擋、相機(jī)運(yùn)動等。此外，此數(shù)據(jù)集由機(jī)器人幫助注釋標(biāo)簽。

HMDB51 數(shù)據(jù)集來自數(shù)字化電影和公共資源庫，有51 種類別，6 849 個視頻，數(shù)據(jù)集來源不唯一、拍攝視角變化、背景雜亂、外觀遮擋等諸多因素，使得數(shù)據(jù)集識別具有難度。樣例如圖9 所示。

圖9 HMDB51 和UCF101 數(shù)據(jù)集Fig.9 HMDB51 and UCF101 datasets

Sports-1M 數(shù)據(jù)集是由Google 采集視頻網(wǎng)站YouTube 上一些視頻序列而得的一個大型數(shù)據(jù)集，包含487 種運(yùn)動視頻，1 133 158 個視頻，一些視頻有多個標(biāo)簽且各類別在葉級層次差異較小。

ActivityNet1.3 是ActivityNet1.2 的延伸，包括日常生活中200 種類型，共計(jì)約20 000 個視頻，覆蓋各種復(fù)雜的人類活動。Epic-Kitchens 數(shù)據(jù)集是一個以廚房為主要場景的大型開源數(shù)據(jù)集，大多以晚飯時(shí)間為采集點(diǎn)，收集烹飪、食材準(zhǔn)備、洗菜洗碗等動作。表4 對數(shù)據(jù)集進(jìn)行簡單對比。

表4 行為識別數(shù)據(jù)集比較Table 4 Comparison of behavior recognition datasets

Kinetics 系列主要是通過采集視頻網(wǎng)站YouTube上的高質(zhì)量視頻而得。2017 年的Kinetics400 包含400類動作，每類有約400個視頻。2018年Kinetics600產(chǎn)生，包含600 類動作類別，每類至少600 個視頻序列，每個視頻持續(xù)10 s左右。2019 年，Kinetics數(shù)據(jù)集再次進(jìn)行擴(kuò)充，共計(jì)約700 個類，數(shù)據(jù)量龐之大。

Google 發(fā)布的AVA 數(shù)據(jù)集是一個精細(xì)標(biāo)簽數(shù)據(jù)集，每個人物提供多個動作標(biāo)簽，更加以人為中心，突顯原子動作。2020 年的AVA-Kinetics數(shù)據(jù)集，通過使用AVA 注釋協(xié)議對Kinetics700 進(jìn)行注釋，其擴(kuò)充AVA 數(shù)據(jù)集，結(jié)合AVA 多標(biāo)簽的優(yōu)點(diǎn)和Kinetics 廣泛的視覺多樣性優(yōu)點(diǎn)，是驗(yàn)證行為識別方法的得力助手。

FineGym 數(shù)據(jù)集是一個規(guī)模大、定義清、質(zhì)量高、標(biāo)注細(xì)粒度的人體動作數(shù)據(jù)集。在語義上，F(xiàn)ineGym 定義三層類別結(jié)構(gòu)：事件、組和元素類別；在時(shí)域上，采用兩層結(jié)構(gòu)：動作和子動作。FineGym99收集了99 類數(shù)據(jù)，F(xiàn)ineGym288 對其擴(kuò)充至288 類，提供了大約6 000 動作數(shù)據(jù)和3 萬多子動作數(shù)據(jù)的精確標(biāo)注，且在持續(xù)進(jìn)行。

數(shù)據(jù)集的發(fā)展，經(jīng)歷了多維度的改變。人物個數(shù)上，向群體行為發(fā)展；場景上，趨于真實(shí)現(xiàn)實(shí)場景；粒度上，細(xì)粒度動作日益豐富；標(biāo)簽類型上，標(biāo)簽更加層次化、非唯一化；質(zhì)量上，逐漸高質(zhì)量化；來源上，不再局限于實(shí)驗(yàn)拍攝等。

4.2 不同方法性能比較

縱向比較不同識別算法性能的測試，一般采用相同數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)對比，根據(jù)平均精確率mAP 進(jìn)行評價(jià)，也可以橫向比較同一算法在不同數(shù)據(jù)集下的表現(xiàn)，以檢驗(yàn)此方法是否適應(yīng)更新的數(shù)據(jù)集。新數(shù)據(jù)集在數(shù)據(jù)量、標(biāo)簽多樣化等方面具有優(yōu)勢，具有一定的挑戰(zhàn)性。表5整理了較新數(shù)據(jù)集上的算法性能。

表5 各算法性能對比Table 5 Performance comparison of different algorithms

運(yùn)動軌跡具有強(qiáng)大的魯棒性。運(yùn)動軌跡的描述符的改進(jìn)可以獲得RGB 中更全面的信息；改進(jìn)的運(yùn)動軌跡方式考慮相機(jī)運(yùn)動，注重時(shí)空域下的運(yùn)動信息，因此目前的網(wǎng)絡(luò)架構(gòu)多與IDT 結(jié)合，在Olympic Sports*數(shù)據(jù)集識別率也可以達(dá)到91.4%，真實(shí)場景數(shù)據(jù)集Hollywood2 上效果超過64.0%。

傳統(tǒng)方式在大型數(shù)據(jù)集上表現(xiàn)出局限性。人工特征設(shè)計(jì)方式不適用于海量的視頻信息，反而適合訓(xùn)練深度學(xué)習(xí)分類器。在Sports-1M 中，混合網(wǎng)絡(luò)CNN+LSTM 準(zhǔn)確率高達(dá)73.1%。目前使用深度學(xué)習(xí)的網(wǎng)絡(luò)特征表達(dá)性能已經(jīng)超過了傳統(tǒng)人工設(shè)計(jì)的特征表達(dá)方式。

目前大多數(shù)識別算法使用的數(shù)據(jù)模態(tài)為RGB 和光流OF。兩者結(jié)合能夠表現(xiàn)目標(biāo)的外觀和運(yùn)動信息，但是尋找特征替換光流是解決噪聲等不利因素的重要研究方向。

HMDB51 和UCF101 仍是使用最廣泛的兩大數(shù)據(jù)集。各種經(jīng)典算法都使用此數(shù)據(jù)集，目前雖然有數(shù)據(jù)量更大的新數(shù)據(jù)集，但是UCF101 在種類豐富、背景干擾、相機(jī)運(yùn)動等方面變化較大，十分具有挑戰(zhàn)性。同時(shí)，為了對比新算法相對于前期算法的識別率精進(jìn)情況，新算法一般也會使用此兩大數(shù)據(jù)集，如表6 所示。

表6 在HMDB51 和UCF101 上的各算法性能對比Table 6 Performance comparison of different algorithms on HMDB51 and UCF101

傳統(tǒng)的經(jīng)典機(jī)器學(xué)習(xí)算法穩(wěn)定性較好。在HMDB51 和UCF101 數(shù)據(jù)集上識別準(zhǔn)確率穩(wěn)定在60%和88%左右。深度學(xué)習(xí)中由于各種網(wǎng)絡(luò)架構(gòu)差異性較大，在HMDB51 中準(zhǔn)確率在59%和81%之間波動，在UCF101 中準(zhǔn)確率在82%和98%之間波動。

基于深度學(xué)習(xí)的行為識別算法在識別準(zhǔn)確率方面有了明顯的改善。Two-stream 架構(gòu)采用雙流通道，3D 卷積網(wǎng)絡(luò)在連續(xù)幀中使用3D 卷積核，因此獲取了更好的時(shí)空混合特征。Wang 等基于雙流架構(gòu)，使用稀疏時(shí)間取樣和視頻級別的監(jiān)督策略，在HMDB51和UCF101 數(shù)據(jù)集上識別精度達(dá)到69.4%和94.2%；Jie等在雙流網(wǎng)絡(luò)中加入自注意力機(jī)制，在HMDB51和UCF101 數(shù)據(jù)集中識別率達(dá)到69.8%和94.6%。

改善3D 卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)可以有效提高識別精度。3D 卷積具有結(jié)構(gòu)復(fù)雜、優(yōu)化困難、參數(shù)量大、難以訓(xùn)練等難題。Qiu 等將3D 結(jié)構(gòu)改造為2D+1D 緩解參數(shù)問題，在UCF101 數(shù)據(jù)集上準(zhǔn)確率達(dá)到93.7%；Carreira 等對I3D 網(wǎng)絡(luò)架構(gòu)進(jìn)行預(yù)訓(xùn)練，在UCF101數(shù)據(jù)集上識別精度高達(dá)98.0%，在HMDB51 數(shù)據(jù)集上準(zhǔn)確率達(dá)到80.7%；Tran 等將3D 卷積網(wǎng)絡(luò)拆分為2D 空間卷積+1D 時(shí)間卷積，利于網(wǎng)絡(luò)優(yōu)化，在HMDB51 和UCF101 上準(zhǔn)確度達(dá)到78.7%和97.3%。目前，將GRU、Attention 模塊、Inflation 等加入3D 卷積網(wǎng)絡(luò)中也有較好的效果。

IDT 和深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)合表現(xiàn)出優(yōu)異的效果。IDT 能夠有效捕捉目標(biāo)的運(yùn)動信息，深度學(xué)習(xí)網(wǎng)絡(luò)可以適應(yīng)大數(shù)據(jù)。Wang等結(jié)合雙流網(wǎng)絡(luò)和IDT，使用軌跡池深度卷積描述符TDD，在HMDB51 和UCF101數(shù)據(jù)集上識別率高達(dá)65.9%和91.5%；Varol 等使用LTC 和IDT 結(jié)合的方式，識別率比Wang 等高出1.3個百分點(diǎn)和1.2 個百分點(diǎn)。Feichtenhofer 等使用VGG-16 網(wǎng)絡(luò)結(jié)合IDT，在HMDB51 和UCF101 數(shù)據(jù)集上識別精度高達(dá)69.2%和93.5%。

5 總結(jié)與展望

一些簡單的行為識別已經(jīng)在生活中應(yīng)用，然而全面的大規(guī)模的應(yīng)用行為識別仍然有很長的路要走。傳統(tǒng)的行為識別特征描述符表達(dá)能力有限，難以適應(yīng)大數(shù)據(jù)時(shí)代復(fù)雜的視頻場景，將深度學(xué)習(xí)引入動作識別推動了行為識別的發(fā)展，但仍存在很多的挑戰(zhàn)。（1）視頻質(zhì)量的復(fù)雜性：視頻幀率和圖像清晰度、視頻是否修剪分類、視頻長度不一而且視頻中存在多尺度問題、多目標(biāo)交叉、邊界清晰性確定、類內(nèi)和類間差異等問題。（2）時(shí)域信息的復(fù)雜性：環(huán)境光照變化、背景場景變化、視角切換變化、相機(jī)移動、運(yùn)動方向改變、人物幾何特征改變、大動作變化尺度和時(shí)間、人物變化時(shí)序維度等問題。（3）細(xì)粒度識別的復(fù)雜性：密集或者快速的動作、肢體細(xì)微差別、運(yùn)動頻率與次數(shù)等問題。

傳統(tǒng)方法中，IDT 算法具有很高的可靠性，適用范圍廣，但時(shí)間復(fù)雜度高，運(yùn)算速度慢，不適合密集數(shù)據(jù)識別。深度學(xué)習(xí)下，雙流算法識別準(zhǔn)確度高，表征能力強(qiáng)，但多流網(wǎng)絡(luò)需要分開訓(xùn)練，實(shí)時(shí)性有待提升；3D 卷積網(wǎng)絡(luò)注重時(shí)間維度，訓(xùn)練速度快，泛化性能好，但存在大量參數(shù)，不夠靈活；CNN+LSTM 網(wǎng)絡(luò)優(yōu)于保存長時(shí)間序列信息，縮小計(jì)算量，可與注意力機(jī)制等結(jié)合使用，但網(wǎng)絡(luò)結(jié)構(gòu)比較復(fù)雜。要想加快生活與工業(yè)化行為識別的節(jié)奏，需要研究輕量級網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)現(xiàn)自監(jiān)督與無監(jiān)督應(yīng)用，從而“多快好省”地運(yùn)用高效算法。

（1）注意力機(jī)制成為趨勢。視頻數(shù)據(jù)中，除了目標(biāo)信息，還有很多無關(guān)信息，網(wǎng)絡(luò)模型加入注意力機(jī)制，可以將有限的資源用于顯著區(qū)域，加深不同尺度的卷積特征，提高識別準(zhǔn)度。軟注意力機(jī)制、混合注意力機(jī)制的Action 模塊、高階注意力等將成為熱點(diǎn)，但是需要考慮算法的復(fù)雜性。

（2）考慮全局語境信息成為重要研究方向。在設(shè)計(jì)上卷積層是為了更好地提取局部特征，因此全局信息易被忽略。在卷積層之前，將全局語境信息融合到局部特征中，從而調(diào)整卷積，更高效地捕捉關(guān)鍵信息。例如，使用全局特征交互的語境門限卷積，可以依照全局信息的指引動態(tài)地改變卷積層權(quán)重，方便捕捉到有辨別力、有代表性的局部特征。

（3）多模態(tài)信息融合具有良好前景。傳統(tǒng)的RGB信息容易受到環(huán)境差異、動態(tài)背景等的影響，存在很多噪音。轉(zhuǎn)換角度來看，視頻中的識別依據(jù)不只有圖像、運(yùn)動，還有聲音等，在網(wǎng)絡(luò)模型中將視覺特征和聲學(xué)特征結(jié)合，多視角特征融合可以減少特征參數(shù)，提高識別效果。

本文對行為識別的研究做出綜述，詳細(xì)介紹了人體行為識別的各種行為識別網(wǎng)絡(luò)架構(gòu)，重點(diǎn)展現(xiàn)出各網(wǎng)絡(luò)的發(fā)展情況與優(yōu)缺點(diǎn)比較；同時(shí)整理了前期重要的數(shù)據(jù)集以及最新的數(shù)據(jù)集；最后闡述了目前的研究痛點(diǎn)并預(yù)測了未來的行為識別方向，希望對初學(xué)者或其他研究人員有所幫助。