人類動(dòng)作識(shí)別的特征提取方法綜述

彭 月 甘臣權(quán) 張祖凡

(重慶郵電大學(xué)通信與信息工程學(xué)院 重慶 400065)

0 引 言

近年來(lái)隨著數(shù)碼相機(jī)、智能手機(jī)等視頻拍攝設(shè)備的普及以及視頻應(yīng)用軟件的大幅推廣，網(wǎng)絡(luò)視頻業(yè)務(wù)呈現(xiàn)出指數(shù)級(jí)增長(zhǎng)的發(fā)展趨勢(shì)，視頻載體已經(jīng)成為人們?nèi)粘Ｉa(chǎn)生活中傳播信息的重要媒介。視頻中隱藏著巨大的信息，網(wǎng)絡(luò)視頻市場(chǎng)龐大的用戶量、高速增長(zhǎng)的市場(chǎng)規(guī)模給網(wǎng)絡(luò)視頻的管理、存儲(chǔ)、識(shí)別帶來(lái)了極大的挑戰(zhàn)，因此網(wǎng)絡(luò)視頻業(yè)務(wù)日益受到各方的重視[1]。在以人為焦點(diǎn)的計(jì)算機(jī)視覺(Computer Vision,CV)研究領(lǐng)域中，如手勢(shì)識(shí)別[2](Hand Gesture Recognition)、人體姿態(tài)估計(jì)[3](Human Pose Estimation)、步態(tài)識(shí)別[4](Gait Recognition)等任務(wù)，人類動(dòng)作識(shí)別(Human Action Recognition,HAR)任務(wù)因其在人機(jī)交互、智能家居、自動(dòng)駕駛、虛擬現(xiàn)實(shí)等諸多領(lǐng)域中應(yīng)用廣泛，日益成為計(jì)算機(jī)視覺領(lǐng)域中一個(gè)重要的研究課題。視頻中的人類動(dòng)作識(shí)別的主要任務(wù)是幫助計(jì)算機(jī)自主識(shí)別出視頻中的人體動(dòng)作，通過解析視頻內(nèi)容來(lái)推理人體的運(yùn)動(dòng)模式，從而建立視頻信息和人體動(dòng)作類別之間的映射關(guān)系。準(zhǔn)確地識(shí)別出視頻中的人體動(dòng)作，有利于互聯(lián)網(wǎng)平臺(tái)對(duì)海量相關(guān)視頻數(shù)據(jù)進(jìn)行統(tǒng)一分類管理，有助于營(yíng)造和諧的網(wǎng)絡(luò)環(huán)境。此外，HAR技術(shù)的發(fā)展也促使了視頻異常監(jiān)控業(yè)務(wù)的成熟，在公共場(chǎng)合中能輔助社會(huì)治安管理人員迅速對(duì)危機(jī)事件做出預(yù)測(cè)，在家庭生活中能及時(shí)監(jiān)控用戶的異常行為(如暈倒、摔跤等)以便及時(shí)就醫(yī)[5]。因此，對(duì)視頻中的人類動(dòng)作識(shí)別這一任務(wù)進(jìn)行深入研究，具有重要的學(xué)術(shù)意義和應(yīng)用價(jià)值。

動(dòng)作識(shí)別任務(wù)的實(shí)現(xiàn)過程一般可分為兩個(gè)步驟：動(dòng)作表示和動(dòng)作分類，動(dòng)作表示又被稱為特征提取，被認(rèn)為是動(dòng)作識(shí)別的最主要任務(wù)。本文主要將人類動(dòng)作識(shí)別相關(guān)特征提取算法分為基于傳統(tǒng)手工特征的方法和基于深度學(xué)習(xí)的方法，分別從視頻中提取手工設(shè)計(jì)的特征和可訓(xùn)練的特征[6]。傳統(tǒng)的特征提取方法依賴于相關(guān)領(lǐng)域的專業(yè)知識(shí)，往往需要根據(jù)不同的任務(wù)進(jìn)行特定的特征設(shè)計(jì)，識(shí)別算法的性能嚴(yán)重依賴于數(shù)據(jù)庫(kù)本身，增加了不同數(shù)據(jù)集上處理過程的復(fù)雜度，泛化能力和通用性較差。并且，在現(xiàn)如今信息爆炸的時(shí)代背景下，視頻數(shù)據(jù)的爆炸式增長(zhǎng)無(wú)疑給手工特征的制作帶來(lái)了巨大的挑戰(zhàn)，因此人們更傾向于采用非人工的方法提取更具有一般性的特征表示以滿足現(xiàn)實(shí)任務(wù)需求。深度學(xué)習(xí)(Deep Learning,DP)在語(yǔ)音、圖像識(shí)別等領(lǐng)域中的重大突破鼓勵(lì)了其在計(jì)算機(jī)視覺領(lǐng)域中的應(yīng)用。隨著海量數(shù)據(jù)的爆發(fā)與GPU等硬件設(shè)備的快速發(fā)展，深度學(xué)習(xí)更能契合時(shí)代特點(diǎn)，提升了從大規(guī)模視頻數(shù)據(jù)中迅速挖掘出有用信息的可能性，在HAR任務(wù)中逐漸成為一種不可或缺的研究方法?；谏疃葘W(xué)習(xí)的方法通過構(gòu)建一個(gè)層級(jí)的學(xué)習(xí)訓(xùn)練模式，借助模型與標(biāo)簽在輸入與輸出數(shù)據(jù)之間建立層層遞進(jìn)的學(xué)習(xí)機(jī)制，自主獲取原始視頻數(shù)據(jù)的動(dòng)作表征，從而克服了手工特征設(shè)計(jì)的缺陷，是一種更為高效且泛化性能更好的特征提取方式。

本文從基于傳統(tǒng)手工特征的方法和基于深度學(xué)習(xí)的特征提取方法兩方面對(duì)人類動(dòng)作識(shí)別領(lǐng)域中的特征提取方法進(jìn)行了分類與總結(jié)，如圖1所示，最后概括了動(dòng)作識(shí)別領(lǐng)域中所面臨的困難和挑戰(zhàn)，并總結(jié)了未來(lái)可能的研究方向。

圖1 人類動(dòng)作識(shí)別特征提取方法總結(jié)

1 傳統(tǒng)手工特征提取方法

大多數(shù)傳統(tǒng)動(dòng)作識(shí)別算法都依賴于人工設(shè)計(jì)特征的方法，其目的是從原始視頻輸入中剖析人體的運(yùn)動(dòng)模式并提取對(duì)應(yīng)的底層特征，將視頻數(shù)據(jù)信息轉(zhuǎn)化為可以被分類模型所理解的特征向量，以便將原始的視頻數(shù)據(jù)映射為相應(yīng)的動(dòng)作類別標(biāo)簽。視頻數(shù)據(jù)不僅包括了靜態(tài)的場(chǎng)景信息，還蘊(yùn)含了豐富的動(dòng)態(tài)變化，因此針對(duì)視頻分類，穩(wěn)健的視頻特征表示除滿足區(qū)分性與有效性兩個(gè)基本特性之外，還需要包含大量的時(shí)間信息和空間信息，增加了手工設(shè)計(jì)特征的難度。傳統(tǒng)的手工特征主要分為全局特征和局部特征，其對(duì)應(yīng)特征提取算法優(yōu)缺點(diǎn)總結(jié)如表1所示，接下來(lái)將從這兩方面出發(fā)對(duì)相關(guān)算法進(jìn)行總結(jié)與對(duì)比。

表1 傳統(tǒng)手工特征提取方法總結(jié)

1.1 全局特征提取

動(dòng)作的全局特征表示是出于對(duì)運(yùn)動(dòng)目標(biāo)的整體描述，通常需要先用背景相減法或目標(biāo)跟蹤法將視頻中的人體分割出來(lái)，再進(jìn)行全局特征的提取。常用的全局特征包括基于人體輪廓的特征、基于骨架的特征與基于光流的特征。

(1) 基于人體輪廓的特征。早期的動(dòng)作識(shí)別研究大多數(shù)都依賴于人體輪廓特征，通過特定的算法設(shè)計(jì)在時(shí)域中反映出人類動(dòng)作序列的排列組合情況，通常需要預(yù)先建立各個(gè)動(dòng)作類別的樣本模板，在分類過程中將待測(cè)動(dòng)作模板與所建立的標(biāo)準(zhǔn)模板進(jìn)行比對(duì)，然后選擇相似性最大的模板作為其最終分類結(jié)果。較為常見的人體輪廓特征有運(yùn)動(dòng)能量圖[7](Motion Energy Images,MEI)和運(yùn)動(dòng)歷史圖[8](Motion History Images,MHI)，通過從特定的方向來(lái)觀察與給定動(dòng)作相關(guān)聯(lián)的粗粒度圖像運(yùn)動(dòng)，從而保存人體動(dòng)作信息。其中，MEI通過描述人體在空間中的位置移動(dòng)及其能量的空間分布情況，反映了運(yùn)動(dòng)的輪廓以及動(dòng)作發(fā)生強(qiáng)度；MHI通過觀測(cè)視頻幀中人體在某一時(shí)間段內(nèi)同一位置的圖像亮度變化情況，反映了運(yùn)動(dòng)發(fā)生的時(shí)間及其在時(shí)域上的變化情況。文獻(xiàn)[9]在捕捉到運(yùn)動(dòng)片段的MEI的基礎(chǔ)上提取其增強(qiáng)的Gabor張量特征，最后進(jìn)行子空間投影得到有效的運(yùn)動(dòng)描述符。文獻(xiàn)[10]在圖像序列的MHI特征的基礎(chǔ)上利用不同的幾何矩對(duì)其進(jìn)行特征編碼，在不損失信息量的前提下提升了計(jì)算效率?；谌梭w輪廓的特征提取方法計(jì)算成本低且具有較強(qiáng)的魯棒性，得到了廣泛使用[11]。

人體輪廓特征是一種基于視覺的描述方法，在觀察方向以及相機(jī)位置發(fā)生改變時(shí)容易受到影響，導(dǎo)致識(shí)別結(jié)果不準(zhǔn)確。此外，該方法對(duì)分類過程中所需要的標(biāo)準(zhǔn)模板的精度要求較高，而模板的精確度高低依賴于數(shù)據(jù)庫(kù)的樣本容量大小以作為其計(jì)算的支撐。

(2) 基于人體模型的特征。由于人類的運(yùn)動(dòng)模式可以抽象成簡(jiǎn)單幾何結(jié)構(gòu)所表示的骨架的移動(dòng)情況，基于人體模型的相關(guān)研究也成為了HAR領(lǐng)域中的一個(gè)重要方向，它通過視頻幀之間人體關(guān)節(jié)點(diǎn)的變化來(lái)直觀地描述人體動(dòng)作，可以劃分為二維表現(xiàn)形式[12]與三維表現(xiàn)形式[13-14]。二維模型利用二維幾何形狀(如：矩形、橢圓形、不規(guī)則形狀)表征人體各部分，然后通過從圖像中提取到的底層表觀特征來(lái)估計(jì)相應(yīng)模型參數(shù)與對(duì)應(yīng)模型進(jìn)行匹配，以區(qū)分頭部、身軀與四肢等不同的身體區(qū)域，通過各幾何圖形的移動(dòng)變形來(lái)描述具體的運(yùn)動(dòng)模式。文獻(xiàn)[15]利用不規(guī)則的二維剪影圖像來(lái)近似人體運(yùn)動(dòng)輪廓，并從中抽取圖形節(jié)點(diǎn)的直方圖以得到分類特征向量，該方法不需要精確定位人體關(guān)節(jié)信息，節(jié)省了計(jì)算開支。但二維模型不能表征運(yùn)動(dòng)過程中的人體距離信息，因此當(dāng)運(yùn)動(dòng)過程中出現(xiàn)自遮擋、碰撞等情況時(shí)，估計(jì)到的運(yùn)動(dòng)模式會(huì)存在較大誤差。為緩解上述問題，文獻(xiàn)[16]利用深度相機(jī)估計(jì)不同人體骨骼關(guān)節(jié)的位置，并使用關(guān)節(jié)之間的夾角變化序列來(lái)刻畫人體動(dòng)作。文獻(xiàn)[17]通過定位每一視頻幀中人體的關(guān)節(jié)位置坐標(biāo)來(lái)提取相應(yīng)的姿態(tài)特征。文獻(xiàn)[18]通過三維掃描設(shè)備獲取靜態(tài)的人體模型數(shù)據(jù)，然后利用蒙皮算法實(shí)現(xiàn)骨骼數(shù)據(jù)的綁定，從而重構(gòu)實(shí)時(shí)運(yùn)動(dòng)模式。骨架特征精確地表征了靜態(tài)人體姿態(tài)，但弱化了動(dòng)作的時(shí)間演變，因此文獻(xiàn)[19]將骨架特征與RGB數(shù)據(jù)相結(jié)合，基于RGB數(shù)據(jù)構(gòu)造時(shí)間圖像以表征動(dòng)作的動(dòng)態(tài)變化。當(dāng)人體部位出現(xiàn)遮擋情況時(shí)，會(huì)嚴(yán)重影響基于骨骼數(shù)據(jù)的動(dòng)作識(shí)別精度，而深度信息包含豐富的距離信息，緩解了骨骼數(shù)據(jù)的遮擋問題，因此文獻(xiàn)[20]結(jié)合了深度信息與骨骼數(shù)據(jù)兩種模態(tài)的優(yōu)勢(shì)，避免了單一輸入模式的缺陷。三維模型利用圓柱或圓錐等幾何模型來(lái)與人體構(gòu)造模式相對(duì)應(yīng)，通過結(jié)合人體運(yùn)動(dòng)學(xué)等先驗(yàn)信息與深度信息完成相關(guān)數(shù)據(jù)的估計(jì)，克服了二維模型在處理自遮擋與運(yùn)動(dòng)碰撞等問題時(shí)的缺陷。

基于人體模型的方法通過套用統(tǒng)一的人體模型來(lái)代表任意個(gè)體，一定程度上緩解了個(gè)體變化所導(dǎo)致的類內(nèi)差異性，但是將復(fù)雜人體動(dòng)作粗略地簡(jiǎn)化成一種僵化的幾何模式，單純地利用關(guān)節(jié)點(diǎn)變化來(lái)進(jìn)行動(dòng)作識(shí)別會(huì)產(chǎn)生較大誤差。此外，三維模型所需的深度信息需要通過昂貴的攝像設(shè)備進(jìn)行采集，模型的構(gòu)建也將更加復(fù)雜。

(3) 基于光流的特征。光流一般由前景目標(biāo)自身的運(yùn)動(dòng)、相機(jī)拍攝視角的移位或者兩種現(xiàn)象同時(shí)發(fā)生的情況所產(chǎn)生，其計(jì)算依據(jù)建立于圖像的亮度變化僅僅來(lái)源物體的移動(dòng)這一假設(shè)之上，通過利用相鄰幀上的像素點(diǎn)在時(shí)域上的亮度變化情況來(lái)反映人體的運(yùn)動(dòng)情況。文獻(xiàn)[21]通過一個(gè)基于計(jì)算光流的描述符來(lái)描述遠(yuǎn)距離人類運(yùn)動(dòng)，通過追蹤每個(gè)穩(wěn)定的人類圖像軌跡并計(jì)算其模糊形式的光流而非精確的像素位移來(lái)近似人類運(yùn)動(dòng)的平滑軌跡。文獻(xiàn)[22]利用光流場(chǎng)中興趣點(diǎn)的密集程度追蹤運(yùn)動(dòng)過程的人體位置，并利用水平方向和垂直方向的平均差值與標(biāo)準(zhǔn)差值對(duì)其定位進(jìn)行進(jìn)一步的評(píng)估。文獻(xiàn)[23]為減少光流提取過程中所需的計(jì)算量，利用光流的關(guān)鍵點(diǎn)軌跡在頻域的多尺度表征來(lái)推理人體的運(yùn)動(dòng)情況。文獻(xiàn)[24]將光流特征與MHI相結(jié)合以準(zhǔn)確跟蹤運(yùn)動(dòng)對(duì)象在某一段時(shí)間內(nèi)的運(yùn)動(dòng)狀態(tài)。光流特征因其在時(shí)間維度上良好的運(yùn)動(dòng)表征能力，在動(dòng)作識(shí)別領(lǐng)域得到了大面積的應(yīng)用，但光流特征易受到光照和遮擋的影響，且采用光流數(shù)據(jù)作為輸入的模型內(nèi)存需求大、計(jì)算成本高昂。

總體而言，基于全局特征的表示方法受限于相機(jī)運(yùn)動(dòng)、光照變化等因素，且需要去除背景、前景提取、人體定位與追蹤等預(yù)處理操作，因此在復(fù)雜動(dòng)態(tài)背景情況下對(duì)于運(yùn)動(dòng)的表征能力效果不佳。

1.2 局部特征提取

為避免預(yù)處理操作，局部特征表示方法側(cè)重于視頻中的感興趣點(diǎn)的檢測(cè)，并將人體動(dòng)作局部表示進(jìn)一步編碼為用于分類階段的特征向量，在特定的動(dòng)作識(shí)別任務(wù)中分類效果良好。常見的局部特征包括基于時(shí)空興趣點(diǎn)的特征和基于軌跡的特征。

(1) 基于時(shí)空興趣點(diǎn)的特征?；跁r(shí)空興趣點(diǎn)的特征提取方法可分為興趣點(diǎn)檢測(cè)與特征點(diǎn)描述兩部分。首先通過檢測(cè)器檢測(cè)出時(shí)空興趣點(diǎn)，即時(shí)空中突然發(fā)生變化的點(diǎn)，利用時(shí)空興趣點(diǎn)構(gòu)成的點(diǎn)集來(lái)表示人體動(dòng)作，然后利用描述子將興趣點(diǎn)編碼為分類器能理解的特征向量，從而描述動(dòng)作信息，因其容易采集且對(duì)視覺變化不敏感等優(yōu)點(diǎn)在復(fù)雜背景下的動(dòng)作識(shí)別任務(wù)中備受推崇。Harris3D特征檢測(cè)器[25]將空間域上的角點(diǎn)檢測(cè)擴(kuò)展到了時(shí)空域，通過融合梯度直方圖(Histogram of Oriented Gradients,HOG)特征和光流直方圖(Histogram of Optical Flow,HOF)特征以得到局部描述子，進(jìn)而描述局部運(yùn)動(dòng)。在此基礎(chǔ)上，文獻(xiàn)[26]利用哈希方法和稀疏編碼方法對(duì)最終的特征編碼進(jìn)行了改進(jìn)，但是該方法產(chǎn)生的描述子對(duì)噪聲、尺度和角度變化敏感。為克服上述缺點(diǎn)，文獻(xiàn)[27]利用一種尺度不變特征變換(Scale-Invariant Feature Transform,SIFT)算法來(lái)檢測(cè)幀序列中的關(guān)鍵點(diǎn)，但該方法僅考慮空間維度上的外觀信息，忽略了人體動(dòng)作在時(shí)間維度上的演變。因此3D SIFT算子[28]在時(shí)間維度上對(duì)SIFT算子進(jìn)行了擴(kuò)展，以期準(zhǔn)確地描述視頻數(shù)據(jù)的時(shí)空特性，得到了良好的局部時(shí)空特征描述符。但是對(duì)于模糊圖像和邊緣平滑的圖像而言，其檢測(cè)出的特征點(diǎn)較少，增加了動(dòng)作識(shí)別的難度。為克服視覺變化敏感問題，文獻(xiàn)[29]將時(shí)空興趣點(diǎn)特征與局部光流特征結(jié)合起來(lái)，通過提取不同興趣區(qū)域的光流直方圖與視頻片段詞袋直方圖來(lái)構(gòu)成混合特征，緩解了遮擋問題。文獻(xiàn)[30]將HOG與三維空間里的散射變換系數(shù)相結(jié)合，提出了一種魯棒性更強(qiáng)的局部描述子。針對(duì)視覺范圍的局限性問題，文獻(xiàn)[31]將3D時(shí)空興趣點(diǎn)擴(kuò)展到了四維空間，以強(qiáng)調(diào)動(dòng)作隨時(shí)間的變化。為克服Harris興趣點(diǎn)檢測(cè)算法缺乏尺度信息的缺陷，文獻(xiàn)[32]將其與Laplace尺度空間相結(jié)合，提出了改進(jìn)的Harris-Laplace檢測(cè)算法。但時(shí)空興趣點(diǎn)的篩選條件較為苛刻從而導(dǎo)致選中的興趣點(diǎn)個(gè)數(shù)較少，進(jìn)而影響識(shí)別精度，因此文獻(xiàn)[33]提出一種基于光流場(chǎng)旋度的興趣點(diǎn)檢測(cè)方法，降低了篩選難度。

基于時(shí)空興趣點(diǎn)的特征檢測(cè)得益于角點(diǎn)檢測(cè)器的發(fā)展而容易提取且得到了普遍采用，但是它利用一些不關(guān)聯(lián)的點(diǎn)的集合形式來(lái)描述人體動(dòng)作信息，局限于現(xiàn)實(shí)場(chǎng)景中人體運(yùn)動(dòng)的復(fù)雜性，因此該技術(shù)很難得到實(shí)際應(yīng)用。

(2) 基于軌跡的特征。人類的運(yùn)動(dòng)軌跡中蘊(yùn)含著豐富的運(yùn)動(dòng)信息，且軌跡速度、方向的突變點(diǎn)的區(qū)別表征著不同類別運(yùn)動(dòng)，基于軌跡的特征提取方法主要包括對(duì)特征點(diǎn)進(jìn)行密集采樣與追蹤、基于軌跡進(jìn)行特征提取、特征編碼三個(gè)步驟。為有效地捕獲運(yùn)動(dòng)信息，文獻(xiàn)[34]通過以不同的尺度來(lái)采樣每一幀的局部模塊的稠密點(diǎn)，并在密集光流場(chǎng)中對(duì)其進(jìn)行追蹤，以提取運(yùn)動(dòng)物體的稠密軌跡，同時(shí)從圖像的底層特征入手，通過組合每個(gè)稠密點(diǎn)上的HOG和HOF等特征進(jìn)一步提升了性能。文獻(xiàn)[35]定義了軌跡運(yùn)動(dòng)相關(guān)性，以確定分類過程中不同軌跡的相應(yīng)權(quán)值，用以權(quán)衡與目標(biāo)動(dòng)作更為相關(guān)的運(yùn)動(dòng)軌跡。為提取優(yōu)質(zhì)的軌跡特征，文獻(xiàn)[36]通過補(bǔ)償相機(jī)運(yùn)動(dòng)對(duì)稠密軌跡特征進(jìn)行了改進(jìn)，在追蹤視頻中的人體運(yùn)動(dòng)軌跡時(shí)，沿著光流場(chǎng)中的運(yùn)動(dòng)軌跡提取HOG、HOF、MBH和密集軌跡等特征，并采用特征詞袋(Bag of Word,BoW)或費(fèi)舍爾向量(Fisher Vector,FV)兩種方法分別對(duì)特征進(jìn)行編碼，得到最終的視頻特征表示，再使用支持向量機(jī)將提取到的特征表示編碼到固定尺寸用于最終的分類識(shí)別。文獻(xiàn)[37]結(jié)合顯著性檢測(cè)方法與改進(jìn)稠密軌跡特征以期緩解相機(jī)運(yùn)動(dòng)對(duì)識(shí)別結(jié)果帶來(lái)的影響。但無(wú)效的運(yùn)動(dòng)軌跡會(huì)影響模型判別能力，因此文獻(xiàn)[38]在提取密集軌跡前利用運(yùn)動(dòng)邊界策略進(jìn)行采樣以保存更有意義的軌跡特征。為減小相機(jī)運(yùn)動(dòng)的干擾，文獻(xiàn)[39]利用動(dòng)態(tài)高斯金字塔對(duì)快速魯棒性特征進(jìn)行了改進(jìn)，并與IDT特征相結(jié)合從而減少了背景信息的干擾。為提高分類精度，需要確保人體的運(yùn)動(dòng)軌跡精確，但獲取準(zhǔn)確的軌跡本身就是一個(gè)研究難點(diǎn)。

與全局特征相比，局部特征不需要精確地定位出人體，對(duì)視角變化、復(fù)雜場(chǎng)景、遮擋等干擾不敏感，穩(wěn)定性好，抗干擾能力強(qiáng)，且避免了預(yù)處理操作，但手工特征編碼時(shí)需要的內(nèi)存開銷較大，而且局部特征缺乏外觀上的細(xì)節(jié)信息，并需要額外的專業(yè)知識(shí)以進(jìn)行特定領(lǐng)域的特征設(shè)計(jì)，具有領(lǐng)域局限性，難以泛化。

1.3 性能對(duì)比分析

為便于直觀比較，表2給出了不同的傳統(tǒng)手工特征提取方法在其對(duì)應(yīng)數(shù)據(jù)集上的分類精確度對(duì)比，表2中數(shù)據(jù)直接來(lái)源于相應(yīng)的原文獻(xiàn)。由于多數(shù)傳統(tǒng)方法并未采用統(tǒng)一的數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)分析，因此文中并未對(duì)涉及到的數(shù)據(jù)集進(jìn)行詳細(xì)介紹，僅在表2中給出了各數(shù)據(jù)集名稱及其所包含的動(dòng)作類別個(gè)數(shù)。

表2 傳統(tǒng)手工特征提取方法的識(shí)別準(zhǔn)確率對(duì)比

可以看出，多數(shù)傳統(tǒng)的特征提取方法是在不同的數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，這是因?yàn)獒槍?duì)不同的分類任務(wù)需要進(jìn)行特定的特征設(shè)計(jì)，從側(cè)面印證了傳統(tǒng)方法的領(lǐng)域局限性。而且利用傳統(tǒng)的手工特征進(jìn)行動(dòng)作分類均需要分類器的參與(表2中LDA、KNN、SVM等均為常用的分類器模型)，這種做法將特征提取與分類預(yù)測(cè)剝離為兩個(gè)單獨(dú)的步驟，得到的分類解不一定是全局最優(yōu)結(jié)果。此外，大多數(shù)傳統(tǒng)方法受限于計(jì)算復(fù)雜度，僅能對(duì)少數(shù)動(dòng)作類別進(jìn)行分類預(yù)測(cè)，表2中所涉及到的數(shù)據(jù)集多數(shù)都未超過20個(gè)類別，這并不滿足實(shí)際應(yīng)用需求。雖然文獻(xiàn)[36]利用IDT等手工特征在HMDB51數(shù)據(jù)集上實(shí)現(xiàn)了對(duì)51個(gè)動(dòng)作類別的識(shí)別，但其準(zhǔn)確率較低，僅為57.2%，因此僅依賴傳統(tǒng)的手工特征提取方法進(jìn)行動(dòng)作識(shí)別無(wú)疑是不現(xiàn)實(shí)的。

2 基于深度學(xué)習(xí)的特征提取方法

基于深度學(xué)習(xí)的特征提取方法從輸入視頻數(shù)據(jù)中自動(dòng)學(xué)習(xí)可訓(xùn)練特征，克服了傳統(tǒng)方法需要人工參與特征設(shè)計(jì)的缺陷，其識(shí)別性能更為高效，應(yīng)用領(lǐng)域更加廣泛，在HAR研究領(lǐng)域中掀起了一輪新的浪潮。根據(jù)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)的不同，基于深度學(xué)習(xí)的特征提取算法主要可分為：基于雙流卷積網(wǎng)絡(luò)的特征提取、基于多流卷積網(wǎng)絡(luò)的特征提取、基于三維卷積網(wǎng)絡(luò)的特征提取與基于長(zhǎng)短時(shí)期記憶網(wǎng)絡(luò)的特征提取。上述方法的優(yōu)缺點(diǎn)總結(jié)如表3所示，接下來(lái)將從這四個(gè)方面對(duì)其相關(guān)工作進(jìn)行討論與總結(jié)。

表3 基于深度學(xué)習(xí)的特征提取方法總結(jié)

2.1 雙流卷積網(wǎng)絡(luò)

RGB數(shù)據(jù)具有豐富的外觀信息，能直觀地表示出人體形狀與物體外觀，補(bǔ)償了傳統(tǒng)方法中表觀特征缺乏的不足，在動(dòng)作識(shí)別領(lǐng)域中得到了大面積的應(yīng)用。但僅采用單一視頻幀作為模型輸入只能表征單一時(shí)間節(jié)點(diǎn)的空間信息，因此為挖掘視頻流的時(shí)間信息，文獻(xiàn)[40]提出了基于RGB視頻幀的后期融合(Late Fusion)、早期融合(Early Fusion)、緩慢融合(Slow Fusion)三種方法，但其識(shí)別效果與傳統(tǒng)的手工模型相比還相差較遠(yuǎn)。為解決RGB單模態(tài)輸入模型的識(shí)別性能受限于動(dòng)態(tài)特征信息缺乏的問題，研究逐漸進(jìn)入對(duì)多模態(tài)輸入結(jié)構(gòu)的探索。文獻(xiàn)[41]將RGB與RGB-D兩種模式共同作為模型輸入，并探討了不同數(shù)據(jù)類型的融合方式對(duì)分類器性能的影響。文獻(xiàn)[42]將RGB與Depth Frames兩種數(shù)據(jù)相結(jié)合用于連續(xù)手勢(shì)的分割與識(shí)別任務(wù)中。由于骨骼信息可通過RGB-D數(shù)據(jù)進(jìn)行快速準(zhǔn)確的估計(jì)，因此也有文獻(xiàn)嘗試將RGB-D與人體骨骼信息相結(jié)合以表示動(dòng)作[43]，但RGB-D數(shù)據(jù)采集困難，且?guī)в蓄~外的噪聲信息干擾識(shí)別效果。

光流+RGB數(shù)據(jù)形式為使用范圍最廣的雙流輸入模式，文獻(xiàn)[44]提出了著名的雙流假設(shè)，即視覺信息可以被加工成兩條路徑：用于形狀感知的腹側(cè)流和用于運(yùn)動(dòng)感知的背側(cè)流。源于此線索，文獻(xiàn)[45]首次將雙通道方法運(yùn)用到動(dòng)作識(shí)別領(lǐng)域中，將視頻信息劃分為空間信息與時(shí)間信息兩個(gè)部分，其基本思路為先計(jì)算相鄰視頻幀之間的密集光流，然后將RGB視頻幀與光流特征分別輸入到Two-Stream結(jié)構(gòu)中，分別訓(xùn)練雙流CNN識(shí)別模型，最后融合兩個(gè)網(wǎng)絡(luò)的預(yù)測(cè)結(jié)果，其精度超過了傳統(tǒng)動(dòng)作識(shí)別方法，驗(yàn)證了光流信號(hào)對(duì)時(shí)間信息的補(bǔ)償，證明了采取深度學(xué)習(xí)的特征提取方法替代傳統(tǒng)手工設(shè)計(jì)特征的可能性。但該文獻(xiàn)僅采用均值融合與線性SVM融合兩種簡(jiǎn)單的方式來(lái)融合雙流網(wǎng)絡(luò)的識(shí)別結(jié)果，未考慮到兩個(gè)卷積流之間的信息交互。為更好地融合雙流網(wǎng)絡(luò)的兩路特征，文獻(xiàn)[46]利用殘差連接方式在時(shí)空卷積流之間建立起信息連接，以促進(jìn)其信息交互。此外，文獻(xiàn)[47]基于遠(yuǎn)程時(shí)間結(jié)構(gòu)建模的思想構(gòu)造了時(shí)域分割網(wǎng)絡(luò)(Temporal Segment Networks,TSN)，以RGB+光流兩種輸入模式分別作為不同網(wǎng)絡(luò)流的輸入，提出一種稀疏采樣策略從給定視頻中稀疏地采樣一系列視頻剪輯，不同于原始的雙流網(wǎng)絡(luò)結(jié)構(gòu)采用相對(duì)較淺的網(wǎng)絡(luò)，ClarifaiNet[48]作為卷積流的基礎(chǔ)模型，該文獻(xiàn)采取BN-Inception[49]網(wǎng)絡(luò)分別進(jìn)行特征提取，以實(shí)現(xiàn)準(zhǔn)確率與模型效率之間的良好折中，然后對(duì)每一片段進(jìn)行初步推斷，通過各預(yù)測(cè)結(jié)果的“共識(shí)”來(lái)確定其最終所屬類別，而且作者還提出了一種加權(quán)融合方法，讓深度模型自適應(yīng)地分配時(shí)間流特征與空間流特征在最終識(shí)別結(jié)果中所占的不同權(quán)重。為捕捉長(zhǎng)時(shí)動(dòng)態(tài)信息，文獻(xiàn)[50]將雙流網(wǎng)絡(luò)與LSTM網(wǎng)絡(luò)相結(jié)合以捕捉全局時(shí)空信息。文獻(xiàn)[51]利用分段采樣策略進(jìn)行采樣，并構(gòu)建了時(shí)空異構(gòu)雙流網(wǎng)絡(luò)，以實(shí)現(xiàn)長(zhǎng)范圍時(shí)序建模。文獻(xiàn)[52]將TSN網(wǎng)絡(luò)與時(shí)間金字塔池化方式相結(jié)合，通過構(gòu)建多尺度時(shí)間特征建模長(zhǎng)距離視頻幀之間的依賴性。文獻(xiàn)[53]構(gòu)建了一種深度殘差LSTM網(wǎng)絡(luò)，并與雙流網(wǎng)絡(luò)相結(jié)合以提取全局信息。不同于傳統(tǒng)時(shí)空雙流網(wǎng)絡(luò)采用并行排列的方式，文獻(xiàn)[54]利用串行連接結(jié)合時(shí)空流網(wǎng)絡(luò)，節(jié)省了硬件資源。為避免手動(dòng)計(jì)算光流特征，文獻(xiàn)[55]提出了一種多任務(wù)學(xué)習(xí)模型ActionFlowNet，從原始像素點(diǎn)出發(fā)，分別訓(xùn)練兩個(gè)卷積流網(wǎng)絡(luò)，在模型自動(dòng)估計(jì)光流值的同時(shí)進(jìn)行動(dòng)作識(shí)別，模型不需要額外地進(jìn)行手工設(shè)計(jì)，而是在帶有真實(shí)光流值標(biāo)簽的數(shù)據(jù)集上訓(xùn)練模型使其自適應(yīng)地學(xué)習(xí)連續(xù)視頻幀之間的光流信息，在提取運(yùn)動(dòng)信息的同時(shí)降低了計(jì)算量。

雙流模型利用兩個(gè)卷積網(wǎng)絡(luò)分別對(duì)時(shí)間信息和空間信息進(jìn)行建模，一定程度上緩解了基于RGB數(shù)據(jù)的單流識(shí)別網(wǎng)絡(luò)所面臨的動(dòng)態(tài)特征缺乏問題，但是以光流為代表的動(dòng)態(tài)特征僅能表示部分時(shí)間信息，并且在視頻中準(zhǔn)確有效地提取光流本身就是一個(gè)亟待解決的難題。

2.2 多流卷積網(wǎng)絡(luò)

為提高模型的描述能力，部分研究者豐富了模型的輸入模式，將雙流網(wǎng)絡(luò)模型擴(kuò)展到三流網(wǎng)絡(luò)甚至多流網(wǎng)絡(luò)，對(duì)不同的輸入模式分別進(jìn)行處理后再加以融合，用于后續(xù)的分類識(shí)別以期得到更具判別力的人體動(dòng)作表征。

文獻(xiàn)[47]在光流+RGB輸入模式的基礎(chǔ)上提出了扭曲光流(Warped Optical Flow)作為額外的輸入模式，將這三種模式分別輸入到TSN網(wǎng)絡(luò)中，以探索多輸入模式對(duì)模型判別力的影響。文獻(xiàn)[56]將骨架序列特征按照不同的方向映射為RGB圖像特征，并將其分別作為三流網(wǎng)絡(luò)的輸入，實(shí)現(xiàn)了多特征之間的信息交互。文獻(xiàn)[57]提出了一個(gè)三流卷積網(wǎng)絡(luò)，在光流+RGB數(shù)據(jù)的基礎(chǔ)上提出了堆疊的運(yùn)動(dòng)差分圖像(Motion Stacked Difference Image,MSDI)構(gòu)成三模式輸入，MSDI通過融合每個(gè)局部動(dòng)作特征來(lái)建立用以表征全局動(dòng)作的時(shí)間特征，將三種數(shù)據(jù)形式分別通過相同設(shè)置的卷積神經(jīng)網(wǎng)絡(luò)(即五個(gè)卷積層與兩個(gè)全連接層的順序堆疊)進(jìn)行特征學(xué)習(xí)，以捕捉空間表觀信息、局部時(shí)間特征、全局時(shí)間表示。文獻(xiàn)[58]提出了動(dòng)態(tài)圖像的概念，使用排序池化和近似排序池化對(duì)RGB圖像和光流進(jìn)行編碼，經(jīng)訓(xùn)練后得到RGB動(dòng)態(tài)圖像流網(wǎng)絡(luò)和動(dòng)態(tài)光流網(wǎng)絡(luò)，結(jié)合原始RGB網(wǎng)絡(luò)和光流網(wǎng)絡(luò)形成四流網(wǎng)絡(luò)結(jié)構(gòu)，利用其輸出得分的均值來(lái)預(yù)測(cè)動(dòng)作類。文獻(xiàn)[59]利用RGB數(shù)據(jù)、光流和深度信息的多模態(tài)輸入形式結(jié)合了多種特征類型的優(yōu)勢(shì)以提升模型識(shí)別效果。為提高有限訓(xùn)練樣本情況下模型的學(xué)習(xí)能力，文獻(xiàn)[60]在水平與垂直兩個(gè)方向上提取原始視頻幀的光流與梯度信息分別送入多流卷積網(wǎng)絡(luò)通道，增加了訓(xùn)練樣本數(shù)量。與上述文獻(xiàn)對(duì)于不同的輸入模式均采用相同設(shè)計(jì)的卷積流做法不同，文獻(xiàn)[61]將深度MHI、骨架數(shù)據(jù)分別輸入ResNet101與ST-GCN中提取對(duì)應(yīng)的全局運(yùn)動(dòng)與局部運(yùn)動(dòng)信息，并結(jié)合RGB圖像構(gòu)成了三模態(tài)輸入，考慮了目標(biāo)與動(dòng)作之間的依賴關(guān)系。文獻(xiàn)[62]從特征級(jí)的光流正交空間出發(fā)，通過直接計(jì)算深度特征圖的時(shí)空梯度，定義了光流引導(dǎo)特征(Optical Flow Guided Feature,OFF)，該方法設(shè)計(jì)了三種子網(wǎng)絡(luò)：特征生成子網(wǎng)絡(luò)、OFF子網(wǎng)絡(luò)與分類子網(wǎng)絡(luò)，其中特征生成子網(wǎng)絡(luò)由BN-Inception網(wǎng)絡(luò)構(gòu)成，并以RGB視頻幀與堆疊的光流作為模型輸入，分別提取對(duì)應(yīng)特征，然后將其分別送入OFF子網(wǎng)絡(luò)，得到OFF(RGB)與OFF(Optical Flow)兩種新的輸入模式，分別表征經(jīng)OFF子網(wǎng)絡(luò)處理后的兩種數(shù)據(jù)類型，OFF子網(wǎng)絡(luò)得到的特征通過堆疊的殘差塊進(jìn)行細(xì)化，最后對(duì)四種模式輸入到分類子網(wǎng)絡(luò)分別進(jìn)行分類預(yù)測(cè)，將融合結(jié)果作為最終的判別依據(jù)，獲得了明顯的性能增益。

基于多流卷積網(wǎng)絡(luò)的動(dòng)作識(shí)別方法雖然能夠有效捕捉圖像的空間特征，且更全面地補(bǔ)償了單一視頻幀所缺乏的時(shí)間信息，但輸入模式種類越多意味著深度模型所需訓(xùn)練的參數(shù)量越多，這使模型的有效性大打折扣。此外，輸入模式的增多也意味著對(duì)特征融合模塊設(shè)計(jì)的要求也更高，增加了多流模型的復(fù)雜性。

2.3 三維卷積網(wǎng)絡(luò)

基于三維卷積網(wǎng)絡(luò)的特征提取算法的一般做法為將少量連續(xù)的視頻幀堆疊而成的時(shí)空立方體作為模型輸入，然后在給定動(dòng)作類別標(biāo)簽的監(jiān)督下通過層級(jí)訓(xùn)練機(jī)制自適應(yīng)地學(xué)習(xí)視頻信息的時(shí)空表征。三維卷積網(wǎng)絡(luò)在時(shí)空兩個(gè)維度上直接從視頻數(shù)據(jù)中同時(shí)捕獲具有區(qū)分性的視頻特征，無(wú)須刻意設(shè)計(jì)時(shí)空特征融合模塊，能有效地處理短期時(shí)空信息的融合問題，更好地促進(jìn)了時(shí)空特征在識(shí)別判斷過程中的相互交互。

(1) 基于標(biāo)準(zhǔn)三維卷積的模型。文獻(xiàn)[63]將二維卷積網(wǎng)絡(luò)擴(kuò)展到三維空間，同時(shí)從時(shí)空維度提取視頻特征。在此基礎(chǔ)上，提出了多種3DCNN的變形，如C3D[64]、I3D[65]、Res3D[66]等。得益于GPU的發(fā)展，基于3DCNN的方法逐漸成為視頻動(dòng)作識(shí)別領(lǐng)域的主流方法。文獻(xiàn)[67]利用多視圖學(xué)習(xí)提取多個(gè)局部形狀描述符，然后與3DCNN相結(jié)合將多個(gè)視圖描述符進(jìn)行融合，以提高分類特征的描述能力。文獻(xiàn)[68]在C3D網(wǎng)絡(luò)之前添加了一個(gè)緩沖區(qū)，實(shí)現(xiàn)了模型在視頻流輸入的同時(shí)執(zhí)行實(shí)時(shí)分類預(yù)測(cè)。針對(duì)C3D網(wǎng)絡(luò)層數(shù)較淺不利于學(xué)習(xí)深度特征的問題，文獻(xiàn)[69]將殘差思想與深度C3D網(wǎng)絡(luò)相結(jié)合，在其中引入短路連接，避免了深度C3D網(wǎng)絡(luò)會(huì)導(dǎo)致其學(xué)習(xí)能力退化的缺陷。但3DCNN較之于2DCNN倍增的參數(shù)量使得其相應(yīng)模型在小數(shù)據(jù)集上進(jìn)行訓(xùn)練易導(dǎo)致過擬合效應(yīng)，因此文獻(xiàn)[70]將密集連接方式應(yīng)用到3DCNN中，并結(jié)合空間金字塔池化方式，減小了模型的訓(xùn)練難度。此外，研究者們采用遷移學(xué)習(xí)方法，在公共大型數(shù)據(jù)集對(duì)模型進(jìn)行預(yù)訓(xùn)練后，再利用小數(shù)據(jù)集對(duì)模型進(jìn)行微調(diào)。文獻(xiàn)[71]受2DCNN在ImageNet[72]數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練后極大地促進(jìn)了通用特征表示的獲取的啟發(fā)，針對(duì)3DCNN的巨大參數(shù)量是否會(huì)引起訓(xùn)練過程中的過擬合問題進(jìn)行了研究，首次提出在Kinetics[73]數(shù)據(jù)集上從零開始訓(xùn)練多種3DCNNs模型(ResNet[74]、Pre-activation ResNet[75]、Wide ResNet[76]、ResNeXt[77]、DenseNet[78])，通過由淺(18層)到深(200層)的網(wǎng)絡(luò)結(jié)構(gòu)研究了在不導(dǎo)致過擬合的情況下該數(shù)據(jù)集可訓(xùn)練的深層結(jié)構(gòu)的層數(shù)上限，證明使用Kinetics數(shù)據(jù)集訓(xùn)練深度3D CNN將追溯2D CNN和Image Net的成功歷史。預(yù)訓(xùn)練緩解了常用小數(shù)據(jù)集的過擬合效應(yīng)，是一種有效的初始化方式，能夠加快模型的收斂速度。但在大型視頻數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練操作需要昂貴的時(shí)間成本，因此文獻(xiàn)[79]利用在圖像數(shù)據(jù)集ImageNet上進(jìn)行預(yù)訓(xùn)練后的2DCNN模型來(lái)構(gòu)建3DCNN，其沿著時(shí)間維度堆疊相同大小的二維卷積核來(lái)重構(gòu)三維濾波器，并且通過在幀序列上同時(shí)進(jìn)行二維卷積來(lái)模仿視頻流中的三維卷積操作，避免了在大型視頻數(shù)據(jù)集中進(jìn)行繁瑣的預(yù)訓(xùn)練過程。但是視頻數(shù)據(jù)包含許多無(wú)用信息，若對(duì)所有特征同等對(duì)待，會(huì)導(dǎo)致特征提取過程中包含大量不必要的特征，從而干擾識(shí)別結(jié)果并增加多余的計(jì)算量。

文獻(xiàn)[80]表明人類在觀察周遭環(huán)境時(shí)并非關(guān)注全部?jī)?nèi)容，而是將注意力集中在環(huán)境的顯著性區(qū)域。部分學(xué)者受此啟發(fā)，在特征提取算法的設(shè)計(jì)中引入了注意力機(jī)制，幫助模型在特征學(xué)習(xí)的過程中為目標(biāo)區(qū)域分配更多的注意力資源，進(jìn)而抑制冗余信息，在復(fù)雜的視頻內(nèi)容中快速篩選出關(guān)鍵信息。文獻(xiàn)[81]提出了一種卷積注意模塊(Convolutional Block Attention Module,CBAM)，在二維殘差網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上構(gòu)建了層級(jí)雙重注意機(jī)制，將通道注意力與空間注意力依序添加到每一殘差塊中，但該網(wǎng)絡(luò)結(jié)構(gòu)忽略了對(duì)動(dòng)作識(shí)別任務(wù)來(lái)說(shuō)至關(guān)重要的時(shí)間信息。文獻(xiàn)[82]在其基礎(chǔ)上將二維殘差注意結(jié)構(gòu)擴(kuò)展到三維空間，提出了一種三維殘差注意網(wǎng)絡(luò)(3D Residual Attention Networks,3DRAN)，根據(jù)信道和空間注意機(jī)制子模塊在每個(gè)三維殘差塊中依次推斷所提取到的特征的信道注意映射和空間注意映射，使中層卷積特征序列性地在通道域和空間域中學(xué)習(xí)關(guān)鍵線索。文獻(xiàn)[83]以殘差網(wǎng)絡(luò)為基礎(chǔ)構(gòu)建了一種雙流殘差時(shí)空注意(Residual Spatial-Temporal Attention Network,R-STAN)網(wǎng)絡(luò)，該網(wǎng)絡(luò)分支由集成時(shí)空注意力的殘差塊(R-STAB)堆疊而成，從而使R-STAN具有沿時(shí)間維和空間維生成注意力感知特征的能力，引導(dǎo)網(wǎng)絡(luò)更加注重為具有不同判別力的時(shí)空特征分配相應(yīng)權(quán)重，大大減少了冗余信息。文獻(xiàn)[84]為克服3×3×3卷積核在時(shí)空域上感受野較小未考慮到整個(gè)特征圖以及整個(gè)幀序列中的全局信息，提出了一種帶有注意力機(jī)制的時(shí)空可變形三維卷積模塊(Spatio-Temporal Deformable 3D ConvNets with Attention,STDA)，沿時(shí)空維度同時(shí)執(zhí)行幀間變形操作和幀內(nèi)變形操作，自主學(xué)習(xí)在時(shí)空維度上的偏移量以自適應(yīng)擬合視頻中發(fā)生的即時(shí)復(fù)雜動(dòng)作，從而產(chǎn)生更具區(qū)分度的視頻表征，補(bǔ)償全局信息缺失問題，更好地捕捉時(shí)空領(lǐng)域內(nèi)的長(zhǎng)期依賴性和視頻中不規(guī)則的運(yùn)動(dòng)信息。

基于標(biāo)準(zhǔn)三維卷積結(jié)構(gòu)的模型因其固有的內(nèi)在結(jié)構(gòu)在提取局部時(shí)空融合特征時(shí)具有先天的優(yōu)勢(shì)，但同時(shí)也存在很多局限性。基于標(biāo)準(zhǔn)三維卷積結(jié)構(gòu)的模型所需訓(xùn)練的模型參數(shù)量十分巨大，增加了模型的計(jì)算復(fù)雜度與存儲(chǔ)開銷且不利于模型的迭代優(yōu)化，導(dǎo)致模型難以迅速收斂到最優(yōu)解。

(2) 基于三維卷積結(jié)構(gòu)變形的模型。為減少模型的訓(xùn)練參數(shù)、提升計(jì)算速度、減小內(nèi)存消耗，多種基于標(biāo)準(zhǔn)三維卷積網(wǎng)絡(luò)的結(jié)構(gòu)變形被提出。在早期的相關(guān)研究中，研究者將一層卷積核大小為3×3×3的標(biāo)準(zhǔn)三維卷積層近似為三個(gè)級(jí)聯(lián)的卷積層，它們的濾波器大小分別為1×3×1、1×1×3與3×1×1，提升了模型的有效性[85]，但這種做法相當(dāng)于將模型的深度加深了三倍，導(dǎo)致模型難以訓(xùn)練。為解決上述問題，文獻(xiàn)[86]提出了一種非對(duì)稱三維卷積來(lái)近似傳統(tǒng)三維卷積以改進(jìn)傳統(tǒng)3D CNN的計(jì)算復(fù)雜問題，通過將兩層卷積核大小為3×3×3卷積層近似為一層卷積核大小為1×5×1、1×1×5與3×1×1的非對(duì)稱三維卷積層，然后再堆疊多個(gè)不同的微網(wǎng)來(lái)構(gòu)建非對(duì)稱3D卷積深層模型，提高了非對(duì)稱三維卷積層的特征學(xué)習(xí)能力且不增加計(jì)算成本。

此外，分解的時(shí)空卷積網(wǎng)絡(luò)[87](Factorized spatio-temporal Convolutional Networks,FstCN)與偽三維網(wǎng)絡(luò)[88](Pseudo-3D network,P3D)也被提出用于緩解三維卷積網(wǎng)絡(luò)計(jì)算復(fù)雜的問題。文獻(xiàn)[89]提出了一種基于三維殘差網(wǎng)絡(luò)的時(shí)空分解方法，將標(biāo)準(zhǔn)三維卷積操作解耦為級(jí)聯(lián)的二維空間卷積與一維時(shí)間卷積，以更為緊湊的結(jié)構(gòu)取得了良好的結(jié)果。隨后，該團(tuán)隊(duì)又基于分組卷積從通道分離這一全新視角提出了一種通道分離卷積網(wǎng)絡(luò)(Channel-Separated Convolutional Networks,CSN)，將標(biāo)準(zhǔn)三維卷積分解為通道交互層(濾波器大小為1×1×1)與局部時(shí)空信息交互層(濾波器大小為3×3×3)，前者通過減少或增加通道維度以加強(qiáng)不同通道之間的信息交流，后者利用深度可分離卷積的思想，摒棄了通道之間的信息傳輸而著重于局部時(shí)空信息之間的交互，降低了模型的計(jì)算量[90]。文獻(xiàn)[91]將二維空間卷積核與一維時(shí)間卷積核按照三種不同的方式進(jìn)行連接，然后將三種網(wǎng)絡(luò)串接起來(lái)構(gòu)造偽三維殘差網(wǎng)絡(luò)，降低了模型訓(xùn)練難度。文獻(xiàn)[92]利用張量低秩分解理論提出了Fake-3D模塊，選取C3D網(wǎng)絡(luò)作為其基礎(chǔ)架構(gòu)并結(jié)合殘差連接的思想，降低了C3D模型的參數(shù)規(guī)模且提升了識(shí)別性能。文獻(xiàn)[93]證明了I3D較之于I2D的性能增益，同時(shí)對(duì)該模型中全3D卷積模塊的冗余度提出了疑問，進(jìn)而提出一種輕量級(jí)模型S3D-G，在底層網(wǎng)絡(luò)中采用2DCNN提取空間特征，在頂層3DCNN模塊中利用深度可分卷積構(gòu)造分離的3D時(shí)空卷積，結(jié)合了2DCNN與分解的3DCNN以實(shí)現(xiàn)在計(jì)算速度以及識(shí)別精度上的更好折中。但上述模型受限于輸入數(shù)據(jù)的時(shí)間維度僅能表征局部時(shí)空信息。

計(jì)算復(fù)雜度與內(nèi)存消耗量限制了輸入視頻數(shù)據(jù)的長(zhǎng)度，因此基于三維卷積網(wǎng)絡(luò)的特征提取模型僅能表征短期時(shí)間范圍內(nèi)的人體動(dòng)作，很難處理具有長(zhǎng)時(shí)間跨度的視頻數(shù)據(jù)信息，從而影響模型性能，因此長(zhǎng)期時(shí)空序列信息能否獲得充分的分析是提升視頻動(dòng)作分類準(zhǔn)確性的關(guān)鍵。

2.4 長(zhǎng)短時(shí)期記憶網(wǎng)絡(luò)

為捕捉具有長(zhǎng)時(shí)間跨度的動(dòng)作信息，文獻(xiàn)[94]設(shè)計(jì)了具有長(zhǎng)期時(shí)間卷積核(Long-term Temporal Convolutions,LTC)的神經(jīng)網(wǎng)絡(luò)，通過同時(shí)卷積更多的視頻幀獲取更長(zhǎng)的時(shí)間特征，但其參數(shù)量巨大，訓(xùn)練十分困難。文獻(xiàn)[95]提出了一種Timeception模塊，利用深度可分卷積構(gòu)造temporal-only卷積核(T×1×1×1)，通過堆疊多個(gè)Timeception模塊以對(duì)視頻進(jìn)行長(zhǎng)時(shí)序建模，但該模塊選擇犧牲空間信息來(lái)交換時(shí)序信息，在長(zhǎng)期時(shí)序建模過程中可能會(huì)導(dǎo)致上下文語(yǔ)義信息被壓縮，甚至丟失?；陂L(zhǎng)短時(shí)期記憶網(wǎng)絡(luò)(Long Short-Term Memory,LSTM)的模型具體指在卷積神經(jīng)網(wǎng)絡(luò)的末端添加LSTM或者與之對(duì)應(yīng)的變體結(jié)構(gòu)，得益于其強(qiáng)大的序列建模能力，該方法也逐漸成為動(dòng)作識(shí)別領(lǐng)域中的一個(gè)研究熱點(diǎn)。

(1) 基于標(biāo)準(zhǔn)LSTM的模型。LSTM的引入不僅解放了輸入長(zhǎng)度，而且能更好地捕獲長(zhǎng)期視頻數(shù)據(jù)之間的依賴性，文獻(xiàn)[96]先使用卷積神經(jīng)網(wǎng)絡(luò)捕捉各個(gè)獨(dú)立視頻幀的特征，然后將CNN的特征按視頻中的時(shí)間順序依次送入LSTM中以獲得時(shí)間相關(guān)性特征，以補(bǔ)償CNN所缺乏的時(shí)間動(dòng)態(tài)。除了探索視頻幀之間的關(guān)聯(lián)，LSTM還可用于建模不同視頻片段之間的語(yǔ)義關(guān)系，文獻(xiàn)[97]在經(jīng)過kinetics數(shù)據(jù)集上預(yù)訓(xùn)練的I3D模型上引入了LSTM，利用I3D網(wǎng)絡(luò)提取不同時(shí)刻的輸入視頻剪輯的局部時(shí)空特征，然后使用LSTM建模不同剪輯片段之間的時(shí)序依賴性，實(shí)現(xiàn)了高級(jí)時(shí)間特征與局部時(shí)空融合特征的結(jié)合。與上述方法類似，文獻(xiàn)[98]將視頻幀和光流兩種模式送入3DCNN網(wǎng)絡(luò)與特征融合模塊，得到兩種模式的融合特征，最后利用深層LSTM對(duì)序列性的融合特征進(jìn)行時(shí)序建模，以強(qiáng)調(diào)模型表征連貫性動(dòng)作的能力。文獻(xiàn)[99]在3DCNN與LSTM網(wǎng)絡(luò)的基礎(chǔ)上引入了多任務(wù)學(xué)習(xí)，在建模視頻幀之間的時(shí)序關(guān)系的同時(shí)強(qiáng)調(diào)了相關(guān)任務(wù)中所包含的豐富信息。為解決隨著LSTM網(wǎng)絡(luò)層數(shù)加深所引起的過擬合問題，文獻(xiàn)[100]在遞歸網(wǎng)絡(luò)中引入了殘差連接構(gòu)建偽遞歸殘差神經(jīng)網(wǎng)絡(luò)用以提取時(shí)空特征。LSTM除了用于時(shí)序建模，還可用作編碼-解碼網(wǎng)絡(luò)，文獻(xiàn)[101]提出一種基于3DCNN的運(yùn)動(dòng)圖網(wǎng)絡(luò)結(jié)構(gòu)(Motion Map Network,MMN)，通過迭代的方式將整個(gè)視頻所包含的運(yùn)動(dòng)信息集成到運(yùn)動(dòng)圖中，然后LSTM編碼網(wǎng)絡(luò)將提取到的特征圖編碼為對(duì)應(yīng)的隱藏激活形式，再通過輸入層的解碼網(wǎng)絡(luò)重構(gòu)近似輸出，以探索視頻序列之間的隱藏模式。

盡管LSTM具有強(qiáng)大的序列建模能力，但依然存有各種不足。標(biāo)準(zhǔn)LSTM僅考慮了單一方向上的序列信息，且采用向量化后的一維數(shù)據(jù)作為模型輸入，易導(dǎo)致關(guān)鍵信息的丟失問題，因此CNN與LSTM變體結(jié)構(gòu)的組合也開始受到研究者的青睞。

(2) 基于LSTM變體結(jié)構(gòu)的模型。單向LSTM僅考慮了過去的序列信息，利用其對(duì)相似性較大的動(dòng)作(例如跑步與三級(jí)跳)進(jìn)行分類識(shí)別易產(chǎn)生混淆，所以預(yù)知運(yùn)動(dòng)的結(jié)果信息也至關(guān)重要。受此啟發(fā)，研究者們采用Bi-LSTM網(wǎng)絡(luò)對(duì)時(shí)間信息進(jìn)行建模[102-103]。雙向LSTM由兩個(gè)不同方向的標(biāo)準(zhǔn)LSTM網(wǎng)絡(luò)堆疊而成，具有前向、后向兩條通路，將卷積神經(jīng)網(wǎng)絡(luò)所提取的特征送入后續(xù)的深層Bi-LSTM網(wǎng)絡(luò)中進(jìn)行依賴性探索，能幫助模型有效地提取動(dòng)作發(fā)生的過去與未來(lái)的上下文語(yǔ)義信息，從而更有效地區(qū)分相似運(yùn)動(dòng)。文獻(xiàn)[104]將雙流3DCNN網(wǎng)絡(luò)與雙向LSTM相結(jié)合以期在視頻流前后兩個(gè)方向上對(duì)長(zhǎng)期依賴性進(jìn)行建模。但是將卷積層特征向量化后直接輸入到LSTM中會(huì)破壞特征平面之間固有的空間位置相關(guān)性，從而干擾識(shí)別效果。

為保留特征圖的空間拓?fù)浣Y(jié)構(gòu)，文獻(xiàn)[105]結(jié)合了3DCNN和ConvLSTM，并將這兩個(gè)網(wǎng)絡(luò)所捕獲到的二維特征送入2DCNN用于學(xué)習(xí)更深層次的特征，以實(shí)現(xiàn)任意長(zhǎng)視頻序列的動(dòng)作識(shí)別。文獻(xiàn)[106]結(jié)合多層密集雙向Conv-LSTM后產(chǎn)生具有豐富時(shí)空信息的相應(yīng)采樣幀的特征圖，然后與原始采樣幀一起送入3D DenseNet網(wǎng)絡(luò)，在考慮不同視頻剪輯相關(guān)性的同時(shí)保留了卷積層特征平面的空間拓?fù)浣Y(jié)構(gòu)。文獻(xiàn)[107]設(shè)計(jì)了一種僅使用RGB圖像數(shù)據(jù)的輕量級(jí)架構(gòu)，通過ConvLSTM和FC-LSTM在不同視覺感知層分別建模時(shí)序信息，有利于更好地融合局部空間細(xì)節(jié)特征與全局語(yǔ)義特征，增強(qiáng)了模型的綜合表征能力。但是ConvLSTM結(jié)構(gòu)在輸入-狀態(tài)以及狀態(tài)-狀態(tài)轉(zhuǎn)換過程中利用其內(nèi)部卷積結(jié)構(gòu)顯式地編碼輸入空間位置的相關(guān)關(guān)系與長(zhǎng)期時(shí)間依賴性關(guān)系，其參數(shù)量較大，在小數(shù)據(jù)集上難以得到充分訓(xùn)練從而導(dǎo)致模型過擬合。針對(duì)上述問題，文獻(xiàn)[108]提出了一種結(jié)合3DCNN和ConvGRU結(jié)構(gòu)的深度自編碼網(wǎng)絡(luò)用于學(xué)習(xí)視頻的時(shí)空維度特征，其性能與ConvLSTM相當(dāng)，但前者參數(shù)量更少且更容易訓(xùn)練。文獻(xiàn)[109]借助計(jì)算分解以及稀疏連接的思想，利用深度可分離卷積、分組卷積與混疊卷積替換ConvLSTM中的傳統(tǒng)卷積結(jié)構(gòu)，以獲取冗余性分析。

基于CNN與LSTM網(wǎng)絡(luò)相結(jié)合的動(dòng)作識(shí)別算法能最大程度地利用兩種模型的優(yōu)點(diǎn)，在不均勻的時(shí)間跨度內(nèi)將表觀信息、運(yùn)動(dòng)信息和長(zhǎng)短期時(shí)空信息關(guān)聯(lián)起來(lái)，為后續(xù)的分類判別階段提供了一個(gè)較為全面的時(shí)空表征，但是上述模型仍然需要大量的視頻數(shù)據(jù)用于模型訓(xùn)練，這對(duì)用于訓(xùn)練的數(shù)據(jù)集要求較高，且訓(xùn)練過程中的時(shí)間成本較大，增加了模型的訓(xùn)練難度。

2.5 性能對(duì)比分析

在基于深度學(xué)習(xí)的特征提取方法的相關(guān)實(shí)驗(yàn)中，UCF101與HMDB51是使用范圍最為廣泛的數(shù)據(jù)集。UCF101是收集自YouTube的真實(shí)動(dòng)作視頻數(shù)據(jù)集，囊括101個(gè)動(dòng)作類別，共13 320個(gè)視頻，包羅了人與物的交互運(yùn)動(dòng)、身體運(yùn)動(dòng)、人與人的交互運(yùn)動(dòng)、彈奏樂器和各類運(yùn)動(dòng)五種動(dòng)作類型。HMDB51數(shù)據(jù)集包括從各種電影片段以及公共數(shù)據(jù)庫(kù)中收集的大量真實(shí)視頻剪輯的集合。該數(shù)據(jù)集包含6 849個(gè)剪輯，涵蓋51個(gè)動(dòng)作類別。動(dòng)作類別可分為五種類型：一般面部動(dòng)作、含對(duì)象交互的面部動(dòng)作、一般肢體動(dòng)作、人物交互肢體動(dòng)作和人與人交互肢體動(dòng)作。該數(shù)據(jù)集來(lái)源于現(xiàn)實(shí)場(chǎng)景，含有復(fù)雜的背景信息且在不同類別的運(yùn)動(dòng)中含相似場(chǎng)景，因此相較于UCF101更具挑戰(zhàn)性。表4羅列出了不同的深度學(xué)習(xí)特征提取方法在上述數(shù)據(jù)集上的識(shí)別準(zhǔn)確率對(duì)比。為便于描述，光流(Optical Flow)、扭曲光流(Warped Optical Flow)、堆疊的運(yùn)動(dòng)差分圖像(Motion Stacked Difference Image)、動(dòng)態(tài)圖像(Dynamic Image)、動(dòng)態(tài)光流(Dynamic Optical Flow)等輸入數(shù)據(jù)類型分別簡(jiǎn)化為OF、WOF、MSDI、DI、DOF。此外，OFF(RGB)與OFF(OF)分別表示經(jīng)OFF子網(wǎng)絡(luò)處理后的RGB和光流數(shù)據(jù)。

表4 基于深度學(xué)習(xí)的特征提取方法識(shí)別準(zhǔn)確率對(duì)比(%)

可以看出，相較于文獻(xiàn)[40]利用2DCNN與單一RGB輸入模式相結(jié)合的方式，雙流網(wǎng)絡(luò)得益于光流數(shù)據(jù)在時(shí)間流信息上的補(bǔ)償，其平均識(shí)別精確度相較于單流網(wǎng)絡(luò)在UCF101數(shù)據(jù)集上提升了25.84百分點(diǎn)，證明了雙流卷積網(wǎng)絡(luò)的有效性。在基于雙流卷積網(wǎng)絡(luò)的特征提取方法中，文獻(xiàn)[51]利用時(shí)空異構(gòu)雙流網(wǎng)絡(luò)在UCF101數(shù)據(jù)集上達(dá)到了94.40%的準(zhǔn)確率，文獻(xiàn)[47]利用加權(quán)法融合TSN雙流網(wǎng)絡(luò)，在HMDB51數(shù)據(jù)集上達(dá)到了68.50%的準(zhǔn)確率，實(shí)現(xiàn)了最優(yōu)的識(shí)別結(jié)果。

在基于多流卷積網(wǎng)絡(luò)的特征提取方法中，文獻(xiàn)[57]利用三流卷積網(wǎng)絡(luò)結(jié)合SVM模型，在UCF101和HMDB51數(shù)據(jù)集上達(dá)到了89.70%與61.30%的準(zhǔn)確率，與文獻(xiàn)[45]中利用雙流網(wǎng)絡(luò)結(jié)合SVM模型的方法相比較，分別提升了1.7百分點(diǎn)與1.9百分點(diǎn)。文獻(xiàn)[62]利用OFF子網(wǎng)絡(luò)構(gòu)建四流卷積網(wǎng)絡(luò)，在兩個(gè)數(shù)據(jù)集上均取得了最優(yōu)結(jié)果，在UCF101和HMDB51數(shù)據(jù)集上分別實(shí)現(xiàn)了96.00%與74.20%的準(zhǔn)確率。與單流網(wǎng)絡(luò)相比，其平均準(zhǔn)確率在UCF101數(shù)據(jù)集上增加了28.33百分點(diǎn)，但是多流卷積網(wǎng)絡(luò)中精確度的提升需要以巨大的計(jì)算量為代價(jià)。

在基于三維卷積網(wǎng)絡(luò)的特征提取方法中，僅采用RGB輸入模式也能達(dá)到與雙流甚至多流卷積網(wǎng)絡(luò)相當(dāng)?shù)淖R(shí)別效果，避免了復(fù)雜的預(yù)處理過程。與其他模型相比，C3D[64]與I3D[65]模型并未在大型數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，因此識(shí)別效果不是很理想，證明了3DCNN在小數(shù)據(jù)集上容易引起過擬合的問題。在UCF101和HMDB51數(shù)據(jù)集中，文獻(xiàn)[71]利用3DResNeXt-101分別實(shí)現(xiàn)了94.50%與70.20%的準(zhǔn)確率，文獻(xiàn)[89]利用三維卷積的結(jié)構(gòu)變形構(gòu)造R(2+1)D網(wǎng)絡(luò)，分別實(shí)現(xiàn)了96.80%與74.50%的準(zhǔn)確率。與文獻(xiàn)[71]相比，文獻(xiàn)[89]利用更少的卷積層(34 vs 101)實(shí)現(xiàn)了更高的精確度，證明了基于三維卷積結(jié)構(gòu)變型模型的有效性。文獻(xiàn)[93]利用S3D-G模型取得了96.80%與75.90%的準(zhǔn)確率，在表4所有方法中識(shí)別精度最高，但是該方法在Kinetics與ImageNet數(shù)據(jù)集上同時(shí)進(jìn)行了預(yù)訓(xùn)練，訓(xùn)練過程中的時(shí)間成本十分高昂。

在基于LSTM的特征提取方法中，文獻(xiàn)[97]與文獻(xiàn)[98]通過LSTM模型的引入，明顯提升了C3D[64]與I3D[65]模型的識(shí)別效果。此外，文獻(xiàn)[53]通過在雙流網(wǎng)絡(luò)中引入LSTM變體模型，在UCF101和HMDB51數(shù)據(jù)集上取得了良好的識(shí)別效果，分別實(shí)現(xiàn)了96.10%與74.20%的準(zhǔn)確率，證明了LSTM強(qiáng)大的序列建模能力在特征提取過程中的性能增益。該方法適用于任意長(zhǎng)度的視頻幀輸入，在復(fù)雜度與精確度之間取得了良好折中，但是仍然要求昂貴的訓(xùn)練成本。

3 未來(lái)可能的研究方向

基于傳統(tǒng)手工特征提取的方法需要巨大的內(nèi)存開銷與計(jì)算成本，且依賴于領(lǐng)域?qū)＜业南闰?yàn)知識(shí)，具有較強(qiáng)的主觀性，在很多情況下基于深度學(xué)習(xí)的方法表現(xiàn)更為優(yōu)越。基于深度學(xué)習(xí)的特征提取方法得益于神經(jīng)網(wǎng)絡(luò)的層級(jí)訓(xùn)練模式，通過層層遞進(jìn)的特征提取機(jī)制自動(dòng)從原始視頻數(shù)據(jù)中抽取高維特征，充分捕獲視頻數(shù)據(jù)的上下文語(yǔ)義信息，從而增加了模型的描述能力，有利于最后的識(shí)別判斷。特征提取直接關(guān)系到視頻內(nèi)容是否能夠得到準(zhǔn)確且充分的表達(dá)，進(jìn)而影響分類結(jié)果。但面對(duì)爆炸式增長(zhǎng)的視頻數(shù)據(jù)量，日趨復(fù)雜的視頻內(nèi)容以及實(shí)時(shí)性分析的現(xiàn)實(shí)需求，視頻特征提取方法也對(duì)有效性、魯棒性與時(shí)效性提出了更高的要求?，F(xiàn)將視頻特征提取方法中存在的挑戰(zhàn)及未來(lái)可能的研究方向總結(jié)如下：

1) 多特征融合。不同形式的輸入通過特征提取模型處理后會(huì)得到不同類別的特征，從不同方面描述了視頻中的人體運(yùn)動(dòng)模式。各特征側(cè)重點(diǎn)不同，僅利用單一特征進(jìn)行后續(xù)的識(shí)別判斷容易導(dǎo)致錯(cuò)誤的分類結(jié)果。很多模型直接基于RGB數(shù)據(jù)進(jìn)行特征提取，隨著攝像設(shè)備的應(yīng)用與發(fā)展，RGB數(shù)據(jù)具有便于采集且細(xì)粒度信息豐富的優(yōu)點(diǎn)，其對(duì)應(yīng)特征能直觀地反映物體表觀與細(xì)節(jié)紋理信息。但由于視頻采集過程中攝像頭的抖動(dòng)、環(huán)境光照與遮擋等因素，RGB數(shù)據(jù)通常會(huì)帶有大量的背景噪聲，造成視頻數(shù)據(jù)時(shí)空維度上的復(fù)雜性與多變性，從而導(dǎo)致不同個(gè)體的相同動(dòng)作之間會(huì)出現(xiàn)較大的類內(nèi)差距，進(jìn)而影響分類特征的視頻表征能力。融合不同類別的特征能結(jié)合各特征的優(yōu)勢(shì)，以規(guī)避單特征分類任務(wù)的缺陷。目前部分研究者通過結(jié)合視頻數(shù)據(jù)中的深度信息來(lái)克服RGB數(shù)據(jù)對(duì)背景噪聲敏感的缺陷[110]，但深度信息的采集成本較高且識(shí)別精度不理想。因此設(shè)計(jì)更為簡(jiǎn)單有效的額外的輸入模式以產(chǎn)生不同類型的特征，通過多種特征相融合的方式來(lái)表征人體的運(yùn)動(dòng)模式更加值得討論，利用不同特征之間的互補(bǔ)性實(shí)現(xiàn)對(duì)多種特征的優(yōu)勢(shì)進(jìn)行綜合。

2) 動(dòng)態(tài)信息的表征。動(dòng)態(tài)的運(yùn)動(dòng)信息是視頻數(shù)據(jù)中的多幀差分所包含的內(nèi)容，用以描述運(yùn)動(dòng)歷史，如何設(shè)計(jì)特征提取機(jī)制以期準(zhǔn)確地描述人體動(dòng)作在時(shí)間維度上的動(dòng)態(tài)演變，對(duì)視頻中人體動(dòng)作的正確區(qū)分而言意義重大。部分研究者利用視頻中的光流特征表征人體動(dòng)態(tài)信息，在補(bǔ)償時(shí)間信息的同時(shí)消除了無(wú)關(guān)背景因素的影響，雖然帶來(lái)了精度提升，但光流計(jì)算的復(fù)雜度較高且內(nèi)存開銷較大，極大地降低了模型的有效性與實(shí)用性。此外，光流特征往往需要預(yù)先計(jì)算，且光流視頻的生成需要耗費(fèi)大量時(shí)間成本，不能達(dá)到實(shí)時(shí)分類預(yù)測(cè)的效果。因此，為滿足實(shí)用性要求，尋求一種簡(jiǎn)單高效的動(dòng)態(tài)表征以代替復(fù)雜的光流計(jì)算從而減小內(nèi)存消耗，具有重要的現(xiàn)實(shí)意義；為滿足實(shí)時(shí)性要求，將動(dòng)態(tài)特征提取過程融入到動(dòng)作識(shí)別網(wǎng)絡(luò)中以便進(jìn)行實(shí)時(shí)預(yù)測(cè)分析，也是一個(gè)亟待解決的問題。

3) 特征篩選。視頻數(shù)據(jù)包含許多冗余信息，若對(duì)所有特征同等對(duì)待，會(huì)導(dǎo)致特征提取過程中包含大量不必要的特征，從而干擾識(shí)別結(jié)果并增加多余的計(jì)算量。注意力機(jī)制能夠模仿人類觀察世界時(shí)所采用的視覺注意機(jī)制，著重觀察空間區(qū)域中的核心目標(biāo)以及時(shí)間維度上的動(dòng)作發(fā)生片段。近年來(lái)，研究者們?cè)O(shè)計(jì)了不同的時(shí)空注意力機(jī)制，趨向于將目光集中在幀級(jí)時(shí)空注意力的相關(guān)研究上，以輔助模型自動(dòng)篩選重要的視頻幀以及其對(duì)應(yīng)的突出空間區(qū)域，然而相鄰幀所包含的動(dòng)作信息幾乎等同以至于難以區(qū)分其重要性，部分學(xué)者試圖通過添加復(fù)雜的正則化來(lái)解決上述問題，但模型的計(jì)算量與復(fù)雜度也隨之上升，因此將研究重點(diǎn)從幀級(jí)注意力轉(zhuǎn)向剪輯級(jí)注意力，為不同的視頻剪輯片段分配不同的重要性分?jǐn)?shù)也是一個(gè)值得研究的方向。此外不同的卷積核對(duì)應(yīng)著不同的通道以提取不同類別的特征，因此不同通道所對(duì)應(yīng)的特征也應(yīng)該被區(qū)別性對(duì)待。綜上所述，如何調(diào)整注意力機(jī)制，以輔助模型靈活篩選關(guān)鍵性特征，是提升最終分類特征的判別能力的關(guān)鍵。

4) 多模態(tài)特征挖掘。目前大多數(shù)人類動(dòng)作識(shí)別任務(wù)的研究?jī)H考慮了視頻中的視覺特征，基于直觀感受到的視頻畫面進(jìn)行人體動(dòng)作的分類判別。然而現(xiàn)實(shí)生活中的視頻數(shù)據(jù)不僅僅包含圖像特征，還含有大量的語(yǔ)音信息與文本信息，對(duì)這些數(shù)據(jù)類型的充分利用能輔助模型進(jìn)一步挖掘深層次特征，進(jìn)而理解視頻內(nèi)容。如何結(jié)合視頻中不同屬性的數(shù)據(jù)類型，對(duì)各類數(shù)據(jù)所包含的信息進(jìn)行顯示挖掘，協(xié)同利用多模態(tài)特征之間的互補(bǔ)特性，是輔助模型確定動(dòng)作類別以提升識(shí)別精度的關(guān)鍵。多模態(tài)數(shù)據(jù)的引入雖然增加了不同數(shù)據(jù)類型之間的聯(lián)系，但是多模態(tài)特征的挖掘需要模型在不同數(shù)據(jù)集上進(jìn)行訓(xùn)練，以及需要分別對(duì)各個(gè)模態(tài)分別進(jìn)行特征提取與類別預(yù)測(cè)，這也意味著模型復(fù)雜度與模型訓(xùn)練成本的增加，因此設(shè)計(jì)一個(gè)易于訓(xùn)練優(yōu)化的模型以生成簡(jiǎn)單有效的多模態(tài)表征也是一個(gè)值得探究的方向。

4 結(jié) 語(yǔ)

近年來(lái)，人類動(dòng)作識(shí)別技術(shù)的應(yīng)用領(lǐng)域愈加廣泛，涵蓋自動(dòng)駕駛、機(jī)器人與智能監(jiān)控等多個(gè)領(lǐng)域，具有重要的現(xiàn)實(shí)意義。本文對(duì)視頻中的人類動(dòng)作識(shí)別領(lǐng)域中所涉及到的特征提取方法進(jìn)行了全面的概述，從傳統(tǒng)的手工特征提取方法與基于深度學(xué)習(xí)的特征提取方法兩方面對(duì)其研究現(xiàn)狀進(jìn)行了歸納并分析了各類方法的優(yōu)點(diǎn)與不足，最后總結(jié)了人類動(dòng)作識(shí)別領(lǐng)域中現(xiàn)存的挑戰(zhàn)及未來(lái)可能的研究方向，以期幫助后續(xù)科研人員更加清晰明確地了解人類動(dòng)作識(shí)別任務(wù)中的特征提取算法的相關(guān)研究現(xiàn)狀。