有效視頻幀時(shí)間序池化的人體行為識別算法

鹿天然,于鳳芹,陳 瑩

(江南大學(xué) 物聯(lián)網(wǎng)工程學(xué)院,江蘇 無錫 214122)

0 概述

人體行為識別廣泛應(yīng)用于視頻監(jiān)控[1]、虛擬現(xiàn)實(shí)、人工智能交互[2]中。已有的人體行為識別研究主要包括行為特征描述[3-4]和特征編碼方法[5-6],對視頻中時(shí)間信息建模研究較少。在視頻中,人體行為具有連貫性,若忽略時(shí)間域,則幀間的隨機(jī)重組有相同的特征編碼,會限制行為識別效果。

為了獲取視頻中人體行為的時(shí)間域信息,文獻(xiàn)[7]提出使用隱馬爾科夫模型將時(shí)域特征和空域特征結(jié)合起來實(shí)現(xiàn)人體行為識別,該方法特征維度小、識別速度快,但其僅針對背景簡單的行為視頻進(jìn)行分析識別,對于復(fù)雜動(dòng)作的識別在精度和魯棒性上存在不足。文獻(xiàn)[8]采用條件隨機(jī)場通過序列數(shù)據(jù)的標(biāo)記解決行為識別時(shí)域信息建模問題,建立人體行為模型,提高了對于復(fù)雜場景的識別準(zhǔn)確率。但該模型的學(xué)習(xí)需要人為顯性標(biāo)注視頻序列各幀的狀態(tài),使得模型的應(yīng)用受限。文獻(xiàn)[9]采用深度網(wǎng)絡(luò)在視頻數(shù)據(jù)的時(shí)間維度和空間維度上進(jìn)行特征計(jì)算并對人體行為建模,但該方法學(xué)習(xí)速度慢,需要的樣本數(shù)據(jù)量龐大。

視頻中人體行為包含大量重復(fù)的動(dòng)作,導(dǎo)致獲取的視頻幀特征序列中包含相同的特征,并產(chǎn)生影響識別效率的冗余數(shù)據(jù)。因此,本文提出一種提取有效視頻幀來去除視頻序列中的冗余信息及時(shí)間序池化操作以獲取視頻中人體行為的時(shí)間域信息的方法。通過提取視頻每一幀的稠密軌跡并計(jì)算軌跡特征,采用局部累計(jì)描述向量(Vector of Locally Aggregated Descriptors,VLAD)對特征進(jìn)行編碼獲取視頻幀的特征表示。對視頻幀序列采用余弦相似度分析剔除其中內(nèi)容重復(fù)的視頻幀特征來獲取更加緊密的有效視頻幀特征序列,減少特征數(shù)量和數(shù)據(jù)冗余。采用時(shí)間序池化對得到的有效視頻幀特征序列按時(shí)間順序進(jìn)行編碼,利用排序函數(shù)的排序分?jǐn)?shù)反映視頻隨時(shí)間變化的動(dòng)態(tài)特征,將視頻表示為一個(gè)集合有效視頻幀特征和隨時(shí)間序動(dòng)態(tài)變化特征的特征向量,并訓(xùn)練支持向量機(jī)(Support Vector Machine,SVM)以實(shí)現(xiàn)人體行為識別。

1 基本原理

1.1 局部累計(jì)描述向量

VLAD[10]是一種簡單無概率形式的Fisher Vector,保存了每個(gè)特征點(diǎn)到離他距離最近的聚類中心的距離,相較于Fisher Vector,其編碼更簡單且生成的特征維數(shù)更低,對圖像局部信息刻畫更加細(xì)致。由于只需要線性SVM進(jìn)行分類,VLAD用于行為識別的效率較高,并且可以通過能量和L2標(biāo)準(zhǔn)化進(jìn)一步提高性能。

(1)

冗余疊加可以獲得VLAD:

(2)

由式(2)可知,每個(gè)視頻的代表VLAD的大小為D×K。其中,D為特征描述子的維度,K為總的簇個(gè)數(shù)。

1.2 余弦相似度分析

本文提出利用余弦相似度分析[11]對視頻幀特征序列進(jìn)行去冗余操作獲取有效視頻幀序列特征。

余弦相似度是計(jì)算相似度的一種方法。該方法首先將個(gè)體的指標(biāo)數(shù)據(jù)映射到向量空間,然后通過測量2個(gè)個(gè)體向量之間的內(nèi)積空間夾角余弦值來度量它們之間的相似性,2個(gè)個(gè)體向量夾角越接近0°，即夾角余弦值越大,說明2個(gè)個(gè)體的相似度越高;而2個(gè)個(gè)體夾角越接近180°,夾角余弦值越小,說明相似度越低。

(3)

根據(jù)余弦值的相關(guān)特性,d(xt,xt+1)的值在[-1,1]之間,夾角越小,值越大表示相似度越高。相比距離度量,余弦相似度更加注重2個(gè)向量在方向上的差異,而非距離或長度。其值與向量的模長無關(guān),而取決于各個(gè)維度上分量的大小差異。因此,通過設(shè)定閾值可對視頻幀的特征向量進(jìn)行選擇,大于閾值則將后一個(gè)向量從序列中剔除。本文閾值設(shè)置為0.8。

1.3 時(shí)間序池化方法

對視頻幀的時(shí)序變化進(jìn)行編碼也就是對序列v的動(dòng)態(tài)變化D進(jìn)行編碼,動(dòng)態(tài)變化D反映了從時(shí)間t～t+1的時(shí)間段內(nèi)視頻序列向量的改變。若序列v足夠平滑,則可以通過參數(shù)向量u的線性函數(shù)ψu(yù)=ψ(v;u)編碼圖像序列隨時(shí)間的變化,也就是用ψu(yù)來逼近D,即:

argumin‖D-ψu(yù)‖

(4)

每個(gè)視頻序列vi(·)的動(dòng)態(tài)變化D可由不同的參數(shù)向量ui表示的動(dòng)態(tài)函數(shù)ψ(·;ui)逼近,不同的視頻序列具有不同的動(dòng)態(tài)變化,但它們的逼近函數(shù)ψ(·;ui)的形式是相同的。因此，本文提出用函數(shù)的參數(shù)ui表示視頻序列的時(shí)序集動(dòng)態(tài)信息。

若vt+1在vt之后,則記為vt+1>vt,利用幀的傳遞性制定目標(biāo)(若va>vb且vb>vc,則va>vc),以順序約束條件vn>…>vt>…>v1作為結(jié)束。為了利用組合的排序池化構(gòu)造視頻序列的動(dòng)態(tài)變化,需求解滿足最小約束條件的組合學(xué)習(xí)排序方程,從而使得該方程滿足幀順序的約束條件。組合線性排序通過參數(shù)u學(xué)習(xí)一個(gè)排序分?jǐn)?shù)函數(shù)S(t|u)=,排序分?jǐn)?shù)以較大的邊界滿足組合條件vt+1>vt,但同時(shí)要避免過擬合。本文的目標(biāo)是得到參數(shù)向量u,從而使排序分?jǐn)?shù)反映出視頻序列的排序。因此,排在越后面的幀,其排序分?jǐn)?shù)就越大,q>t?S(q|u)>S(t|u),學(xué)習(xí)u的過程可用RankSVM方程描述為如下凸優(yōu)化問題:

(5)

其中，目標(biāo)函數(shù)中的第一項(xiàng)是SVM中常用的二次正則化,用于對權(quán)值進(jìn)行懲罰，第二項(xiàng)是合頁損失函數(shù)。參數(shù)向量u*集合所有幀的信息,能夠正確排序視頻序列的所有幀,可描述幀序列隨時(shí)間變化的動(dòng)態(tài)過程。因此,視頻幀隨時(shí)間變化的特征被編碼到了參數(shù)向量u*中,u*則作為視頻幀序列的描述符。由此,通過時(shí)間序池化從視頻序列中獲取了視頻幀隨時(shí)間變化的動(dòng)態(tài)特征。

2 算法實(shí)現(xiàn)步驟

有效視頻幀時(shí)間序池化的人體行為識別算法流程如圖1所示。

圖1 有效視頻幀時(shí)間序池化的人體行為識別算法流程

算法具體步驟如下:

1)首先對視頻進(jìn)行密集采樣,提取稠密軌跡構(gòu)建特征描述子,采集HOG和軌跡形狀作為形狀描述符,利用HOF和MBH作為運(yùn)動(dòng)描述符,最終得到1個(gè)426維的描述符。采用主成分分析對獲取的特征進(jìn)行降維處理,減少計(jì)算量和數(shù)據(jù)冗余,然后采用高斯混合模型對特征進(jìn)行建模,高斯聚類個(gè)數(shù)K=256。

2)使用VLAD對視頻幀的稠密軌跡特征進(jìn)行編碼,本文取K-means聚類中心數(shù)為5,得到視頻每一幀維數(shù)為K×D特征向量。

3)對獲取的視頻幀序列中的特征向量采用余弦相似度分析,設(shè)置閾值為0.8,將余弦相似度大于閾值的2個(gè)特征向量中的后者剔除,得到緊密的有效視頻幀特征序列。

4)對獲得的有效視頻特征序列中的每一幀特征進(jìn)行平滑處理操作,計(jì)算其時(shí)變均值向量。

5)采用時(shí)間序池化利用排序函數(shù)按照時(shí)間相對順序排序有效視頻幀特征,通過參數(shù)向量u來獲得視頻序列動(dòng)態(tài)信息。

6)通過學(xué)習(xí)RankSVM得到的視頻序列隨時(shí)間變化的動(dòng)態(tài)特征向量u作為視頻特征向量。

7)用獲取的視頻特征向量u訓(xùn)練SVM分類器實(shí)現(xiàn)最終的人體行為識別。

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)所用軟件環(huán)境為OpenCV和Matlab R2016a。其中,OpenCV用來實(shí)現(xiàn)稠密軌跡以及相關(guān)特征的獲取,Matlab用來實(shí)現(xiàn)特征處理、余弦相似度分析、動(dòng)態(tài)特征獲取以及分類預(yù)測。本文采用了在動(dòng)作識別領(lǐng)域廣為應(yīng)用的HMDB51數(shù)據(jù)集[13]和UCF101數(shù)據(jù)集[14]進(jìn)行算法效果的檢驗(yàn)。HMDB51數(shù)據(jù)集由6 849段視頻樣本組成,分為51類,每類至少包含有101段樣本。視頻多數(shù)來源于電影,還有一部分來自公共數(shù)據(jù)庫以及YouTube等網(wǎng)絡(luò)視頻。UCF101擁有13 320個(gè)視頻,101個(gè)分類,其中每一類動(dòng)作由25個(gè)人完成,是目前動(dòng)作類別數(shù)、樣本數(shù)最多的數(shù)據(jù)庫之一。

構(gòu)建動(dòng)態(tài)特征向量時(shí)只捕獲了正向行為序列的時(shí)變信息,這是因?yàn)樾袨樾蛄惺请S時(shí)間從過去到未來變化的。同樣,可以將均值向量視為是相反的順序,即認(rèn)為行為序列是從結(jié)束幀開始,逆向變化到達(dá)起始幀的過程。因此,可采用相同的目標(biāo)函數(shù)捕獲反向行為序列圖像強(qiáng)度變化過程。在正向行為序列中稱正向排序池化(Forward Rank Pooling,FDRP),在逆向行為序列中則稱為逆向排序池化(Reverse Rank Pooling,RERP)。分別對HMDB51中的“跑步”視頻和UCF101中的“騎馬”視頻進(jìn)行時(shí)間序池化操作,得到的FDRP和RERP效果如圖2所示。

圖2 視頻進(jìn)行時(shí)間序池化得到的FDRP和RERP效果

從圖2可以看出,視頻經(jīng)過時(shí)間序池化操作后,可得到行為隨時(shí)間順序的演化過程。通過這種對行為序列進(jìn)行時(shí)間序池化的操作,可獲得行為序列的動(dòng)態(tài)特征,進(jìn)一步增加了不同行為類別間的區(qū)分度。

在HMDB51數(shù)據(jù)集上,對每一類特征描述子以及組合的特征描述子,與FDRP方法和RERP方法結(jié)合運(yùn)用行為識別的前后效果以平均識別準(zhǔn)確率為評價(jià)指標(biāo)進(jìn)行對比，結(jié)果如表1所示。

表1 各種特征的識別準(zhǔn)確率對比 %

由表1可以看出,采用軌跡特征與本文的時(shí)間序池化獲得的動(dòng)態(tài)特征相結(jié)合進(jìn)行人體行為識別,相比于單純使用一種特征進(jìn)行人體行為識別，在識別準(zhǔn)確率上有著較大的提升。

將本文時(shí)間序池化方法與常用的平均池化[15]和最大池化[16]對比,以HMDB51中的“跑步”視頻和UCF101中的“騎馬”視頻為例,效果如圖3和圖4所示。

圖3 “跑步”的時(shí)間序池化、平均池化和最大池化效果

圖4 “騎馬”的時(shí)間序池化、平均池化和最大池化效果

分別運(yùn)用由這3種不同的池化方法得到的特征在UCF101數(shù)據(jù)集上進(jìn)行行為識別,以平均識別準(zhǔn)確率(ACC)作為評價(jià)指標(biāo)進(jìn)行對比，結(jié)果如表2所示。

表2 UCF101數(shù)據(jù)集上3種池化方法的效果對比 %

由表2可以看出,在UCF101數(shù)據(jù)集上分別采用時(shí)間序池化、平均池化和最大池化獲取視頻特征進(jìn)行行為識別,采用時(shí)間序池化方法取得的效果最好,相比于平均池化和最大池化,平均識別準(zhǔn)確率分別提高5.3%和12.5%,可較好地獲取視頻的特征,提高人體行為識別效果。

為了評價(jià)本文采用余弦相似度分析對視頻幀序列進(jìn)行去冗余操作的效果,從HMDB51數(shù)據(jù)集中隨機(jī)選取10個(gè)不同的行為視頻進(jìn)行訓(xùn)練測試,以處理速度(frame/s)和平均識別準(zhǔn)確率為評價(jià)指標(biāo)與未使用余弦相似度分析的情況進(jìn)行對比,結(jié)果如表3所示。

表3 采用余弦相似度分析處理視頻幀序列前后效果對比

由表3可以看出,本文采用余弦相似度分析對視頻幀序列進(jìn)行提純后,處理速度提高了1.5倍,識別準(zhǔn)確率上有0.7%的提升,一定程度上提高了識別效率。

為了對比Fisher Vector和VLAD,分別在HMDB51數(shù)據(jù)集和UCF101數(shù)據(jù)集上采用2種不同的特征編碼方法進(jìn)行行為識別,以ACC為評價(jià)指標(biāo),結(jié)果如表4所示。

表4 不同數(shù)據(jù)集上2種特征編碼方式的對比 %

由表4可以看出,采用VLAD在HMDB51數(shù)據(jù)集和UCF101數(shù)據(jù)集上進(jìn)行特征編碼,相比于Fisher Vector在識別準(zhǔn)確率上分別提升0.7%和1.2%。

為了評價(jià)本文算法的性能,采用平均識別準(zhǔn)確率作為評價(jià)指標(biāo),分別與文獻(xiàn)[4，17-18]在HMDB51數(shù)據(jù)集和UCF101數(shù)據(jù)集上的識別結(jié)果進(jìn)行比較，結(jié)果如表5所示。

表5 不同數(shù)據(jù)集上各算法的平均識別準(zhǔn)確率 %

由表5可以看出,在HMDB51數(shù)據(jù)集上,本文算法取得了65.2%的平均識別準(zhǔn)確率,雖然與文獻(xiàn)[18]相比有0.2%的差距,但文獻(xiàn)[18]是利用堆疊特征多次計(jì)算來提取行為特征,計(jì)算量較大,本文方法與文獻(xiàn)[4，17]相比,在平均識別準(zhǔn)確率上分別提升5.2%和8.8%。在UCF101數(shù)據(jù)集上,本文算法取得了89.4%的平均識別準(zhǔn)確率,與文獻(xiàn)[4,17-18]相比分別提高了3.4%、5.2%和0.3%,均在一定程度上提高了識別準(zhǔn)確率,實(shí)現(xiàn)了較好的識別效果。

4 結(jié)束語

本文提出一種有效視頻幀時(shí)間序池化的人體行為識別算法。采用獲取特征維度較低的VLAD對視頻幀的軌跡特征編碼,對特征編碼序列采用余弦相似度分析去除序列中內(nèi)容重復(fù)冗余的視頻幀特征,通過時(shí)間序池化有效視頻幀序列,獲得視頻隨時(shí)間變化的動(dòng)態(tài)特征,并用SVM實(shí)現(xiàn)最終的分類識別。在HMDB51數(shù)據(jù)集和UCF101數(shù)據(jù)集上實(shí)驗(yàn)結(jié)果表明,該算法能夠在效率和準(zhǔn)確度2個(gè)方面提高人體行為識別效果。但本文方法所處理的數(shù)據(jù)量和特征量耗費(fèi)大量內(nèi)存空間,今后將進(jìn)一步減少特征維數(shù)，降低本文算法復(fù)雜度,以拓展其應(yīng)用場景。