基于前景置信的人體行為識(shí)別

閔　軍　孟朝暉

(河海大學(xué)計(jì)算機(jī)與信息學(xué)院　江蘇 南京 211100)

?

基于前景置信的人體行為識(shí)別

閔軍孟朝暉

(河海大學(xué)計(jì)算機(jī)與信息學(xué)院江蘇 南京 211100)

為減少背景特征對(duì)行為識(shí)別的影響，提出一種基于前景置信的人體行為識(shí)別方法。該方法在基于稠密時(shí)空興趣點(diǎn)的行為識(shí)別基礎(chǔ)上，結(jié)合像素前景置信估計(jì)對(duì)特征描述器進(jìn)行加權(quán)分類(lèi)，再利用詞袋模型判別行為。融合運(yùn)動(dòng)、外觀及視覺(jué)顯著性的像素前景置信的引入，提高了算法處理復(fù)雜背景視頻的能力。該方法在UCF50和HMDB51視頻庫(kù)中進(jìn)行訓(xùn)練和測(cè)試，平均識(shí)別率為66.4%。

行為識(shí)別前景置信加權(quán)分類(lèi)詞袋模型復(fù)雜背景

0　引　言

最近的十多年里，行為識(shí)別是計(jì)算機(jī)視覺(jué)研究的熱點(diǎn)問(wèn)題之一，在虛擬現(xiàn)實(shí)、人機(jī)交互及智能監(jiān)控等領(lǐng)域有著廣泛應(yīng)用，受到越來(lái)越多研究人員的關(guān)注。

當(dāng)前很多方法主要是通過(guò)提取視頻中興趣點(diǎn)的局部特征來(lái)對(duì)行為進(jìn)行描述和識(shí)別。如 Harris3D 時(shí)空興趣點(diǎn)檢測(cè)算法[1]、Dollar時(shí)空興趣點(diǎn)檢測(cè)算法[2]、 Bregonzio時(shí)空興趣點(diǎn)檢測(cè)算法[3]和Laptev稠密時(shí)空興趣點(diǎn)檢測(cè)算法[4]。上述方法都在KTH 視頻庫(kù)上做過(guò)實(shí)驗(yàn)，得到了比較理想的結(jié)果。

然而，這種局部的特征描述器過(guò)分依賴(lài)訓(xùn)練視頻庫(kù)和測(cè)試視頻庫(kù)固有的特征，不區(qū)別對(duì)待背景特征和前景特征，也就是說(shuō)不能突出視頻中運(yùn)動(dòng)人體的特征。這就導(dǎo)致以上方法能夠在特定的視頻庫(kù)中取得很好的結(jié)果，但對(duì)跨視頻庫(kù)或者實(shí)際生活中的視頻進(jìn)行測(cè)試時(shí)結(jié)果不理想。由此，本文提出一種融合人體運(yùn)動(dòng)、外觀以及視覺(jué)顯著性的前景置信行為識(shí)別方法。該方法不依賴(lài)前景和背景分離，而是根據(jù)以上特征對(duì)視頻幀的每個(gè)像素進(jìn)行前景估計(jì)，再結(jié)合興趣點(diǎn)檢測(cè)對(duì)行為進(jìn)行識(shí)別。

1　背景在行為識(shí)別中的影響力

行為識(shí)別視頻數(shù)據(jù)庫(kù)原則上代表人類(lèi)的視覺(jué)世界，因此應(yīng)當(dāng)盡可能多樣化。背景的多樣化是視頻多樣化最簡(jiǎn)單也是最常見(jiàn)的情況，背景特征應(yīng)當(dāng)對(duì)行為識(shí)別結(jié)果有盡可能小的影響。如果影響過(guò)大，這將廣義化識(shí)別模型，最終導(dǎo)致在不同背景的視頻庫(kù)中識(shí)別準(zhǔn)確率低的情況。除了背景的不同，同一個(gè)行為，不同人的動(dòng)作的視角、姿勢(shì)、速度以及關(guān)節(jié)的運(yùn)動(dòng)也是有所差異，這些都是影響識(shí)別結(jié)果的重要因素。

文獻(xiàn)[5]在單獨(dú)背景、單獨(dú)前景和全局的情況下基于稠密時(shí)空興趣點(diǎn)分別對(duì)UCF Sports和UCF Youtube 兩個(gè)視頻庫(kù)進(jìn)行行為識(shí)別，以此來(lái)說(shuō)明背景或前景對(duì)行為識(shí)別結(jié)果的影響力，結(jié)果如表1所示。

表1　基于稠密時(shí)空興趣點(diǎn)識(shí)別結(jié)果

由結(jié)果可以看出，單獨(dú)的背景特征檢測(cè)并沒(méi)有使識(shí)別的準(zhǔn)確率有很大的下降。也就是說(shuō)，在傳統(tǒng)的全局特征提取中，背景特征和前景運(yùn)動(dòng)人體特征對(duì)識(shí)別結(jié)果的影響基本是等同的，甚至在UCF Sports視頻庫(kù)中背景的作用超過(guò)了前景，這就是在與訓(xùn)練庫(kù)不同背景的視頻庫(kù)中進(jìn)行測(cè)試結(jié)果不理想的主要原因。另一方面，由于視頻背景復(fù)雜、相機(jī)的突然抖動(dòng)等因素給前景提取帶來(lái)了很大的干擾，基于單獨(dú)前景特征行為識(shí)別的結(jié)果也不理想。依據(jù)特征對(duì)行為識(shí)別結(jié)果貢獻(xiàn)度的不同，本文提出一種基于前景置信的人體行為識(shí)別方法。

2　基于前景置信的人體行為識(shí)別

2.1前景置信

所謂前景置信，就是估計(jì)視頻幀中的每個(gè)像素作為前景區(qū)域的概率。本文主要從運(yùn)動(dòng)特征、外觀特征、視覺(jué)顯著性三方面考慮。

2.1.1運(yùn)動(dòng)特征

運(yùn)動(dòng)特征主要指的是視頻中移動(dòng)的部分，特別是運(yùn)動(dòng)的人體，可以針對(duì)這一特征給該像素較高的前景置信度。然而現(xiàn)實(shí)生活中很多視頻在拍攝的過(guò)程中攝像頭是移動(dòng)的，如果使用簡(jiǎn)單的光流法，那些作為背景的非運(yùn)動(dòng)人體同樣可以得到很高的置信度。為了避免這一問(wèn)題，采用光流梯度[6]的 F-范數(shù)來(lái)體現(xiàn)運(yùn)動(dòng)特征。光流梯度不僅能夠減少移動(dòng)攝像頭帶來(lái)的背景影響，而且能給運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)關(guān)節(jié)帶來(lái)很高的置信度?；谶\(yùn)動(dòng)特征的前景置信度f(wàn)m(x,y)定義為：

(1)

式中u和v為t時(shí)刻圖像平面上坐標(biāo)為(x，y)的像素點(diǎn)在水平和豎直方向的瞬時(shí)速度分量，g是指定方差的二維高斯濾波器。圖1(a)是視頻中騎車(chē)的原圖，圖1(b)為該幀進(jìn)行運(yùn)動(dòng)特征檢測(cè)后的視覺(jué)效果圖，運(yùn)動(dòng)的人體和車(chē)有很高的前景置信度，背景的前景置信度則較低。

圖1　運(yùn)動(dòng)特征

2.1.2外觀特征

在大多數(shù)視頻中，人體本身的顏色和背景顏色有著明顯的差異，在室外有藍(lán)色天空的地方尤為明顯。本文的外觀特征主要從顏色方面考慮，同時(shí)以顏色梯度作為第二個(gè)計(jì)算前景置信度的因素。在LAB顏色空間[7]中使用F-范數(shù)來(lái)計(jì)算，基于顏色梯度的前景置信度f(wàn)c(x,y)定義為：

(2)

圖2　外觀特征

式中(Lx,ax,bx)、(Ly,ay,by)分別為水平和豎直方向的梯度向量，g是指定方差的二維高斯濾波器。外觀特征檢測(cè)后的定性效果如圖2所示。由效果圖可以看出，與背景顏色存在差異的人體、自行車(chē)及背景邊緣有較高的前景置信度，顏色差異不大的區(qū)域前景置信度較小。

2.1.3視覺(jué)顯著性

圖3　視覺(jué)顯著性

視覺(jué)顯著性標(biāo)識(shí)了一個(gè)場(chǎng)景中能夠吸引視覺(jué)注意力的位置，Ttti及Koch在多篇文獻(xiàn)中闡述了視覺(jué)顯著性的作用機(jī)制和原理。相比于Ttti模型，Harel等[6]提出的基于圖的視覺(jué)顯著性模型GBVS(Graph-Based Visual Saliency)，其基本思想是通過(guò)馬爾科夫隨機(jī)鏈的遍歷分布來(lái)模擬視覺(jué)在掃描場(chǎng)景中的視覺(jué)分配特性，故在視覺(jué)注意力分配方面建模更加成功。本文以視覺(jué)顯著性作為第三個(gè)影響前景置信度的因素，基于圖的視覺(jué)顯著性模型計(jì)算結(jié)果效果如圖3所示，具體步驟如下：

Step1獲取圖像多尺度的亮度信息。對(duì)輸入的每一幀圖像轉(zhuǎn)化為灰度圖像，再使用高斯金字塔低通濾波器對(duì)其進(jìn)行濾波，得到不同尺度下的濾波結(jié)果，表示亮度通道。

Step3求不同尺度和不同特征圖的馬爾科夫平衡分布。對(duì)上述每個(gè)通道內(nèi)每個(gè)尺度的濾波結(jié)果，根據(jù)其像素間的差異和歐氏距離建立各自的馬爾科夫鏈，然后求其馬爾科夫平衡分布。

Step4計(jì)算視覺(jué)顯著圖。將所有組、所有尺度的濾波結(jié)果依次計(jì)算出平衡分布后，將結(jié)果按照通道疊加起來(lái)并歸一化，得到大小與原始圖像一致的綜合顯著圖fs(x,y)。

2.1.4前景置信度融合

鑒于對(duì)數(shù)函數(shù)處理統(tǒng)計(jì)數(shù)據(jù)具有優(yōu)勢(shì)，本文以log(fm(fc+fs)+1)來(lái)融合每一個(gè)像素的前景置信度，并利用該幀中最大值對(duì)其進(jìn)行歸一化，得到的結(jié)果定義為該像素初始前景置信度f(wàn)a。外觀和視覺(jué)顯著性的計(jì)算僅依賴(lài)當(dāng)前幀，也就是僅用到了像素的空間信息。本文利用時(shí)空相鄰點(diǎn)的相關(guān)性，按照式(3)對(duì)像素的前景置信度進(jìn)行修正。

fa(p)=ω1fa(p)+ω2∑q∈NTpfa(q)+ω3∑q∈NSpfa(q)

(3)

圖4　前景置信度

式中fa(p)為p點(diǎn)的前景置信度，NTp指時(shí)間上和p關(guān)聯(lián)的點(diǎn)的集合，即前一幀和后一幀中和該點(diǎn)坐標(biāo)相同的點(diǎn)的集合，NSp指空間上和p關(guān)聯(lián)的點(diǎn)的集合，即該幀中p點(diǎn)周?chē)乃膫€(gè)點(diǎn)的集合。本文中ω1=0.5，ω2=0.1，ω3=0.75，計(jì)算得到該幀最終的前景置信度f(wàn)a(x,y)。加權(quán)后的前景置信度不僅提高了時(shí)間維度上的比重，而且能夠防止局部點(diǎn)異常的情況，增加了算法的魯棒性，最終的前景置信度定性效果如圖4所示。

2.2前景置信詞匯表構(gòu)造和分布直方圖生成

傳統(tǒng)的詞袋模型直接對(duì)特征描述器集合X={xi}，通過(guò)K-means進(jìn)行聚類(lèi)，得到k個(gè)聚類(lèi)中心(碼字)。這k個(gè)聚類(lèi)中心就形成了相應(yīng)的視覺(jué)詞匯表，再利用最小距離法計(jì)算該視頻的特征描述器集合在各個(gè)碼字中出現(xiàn)的頻率，統(tǒng)計(jì)形成直方圖分布，就形成了利用直方圖來(lái)對(duì)視頻中的人體動(dòng)作進(jìn)行表征的方法[9]。該模型把所有特征描述器放在了同等的地位，不能夠突出運(yùn)動(dòng)人體特征的重要性，故識(shí)別結(jié)果不會(huì)很好。本文在此基礎(chǔ)上，利用像素的前景置信度構(gòu)造加權(quán)前景視覺(jué)詞匯表并生成相應(yīng)的加權(quán)分布直方圖。具體構(gòu)造過(guò)程如下：

Step1對(duì)輸入視頻每一幀進(jìn)行前景置信度計(jì)算，并進(jìn)行稠密時(shí)空興趣點(diǎn)檢測(cè)[4]，生成特征描述器集合X={xi}。

Step2計(jì)算像素點(diǎn)平均前景置信度。利用像素點(diǎn)的時(shí)空性，由式(4)計(jì)算像素點(diǎn)平均前景置信度ωi，其中Pi指在時(shí)空框架中同描述器xi相關(guān)聯(lián)的點(diǎn)的集合，即空間相鄰的四個(gè)像素點(diǎn)和時(shí)間相鄰的兩個(gè)像素點(diǎn)的集合。

ωi=∑(x,y)∈Pifa(x,y)/|Pi|

(4)

Step3構(gòu)造視覺(jué)詞匯表。依據(jù)最小能量函數(shù)(式(5))，利用特征加權(quán)K-means對(duì)特征描述器集合進(jìn)行聚類(lèi)，得到聚類(lèi)中心集合Z={zj}，即為加權(quán)視覺(jué)詞匯表。其中C為|X|×K維的矩陣，這樣的聚類(lèi)方式使得聚類(lèi)中心Z離高前景置信度的特征描述器近，離低前景置信度的特征描述器較遠(yuǎn)。

(5)

Step4生成加權(quán)分布直方圖。利用最小距離法判別每個(gè)描述器xi屬于哪個(gè)碼字zj，并以屬于該碼字的所有描述器的前景置信度之和作為該碼字出現(xiàn)的頻率，形成對(duì)應(yīng)的加權(quán)分布直方圖。

2.3人體行為識(shí)別

上文中的視頻分析都是針對(duì)單個(gè)視頻的，然而不同的人在進(jìn)行同一行為，動(dòng)作上也是存在差異的，提取出來(lái)的特征描述器集合是不同的。這直接影響到加權(quán)直方圖的分布，故對(duì)行為識(shí)別的結(jié)果影響很大。產(chǎn)生差異的主要原因是人的升高、衣服的顏色、動(dòng)作的幅度、速度以及背景的差異。為了解決這一問(wèn)題，需要構(gòu)造每種行為的標(biāo)準(zhǔn)加權(quán)直方圖。以Biking為例，識(shí)別原理如圖5所示，具體構(gòu)造如下：

Step1利用前面提到的方法，分別計(jì)算n個(gè)Biking視頻的特征描述器子集合Gi(1≤i≤n)和像素的平均前景置信度ωi，對(duì)這些子集合進(jìn)行合并得到代表Biking的特征描述器總集合ΩG。

ΩG=G1∪G2∪…∪Gn

(6)

Step2對(duì)特征描述器總集合進(jìn)行聚類(lèi)，得到標(biāo)準(zhǔn)碼本。再利用最小距離法對(duì)總集合ΩG中所有特征描述器進(jìn)行分類(lèi)，以每個(gè)描述器的平均前景置信度之和作為該碼字的頻率，形成標(biāo)準(zhǔn)加權(quán)分布直方圖。

Step3對(duì)測(cè)試視頻按照2.2節(jié)的方法，得到加權(quán)分布直方圖。再和Biking的標(biāo)準(zhǔn)分布直方圖進(jìn)行相識(shí)度匹配，從而判別該行為類(lèi)型。

圖5　識(shí)別原理圖

3　實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)的主要目的是證明基于前景置信的行為識(shí)別方法比傳統(tǒng)稠密特征點(diǎn)識(shí)別方法有更高識(shí)別率。為了驗(yàn)證本文提出的人體行為識(shí)別方法的性能，在UCF50和HMDB51這兩個(gè)視頻庫(kù)上進(jìn)行實(shí)驗(yàn)。

UCF50視頻庫(kù)[10]有50種行為類(lèi)別，雖然大多視頻不是日常生活中的，而是專(zhuān)門(mén)的表演拍攝，拍攝時(shí)會(huì)或多或少偏向該行為，但這其中不乏有很多業(yè)余拍攝風(fēng)格。比如一些雜亂的背景或者突然的攝像機(jī)運(yùn)動(dòng)等情況拍攝而成的視頻。HMDB51視頻庫(kù)[11]中的視頻大多來(lái)自電影，也就是說(shuō)HMDB51取材于比較真實(shí)的場(chǎng)景，更加接近現(xiàn)實(shí)生活?？紤]到兩個(gè)視頻庫(kù)中籃球、騎自行車(chē)、引體向上、高爾夫球擺動(dòng)及騎馬的視覺(jué)相似度較高，本文對(duì)這五種行為進(jìn)行實(shí)驗(yàn)驗(yàn)證。

以UCF50視頻庫(kù)中這五種行為的各100個(gè)視頻為訓(xùn)練樣本，對(duì)HMDB51視頻庫(kù)中同種行為的各100個(gè)視頻進(jìn)行測(cè)試，測(cè)試結(jié)果如表2所示。

表2　HMDB51測(cè)試的混淆矩陣

為保證實(shí)驗(yàn)的公平性，對(duì)2個(gè)視頻庫(kù)進(jìn)行交叉實(shí)驗(yàn)。分別從2個(gè)視頻庫(kù)中取每種運(yùn)動(dòng)的100個(gè)視頻，按照60∶40的比例分開(kāi)，60個(gè)用來(lái)訓(xùn)練，另外的40個(gè)用來(lái)測(cè)試。測(cè)試結(jié)果如表3所示，實(shí)驗(yàn)結(jié)果可以看出，在同一個(gè)視頻庫(kù)里進(jìn)行訓(xùn)練和測(cè)試僅僅提高了3%左右的準(zhǔn)確率，但在跨視頻庫(kù)的訓(xùn)練和測(cè)試上有10%以上的提高，說(shuō)明該算法具有處理復(fù)雜背景視頻的能力。

表3　測(cè)試結(jié)果

4　結(jié)　語(yǔ)

本文簡(jiǎn)單分析了傳統(tǒng)時(shí)空特征點(diǎn)方法的不足，提出了一種復(fù)雜場(chǎng)景下的人體行為識(shí)別方法。該方法依據(jù)像素的運(yùn)動(dòng)特征、顏色特征、視覺(jué)顯著性特征，引入了像素前景置信度的概念，并利用它先對(duì)特征描述器進(jìn)行加權(quán)分類(lèi)，再判別行為類(lèi)型。實(shí)驗(yàn)結(jié)果表明，該方法比傳統(tǒng)未加權(quán)的時(shí)空興趣點(diǎn)檢測(cè)行為識(shí)別方法有更高的識(shí)別率，在不同的視頻庫(kù)上進(jìn)行訓(xùn)練和測(cè)試的時(shí)效果更加明顯。

[1] Laptev I.On Space-Time Interest Points[J].International Journal of Computer Vision,2005,64(2-3):107-123.[2] Dollar P,Rabaud V,Cottrell G,et al.Behavior recognition via sparse spatio-temporal features[C]//Visual Surveillance and Performance Evaluation of Tracking and Surveillance,IEEE International Workshop on.IEEE,2005:65-72.

[3] Bregonzio M,Gong S G,Xiang T.Recognising action as clouds of space-time interest points[C]//IEEE Conference on Computer Vision & Pattern Recognition.IEEE,2009:1948-1955.

[4] Laptev I,Marszalek M,Schmid C,et al.Learning realistic human actions from movies[C]//Computer Vision and Pattern Recognition,IEEE Conference on.IEEE,2008:1-8.

[5] Sultani W,Saleemi I.Human Action Recognition across Datasets by Foreground-Weighted Histogram Decomposition[C]//Computer Vision and Pattern Recognition (CVPR),2014 IEEE Conference on.IEEE,2014:764-771.

[6] 郭利,曹江濤,李平,等.累積方向-數(shù)量級(jí)光流梯度直方圖的人體動(dòng)作識(shí)別[J].智能系統(tǒng)學(xué)報(bào),2014,9(1):104-108.

[7] 龐曉敏,閔子建,闞江明.基于HSI和LAB顏色空間的彩色圖像分割[J].廣西大學(xué)學(xué)報(bào):自然科學(xué)版,2011,36(6):976-980.

[8] Harel J,Koch C,Perona P.Graph-based visual saliency[C]//Advances in Neural Information Processing Systems,2006:545-552.

[9] 雷慶,陳鍛生,李紹滋.復(fù)雜場(chǎng)景下的人體行為識(shí)別研究新進(jìn)展[J].計(jì)算機(jī)科學(xué),2014,41(12):1-7.

[10] Reddy K K,Shah M.Recognizing 50 human action categories of web videos[J].Machine Vision & Applications,2013,24(5):971-981.

[11] Kuehne H,Jhuang H,Garrote E,et al.HMDB:A large video database for human motion recognition[C]//Computer Vision (ICCV),2011 IEEE International Conference on,2011:2556-2563.

HUMAN BODY ACTION RECOGNITION BASED ON FOREGROUND CONFIDENCE

Min JunMeng Zhaohui

(CollegeofComputerandInformation,HohaiUniversity,Nanjing211100,Jiangsu,China)

In order to reduce the effect of background features on action recognition, this paper proposes a foreground confidence-based human body action recognition method. On the basis of dense spatiotemporal interest points-based action recognition, the method combines the pixels estimation with foreground confidence to carry out weighted classification on feature descriptors. Then it uses the bag-of-words model to discriminate actions. The introduction of foreground confidence of pixels fusing the motion, appearance and visual saliency improves the ability of algorithm in dealing with complex background video. To be trained and tested on UCF50 and HMDB51 video datasets, the method obtains the average recognition rate of 66.4%.

Action recognitionForeground confidenceWeighted classificationBag-of-words modelComplex background

2015-04-18。閔軍，碩士生，主研領(lǐng)域：視頻監(jiān)控，行為識(shí)別。孟朝暉，副教授。

TP391

A

10.3969/j.issn.1000-386x.2016.10.042