基于局部特征詞袋模型人體動作識別關(guān)鍵幀選取方法

柳似霖，王 穎，吳 峰

(1.北京化工大學(xué)，北京100029；2.中國科學(xué)院 微電子研究所&中國科學(xué)院大學(xué)，北京100094；3.國家知識產(chǎn)權(quán)局專利局 專利審查協(xié)作天津中心,天津 300304)

引言

人體動作識別目前被廣泛用于視頻監(jiān)控、人機交互、虛擬現(xiàn)實等。提取視頻圖像的動作特征，并基于所提取的特征進行動作識別，近年來成為計算機視覺的一個研究熱點。由于視頻圖像中人體動作是漸變的，幀與幀之間存在信息冗余，采用全部視頻圖像進行人體動作識別計算量大，效率低。選取準(zhǔn)確表征人體動作特征關(guān)鍵幀，去除冗余數(shù)據(jù)，對于提高動作識別的準(zhǔn)確率和實時性非常重要。

用于關(guān)鍵幀選取的圖像特征有顏色直方圖、光流、紋理等，Zhuang[1]Sheena[2]等人利用顏色直方圖等局部特征聚類實現(xiàn)關(guān)鍵幀選取，但顏色直方圖對人體動作視頻的背景及視角變化比較敏感，且對運動描述能力降低。利用光流特征聚類可選取動作識別的關(guān)鍵幀，雖然光流特征能表達目標(biāo)的全局性運動[3]，但忽略了局部運動信息，選取的關(guān)鍵幀不能準(zhǔn)確描述動作變化。圖像時空特征克服了光流特征和直方圖特征在時間和空間上的局限性，時空興趣點作為一種局部時空特征對視角變化及人體自遮擋等具有很好的魯棒性，且不需要進行背景減除等圖像預(yù)處理，適用于動作視頻圖像中連續(xù)復(fù)雜動作識別[4-6]。利用視頻圖像中提取的時空興趣點集合[7,8]可以采用編碼或者詞袋模型法[9,10]進行人體動作識別。采用詞袋模型表征時空興趣點[8]，忽略不同時空興趣點的位置關(guān)系，把提取到的時空興趣點利用聚類映射為視覺詞匯。將時空特征表征為文本中的詞匯，時空興趣點的每個聚類中心對應(yīng)一個視覺詞匯，所有視覺詞匯的集合建立視覺詞典[11]，利用不同詞匯出現(xiàn)的頻率可實現(xiàn)動作識別，降低了用于動作識別的特征維數(shù)[12]。

由于原始動作視頻圖像特征信息冗余，需進行關(guān)鍵幀選取。聚類法選取關(guān)鍵幀需事先設(shè)定聚類中心數(shù)目，每個聚類中心即為選取的關(guān)鍵幀，聚類中心個數(shù)為選取的關(guān)鍵幀數(shù)。文獻[13]采用K均值聚類算法選取關(guān)鍵幀，但在動作不確定時K值難以估計，很難確定聚類中心數(shù)目。與聚類法不同，群智能優(yōu)化算法不需要事先確定聚類中心數(shù)目，具有更強的適應(yīng)性。粒子群算法作為一種群智能優(yōu)化算法通過粒子在解空間追隨最優(yōu)粒子，避免所優(yōu)化的對象在有限的區(qū)域陷入局部最優(yōu)，在某個區(qū)域上找到最優(yōu)值實現(xiàn)全局優(yōu)化[14]。

因此，針對目前關(guān)鍵幀選取方法中聚類法關(guān)鍵幀數(shù)目需人為確定、全局特征計算量大且對背景及光照敏感以及動作識別準(zhǔn)確率低等不足，本文基于時空興趣點特征利用詞袋模型構(gòu)建視覺詞典，基于離散粒子群優(yōu)化算法選取最有效表征人體運動或姿勢的關(guān)鍵幀，以提高動作識別的準(zhǔn)確率及實時性。

1 離散粒子群算法關(guān)鍵幀選取原理

傳統(tǒng)粒子群算法假設(shè)有一群隨機運動的粒子，以粒子對解空間中最優(yōu)粒子的追隨進行解空間的搜索。粒子群通過多次迭代修正尋優(yōu)過程逼近最優(yōu)解，其流程簡單，易于實現(xiàn)。

1.1 連續(xù)粒子群算法

(1)

式中：r1和r2為0～1之間的隨機數(shù)，ω為速度更新慣性因子。相應(yīng)的其位置更新由公式(2)得到：

(2)

粒子群算法利用粒子的個體極值和粒子群的全局極值修正尋優(yōu)，單個粒子尋優(yōu)保持粒子在搜索方向的多樣性，避免陷于局部最優(yōu)；全局極值從整體把握尋優(yōu)方向，加速尋找最優(yōu)解。

1.2 離散粒子群動作視頻關(guān)鍵幀選取原理

采用粒子群算法選取人體動作視頻圖像關(guān)鍵幀，其對應(yīng)的幀圖像為離散空間。通過將連續(xù)粒子群算法擴展到二進制空間實現(xiàn)動作視頻關(guān)鍵幀的選取。對于任一人體動作視頻，其對應(yīng)隨機粒子Xi為二進制向量，長度為原始視頻幀數(shù)l。若Xi中某元素值為1則表示該元素對應(yīng)的幀為關(guān)鍵幀，否則為0。速度向量Vi長度和Xi相同，Vi中的每個元素為在[0-1]區(qū)間的隨機數(shù)，表征隨機粒子Xi中對應(yīng)元素為1的概率。

關(guān)鍵幀選取的離散粒子群的速度更新公式為

(3)

式中：速度更新慣性因子ω值取1。在關(guān)鍵幀選取計算過程中，速度向量Vi中有些元素值可能大于1，為使速度向量中每一個位置元素的數(shù)值滿足在[0-1]區(qū)間，引入標(biāo)準(zhǔn)sigmoid函數(shù)修正速度向量：

(4)

和連續(xù)粒子群優(yōu)化方法不同，離散粒子群算法確定關(guān)鍵幀的粒子位置更新如(5)式：

(5)

1.3 最優(yōu)適應(yīng)度計算

基于詞袋模型統(tǒng)計序列圖像中每個詞匯出現(xiàn)的概率分布向量描述人體動作。以原始動作視頻的詞匯概率分布向量和選取的關(guān)鍵幀的詞匯概率分布向量的余弦距離作為優(yōu)化函數(shù)，用于估計原始視頻動作特征和選取的關(guān)鍵幀動作特征的相似性，評價選取粒子的最優(yōu)適應(yīng)度。

(6)

2 基于離散粒子群的關(guān)鍵幀選取流程

基于離散粒子群的關(guān)鍵幀選取流程如圖1所示。采用3D Harris算法提取每個視頻圖像中的時空興趣點，并用HOG3D描述器進行特征描述，對時空興趣點特征采用聚類方法建立視覺詞典。統(tǒng)計原始視頻圖像中每個視覺詞匯出現(xiàn)的概率，建立視覺詞匯概率分布向量。采用離散粒子群算法進行關(guān)鍵幀選取，每個粒子的大小等于原始視頻幀數(shù)。

按照圖1步驟進行關(guān)鍵幀選取，迭代結(jié)束時，全局最優(yōu)解對應(yīng)的粒子Xb中所有值為1對應(yīng)的視頻幀數(shù)即為所選取的關(guān)鍵幀。以長度10幀的連續(xù)人體動作視頻為例，若最終求解的全局最優(yōu)粒子Xb=(1,1,0,0,0,1,0,1,0,0)，則表示第1，2，6，8幀圖像為選取的關(guān)鍵幀。

3 動作視頻關(guān)鍵幀選取及動作識別結(jié)果

本文對KTH和Weizmann數(shù)據(jù)庫中的動作視頻進行關(guān)鍵幀選取。KTH數(shù)據(jù)庫包含行走、慢跑、跑步、拳擊、鼓掌、揮手6個常見動作。每種動作包含25個人4個不同場景共100個動作視頻，每個視頻的幀數(shù)為300～1 000不等。Weizmann數(shù)據(jù)庫包括9個人向前跳、向上跳、跑步、推舉、彎腰、雙手揮、單腳跳、橫向動、單手揮、走路等10個動作90個視頻，每個動作視頻幀數(shù)為30～150不等。采用3D Harris算子提取時空興趣點，利用時空興趣點建立大小為650的視覺詞典，詳見文獻[15]。采用離散粒子群算法進行關(guān)鍵幀選取，初始粒子數(shù)目為50，每個粒子長度為每個視頻幀數(shù)，關(guān)鍵幀選取迭代次數(shù)為100。以如圖2(a)的連續(xù)20幀的跑步視頻片段為例，利用本文提出的離散粒子群關(guān)鍵幀選取算法選取的關(guān)鍵幀如圖2(b)所示。對2個視頻數(shù)據(jù)庫的所有視頻進行關(guān)鍵幀選取，并分別利用關(guān)鍵幀選取前后的視頻建立視覺

圖1 關(guān)鍵幀選擇算法流程圖Fig.1 Flow chart of key frames selection algorithm

詞典,采用SVM算法[16]進行動作識別，關(guān)鍵幀選取及動作識別結(jié)果如表1所示。表1給出了2個數(shù)據(jù)庫關(guān)鍵幀選取前后人體動作視頻的平均幀數(shù)及每個視頻的平均特征點數(shù)，選取的關(guān)鍵幀數(shù)分別為原視頻數(shù)的64.5%和61.4%，利用關(guān)鍵幀和用所有視頻的動作識別準(zhǔn)確率相同。

圖2 KTH數(shù)據(jù)庫人體動作原始視頻及關(guān)鍵幀選取結(jié)果Fig.2 Original video and selected key frames for KTH database

針對KTH數(shù)據(jù)庫，表2給出了分別采用聚類法和離散粒子群算法選取關(guān)鍵幀進行動作識別的結(jié)果。聚類法隨著選取關(guān)鍵幀數(shù)增加，動作識別的準(zhǔn)確率增加。

表1 原始動作視頻與關(guān)鍵幀選取后的動作視頻對比Table 1 Recognition comparison between selected key frames and original videos

表2 聚類法和離散粒子群法選取關(guān)鍵幀的動作識別結(jié)果Table 2 Selected key frames by discrete particle swarm method and clustering method

圖3給出了計算出的行走、慢跑、跑步、拳擊、鼓掌、揮手等6個動作的識別準(zhǔn)確率?？芍垲惙ㄟx取關(guān)鍵幀的每個動作的識別準(zhǔn)確率隨幀數(shù)增大而增大?？傮w上離散粒子群方法選取的關(guān)鍵幀進行識別的6個動作識別準(zhǔn)確率較聚類法高，且每個動作的誤識別率低。當(dāng)聚類法選取的關(guān)鍵幀數(shù)和離散粒子群法選取的關(guān)鍵幀相同時,識別準(zhǔn)確率低于離散粒子群法。

圖3 KTH數(shù)據(jù)庫6個動作識別準(zhǔn)確率Fig. 3 Recognition accuracy of 6 motion in KTH database

4 結(jié)論

本文利用視頻圖像提取的時空興趣點建立視覺詞典，引入了夾角余弦距離作為最優(yōu)適應(yīng)度評價關(guān)鍵幀選取前后的動作特征相似度，采用離散粒子群算法進行關(guān)鍵幀選取。和聚類法隨著選取的關(guān)鍵幀數(shù)不同導(dǎo)致的動作識別準(zhǔn)確率不同相比，用離散粒子群算法提取的關(guān)鍵幀進行識別保證了和原始視頻相同的動作識別準(zhǔn)確率。實驗結(jié)果表明，本文提出的離散粒子群關(guān)鍵幀選取算法，有效去除了原始視頻的人體動作特征冗余信息，保證了識別準(zhǔn)確率的穩(wěn)定性和準(zhǔn)確性。