基于監(jiān)控視頻的人員異常行為識別系統(tǒng)研究

肖旭 廖鵬舉 段和幸 郭磊 秦崇文 鄺晶

摘要：本文研究的人員異常行為識別系統(tǒng)包括人員行為特征提取、行為分類兩個(gè)部分，系統(tǒng)的行為特征提取以表觀特征、時(shí)空特征以及光流變化為基礎(chǔ)，提取目標(biāo)的行為特征，并將其融合成更具表達(dá)能力的綜合特征，最后通過支持向量機(jī)將人員行為分類，判斷行為是否異常。采用這種方式構(gòu)建系統(tǒng)比卷積神經(jīng)網(wǎng)絡(luò)更加簡單，適合特定場合的小概率異常行為識別。

關(guān)鍵詞：光流特征;特征提取;特征融合;行為分類

引言

人工智能得到了全世界科研人員的廣泛關(guān)注，應(yīng)用于人機(jī)交互、視頻檢索、視頻監(jiān)控等領(lǐng)域的計(jì)算機(jī)視覺技術(shù)也在不斷進(jìn)步[1，2]。人員異常行為識別系統(tǒng)在視頻監(jiān)控領(lǐng)域的應(yīng)用，使得用于監(jiān)視異常行為的人力資源大大減少。

人員異常行為識別系統(tǒng)的重點(diǎn)在于目標(biāo)的行為特征提取，常用的方法包括基于時(shí)空特征、光流法、目標(biāo)表觀特征等傳統(tǒng)算法，以及基于深度學(xué)習(xí)的三維卷積神經(jīng)網(wǎng)絡(luò)[3]。傳統(tǒng)算法與卷積神經(jīng)網(wǎng)絡(luò)相比較為簡單，為增加目標(biāo)行為的識別率，一般需要將目標(biāo)的多個(gè)特征進(jìn)行融合，隨后分類，再根據(jù)人工設(shè)計(jì)判斷是否屬于異常行為，而卷積神經(jīng)網(wǎng)絡(luò)可以通過深度學(xué)習(xí)直接提取目標(biāo)的行為特征[4]，判斷是否屬于異常行為。而卷積神經(jīng)網(wǎng)絡(luò)提取目標(biāo)行為特征需要通過大量的數(shù)據(jù)進(jìn)行學(xué)習(xí)，對于特定場合的異常行為識別，采用傳統(tǒng)算法更為簡單合適。

1.行為特征提取

目標(biāo)的行為特征從整體上可以分為全局特征和局部特征兩大類，全局特征是以目標(biāo)的整體作為特征提取對象，從目標(biāo)的輪廓、形狀或骨骼等方面獲取目標(biāo)的行為信息;而局部特征則以目標(biāo)的部分圖像為切入點(diǎn)，目標(biāo)的遮擋以及背景對目標(biāo)行為特征的提取影響不大。

從運(yùn)動(dòng)上可以將目標(biāo)的行為特征分為靜態(tài)特征、動(dòng)態(tài)特征以及時(shí)空特征三類，目標(biāo)的靜態(tài)特征包括目標(biāo)的形狀、輪廓、顏色、骨骼分布等信息;可用來表征全局特征的動(dòng)態(tài)特征指目標(biāo)的運(yùn)動(dòng)軌跡以及光流變化等信息;目標(biāo)的時(shí)空特征則具備了兩者的優(yōu)勢，包含了目標(biāo)的空間信息以及目標(biāo)在時(shí)間上的運(yùn)動(dòng)信息，是局部特征的一種。多個(gè)特征的融合使用能夠使傳統(tǒng)算法獲取更加準(zhǔn)確的目標(biāo)行為特征。

1.1 基于人體結(jié)構(gòu)的輪廓特征

人體輪廓是行人行為的重要特征之一，它會(huì)根據(jù)不同的時(shí)間，表示出周期性的變化，對行人行為描述具有較為明顯的代表性。一般可以通過偵差、輪廓剪影、目標(biāo)跟蹤、背景減圖等方式獲得目標(biāo)的輪廓特征。根據(jù)人體的輪廓信息，可以計(jì)算出人體的質(zhì)心，根據(jù)人體的質(zhì)心和輪廓變化，可以描述目標(biāo)的行為。具有和人體輪廓相似作用的，還有目標(biāo)的骨骼信息，但通過這類方法提取目標(biāo)的行為特征需要保證目標(biāo)在監(jiān)控視頻中的完整性。

1.2 基于目標(biāo)運(yùn)動(dòng)的光流特征

目標(biāo)在運(yùn)動(dòng)時(shí)會(huì)產(chǎn)生明顯的光流變化，根據(jù)目標(biāo)的光流變化可以生成目標(biāo)的運(yùn)動(dòng)軌跡。由于光流目標(biāo)進(jìn)行空間運(yùn)動(dòng)時(shí)投影在平面上的瞬時(shí)速度，能夠反映目標(biāo)的速度和方向等信息，是常用的底層運(yùn)動(dòng)特征。同時(shí)，復(fù)雜的背景和目標(biāo)自身的變化不會(huì)對光流的表現(xiàn)形式造成明顯的影響，但光照強(qiáng)度突然發(fā)生變化時(shí)會(huì)使提取的行為特征產(chǎn)生較大誤差，在以目標(biāo)的光流為基礎(chǔ)提取目標(biāo)行為特征時(shí)要確監(jiān)控視頻的圖像得到增強(qiáng)處理。

1.3基于時(shí)空特征的時(shí)空興趣點(diǎn)提取行為特征

時(shí)空興趣點(diǎn)的定義是視頻各幀在時(shí)間和空間上的變化都比較顯著的像素點(diǎn)，是一種提取目標(biāo)行為特征時(shí)常用的局部特征，提取時(shí)空興趣點(diǎn)能夠?qū)δ繕?biāo)行動(dòng)時(shí)比較突出的部位定位。常用的檢測方法有 Harris-3D 角點(diǎn)檢測、海森檢測方法和 Dollar 檢測法。時(shí)空興趣點(diǎn)適用于一些復(fù)雜背景下，不再過度依賴于背景，其中的關(guān)鍵因素是興趣點(diǎn)提取的數(shù)量和密集程度，在一般情況下，密集的時(shí)空興趣點(diǎn)效果要更好，但相應(yīng)的是時(shí)空復(fù)雜度較高。

2.行為特征融合

單一的特征不能很好的描述目標(biāo)行為，目標(biāo)的多種行為特征組合比單一的特征具有更好的表達(dá)能力，使系統(tǒng)在識別異常行為時(shí)能夠獲得更加準(zhǔn)確的結(jié)果。將目標(biāo)的全局特征和局部特征融合后的新特征，能夠?qū)⑷藛T的異常行為模式及其變化規(guī)律描述的更加準(zhǔn)確。特征融合最簡單的方式是將用于表征特征的向量連接成更高維度的新向量，也可以將按不同方式處理后的圖像進(jìn)行更高層次的深度融合。

3.行為分類

提取的目標(biāo)特征在融合成更高層次的新特征后，要根據(jù)其特征對行為進(jìn)行識別判斷，需要采用適當(dāng)?shù)姆诸悪C(jī)制來對多個(gè)的特征進(jìn)行分類識別，為后面測試打下基礎(chǔ)。由于發(fā)生的異常行為多為小概率事件，所提取的運(yùn)動(dòng)目標(biāo)的特征信息可以認(rèn)為是小樣本數(shù)據(jù)，根據(jù)各種分類算法的優(yōu)缺點(diǎn)，使用支持向量機(jī)來建立特征分類器。

使用支持向量機(jī)對行為進(jìn)行分類是通過尋找最優(yōu)超平面對所提取的運(yùn)動(dòng)目標(biāo)的特征進(jìn)行分類。首先將對采集到的目標(biāo)樣本以及測試的數(shù)據(jù)進(jìn)行歸一化，選擇高斯函數(shù)作為核函數(shù)。為了得到上述參數(shù)，會(huì)使用交叉驗(yàn)證法對每個(gè)特征集合進(jìn)行測試，得到參數(shù)后對采集的數(shù)據(jù)樣本中的特征進(jìn)行訓(xùn)練從而得到分類器。

4.結(jié)語

在使用傳統(tǒng)算法提取目標(biāo)行為特征時(shí)，需要對采集的視頻圖像進(jìn)行增強(qiáng)處理，以減少系統(tǒng)的識別誤差。采用傳動(dòng)算法搭建的人員異常行為識別系統(tǒng)，異常行為特征都來源于人工設(shè)計(jì)，而不同的場所對異常行為的定義不同，系統(tǒng)在不同場合應(yīng)用時(shí)，需要對其中的異常行為設(shè)計(jì)進(jìn)行修改。相比卷積神經(jīng)網(wǎng)絡(luò)，這種方式在特定的場所具有更大的商業(yè)價(jià)值。

參考文獻(xiàn)

[1]陳超，齊峰.卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展及其在計(jì)算機(jī)視覺領(lǐng)域中的應(yīng)用綜述[J].計(jì)算機(jī)科學(xué)，2019，46（03）：63-73.

[2]羅會(huì)蘭，王嬋娟，盧飛.視頻行為識別綜述[J].通信學(xué)報(bào)，2018，39（06）：169-180.

[3]蓋勇剛.基于深度學(xué)習(xí)的人體行為識別技術(shù)[J].信息技術(shù)與信息化，2021（05）：143-144.

[4]李永，梁起明，楊凱凱，郭少哲，張友善.基于深度學(xué)習(xí)的人體行為識別檢測綜述[J].科學(xué)技術(shù)與工程，2021，21（20）：8310-8320.

基金項(xiàng)目：湖南省大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃：基于JetsonTX2平臺(tái)的人員異常行為識別系統(tǒng)研究與開發(fā)（S201911077008）;多功能水域垃圾智能清理裝置（B20170201209）。