基于多特征融合的停車場行人異常行為識別

翟智鈺,侯北平

(浙江科技學(xué)院 自動化與電氣工程學(xué)院,杭州 310023)

實時交通監(jiān)控、停車場監(jiān)控等的攝像頭正迅速應(yīng)用于社會公共場所和地點。這些攝像頭每天可以提供海量數(shù)據(jù),然而大多數(shù)監(jiān)控仍然依靠操作員來篩選視頻,龐大的數(shù)據(jù)往往耗費大量的人力和財力。這就需要應(yīng)用計算機視覺技術(shù)來自動監(jiān)控異常行為,以協(xié)助工作人員及時做出判斷,特別是像停車場這種需要全天候監(jiān)控的場景,對異常行為的檢測十分必要,這對維護社會治安具有重要意義。

異常行為識別的方法有很多,使用較多的是將監(jiān)控視頻的連續(xù)幀作為異常行為識別的主體。Cai等[1]提出了一種復(fù)雜場景下人體異常行為的多階段分析方法,用于遺留行李檢測,試驗結(jié)果表明,異常行為的平均識別率為86.93%。Zhang等[2]提出了一種基于能級分布變化的人群異常檢測方法,將圖像中的像素作為粒子處理,通過計算粒子與攝像機之間的距離,確定人群異常發(fā)生的時間戳,從而準(zhǔn)確地識別異常行為。除上述傳統(tǒng)計算閾值方法外,深度學(xué)習(xí)近年來也應(yīng)用在異常行為的識別上,Ma等[3]針對復(fù)雜結(jié)構(gòu)化戶外場景中異常目標(biāo)檢測困難的問題,提出了一種光流法和卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的異常目標(biāo)檢測方法,結(jié)果表明該方法可快速檢測復(fù)雜結(jié)構(gòu)化場景中的異常目標(biāo)并預(yù)警。汪鴻年等[4-5]根據(jù)運動周期曲線采用動態(tài)時間規(guī)整的方法提取停車場行人行為關(guān)鍵幀,將行為關(guān)鍵幀表征為一系列關(guān)鍵語句進行識別,異常行為的平均識別率達到了91%。Chen等[6]提出了一種基于雙向預(yù)測的框架,根據(jù)實際目標(biāo)幀及其雙向預(yù)測幀[7]構(gòu)造損失函數(shù),同時提出了一種基于滑動窗口的異常得分估計方法來識別視頻中行人的異常行為,識別準(zhǔn)確率達到了86.9%。

除了使用以幀為單位的圖像識別異常行為,軌跡分析也是識別異常行為的一種有效的方法。無論是單獨個體還是多個行人交互,實際的監(jiān)控視頻都可以記錄大量的軌跡數(shù)據(jù),提供豐富的數(shù)據(jù)基礎(chǔ)。賽斌等[8]使用Hausdorff距離來描述軌跡聚類[9]得到的大數(shù)據(jù)以識別較大范圍內(nèi)行人的行為,得到地鐵行人流量較多、人流量較少和人流量適中3個場景的噪聲軌跡,占比分別為11.7%、9.9%、21.25%。Belhadi等[10]提出了群體軌跡離群點檢測模型,研究人類行為數(shù)據(jù)之間的不同相關(guān)性,通過學(xué)習(xí)歷史數(shù)據(jù)的不同特征來判斷人類的集體異常行為,準(zhǔn)確率為88%,得到了較好的識別效果。

目前停車場行人異常行為識別方法尚存在以下問題:只考慮利用單一軌跡特征來衡量軌跡中心與軌跡間相似性,在復(fù)雜的停車場監(jiān)控場景中,軌跡模式識別率低,影響異常行為檢測效果;預(yù)處理算法效率低,檢測速度慢,識別準(zhǔn)確率低,跟蹤效果差,行人特征提取效果不明顯;基于神經(jīng)網(wǎng)絡(luò)等深度學(xué)習(xí)方法的異常行為識別方法實時性差,所耗運算資源較大。在實際場景中,由于視頻本身包含信息的復(fù)雜性,僅憑軌跡難以判斷行人的異常行為,而監(jiān)控視頻中還有其他的行人信息可以利用,比如骨架信息可以提高異常行為定位精度。針對上述問題,本研究提出一種基于軌跡-骨架模型的多特征融合的停車場行人異常行為識別算法。

1 研究方法

異常行為識別流程如圖1所示:首先利用基于深度學(xué)習(xí)的目標(biāo)檢測算法和跟蹤算法得到行人的軌跡特征,對行人姿態(tài)分析后得到行人的骨架特征;然后融合行人的軌跡和骨架特征,對行為進行分類,最終識別行人在停車場中的異常行為。

圖1 異常行為識別流程

1.1 視頻預(yù)處理

現(xiàn)實中的室外停車場環(huán)境較為復(fù)雜,背景存在光照變化、樹葉抖動等干擾因素,會直接影響識別的準(zhǔn)確性和實時性。在分類過程中,預(yù)處理效果的好壞直接影響著算法的精度和最后的識別效果。為了提高算法精度,得到更好的目標(biāo)檢測和跟蹤效果,本研究選用準(zhǔn)確率和實時性較好的YOLOv5目標(biāo)檢測算法作為行人軌跡和骨架提取的基礎(chǔ),并在此基礎(chǔ)上加入DeepSort行人目標(biāo)跟蹤法,解決了YOLOv5無法匹配近鄰幀的問題。

1.1.1 行人目標(biāo)檢測

Redmon等[11]從2016年開始陸續(xù)設(shè)計出YOLO系列算法,YOLO算法最大的特點就是在檢測精度稍微降低的同時可以滿足實時性要求。本研究使用YOLOv5行人目標(biāo)檢測算法,檢測流程如圖2所示。YOLOv5沿用的是YOLOv3、YOLOv4的框架,主要分為4個部分,分別是輸入端、主干網(wǎng)絡(luò)、頸部網(wǎng)絡(luò)、輸出端。具體實現(xiàn)過程如下:1) 對輸入的停車場監(jiān)控視頻進行特征提取,輸入端采用了馬賽克數(shù)據(jù)增強的方式,通過隨機播放、隨機裁剪、隨機排布的方式,自動計算數(shù)據(jù)集的最佳錨框值。2) 通過聚焦網(wǎng)絡(luò)和CSPNet(cross stage partials networks,跨區(qū)域局部融合網(wǎng)絡(luò))結(jié)構(gòu)壓縮特征圖,其中CSP1_1和CSP1_3應(yīng)用于主干網(wǎng)絡(luò),可增強卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力和降低內(nèi)存成本,CSP2_1應(yīng)用于頸部網(wǎng)絡(luò),可加強網(wǎng)絡(luò)特征融合的能力,利用不同層的特征信息來獲得更為豐富的特征圖。3) 通過SPP(spatial pyramid pooling,空間金字塔池化)和FPN(feature pyramid networks,特征金字塔網(wǎng)絡(luò))進行特征信息的傳遞融合,從而得到預(yù)測后的特征圖。4) 通過PANet(path aggregation net,路徑聚合網(wǎng)絡(luò))結(jié)構(gòu)提升預(yù)測性能。5) 在預(yù)訓(xùn)練好的YOLOv5網(wǎng)絡(luò)中,對視頻中的停車場的行人及位置進行多尺度預(yù)測,輸出行人的定位框。

圖2 YOLOv5行人目標(biāo)檢測流程

1.1.2 行人目標(biāo)跟蹤

通過YOLOv5輸出行人的位置信息[12]以后,利用DeepSort算法實現(xiàn)停車場行人跟蹤,主要分為4個步驟:

1) 將停車場監(jiān)控視頻分成視頻幀,利用非極大值抑制算法去除重疊框,進一步篩選候選框;

2) 使用卡爾曼濾波計算下一幀行人目標(biāo)的位置和狀態(tài),將置信度最高的行人檢測框作為預(yù)測結(jié)果;

3) 利用匈牙利算法進行匹配,得到行人在視頻前后的軌跡,使用馬哈拉諾比斯距離公式計算行人檢測框和行人跟蹤框之間的距離,當(dāng)兩者距離小于某個特定閾值時,則兩者互相關(guān)聯(lián),匹配成功。否則,重新計算行人位置;

4) 最后使用卡爾曼濾波對跟蹤器進行參數(shù)更新,重新開始行人目標(biāo)檢測。

本研究在對現(xiàn)有的基于深度學(xué)習(xí)框架的算法進行學(xué)習(xí)和研究后,選取YOLOv5和DeepSort算法,以保證能夠在停車場這種復(fù)雜場景下對行人進行檢測和跟蹤,獲取視頻中行人的每幀坐標(biāo)信息,從而可以進一步分析行人的特征信息。

1.2 特征提取

軌跡含有較全面的時空信息,在描述行人目標(biāo)方面有其固有的優(yōu)越性,而骨架特征能夠更好地體現(xiàn)行人運動的細節(jié),能夠很好地表達行人的運動狀態(tài),所以選取軌跡和骨架作為識別異常行為的特征。

1.2.1 軌跡的特征提取

在行人運動過程中,一系列質(zhì)心點連接起來就會形成軌跡。提取每個行人目標(biāo)的位置、即時速度、方向等信息,將這些信息組成固定長度的特征向量來描述行人軌跡[13]。具體步驟如下:

1) 建立軌跡模型:

f=[(x,y),(dx,dy),(d2x,d2y)]。

(1)

式(1)中:(x,y)、(dx,dy)、(d2x,d2y)分別為位置特征、方向特征、速度特征。

2) 提取出每個軌跡點的位置以后,x和y方向上的差分?jǐn)?shù)據(jù)中含有目標(biāo)的速度和方向信息,所以引入x軸和y軸的差分信息(|dx|,|dy|),其中

dx=xt-xt-1;

(2)

dy=yt-yt-1。

(3)

3) 場景中不同區(qū)域中目標(biāo)的轉(zhuǎn)向、速度往往具有規(guī)律性,為了檢測出行人的突然加速異常行為[14],定義二次差分(|d2x|,|d2y|)來表示速度變化特征,為訓(xùn)練過程提供數(shù)據(jù)。

d2x=xt-2xt-1+xt-2;

(4)

d2y=yt-2yt-1+yt-2。

(5)

4) 將上述特征作為后續(xù)機器學(xué)習(xí)分類算法的樣本輸入,表1為軌跡的位置特征、方向特征和速度特征樣本。

表1 軌跡的位置特征、方向特征和速度特征樣本

結(jié)合上述特征,以行人跑步為例,跑步行為與跑步軌跡如圖3所示。

圖3 行人跑步行為與跑步軌跡

1.2.2 骨架特征提取

由于摔倒或者跳躍等行為不能簡單地通過軌跡來識別,因此用AlphaPose模型[15]來提取人體骨架信息,得到人體骨骼關(guān)鍵點坐標(biāo)。AlphaPose模型提取骨架信息的流程是:首先在單人姿態(tài)估計結(jié)構(gòu)上引入對稱空間變換網(wǎng)絡(luò),這個網(wǎng)絡(luò)能夠在不精準(zhǔn)的區(qū)域框中提取到高質(zhì)量的人體區(qū)域;然后使用參數(shù)化姿態(tài)非最大抑制的方法來解決檢測框定位錯誤和冗余檢測問題,并利用數(shù)據(jù)驅(qū)動來優(yōu)化姿態(tài)距離參數(shù);最后通過PGPG(pose-guided proposals generator,姿態(tài)引導(dǎo)區(qū)域框生成器)來強化訓(xùn)練數(shù)據(jù),得到每個目標(biāo)的骨架關(guān)鍵點位置數(shù)據(jù)。

跑、走、跳躍、摔倒、打架5種行為的骨架圖如圖4所示,利用AlphaPose模型提取停車場跑步、走路、跳躍、摔倒、打架等行為的骨架關(guān)鍵點,這些關(guān)鍵點的原始坐標(biāo)不適合直接用于姿態(tài)識別中,因此需要從數(shù)據(jù)的原始特征中提取出有效的行為識別特征。

圖4 跑、走、跳躍、摔倒、打架5種行為的骨架圖

當(dāng)人的姿態(tài)發(fā)生變化時,各個關(guān)節(jié)也會發(fā)生變化,使用結(jié)構(gòu)向量來表示各個部位的骨骼狀態(tài)。假設(shè)A(x1,y1)和B(x2,y2)分別表示左膝和左腳踝的坐標(biāo),則向量VAB=(x2-x1,y2-y1)表示左小腿的骨骼姿態(tài),命名為VLKnee-LAnkle。摔倒行為可由雙腿與軀干之間的角度來表示,從監(jiān)控視頻的角度,軀干部分選取鼻子到髖部之間的骨骼關(guān)鍵點來表示,因此為了描述摔倒行為,構(gòu)建4組結(jié)構(gòu)向量:

VNose-LKnee=(xLKnee-xNose,yLKnee-yNose);

(6)

VNose-RKnee=(xRKnee-xNose,yRKnee-yNose);

(7)

VLKnee-LAnkle=(xLAnkle-xLKnee,yLAnkle-yLKnee);

(8)

VRKnee-RAnkle=(xRAnkle-xRKnee,yRAnkle-yRKnee)。

(9)

式(6)～(9)中:VNose-LKnee為鼻部到左膝的結(jié)構(gòu)向量,(xLKnee,yLKnee)為左膝的坐標(biāo),(xNose,yNose)為鼻子的坐標(biāo);VNose-RKnee為鼻部到右膝的結(jié)構(gòu)向量;(xRKnee,yRKnee)為右膝的坐標(biāo);VLKnee-LAnkle為左膝到左腳踝的結(jié)構(gòu)向量;(xLAnkle,yLAnkle)為左腳踝的坐標(biāo);VRKnee-RAnkle為右膝到右腳踝的結(jié)構(gòu)向量;(xRAnkle,yRAnkle)為右腳踝的坐標(biāo)。

人們在運動的時候,肢體的角度會發(fā)生較大的變化,因此選用向量角度作為運動特征來反映人體不同的運動狀態(tài)。分別計算上述4組結(jié)構(gòu)向量中的夾角的余弦值,將其作為摔倒行為特征[16]。構(gòu)建的兩組向量夾角余弦值特征如下:

(10)

(11)

式(10)～(11)中:θNose-LAnkle為鼻部到左踝的夾角;VNose-LKnee和VLKnee-LAnke分別為鼻部到左膝的結(jié)構(gòu)向量和左膝到左腳踝的結(jié)構(gòu)向量;θNose-RAnkle為鼻部到右踝的夾角;VNose-RKnee和VRKnee-RAnkle分別為鼻部到右膝的結(jié)構(gòu)向量和右膝到右腳踝的結(jié)構(gòu)向量。

1.3 特征融合

特征融合是將提取的不同特征通過某種方法生成新的特征,新特征對分類更加有效。特征融合方法可以綜合利用不同特征的優(yōu)勢,形成特征互補,比單一特征分類更加準(zhǔn)確。行人的異常行為復(fù)雜多樣,單一的特征很難完全反映行為的類型,因此在對行人行為進行分類時,使用軌跡特征和骨架特征融合會提高分類的準(zhǔn)確性。

1.3.1 基于軌跡的異常行為判別不足分析

監(jiān)控過程中,對于行進過程的每個軌跡點,除了一些坐標(biāo)特征外,經(jīng)過式(1)～(11)的計算,還得到一些速度和加速度的特征,將這些特征作為分類算法的輸入。不同的活動可能具有相似的特征,例如走路和跑步,因此,很難產(chǎn)生某一種特征可以唯一地表示某種特定的活動。走路和跑步軌跡比較如圖5所示,從走路行為和跑步行為的軌跡圖(圖5(c)與(d))可以看出,很難通過軌跡來判斷行為是走路還是跑步。

圖5 走路和跑步軌跡比較

僅使用軌跡作為識別行為的另一個問題是,實際生活中大部分活動都不是簡單的重復(fù)性動作,而是復(fù)合性動作。大多數(shù)復(fù)合性活動都是由若干個簡單動作互相關(guān)聯(lián)起來的,僅憑軌跡很難描述復(fù)合性活動?？梢?除軌跡特征外,還需要其他特征來表示人體行為。

1.3.2 基于骨架的異常行為判別不足分析

停車場的異常行為有很多種,比如摔倒、追逐等,這些異常行為都存在一些共同的特征,比如現(xiàn)實中的摔倒過程為:行走—摔倒過程—摔倒?fàn)顟B(tài),且摔倒過程往往發(fā)生得非常急促,一瞬間即可發(fā)生。跳躍也是如此,其過程為:行走—跳躍—行走—跳躍。異常行為具有突發(fā)性,摔倒或跳躍過程持續(xù)時間短,并且在實際監(jiān)控中,摔倒或者跳躍前,行人的行為可能是正常的走或跑,這就導(dǎo)致異常行為和正常行為的數(shù)量分布極不均衡。部分樣本異常行為占比見表2,從表中可以看出異常行為的幀數(shù)在整個視頻中所占的比例不高。從監(jiān)控視頻中截取不同時間段跳躍行為和摔倒行為各3幀圖像，如圖6所示,從圖中可以看出異常行為只發(fā)生在某個特殊時間段。在監(jiān)控視頻中,需要同時識別出正常行為和異常行為,僅把骨架作為特征行為很難滿足現(xiàn)實要求。

表2 部分樣本異常行為占比

圖6 跳躍行為和摔倒行為各3幀圖像

針對可能出現(xiàn)的異常行為,本研究定義了速度、加速度等特征組成訓(xùn)練樣本,但是,現(xiàn)實中可能出現(xiàn)各種各樣的異常行為,所以引入骨架特征作為另外一個識別異常行為的方法。單單考慮骨架特征也無法滿足現(xiàn)實中的需求,因為像跳躍這樣的異常行為發(fā)生在一瞬間,沒有持續(xù)性,異常行為發(fā)生的前后,人體姿態(tài)沒有明顯的變化。所以,為了滿足現(xiàn)實需要,考慮使用行人軌跡特征與骨架特征融合模型來識別異常行為和正常行為。

1.3.3 特征融合方法

因為視頻信息比較復(fù)雜,將軌跡作為特征較為簡單,很難反映行人的行為,而骨架特征只能反映行人一瞬間的動作,因此在對異常行為分類時,使用特征融合會取得更佳的分類效果。同時,停車場監(jiān)控視頻中的行人異常行為往往是由復(fù)合活動組成的,單一的軌跡特征或者骨架特征無法描述行人整個活動過程,所以采用將軌跡特征和骨架特征融合的方法來識別行人的異常行為。

針對1.3.1～1.3.2節(jié)遇到的問題,提出一種將行人軌跡和行人骨架特征融合的算法,將式(1)的軌跡模型與式(10)～(11)的骨架模型與相融合來組成新的軌跡-骨架模型,如式(12)所示:

f=[x,y,dx,dy,d2x,d2y,cosθNose-LAnkle,cosθNose-RAnkle]。

(12)

特征融合后的部分分類樣本見表3。

表3 特征融合后的部分分類樣本

2 試驗環(huán)境及數(shù)據(jù)集

2.1 試驗環(huán)境

試驗測試硬件如下:CPU為E5-2670v4處理器,內(nèi)存為128 GB;顯卡為4塊RTX3090,內(nèi)存總共為96 GB。軟件操作系統(tǒng)型號為Ubuntu18.04。硬件和軟件都能夠滿足YOLOv5+DeepSort試驗的要求和機器學(xué)習(xí)分類的要求。

2.2 數(shù)據(jù)集

中科院行為數(shù)據(jù)庫CASIA(Chinese Academy of Sciences Institute of Automation,中國科學(xué)院自動化研究所)行為分析數(shù)據(jù)庫共有422條視頻數(shù)據(jù),由室外環(huán)境下分布在3個不同視角的攝像機拍攝而成,為行為分析提供試驗數(shù)據(jù)。行人行為包括走、跑、跳、暈倒、打架,每類行為有24人參與拍攝,每人4次左右。

2.3 異常行為定義

在基于視頻的異常行為識別中,對異常的定義和描述很難有明確的定義。在研究中,行人在停車場這個運動方式比較常見的應(yīng)用場景,露天停車場區(qū)域的監(jiān)控中行人的正常行為包括正常路過、車前跑步。行人異常跳躍,突然摔倒及打架被劃為異常行為。行人正常行為和異常行為分類如圖7所示。

圖7 行人正常行為和異常行為分類

3 試驗結(jié)果與分析

為了避免使用神經(jīng)網(wǎng)絡(luò)分類需要大量的計算資源,本研究選取了5個機器學(xué)習(xí)分類模型進行對比,分別是決策樹、隨機森林、多層感知機、K近鄰算法和邏輯回歸。以上5個模型都是分類模型中經(jīng)常使用且性能較好的機器學(xué)習(xí)方法。

為了驗證本研究提出的多特征融合模型的有效性,將提取的軌跡特征與骨架特征融合的異常行為識別結(jié)果,與未進行任何處理的單一數(shù)據(jù)及只有軌跡模型的行為識別結(jié)果進行對比。

在異常行為識別中,本研究主要采用準(zhǔn)確度TA作為模型的評價指標(biāo):

(13)

式(13)中:TP表示實際為真實類別并被預(yù)測真實類別的個數(shù);TN表示實際為錯誤類別被預(yù)測為錯誤類別的個數(shù);FP表示實際為錯誤類別被預(yù)測為真實類別的個數(shù);FN表示實際為正確類別被預(yù)測為錯誤類別的個數(shù)。

在CASIA數(shù)據(jù)集中,選取跑、走、摔倒、跳躍和打架5種行為作為分類數(shù)據(jù)集,5種行為各12段視頻,其中9段視頻作為訓(xùn)練集,3段視頻作為測試集。試驗數(shù)據(jù)分布見表4。

表4 試驗數(shù)據(jù)分布

采用5種分類算法進行分類,使用3種模型進行對比。

模型一:只包含行人的坐標(biāo)信息,沒有提取軌跡特征和骨架特征。

模型二:單獨加入行人的軌跡特征(式(1))。

模型三:將軌跡特征與骨架特征融合之后的數(shù)據(jù)集,模型見式(12)。

3種模型的分類結(jié)果見表5,折線圖如圖8所示。

表5 3種模型的分類結(jié)果

圖8 3種模型分類折線圖

由表5和圖8可知,如果僅使用坐標(biāo)信息,識別的準(zhǔn)確率最高只有68.03%,采取單一軌跡的識別率最高只有77.64%,但使用軌跡-骨架模型,行人異常行為識別率在多層感知機算法下可以達到87.08%,基本上實現(xiàn)了異常行為識別。但本研究提出的算法也有缺點和不足,主要是正常行為與異常行為類別在數(shù)量上不均衡。行人在活動過程中異常行為的活動比較少,導(dǎo)致正常行為與異常行為的數(shù)量相差較大,在分類過程中影響了分類的準(zhǔn)確度。

4 結(jié) 語

為了降低安防帶來的時間和經(jīng)濟成本,提高異常行為識別的準(zhǔn)確性,本研究提出了基于軌跡和骨架特征融合的行人異常行為識別算法,首先通過YOLOv5算法快速檢測行人;然后利用基于DeepSort的目標(biāo)跟蹤算法實現(xiàn)對行人的跟蹤;最后使用機器學(xué)習(xí)方法對行人的行為進行分類。試驗結(jié)果表明,在多層感知機算法下本文模型分類結(jié)果最好,并有較高的實時性和準(zhǔn)確率,能夠快速檢測停車場異常行為的發(fā)生,可見本算法具有一定的應(yīng)用價值。為了能夠?qū)⑺惴☉?yīng)用到更多的場景中,我們將開展下一階段的研究工作:使用樹莓派作為硬件與網(wǎng)絡(luò)攝像頭連接,將停車場行人行為視頻數(shù)據(jù)傳輸?shù)椒?wù)器上,為后續(xù)算法提供數(shù)據(jù)基礎(chǔ),并根據(jù)采集的數(shù)據(jù)集,在計算機上編寫用戶界面,與模型算法相結(jié)合,實現(xiàn)離線處理；研究多相機聯(lián)合檢測方法,嘗試用多個相機從多個角度進行異常行為的檢測,從一定程度解決大小車輛對行人的遮擋問題。