基于貝葉斯網(wǎng)絡(luò)的人體異常行為檢測與識別

韓飛龍 應(yīng)捷

摘要：使用卡爾曼濾波算法檢測視頻中的運(yùn)動目標(biāo)，并對檢測到的行人進(jìn)行特征提取。采用圖像熵、Hu不變矩和長寬比特征，建立貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)對人體目標(biāo)進(jìn)行分類，從而對人的正常行走和倒地、奔跑、揮拳4種行為進(jìn)行識別。正常行走是正常行為，摔倒、揮拳和奔跑是異常行為。實驗結(jié)果表明，通過特征提取的貝葉斯網(wǎng)絡(luò)分類具有較好的實時性，其準(zhǔn)確率可達(dá)90%。

關(guān)鍵詞：行人檢測；卡爾曼濾波；貝葉斯網(wǎng)絡(luò)；特征提取

DOI：10.11907/rjdk.172040

中圖分類號：TP306

文獻(xiàn)標(biāo)識碼：A文章編號：1672-7800（2018）007-0009-05

Abstract：MovingobjectsinvideoswaredetectedbyKalmanfilteralgorithmandobjectfeatureswareextracted.NaveBayesiannetworkisestablishedtoclassifythefourbehaviorssuchasnormalwalking，thefalling，runningandpunchingbyusingentropy，Humomentinvariantandsymmetryfeatures.Normalwalkingisnormalbehavior.Falling，runningandpunchingareabnormalbehavior.Experimentalresultsshowthatthemethodissimpleandhasgoodreal-timeperformance.Theaccuracycanreach90%.

KeyWords：detectionofmovinghuman；KALMANfiltering；Bayesiannetworks；featuresextraction

0引言

隨著信息化的發(fā)展和科技的進(jìn)步，人類進(jìn)入到一個數(shù)字信息爆炸時代。如今，數(shù)字圖像、視頻等數(shù)字影像信息已廣泛應(yīng)用于生活管理、安全監(jiān)護(hù)等各個方面，大大提高了人們生活質(zhì)量。特別是隨著恐怖襲擊和各類安全事件的頻發(fā)，安全部門開始更多地將注意力集中到智能視頻監(jiān)控領(lǐng)域，以快速檢測出監(jiān)控區(qū)域的異常行為，及時推測出可疑的異常行為，從而減少事故發(fā)生幾率，并對事故進(jìn)行及時處理。

目前，國內(nèi)外在異常行為檢測方面進(jìn)行了大量研究。根據(jù)不同的目的和功能要求，其檢測分類方法也不盡相同。一種是基于模型的方法，該方法通過建立某種準(zhǔn)則，從圖像上提取相關(guān)特征，從而構(gòu)造分類器進(jìn)行分類；另一種是基于推測的方法，該方法利用異常行為難定義、易發(fā)現(xiàn)等特點(diǎn)通過學(xué)習(xí)正常模式，從而推斷可疑行為。YibingWang等提出基于極端學(xué)習(xí)機(jī)的異常分類算法（L1-NormMinimizationELM）；ASargano等提出基于Hu不變矩的多視覺特征結(jié)合支持向量機(jī)（SVM）進(jìn)行分類檢測；王威等提出一種基于時空聯(lián)合特征的支持向量機(jī)分類檢測算法；Wu等利用PCA進(jìn)行邊緣特征提取，然后用SVM將行為分為正常和異常兩類；Vishwakarma等[1-8]提出基于邊緣梯度的空間分布方法進(jìn)行行為識別。

上述方法雖然能對異常行為進(jìn)行檢測和分類，但準(zhǔn)確率不高或?qū)崟r性不好。本文研究一種具有通用性的行人異常行為檢測方法，首先采用卡爾曼濾波進(jìn)行目標(biāo)檢測，然后對檢測到的目標(biāo)進(jìn)行貝葉斯網(wǎng)絡(luò)分類，從而對行人姿態(tài)實現(xiàn)實時檢測與識別分類。

1行人檢測與分類方法

行人異常檢測與分類系統(tǒng)處理流程如圖1所示。采用固定攝像機(jī)實時獲取視頻圖像，中央處理單元（可以采用筆記本電腦）對圖像進(jìn)行檢測與分類。行人檢測采用卡爾曼濾波實現(xiàn)，然后對檢測到的障礙物進(jìn)行特征提取。提取目標(biāo)的Hu不變矩特征、長寬比和圖像熵特征，建立貝葉斯網(wǎng)絡(luò)對障礙物進(jìn)行分類，分類結(jié)果通過語音進(jìn)行提示。

1.1卡爾曼濾波障礙物檢測方法

卡爾曼濾波檢測流程如下：

首先建立系統(tǒng)模型，設(shè)定初始參數(shù)，讀入圖像序列；然后讀取圖像序列中的一幀圖像，預(yù)處理后產(chǎn)生初始化背景圖像；依次讀入下一幀圖像，采用卡爾曼濾波的背景估計法，通過計算圖像中的像素點(diǎn)變化判斷該點(diǎn)屬于前景或背景圖像；然后將前景圖像進(jìn)行連通運(yùn)算，標(biāo)記出前景運(yùn)動目標(biāo)；計算運(yùn)動目標(biāo)面積，面積小于閾值的目標(biāo)不予標(biāo)記，將面積大于閾值的目標(biāo)進(jìn)行連通運(yùn)算，標(biāo)記連通區(qū)域得到理想的運(yùn)動目標(biāo)；最后使用最小矩形框?qū)⑦\(yùn)動目標(biāo)分割出來，以便于后續(xù)的分類處理。

1.2基于貝葉斯網(wǎng)絡(luò)的行人異常分類方法

貝葉斯網(wǎng)絡(luò)又稱為信念網(wǎng)絡(luò)或有向無環(huán)圖模型，是一種用于描述變量間不確定性因果關(guān)系的圖形網(wǎng)絡(luò)模型，由節(jié)點(diǎn)、有向連接和節(jié)點(diǎn)概率表組成。貝葉斯分類通過先驗分析，得到分類對象的先驗概率，再利用貝葉斯公式計算需要分類對象的后驗概率，通過選擇最大后驗概率判斷需分類對象的所屬類別。

本文設(shè)計的貝葉斯網(wǎng)絡(luò)如圖3所示，提取行人目標(biāo)的3個特征進(jìn)行分類，提取目標(biāo)的Hu不變矩特征、圖像熵與目標(biāo)長寬比。通過大量樣本圖像的特征值提取，可以得到圖像的特征值分布；計算圖像特征值的高斯概率分布，得到樣本特征屬性的先驗概率，作為貝葉斯分類器的輸入；然后對待測樣本圖像進(jìn)行貝葉斯分類計算，得到測試圖像類型概率，概率最大的對應(yīng)的類即是待測樣本類別。本文采用最小誤差概率的拓?fù)湄惾~斯能夠有效地將未知圖片進(jìn)行分類，錯誤率較低。

2行人特征提取

基于貝葉斯網(wǎng)絡(luò)進(jìn)行行為異常分類，必須先確定行人特征。特征選取很重要，它是行為分類的依據(jù)。本文選取3個特征，提取目標(biāo)的Hu不變矩特征、圖像熵和長寬比。

長寬比可以有效地將異常倒地和正常行走、揮拳、奔跑區(qū)分出來。利用卡爾曼濾波進(jìn)行障礙物檢測后，可得到動態(tài)目標(biāo)的最小外接矩形，從而得到目標(biāo)的長寬比。其中倒地長寬比的數(shù)值范圍是1.2～1.8，正常行走長寬比的數(shù)值范圍是0.2～0.4，奔跑長寬比的數(shù)值范圍是0.18～0.4，揮拳長寬比的數(shù)值范圍是0.3～0.45。行人的圖像熵和Hu矩通過以下方法得到：

2.1圖像熵

熵（entropy）表示一個系統(tǒng)的無序程度。1948年Shannon將熵的概念引入到信息論中，表示系統(tǒng)（信源）的不確定性，用于衡量信息量的多少，稱為“信息熵”。圖像熵是圖像的信息熵度量，表示圖像中信息量的多少。由于卡爾曼濾波檢測圖像序列包含了場景的大量運(yùn)動信息，通過計算其熵值，可以準(zhǔn)確量化行人的運(yùn)動變化情況。當(dāng)異常事件發(fā)生時，劇烈變化的場景必然表現(xiàn)為熵值的急速上升，因此利用圖像熵檢測異常事件是可行的。

對于灰度值為8位的圖像，其一維熵的計算公式為：

本文首先進(jìn)行圖像熵提取，圖像熵值H在4.7～6.0之間可以判斷為正常行走，實驗結(jié)果較為理想，誤差較小。其中奔跑的圖像熵值范圍是6.2～7.3，倒地的圖像熵值范圍是6.7～7.8，揮拳的圖像熵值范圍是6.0～7.9。

通過對圖像熵的檢測，可以迅速判斷行人是否處于正常行走狀態(tài)，從而可對后續(xù)異常作進(jìn)一步判斷。

2.2Hu不變矩

矩特征主要表征圖像區(qū)域的幾何特征，又稱為幾何矩，是由Hu在1962年提出的。由于其具有旋轉(zhuǎn)、平移、尺度等特性的不變特征，所以又稱為不變矩。在圖像處理中，幾何不變矩可作為一個重要特征表示物體，可以跟據(jù)該特征對圖像進(jìn)行分類等操作。如果將圖像灰度值看作一個二維或三維的密度分布函數(shù)，矩方法即可應(yīng)用于圖像分析領(lǐng)域，并用于圖像特征的提取。在模式識別中，一個重要問題是識別目標(biāo)的方向性變化。Zernike矩是一組正交矩，具有旋轉(zhuǎn)不變性，即旋轉(zhuǎn)目標(biāo)而不改變其模值。由于Zernike矩可以構(gòu)造任意高階矩，所以Zernike矩的識別效果優(yōu)于其它方法。

對于每一幀圖像，這里只提取最顯著的Hu矩特征M5，從而減少相應(yīng)數(shù)據(jù)的運(yùn)算量，提高實時性。對于提取到的相關(guān)特征，采用貝葉斯網(wǎng)絡(luò)分類器進(jìn)行訓(xùn)練和分類，以實現(xiàn)對可疑行為的檢測。

3實驗結(jié)果及分析

3.1實驗數(shù)據(jù)集與實驗性能評價指標(biāo)

在本實驗中，攝像機(jī)安裝在固定角度，實時采集監(jiān)控區(qū)域視頻圖像序列輸入到圖像處理器，本文采用筆記本電腦進(jìn)行圖像處理?？柭鼮V波算法在Windows7平臺上使用MATLAB函數(shù)庫實現(xiàn)。數(shù)據(jù)來源于HMDB51數(shù)據(jù)庫和KTH動作識別數(shù)據(jù)庫，KTH數(shù)據(jù)庫包括行走、奔跑、揮拳等6類動作，共有600個視頻片段，序列像素的分辨率大小為160×120。本文選取奔跑、揮拳、正常行走3個動作，倒地的一部分圖像序列來自網(wǎng)絡(luò)。識別系統(tǒng)的定量評價指標(biāo)主要有3個，即虛警率、漏警率和處理速度。

3.2行人檢測結(jié)果

圖6-圖9為卡爾曼濾波檢測得到的效果?？柭鼮V波對采集到的圖像進(jìn)行運(yùn)動目標(biāo)標(biāo)記和提取，并將檢測到的結(jié)果保存起來，以便后續(xù)的特征提取。經(jīng)驗證，該算法對障礙物的檢測率達(dá)到95%。

本文的卡爾曼濾波利用迭代遞推計算方法，對存儲空間要求小，實時性更好，可以及時進(jìn)行背景更新，并且該方法受外界噪聲影響更小，同時減少了對硬件質(zhì)量的要求，降低了應(yīng)用成本，具有很好的應(yīng)用前景。

3.3異常行為分類

3.3.1訓(xùn)練圖像選取與處理

選取100幅不同姿態(tài)的行人圖片作為貝葉斯分類器訓(xùn)練樣本，包括正常行走，以及異常狀態(tài)的奔跑、揮拳和倒地，每種類別各25幅。如圖10所示為每一類的典型樣本。分別提取訓(xùn)練樣本的3個特征：障礙物的對稱性、邊緣直線水平度和目標(biāo)長寬比。統(tǒng)計得到訓(xùn)練樣本特征值的平均值和方差，如表1、表2所示。將得到訓(xùn)練樣本的平均值和方差作為貝葉斯網(wǎng)絡(luò)輸入。

對每一類訓(xùn)練樣本的3個特征值進(jìn)行統(tǒng)計分析，觀察其特征值分布。理論上每一類樣本的圖像特征值分布應(yīng)該是一致的。通過分析圖像特征值分布，可以得到每類圖像特征值的高斯概率分布。

3.3.2貝葉斯網(wǎng)絡(luò)分類結(jié)果

本實驗在Windows7的計算機(jī)上完成，采用MATLAB_R2015a實現(xiàn)代碼編程。貝葉斯分類器有3個輸入：①400（行）×3（列）的訓(xùn)練樣本特征值矩陣；②100（行）×3（列）的測試樣本特征值矩陣；③分類圖像類別數(shù)為4。貝葉斯分類器有一個輸出：1（行）×100（列）的測試樣本分類類別，每個數(shù)據(jù)表示測試樣本的類別種類。實驗結(jié)果表明，行走識別率為98%，倒地識別率為100%，奔跑識別率為93%，揮拳識別率為90%。圖像處理實時性可達(dá)每幀0.29s。

為了更有效地與其它分類算法進(jìn)行對比，在實驗樣本和分類種類選擇與本文方法相同的情況下，從客觀角度對SVM[5]、ShapeFeatures[8]、BP網(wǎng)絡(luò)分類[9]、AdaBoost[11]及本文分類結(jié)果進(jìn)行定量比較分析，實驗結(jié)果如表3所示。

由表3可知，樸素貝葉斯分類器可得到更好的分類精度。由于傳統(tǒng)的BP算法需要較長訓(xùn)練時間，容易陷入局部極小值，分類準(zhǔn)確率低于其它方法；SVM方法的關(guān)鍵在于核函數(shù)，而低維空間向量集通常難以劃分，且其核函數(shù)選取以及參數(shù)確定不具有普遍性，當(dāng)訓(xùn)練樣本較大時，難以實施；AdaBoost方法適合于各種分類場景，但當(dāng)出現(xiàn)多次分類錯誤后，會影響誤差計算與分類器挑選，從而出現(xiàn)典型退化問題。傳統(tǒng)形態(tài)特征需要較復(fù)雜的算法支持，實時性不強(qiáng)，而且不能智能地判斷出是何種異常。由于本文所涉及的障礙物特征相互獨(dú)立，所以采用樸素貝葉斯網(wǎng)絡(luò)進(jìn)行分類可避免模型過于復(fù)雜，降低模型維數(shù)，有效防止過擬合，節(jié)約模型計算成本，從而得到更精確的分類結(jié)果。

4結(jié)語

本文采用一種基于卷積神經(jīng)網(wǎng)絡(luò)的人體異常行為檢測分類方法。首先利用卡爾曼濾波進(jìn)行監(jiān)控區(qū)域行人目標(biāo)的檢測和提取，然后對檢測到的幀圖像進(jìn)行特征提取，提取目標(biāo)的圖像熵、不變矩和長寬比特征，將其分為人物正常行走、摔倒、奔跑和揮拳4類行為。貝葉斯分類器依據(jù)最大后驗概率進(jìn)行決策分類，可以減小由于圖像噪聲干擾帶來的分類誤差。但在實際監(jiān)控分析時，目標(biāo)檢測受人群密度、天氣、光線等因素影響，情況更為復(fù)雜。所以如何找到用于提取異常目標(biāo)更有效的對比信息、提高算法效率是將來的研究方向。

參考文獻(xiàn)：

[1]宋丹妮，王平，張曉華，等.基于視頻監(jiān)控的中小群體異常行為檢測[J].計算機(jī)工程與設(shè)計，2016，37（9）：2507-2514.

[2]張旭光，王夢偉，左佳倩，等.介觀小團(tuán)體運(yùn)動聚類的人群異常檢測[J].儀器儀表學(xué)報，2015，36（5）：1106-1114.

[3]MOUSAVIH，MOHAMMADIS，PERINAA，etal.Analyzingtrackletsforthedetectionofabnormalcrowdbehavior[C].ApplicationsofComputerVision.IEEE，2015：148-155.

[4]GUOW，CHENG.Humanactionrecognitionviamulti-tasklearningbaseonspatial–temporalfeature[J].InformationSciences，2015，320（C）：418-428.

[5]王威，張鵬，王潤生，等.行人行為的奇異性檢測和正常行為分類[J].計算機(jī)工程與應(yīng)用，2010，46（9）：173-176

[6]GUX，CUIJ，ZHUQ.Abnormalcrowdbehaviordetectionbyusingtheparticleentropy[J].Optik-InternationalJournalforLightandElectronOptics，2014，125（14）：3428-3433.

[7]JIS，XUW，YANGM，etal.3Dconvolutionalneuralnetworksforhumanactionrecognition[J].IEEETransactionsonPatternAnalysis&MachineIntelligence;，2013，35（1）：221-231.

[8]VISHWAKARMADK，KAPOORR，DHIMANA.Aproposedunifiedframeworkfortherecognitionofhumanactivitybyexploitingthecharacteristicsofactiondynamics[J].Robotics&AutonomousSystems;，2016，77：25-38.

[9]ZHANGY，LUH，ZHANGL，etal.Videoanomalydetectionbasedonlocalitysensitivehashingfilters[J].PatternRecognition，2016，59：302-311.

[10]韓飛龍，應(yīng)捷，朱丹丹.一種新的車輛輔助駕駛動態(tài)障礙物檢測與分類方法[J].計算機(jī)應(yīng)用研究，2017，34（6）：1909-1912.

[11]LIX，YEM，F(xiàn)UM，etal.Domainadaptionofvehicledetectorbasedonconvolutionalneuralnetworks[J].InternationalJournalofControl，AutomationandSystems，2015，13（4）：1020-1031.

[12]湯春明，盧永偉.基于改進(jìn)的稀疏重構(gòu)算法的行人異常行為分析[J].計算機(jī)工程與應(yīng)用，2017（8）：165-169.

（責(zé)任編輯：黃?。?/p>