基于視頻的人體異常行為檢測與識別

陳春雨，周 勝

(哈爾濱工程大學(xué) 信息與通信工程學(xué)院，哈爾濱 150001)

現(xiàn)代社會對于公共安全的要求越來越高，自動視頻監(jiān)視中的運(yùn)動目標(biāo)檢測和跟蹤,就是在視頻序列中實時地發(fā)現(xiàn)并提取運(yùn)動目標(biāo),不斷跟蹤它們，通過提取人的行為進(jìn)行實時分析，如果識別到異常行為，就立即報警.

視頻監(jiān)控系統(tǒng)是近年來研究熱點(diǎn)，國內(nèi)外很多學(xué)者在這方面多做了很多研究和實驗.在國外的研究成果中，典型的成果代表有：Argus系統(tǒng)，該系統(tǒng)可以檢測和識別出出入場所的人，并向系統(tǒng)管理者通報[1]；VSAM系統(tǒng)，該系統(tǒng)能夠智能化的對采集到的視頻圖像分析和處理，在人自身無法達(dá)到的區(qū)域，就可以采用這種系統(tǒng)，避免了人在該場所監(jiān)控的危險情況的發(fā)生；人物偵探系統(tǒng)，是現(xiàn)在人臉檢測系統(tǒng)的前身，利用不同人物人臉模型不同的特點(diǎn)進(jìn)行人臉識別，能夠檢測，識別出進(jìn)入攝像機(jī)監(jiān)控范圍的人，甚至發(fā)展到直接顯示出人物的詳細(xì)信息[2]；W4實時監(jiān)控系統(tǒng)，它是更高級、更先進(jìn)的智能系統(tǒng)，有物體形狀分析、建立模型功能，并進(jìn)行模型匹配，可以對符合模型匹配條件的多個目標(biāo)跟蹤，對復(fù)雜區(qū)域內(nèi)的單個目標(biāo)或者多個目標(biāo)進(jìn)行跟蹤、監(jiān)控[3].視頻監(jiān)控系統(tǒng)主要的研究就是運(yùn)動目標(biāo)的檢測和運(yùn)動目標(biāo)的特征識別.光流法，幀間差分法，背景減除法是當(dāng)前較常用的三種人體運(yùn)動目標(biāo)檢測法.在運(yùn)動目標(biāo)檢測的研究中，本文采用三幀差分法用來檢測運(yùn)動的人體目標(biāo)，得到人體輪廓圖像，以便于進(jìn)行下一步的異常行為的識別.

目前國內(nèi)外學(xué)者對于運(yùn)動目標(biāo)識別的算法研究已經(jīng)比較成熟，本文在以前的研究基礎(chǔ)上提出了一種基于Hu矩[4]不變性算法的人體異常行為識別算法，很好的達(dá)到了智能監(jiān)控的目的.人體在運(yùn)動過程中，對人體所做出的運(yùn)動動作可以通過時間分解，分解為一個圖像的幀序列，將人正常行走和摔倒兩種行為的一個周期用一組連續(xù)的圖像序列表示.并對每一幀圖像進(jìn)行預(yù)處理，提取出人物的輪廓，并認(rèn)定為人正常行走為正常行為，摔倒為異常行為，從而建立一系列的規(guī)則，把正常走形的行為的當(dāng)前幀作為模版，對視頻圖像中的每一幀進(jìn)行模版匹配，識別出異常行為.

1 基于三幀差分法的目標(biāo)精確檢測

直接對相鄰兩幀圖像做差以檢測運(yùn)動目標(biāo)是幀差法的特點(diǎn)，其處理過程簡單直接，時效性好.但是如果同一個像素點(diǎn)在相鄰兩幀圖像中的變化很小時，就會出現(xiàn)檢測不出運(yùn)動目標(biāo)的情況發(fā)生.而且上一幀圖像中被運(yùn)動目標(biāo)覆蓋，但是在下一幀的圖像中就會表現(xiàn)出來，這樣這個像素點(diǎn)的圖像就會被認(rèn)為是運(yùn)動的目標(biāo)，其結(jié)果就是將背景像素點(diǎn)誤認(rèn)為是目標(biāo)像素點(diǎn)，誤差引入的多少由許多因素決定，例如，目標(biāo)的運(yùn)動速度、幀間隔的選取等，因此獲得精確的運(yùn)動目標(biāo)是十分困難的.

采取三幀差法代替兩幀差法，三幀差法利用視頻序列中兩幀之間人體運(yùn)動目標(biāo)差別很小的條件下，采取對三幀的圖像進(jìn)行運(yùn)算，用當(dāng)前幀的圖像分別與前一幀和后一幀的圖像做差分運(yùn)算，在對得出的兩個結(jié)果與相同的部分，這樣的檢測方法可以比較好的檢測出運(yùn)動的目標(biāo)，可以有效克服幀間差分法對運(yùn)動目標(biāo)檢測的不足之處.

在采集到的視頻序列中，設(shè)f(x,y,t)為t時刻的當(dāng)前幀圖像，f(x,y,t-1)表示t時刻的前一幀圖像，f(x,y,t+1)表示t時刻后一幀圖像，則t時刻相鄰兩幀幀差法檢測的結(jié)果Dt,t-1(x,y,t)和Dt,t+1(x,y,t)為：

Dt,t-1(x,y,t)=f(x,y,t)-f(x,y,t-1)

(1)

Dt,t+1(x,y,t)=f(x,y,t+1)-f(x,y,t)

(2)

將Dt,t-1(x,y,t)和Dt,t+1(x,y,t)二值化的結(jié)果為：

(3)

(4)

其中：Dt,t-1(x,y,t)=0表示該點(diǎn)的背景像素點(diǎn)，Dt,t-1(x,y,t)表示當(dāng)前幀圖像f(x,y,t)與前一幀圖像f(x,y,t-1)差分二值化后得到的人體運(yùn)動目標(biāo)的像素點(diǎn).Dt,t+1(x,y,t)=0表示改點(diǎn)的背景像素點(diǎn)，Dt,t+1(x,y,t)=1表示當(dāng)前幀的后一幀圖像f(x,y,t)和當(dāng)前幀圖像f(x,y,t+1)差分的結(jié)果.幀差法對于閾值T的選擇非常重要，直接影響著檢測結(jié)果的準(zhǔn)確性，閾值T過小會引入大量噪聲影響，閾值T過大會導(dǎo)致檢測出的目標(biāo)不完整.

2 Hu矩不變性算法

矩不變量是目標(biāo)圖像的一種區(qū)域描述,也是目標(biāo)的特征匹配的常用方法.由于它對平移、旋轉(zhuǎn)和尺度變化的目標(biāo)具有不變性,因此可以對經(jīng)區(qū)域分割得到不同目標(biāo)圖像區(qū)域計算其不變矩,并以不變矩作為特征量來對具有旋轉(zhuǎn)和尺度變化的目標(biāo)圖像進(jìn)行識別[5].

Hu矩的定義如下：

假設(shè)f(x,y)是二維圖像函數(shù)，那么(p+q)階原點(diǎn)矩可以定義為：

(5)

其中：Ω為x,y的取值范圍區(qū)間，mpq的定義為f(x,y)在單項式上的投影.顯然mpq由f(x,y))惟一確定，反之亦然.由于mpq在平移過程中是變化的，不存在不變性，所以(p+q)階中心矩為：

(6)

(x,y)即為區(qū)域的矩心坐標(biāo).

對于N×M的數(shù)字圖像信息，可以用求和的方法代替求積分，即(p+q)階原點(diǎn)矩為：

(7)

階中心距為：

(8)

將(p+q)階歸一化中心矩記作ηpq定義為：

(9)

(10)

利用二階和三階中心矩可導(dǎo)出以下圖像信息的不變矩組M1，M2，M3，M4，M5，M6，M7：

M1=η20+η02

M3=(η30-3η12)2+(3η21-η03)2

M4=(η30+η12)2+(η21+η03)2

M5=(η30-3η12)+(η30+η12)[(η30+η12)2-3(η21+η03)2]+(3η21-η03)(η21+η03)[3(η30+η12)2-(η21+η03)2]

M6=(η20-η02)[(η30+η12)2-(η21+η03)2]

+4η11(η30+η12)(η21+η03)

M7=(3η21-η03)(η30+η12)[(η30+η12)2-3(η21+η03)2]+(3η21-η03)+(η21+η03)[3(η30+η12)2-(η21+η03)2]

(11)

求出的不變矩組M1，M2，M3，M4，M5，M6，M7就可以用來描述物體的形狀，并且具有旋轉(zhuǎn)、平移和尺度變化不變性.根據(jù)Hu矩不變性算法的7組不變矩特征公式對用三幀差分法提取的人物正常行走行為的輪廓圖片和人物摔倒的行為的輪廓圖片進(jìn)行仿真,得出結(jié)果.

利用上述算法，可以更好的對人體正常行走的行為和人體摔倒的行為進(jìn)行識別，可以精確的計算出當(dāng)前幀圖像的數(shù)據(jù)與人體正常行為的幀圖像數(shù)據(jù)進(jìn)行對比，如果得到的特征值結(jié)果在正常行走設(shè)定的特征值范圍內(nèi)，則表示該人體運(yùn)動行為屬于正常行為，如果不在設(shè)定的特征值范圍內(nèi)，則表示該一體運(yùn)動行為屬于異常行為.

3 實驗結(jié)果分析

首先通過幀差法對一段視頻中進(jìn)行人體行為檢測,提取出人物的輪廓，分別檢測出人正常行走和摔倒的人體行為.通過幀差法提取人正常行走視頻的第1幀，第4幀，第7幀的圖片，結(jié)果如圖1.

圖1 正常行走中提取的三幀圖像

通過三幀差分法提取人摔倒視頻的第1幀，第4幀，第7幀的圖片，結(jié)果如圖2.

圖2 人摔倒提取的三幀圖像

根據(jù)Hu矩不變性算法的7組不變矩特征公式對用幀差法提取的人物正常行走行為為的輪廓圖片和人物摔倒的行為的輪廓圖片進(jìn)行仿真，得出結(jié)果.為了便于對人物正常行走和人摔倒兩種行為的仿真結(jié)果進(jìn)行比較，將由Hu矩不變性算法的7組不變矩公式得出的結(jié)果放大并取絕對值，M1放大103，M2放大106，M3放大1011，M4放大1011，M5放大1021，M6放大1014，M7放大1021，得出以下數(shù)據(jù)：

正常行走：

表1 人物正常行走的特征值

摔倒：

表2 人物摔倒的特征值

通過觀察表中數(shù)據(jù)可知，圖1中(A)、(B)、(C)三幅圖像的特征值結(jié)果比較接近，而圖2中(D)、(E)、(F)三幅圖像的特征值結(jié)果比較相近，其實如果通過某種聚類算法對其進(jìn)行分類，可以發(fā)現(xiàn)前三幅圖屬于同一類型，后三幅圖屬于同一類型，這就再次證明了 Hu 矩算法有著良好的旋轉(zhuǎn)，翻轉(zhuǎn)不變性，對圖片的相似性的對比精確性很高.

4 結(jié) 語

本文設(shè)計了一種基于視頻的人體異常行為檢測與識別算法.首先使用三幀差分法對視頻進(jìn)行檢測，然后使用Hu 矩不變性算法對異常行為進(jìn)行識別.通過三幀差分法可以很好的提取人物運(yùn)動時的輪廓，在通過Hu矩不變性算法，運(yùn)用Hu據(jù)不變性算法的7組Hu矩不變性公式得出人物正常行走行為和人物摔倒行為的特征值，在對得出的特征值就行比較，區(qū)分出人物正常行走和人物摔倒兩種行為.從實驗結(jié)果可以看出幀差法可以很好的檢測出人物的輪廓，基于 Hu 矩的異常行為的識別可以很好的識別出正常行走和摔倒兩種行為.

參考文獻(xiàn)：

[1] SUKTHANKAR R, STOCK R. Argus: the digital doorman [J]. Browse Journals & Magazines, 2001, 16(2): 14-19.

[2] J STEFFENS J, ELAGIN E, NEVEN H. Person spotter-fast and robust system for human detection, tracking and recognition [C]//Nnar: IEEE, 1998.

[3] KUI J, LIYANAGE D, SILVA D. Combined face detection recognition system for smart rooms [J]. Lecture Notes in Computer Science, 2003, 2688: 787-795.

[4] HU M K. Visual Pattern Recognition by Moment Invariants [J]. Information Teory, IRE Transactions, 1962, 8(2):179-187.

[5] 丁明躍.不變矩算法研究[J]. 數(shù)據(jù)采集與處理, 1992, 7(1):1-9.