一種基于光流法的逆行異常事件檢測方法

黃 佐 ，徐 奕，楊小康

（1.上海交通大學(xué) 電子工程系 圖像通信與信息處理研究所,上海 200240；2.上海市數(shù)字媒體處理與傳輸重點實驗室,上海 200240）

0 引言

視頻行為分析是當(dāng)今計算機視覺和人工智能領(lǐng)域的一個新興研究方向。異常事件檢測是其中的一個重要應(yīng)用。近年來，攝像頭的成像質(zhì)量顯著提高，而且安裝容易且其價格相對低，這使得智能視頻行為分析具備了可行條件。如今，在大街小巷都能看到監(jiān)控攝像頭的身影，尤其是在重要的干道和十字路口。這些監(jiān)控的視頻可以傳輸?shù)教幚碇行?，進行交通流量估計、車輛和行人的檢測與跟蹤，以及異常事件的檢測。

近幾十年來，各種異常事件檢測的算法相繼被提出，并產(chǎn)生了許多商業(yè)應(yīng)用，如ObjectVideo公司研發(fā)的車站監(jiān)控系統(tǒng)，intuVision公司的VideoAnalyst。但是，異常事件檢測仍然面臨諸多挑戰(zhàn)問題：當(dāng)目標(biāo)發(fā)生相互遮擋，背景的混亂與干擾，圖像存在部分模糊，以及語義噪聲的存在，檢測的準(zhǔn)確率會明顯下降。異常事件檢測任務(wù)對視頻處理系統(tǒng)的穩(wěn)定性、實時性、穩(wěn)健性都提出了很高的要求。目前異常事件檢測依然是視頻圖像處理領(lǐng)域中的一個開放問題。

機場大廳、公路等公共場合，經(jīng)常要求行人或車輛單向運動，以避免環(huán)境的擁堵、保障開放環(huán)境的安全及秩序。因此對逆行事件進行檢測在許多開放場合顯得非常必要。事實上，由美國國家標(biāo)準(zhǔn)技術(shù)局（National Insti?tute of Standards and Technology，NIST）組織實施，作為視頻檢測領(lǐng)域權(quán)威國際評測的TRECVID，自2008年開始也將其列入必選事件檢測。

筆者提出一種逆行異常事件的檢測算法，它利用光流法（optical flow）快速計算圖像中特征點的運動矢量，并結(jié)合特征點的空間位置分布進行特征點的聚類，有效抵抗了噪聲點的干擾，提高了在多人復(fù)雜環(huán)境下逆行異常事件的檢測準(zhǔn)確率。

1 本文算法流程

逆行異常事件通常是由某個行人或車輛的反向運動導(dǎo)致的，此時表征行人或車輛的特征點的運動方向與正常的運動方向相反或成較大角度，因此可以利用Lu?cas－Kanade光流法（簡稱LK光流算法）計算角點特征點的運動矢量，來判斷逆行異常事件是否發(fā)生。實際上，當(dāng)一定區(qū)域內(nèi)一定數(shù)量特征點的運動方向與正常運動方向相反或成較大角度時，一般可判定發(fā)生了逆行異常事件。

逆行異常事件具有一定的區(qū)域性，通常只需在環(huán)境的某個位置進行檢測，如在機場的大廳入口即可完成檢測，而與大廳內(nèi)部無關(guān)。本算法通過選定感興趣區(qū)域避免提取無關(guān)的特征點，可減少后續(xù)光流計算的運算量。

視頻本身具有的噪聲，以及場景中某些背景物體的偶然輕微運動都會對逆行的判斷造成干擾。然而這些干擾運動比較分散且密度低。因此，筆者提出一種基于特征點空間分布的聚類算法來濾除這部分干擾。

本文設(shè)計逆行檢測算法流程如圖1所示。

1）讀入待檢測視頻的當(dāng)前幀。視頻的拍攝角度以及質(zhì)量對檢測準(zhǔn)確率有一定的影響。

2）通過手動框選或者通過智能分析自動形成掩膜圖像，獲取圖像的待檢測感興趣區(qū)域。這個環(huán)節(jié)可提高檢測的效率，避免在無關(guān)區(qū)域浪費計算資源。

3）提取出感興趣區(qū)域內(nèi)的角點作為特征點，特征點可以精確到子角點（subpixel corner）。

4）基于LK光流算法計算出感興趣區(qū)域內(nèi)各特征點的運動矢量。

5）提取出候選的逆行特征點，根據(jù)特征點的位置關(guān)系進行聚類，判斷本幀是否存在滿足逆行判定條件的特征點聚類。

6）如果連續(xù)M幀（本實驗中M取值為6）都存在逆行聚類，則判定發(fā)生了逆行事件，進行報警。

2 Lucas－Kanade光流法

最初，Horn－Schunck提出了光流場的計算[1]。假設(shè)在t時刻，圖像上點(x,y)處灰度值為I(x,y,t)，在t+Δt時刻，該點運動到(x+Δx,y+Δy,t+Δt)，對應(yīng)的灰度值為I(x+Δx,y+Δy,t+Δt)。假設(shè)該點的灰度值未發(fā)生變化，則應(yīng)滿足

將式（1）左邊項在點(x,y,t)處用泰勒公式展開，令Δt→0，得到光流基本方程

從式（3）可以看出，灰度空間梯度與光流速度的點積等于灰度對時間的變化率。這個方程中包含了兩個未知數(shù)，是典型的病態(tài)問題。常用的解法是增加約束條件來求解。Lucas和Kanade假設(shè)在一個小的空間鄰域Ω上的運動矢量保持恒定，通過加權(quán)最小二乘法估計光流[2]。在一個小的空間鄰域Ω上，光流估計誤差定義為

式中：T(x)表示窗口權(quán)重函數(shù)，它強調(diào)鄰域中心區(qū)域?qū)φ`差的貢獻比外圍區(qū)域大，式（4）的解可表示為

其中，在t時刻的n個點Xt∈Ω，A=[▽I(X1),▽I(X2),…,▽I(Xn)]T，W=diag[W(X1),W(X2),…,W(Xn)]，B=-[It(X1),It(X2),…,It(Xn)]T。

盡管LK光流算法非常高效，但對整個圖像的所有像素進行光流場計算耗時較高，也不一定有意義，例如在機場大廳檢測逆行事件，只需關(guān)注大廳的入口處即可，而大廳內(nèi)部則可以忽略。因此，在實際的檢測過程中，先選定感興趣區(qū)域，提取出該區(qū)域中的角點特征點，然后計算出各個角點特征點的運動矢量，從而減少計算復(fù)雜度，提高系統(tǒng)實時性。

如圖2所示，在機場大廳的逆行事件檢測實驗中，筆者選取原始圖像中大門所在的區(qū)域（見圖3）作為檢測區(qū)域，提取出待檢測區(qū)域中的角點特征點（圖4），獲得的光流場圖像如圖5所示。通過觀察圖5中的運動矢量圖，可以明顯發(fā)現(xiàn)，其中一個正要通過大門的行人的運動矢量的方向與正常運動方向相反，而且數(shù)值較大。

3 聚類算法

聚類算法有很多種，常用的方法復(fù)雜度較高，如K－MEANS算法[3]、Clara算法[4]，它們比較適合大規(guī)模的數(shù)據(jù)集，而且K－MEANS算法需要預(yù)先指定聚類的個數(shù)。逆行異常事件中特征點具有一定的特殊性，它們個數(shù)相對較少，而且聚類個數(shù)不確定，因此筆者提出一種小規(guī)?？焖俚木垲惙椒ā?/p>

通過LK光流算法，可以獲得各個特征點的運動矢量。為分析逆行異常事件，先假定正常的運動矢量為C。特征點Pn當(dāng)前的運動矢量為D，如果D與C的夾角α滿足150°≤α≤180°，則將Pn視為候選逆行特征點。當(dāng)一個特定大小的矩形區(qū)域內(nèi)候選逆行特征點超過一點數(shù)量時，即判定發(fā)生了逆行異常事件。

算法步驟如下：

1）采用LK光流算法獲得當(dāng)前幀特征點的運動矢量。

2）提取出候選逆行特征點，保存在一個鏈表PointList中。

3）如果PointList中的元素大于0，執(zhí)行步驟4），否則聚類結(jié)束。

4）創(chuàng)建一個鏈表結(jié)構(gòu)的新的聚類Clusterj，將PointList的第一個元素P0存入Clusterj，作為Clusterj的頭結(jié)點，并將P0從PointList中刪除。

5）從Clusterj的頭結(jié)點依次向后遍歷，每個結(jié)點執(zhí)行以下過程：設(shè)當(dāng)前結(jié)點為CPk（1≤k≤當(dāng)前的Clusterj元素總量），以CPk為圓心，作半徑為R（本實驗中R取值為40個像素）的圓Ok，遍歷PointList中剩余的所有元素Pi，如果Pi落入圓Ok中，則將Pi添加到Clusterj鏈表的末端，成為新的末節(jié)點，并從PointList移除Pi。該過程循環(huán)至Clusterj的末節(jié)點不再更改而結(jié)束。

6）重復(fù)步驟3）。

7）遍歷所有Cluster，如果存在一個Clusterj的元素總量大于門限值N（本實驗中N取值為20），則認(rèn)為當(dāng)前幀存在逆行方向的特征點聚類。

上述算法基于距離對候選逆行特征點進行聚類，由于每幀感興趣區(qū)域的候選逆行特征點一般不多，約5～80個，因此聚類算法收斂速度快，而且能動態(tài)地獲取不同的聚類數(shù)量。

圖6給出兩個不同時刻圖像幀中候選逆行特征點的聚類結(jié)果。圖6a，c，e為一組聚類過程；圖6b，d，f為另一組聚類過程。前一組未出現(xiàn)噪聲點，聚類效果理想。后一組中，自動大門的開閉運動產(chǎn)生了候選逆行特征點，如圖6f的橢圓內(nèi)空心小圓圈所示。然而，由于它們的位置離行人逆行產(chǎn)生的候選逆行特征點較遠(yuǎn)，而且數(shù)量較少，算法最終判定其為干擾噪聲點。

4 實驗結(jié)果

實驗選取了TRECVID2009的數(shù)據(jù)集作為測試視頻。這些視頻所攝場景為機場的一個出口，所拍攝的正常行為表現(xiàn)為旅客由大廳往外走。因此，當(dāng)發(fā)現(xiàn)旅客由外面穿過大門走向大廳，并且身體完全通過大門時（包括旅客的行旅物品等），即可判定為發(fā)生了逆行異常事件。在該事件分析中筆者選取了大廳大門的中上部分作為待分析的感興趣區(qū)域。圖7是本算法一組實驗結(jié)果的截圖，圖7a～e是連續(xù)5幀原始圖像的待檢測區(qū)域圖像，圖7f～j為對應(yīng)的角點特征點圖像，圖7k～o為逆行特征點的聚類結(jié)果。

實驗平臺配置為，操作系統(tǒng)：Windows XP Profession?al，CPU：Intel Core2 Duo E4600（2.40 GHz），內(nèi)存：2 Gbyte。系統(tǒng)開發(fā)環(huán)境為：Windows Visual Studio 2005。

測試視頻分辨率為720×576，幀速為24 f/s（幀/秒），視頻集共約100 h發(fā)生逆行事件14次。TRECVID2009數(shù)據(jù)集中，攝像頭安裝在出口大門的側(cè)邊，取景角度傾斜。另外，由于飛機航班陸續(xù)到達，旅客在某些時刻非常密集，流向不穩(wěn)定，導(dǎo)致遮擋情形嚴(yán)重。本文的檢測算法可有效處理這種實際監(jiān)控場景的復(fù)雜情形，14次逆行事件被檢測出13次，誤警次數(shù)4次，平均檢測速度為17 ms/f。

5 結(jié)論與展望

一些高敏感性、高安全性、高秩序性的場合要求行人或車輛單向運行。對這類環(huán)境的監(jiān)控視頻進行逆行異常事件的檢測一直是近年來的研究的熱點。筆者提出了一種逆行異常事件檢測算法，它能滿足監(jiān)控系統(tǒng)的實時性要求，并具有較高的檢測率，該方法在TRECVID2009事件競賽中取得了最好的逆行事件檢測效果。另外，如何有效地將特征點的運動矢量或者運動軌跡，運用到行為分析，尤其是其他類型的異常事件檢測中，是本文下一步研究工作的重點。

[1] HORN B K P，SCHUNCK B G.Determining optical flow[J].Artificial Intelligence，1981，17:185－203.

[2] LUCAS B D，KANADE T.An iterative image registration technique with an application to stereo vision[C]//International Joint Conference on Artificial Intelligence（IJCAI－81）.Vancouver：[s.n.]，1981：674－679.

[3]ZHANG Yuang，MAO Jiali，XIONG Zhongyang.An improved k－means algorithm[J].Computer Applications，2003，23（8）：31－33.

[4] NG R T，HAN Jiawei.Efficient and effective clustering methods for spatial data mining[C]//Proceeding of the 20th VLDB Conference.Santiago，Chile：Institute of Electrical＆ Electronics Engineers，1994:144－155.

黃 佐（1986-），碩士，主研基于視頻的異常事件檢測；

徐 奕，講師，主研圖像處理、小波變換和計算機視覺；

楊小康，教授，博士生導(dǎo)師，主研圖像通信、數(shù)字電視、圖像處理和模式識別。