基于背景建模和幀間差分法的高點監(jiān)控行人檢測

胡亞洲, 周亞麗， 張奇志

(北京信息科技大學 自動化學院，北京 100192)

0 引 言

當今社會，城市發(fā)展十分迅速，大量人口不斷地涌入城市，給城市的治理造成了很大的困難。尤其一些人流量比較密集的地方，極易發(fā)生擁堵或踩踏等事故，比如火車站廣場等。人流過于密集為工作人員的管理帶來很大的困難，同時智慧城市的建設(shè)也在如火如荼的進行中，智能監(jiān)控統(tǒng)計人流量也屬于智慧城市建設(shè)的一部分，因此，一套安全有效的高點行人檢測方案對智慧城市的建設(shè)是很有幫助的。

行人檢測的方法主要有方向梯度直方圖(Histogram of Oriented Gradient, HOG)和支持向量機(Supported Vector Machine,SVM)、AdaBoost和Haar分類器訓練行人檢測模型、DPM行人檢測[1]和近幾年廣泛使用的深度學習行人檢測算法。2005年在IEEE國際計算機視覺與模式識別會議(IEEE Conference on Computer Vision and Pattern Recognition，CVPR)上，Dalal等[2]提出利用HOG進行特征提取。HOG特征是一種在計算機視覺和圖像處理中用來進行物體檢測的特征描述子，它通過計算和統(tǒng)計圖像局部區(qū)域的梯度方向直方圖來構(gòu)成特征。提取的HOG特征結(jié)合SVM分類器組成的算法，已經(jīng)被廣泛的在圖像處理目標識別領(lǐng)域應(yīng)用，尤其在行人檢測中獲得了很好的效果，在工程項目上也廣泛使用[3]。雖然Papageorgiou等在人臉檢測上最先應(yīng)用Haar-like特征，但是在2001年Viola等[4]在Adaboost迭代算法的基礎(chǔ)上，使用Haar-like小波特征和積分圖方法進行人臉檢測[5]，提取了關(guān)于人臉更好的特征，而且對AdaBoost迭代算法訓練出的弱分類器進行級聯(lián)，組成一個更好的強分類器，因而達到了更好的檢測效果,這次飛躍，在人臉檢測的歷史進程中具有重大的意義。同樣Haar-like特征[6]在行人檢測上同樣適用。上述算法實現(xiàn)過程都是提取大量樣本的特征，通過學習記憶，到達再次出現(xiàn)行人的時候可以準確地檢測出來，前提是人物的特征比較明顯。深度學習的概念由Hinton等于2006年提出，近幾年深度學習應(yīng)用非常廣泛，在計算機視覺，語音識別，自然語言處理方面都有廣泛的應(yīng)用。深度學習行人檢測的主要算法有Faster-Rcnn、SSD、Yolo，這些算法在目標檢測領(lǐng)域都有很好的效果。2015年Ross Girshick團隊在Fast-Rcnn基礎(chǔ)上提出了Faster-Rcnn，簡單網(wǎng)絡(luò)目標檢測(ZF模型)速度可以達到幀率17 f/s，在PASCAL VOC數(shù)據(jù)集上的準確率為59.9%；復雜網(wǎng)絡(luò)幀率在5 f/s左右，準確率可以達到78.8%[7]。雖然該算法速度慢，但是Faster-Rcnn是通過大量樣本自己去學習目標的特征，在檢測效果上比傳統(tǒng)算法有了很大的提升，但是該算法需要在配置GPU顯卡的電腦上運行，對計算機硬件的要求比較高，很多應(yīng)用場景不可能配置高性能的計算機，而且針對本文的高點行人檢測應(yīng)用場景，雖然樣本也足夠多，但是目標物很小，特征不明顯，當新的行人出現(xiàn)時分不清是目標物還是噪聲。綜合分析，以上算法不適合現(xiàn)在的應(yīng)用場景，本文中處理的行人目標很小，根本不能提取足夠的特征來進行學習，所以排除了一些主流的行人檢測算法。

由于場景比較特殊，行人占據(jù)的像素很小，本文通過運動的特征來統(tǒng)計人數(shù)，常見的方法有加權(quán)平均背景建模、混合高斯背景建模、幀間差分法、背景差分法。混合高斯背景建模是基于像素樣本統(tǒng)計信息的背景表示方法，利用像素在較長時間內(nèi)大量樣本值的概率密度等統(tǒng)計信息(如模式數(shù)量、每個模式的均值和標準差)表示背景[8]，然后通過視頻流中的當前幀與背景幀做差分得到運動目標，但是該算法的計算量比較大，因而對機器的性能要求較高，而且對于小物體檢測的效果不太理想。背景差分法是利用當前輸入幀和背景差來獲取運動目標，算法優(yōu)點是簡單、處理速度快，且差分結(jié)果能直接提取運動目標，不足是背景圖像會受到天氣和光線等外界因素的影響，需要對背景進行動態(tài)更新[9]。加權(quán)平均背景建模是一種簡單、計算速度快但對環(huán)境光照變化和背景的多模態(tài)性比較敏感的一種背景建模算法。其基本思想是：計算每個像素的平均值作為它的背景模型。檢測當前幀時，只需要將當前幀像素值I(x,y)減去背景模型中相同位置像素的平均值u(x,y)，得到差值d(x,y)，將d(x,y)與一個閾值T進行比較，得到輸出。幀間差分法是一種通過對視頻圖像序列中相鄰兩幀作差分運算來獲得運動目標輪廓的方法，它可以很好地適用于存在多個運動目標和攝像機移動的情況[10]。當監(jiān)控場景中出現(xiàn)異常物體運動時，幀與幀之間會出現(xiàn)較為明顯的差別，兩幀相減，得到兩幀圖像亮度差的絕對值，但是大型廣場行人的像素很小，單純的用幀間差分法很難判斷運動物體屬于噪聲還是目標。

針對上述算法分析，結(jié)合高點行人檢測的具體應(yīng)用場景，本文提出采用加權(quán)平均背景建模和幀間差分法相結(jié)合的算法實現(xiàn)高點行人檢測。背景建模實時更新背景與當前幀進行比較，同時幀與幀之間采用幀間差分法比較，對兩次比較的結(jié)果做差分，最后得出檢測的結(jié)果。

1 算法實現(xiàn)

1.1 虛擬線圈即檢測區(qū)域繪制

高點攝像頭可以實現(xiàn)大面積布控，但是很多區(qū)域并不是我們感興趣的區(qū)域，本文通過繪制虛擬線圈，可以有效地檢測對應(yīng)的感興趣區(qū)域。

虛擬線圈的設(shè)置主要有兩點目的，①手動繪制檢測區(qū)域，實現(xiàn)只檢測目標區(qū)域的行人;②由于處理數(shù)據(jù)的減少，提高了背景建模的效率，實時性更好。

1.2 背景建模

1.2.1背景提取

在統(tǒng)計運動物體時必須先建立場景的背景，這樣才可以準確地統(tǒng)計出有用的前景信息，僅使用單幀圖片是無法獲得足夠的信息，因此需要在實時統(tǒng)計行人數(shù)量前先進行背景建模。本文使用了多幀圖像平均的方法[11],其原理是：背景圖像的灰度值和運動物體灰度值有很大的差異，當運動物體經(jīng)過背景圖像上的特定點時，這就會引起該位置像素的變化，所以通過計算一段時間的圖像的平均像素值，以此來獲得該場景的背景圖。本文中提取前N(N= 300)幀圖像進行前期的背景建模，N取值越大，背景提取的效果越好。多幀平均算法的表達式如下:

(1)

式中:Bn為采集到第n幀圖像時系統(tǒng)建立的加權(quán)平均背景模型，存儲為灰度圖格式;N為加權(quán)平均的幀數(shù);fn,fn-1,fn,…,fn-N+1為系統(tǒng)所保留的連續(xù)N幀圖像。圖1為背景建模效果圖。

(a)原始幀

(b)100幀背景建模

(c)200幀背景建模

(d)300幀背景建模

從圖1(a)可以看到很多行人;圖1(b)是通過100幀的背景建模，行人已經(jīng)模糊，可以隱約看到行人，對于一直站著不動的行人，會把這些行人當作背景處理;圖1(c)是經(jīng)過200幀連續(xù)圖像背景建模的效果，實際背景效果比圖1(b)有一定的提升;圖1(d)是經(jīng)過300幀背景建模，可以發(fā)現(xiàn)背景的效果更加顯著，雖然還有瑕疵，這是因為背景建模的幀數(shù)影響，通過后續(xù)實時背景更新，背景效果會有更好的提升。

1.2.2背景差分

背景差分[12]是運動目標檢測中一種常見的方法，它是利用當前幀圖像與背景圖像的差分運算來檢測出運動區(qū)域的一種算法。該算法實現(xiàn)的具體過程：①建立背景圖像；②當前幀與背景圖像做差分運算;③選擇一個合適的閾值，對差分圖像進行二值化。

背景差分的公式表達為：

式中:Ck(x,y)為當前幀圖像;Bk(x,y)為背景建模之后產(chǎn)生的背景圖像;Dk(x,y)為當前幀圖像與背景圖像做差分得到的差分圖像。通過式(3)可以把差分圖像轉(zhuǎn)化為二值化圖像，若Dk(x,y)>T(T為二值化的閾值)，則Rk(x,y)=0，為運動的行人;Rk(x,y)=1為背景圖像。

該算法原理及實現(xiàn)過程較簡單，根據(jù)高點檢測場景，通過調(diào)節(jié)參數(shù)及相關(guān)閾值可以準確地檢測到運動目標的位置、大小和形狀等相關(guān)信息，但是該算法受光線、天氣等外界條件變化的影響較大。

1.2.3背景更新

前期采集300幀圖像作為背景建模的樣本，但是外部的環(huán)境也是在緩慢變化的,如光線等，這些變化會對差分的結(jié)果產(chǎn)生影響，所以需要實時更新背景[13]，以適應(yīng)場景的變化，達到更好的檢測效果。背景實時更新是通過獲取的當前幀與背景的加權(quán)平均所得，更新計算式如下：

(4)

式(4)說明新的1幀背景模型Bn可以由上一次計算得到的背景模型Bn-1，當前fn以及fn-N幀遞推得到，這樣就實現(xiàn)了背景模型的更新。顯然，N值越大，得到的背景模型Bn就越接近于真實背景。

1.3 幀間差分法

幀間差分法[14]是一種通過對視頻圖像序列中相鄰兩幀作差分運算來獲得運動目標輪廓的方法，它可以很好地適用于存在多個運動目標和攝像機移動的情況。幀間差分法的優(yōu)點是：算法實現(xiàn)簡單，程序設(shè)計復雜度低。對光線等場景變化不太敏感，能夠適應(yīng)各種動態(tài)環(huán)境，穩(wěn)定性較好。其缺點是：該算法容易受到噪聲的干擾，如果消除不了噪聲，會產(chǎn)生很多的誤檢，對輸出結(jié)果有很大的影響。

1.4 背景建模與幀間差分法結(jié)合

單獨使用背景建模算法會受光線和天氣等的影響，尤其光線變化時背景建模的前景檢測方法易將背景檢測為前景,形成大片陰影或者大的“斑點”的缺陷，造成行人定位坐標不準確和產(chǎn)生誤檢。幀間差分法對光線不敏感，能夠適用各種動態(tài)，可以有效克服光線的影響，但是對噪聲不敏感，由于行人目標比較小，單獨使用幀間差分法會把噪聲誤判為行人，造成誤檢，使得統(tǒng)計結(jié)果不準確。鑒于以上算法的優(yōu)缺點，本文將背景建模和幀間差分法結(jié)合起來，可以有效去除光線，噪聲等的影響，降低誤檢率，統(tǒng)計結(jié)果更為準確。

1.5 人數(shù)統(tǒng)計

人數(shù)統(tǒng)計是行人檢測的核心，本文中使用輪廓檢測計算虛擬線圈內(nèi)連通區(qū)域的數(shù)量來統(tǒng)計人流量。具體實現(xiàn)過程如下：①背景建模后經(jīng)過背景差分輸出的圖像與幀間差分法輸出的圖像通過矩陣的與運算得到最后的輸出；②對上述背景建模和幀間差分法輸出差分圖進行二值化操作，并且使用形態(tài)學的方法處理連通域的邊緣噪聲和內(nèi)部無黏連區(qū)域，從而使得目標區(qū)域的行人組成一個連通區(qū)，更好地檢測到輪廓;③通過計算輪廓的個數(shù)來統(tǒng)計人數(shù)。

2 實 驗

為了驗證文中所提算法，在VS2013環(huán)境下進行了實驗驗證，并與原算法進行比較。對監(jiān)控視頻進行檢測，目標是能準確計算出行人數(shù)，不受周圍噪聲的影響。

本實驗采用CPU2.5GHz、2GB內(nèi)存的計算機。采用的視頻分辨率為1 920×1 080，幀率為24幀/s。如圖2所示，截取視頻中的一幀，選取400×400作為原始圖像。

圖2 原始圖像

2.1 背景建模結(jié)果

圖3為背景建模算法檢測結(jié)果。其中，預處理階段所用參數(shù)：背景建模幀數(shù)N=300，閾值T=120，學習率α=0.01。從圖3可以看出，檢測效果受光線的影響使得框出的目標區(qū)域變大，多個行人被同一個框圈住，導致人流計數(shù)產(chǎn)生較大的誤差，同時產(chǎn)生誤檢，把無人的區(qū)域誤判為行人。

圖3 背景建模算法效果

2.2 幀間差分法結(jié)果

該算法首先連續(xù)獲取兩幀原始圖片，并且經(jīng)過灰度變換轉(zhuǎn)化為單通道圖像，然后做差分，對差分后圖像進行二值化，最后對二值化圖像做膨脹和腐蝕，輸出結(jié)果。相應(yīng)的處理參數(shù)：原始圖像的像素為400×400，二值化閾值T=20,實驗結(jié)果如圖4所示。從圖4可以得到，幀間差分法對光線不敏感，可以有效克服光線的影響，但是受噪聲的影響很大，導致誤檢較多。

圖4 幀間差分法法效果

2.3 背景建模與幀間差分法結(jié)合后結(jié)果

在圖像二值化預處理階段，將背景建模后的差分圖和幀間差分法得到的差分圖相比較，既可以克服光線的影響也可以有效地減少由于噪聲因素產(chǎn)生的誤檢，可以更加準確地統(tǒng)計人數(shù),檢測效果如圖5所示。從圖中可以發(fā)現(xiàn)，誤檢明顯減少，人物的位置框選也相對準確，統(tǒng)計的人數(shù)的效果也有一定程度的提升。圖6為本實驗的軟件界面及實驗效果圖。

圖5 本文算法效果

圖6 軟件界面及統(tǒng)計結(jié)果

表1給出了單獨使用一種算法和算法結(jié)合后的實驗結(jié)果?？梢园l(fā)現(xiàn),本文所采用的算法誤檢率最低。

表1 不同算法統(tǒng)計效果對比 個

3 結(jié) 語

本文提出了基于背景建模和幀間差分法相結(jié)合的的高點行人檢測方法。實驗證明采用背景建模和幀間差分法相結(jié)合的算法要優(yōu)于單純使用一種算法，可以充分濾除噪聲，去除光照等影響。本文所設(shè)計的算法已經(jīng)被鄭州市火車站所采用，在誤差允許的范圍內(nèi)可以準確地統(tǒng)計出人數(shù)，起到人數(shù)自動預警的作用，同時也節(jié)省了大量的人力物力，為智慧城市建設(shè)作出貢獻。