基于人流量檢測(cè)的改進(jìn)CN算法

張開(kāi)生，郭碧筱，劉澤新，楊 帆

(陜西科技大學(xué) 電氣與控制工程學(xué)院，陜西 西安 710021)

0 引 言

近年來(lái)，人流量檢測(cè)已成為機(jī)器視覺(jué)領(lǐng)域研究的熱點(diǎn)問(wèn)題之一，也是視頻監(jiān)控領(lǐng)域?qū)崿F(xiàn)的核心技術(shù)。實(shí)時(shí)采集人流量信息，實(shí)現(xiàn)人流量的精確統(tǒng)計(jì)對(duì)機(jī)場(chǎng)、商場(chǎng)及旅游景點(diǎn)等公共場(chǎng)合都有著重要意義。目前，國(guó)內(nèi)外已有眾多學(xué)者研究人流量的檢測(cè)，如：龔露鳴等[1]基于混合高斯和HOG+SVM的行人檢測(cè)模型，能識(shí)別前景圖像中所包含的信息類別，降低誤檢率，但背景建模較復(fù)雜；陳麗楓等[2]采用HOG特征和機(jī)器學(xué)習(xí)的行人檢測(cè)方法，利用邊緣檢測(cè)技術(shù)快速檢測(cè)出行人候選區(qū)域，提高檢測(cè)率，但實(shí)時(shí)性較差；高飛等[3]基于熱點(diǎn)區(qū)域定義的人數(shù)統(tǒng)計(jì)方法采用KCF跟蹤算法進(jìn)行目標(biāo)跟蹤，滿足復(fù)雜環(huán)境下行人檢測(cè)的準(zhǔn)確性和實(shí)時(shí)性，但在行人并肩時(shí)易產(chǎn)生漏檢問(wèn)題；李振宇等[4]基于運(yùn)動(dòng)目標(biāo)分類的雙向人流量統(tǒng)計(jì)算法在行人稀疏時(shí)檢測(cè)精度較高，但在行人密集且出現(xiàn)嚴(yán)重遮擋時(shí)檢測(cè)效果較差。

針對(duì)現(xiàn)有檢測(cè)算法存在的實(shí)時(shí)性、漏檢、誤檢、以及KCF跟蹤的特征單一性等問(wèn)題，本文在此基礎(chǔ)上通過(guò)改進(jìn)CN跟蹤算法來(lái)提高人流量的檢測(cè)精度，基于CN特征對(duì)目標(biāo)形變和HOG特征對(duì)目標(biāo)顏色、背景光照的強(qiáng)魯棒性，結(jié)合CN與HOG特征實(shí)現(xiàn)更好地識(shí)別跟蹤效果，另外，結(jié)合背景差分與三幀差分算法進(jìn)行運(yùn)動(dòng)目標(biāo)前景提取，增加檢測(cè)區(qū)域的準(zhǔn)確性，有效解決目標(biāo)漏檢、誤檢問(wèn)題。

1 目標(biāo)識(shí)別

1.1 目標(biāo)前景提取

在運(yùn)動(dòng)目標(biāo)檢測(cè)算法中，常用的差分算法有：背景差分法、幀間差分法以及三幀差分法。其中，背景差分法能獲得較完整的景象，但提取出的景象存在很大的穩(wěn)定性差異，敏感度降低，同時(shí)伴有噪音的出現(xiàn)；幀間差分法能很好地抑制噪音、適應(yīng)外界場(chǎng)景的變化、穩(wěn)定性得以保障，在運(yùn)動(dòng)目標(biāo)緩慢移動(dòng)造成前后幀重疊時(shí)，會(huì)錯(cuò)提取或漏提取運(yùn)動(dòng)目標(biāo)，并伴有嚴(yán)重的雙影現(xiàn)象；三幀差分法能改善幀間差分法嚴(yán)重的雙影現(xiàn)象，提高穩(wěn)定性，卻不能獲得較完整的景象。所以本文采取背景差分法與三幀差分相結(jié)合的方法來(lái)實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)的提取，使得到的檢測(cè)圖像中包含更多的目標(biāo)信息，從而將運(yùn)動(dòng)目標(biāo)從背景圖像中分離出來(lái)。

預(yù)先選取一幀作為背景幀，再運(yùn)用三幀差分法對(duì)圖像進(jìn)行差分處理，區(qū)分出背景點(diǎn)和目標(biāo)區(qū)域，即目標(biāo)在前一幀和當(dāng)前幀中所覆蓋的區(qū)域，將目標(biāo)區(qū)域與背景幀的對(duì)應(yīng)區(qū)域通過(guò)模型擬合進(jìn)行前一幀和當(dāng)前幀的區(qū)域點(diǎn)，并去除當(dāng)前幀陰影分割出當(dāng)前幀目標(biāo)區(qū)域。背景更新時(shí)以不同的更新率確定背景點(diǎn)和前一幀中的目標(biāo)區(qū)域。其算法流程如圖1所示。

圖1 目標(biāo)前景提取算法流程

1.2 目標(biāo)檢測(cè)

文中選用Dalal等提出的HOG(方向梯度直方圖)特征與SVM(支持向量機(jī))分類器[5]進(jìn)行行人頭肩的檢測(cè)，得到圖像中的行人頭肩目標(biāo)區(qū)域。

(1)顏色空間歸一化

將彩色圖像轉(zhuǎn)化為灰度圖像，并使用Gamma校正，在一定程度上降低噪聲的干擾，提高特征描述器對(duì)光照等干擾因素的魯棒性

I(x,y)=I(x,y)gamma

(1)

(2)圖像像素梯度計(jì)算

圖像中像素點(diǎn) (x,y) 的梯度為

Gx(x,y)=H(x+1,y)-H(x-1,y)

(2)

Gy(x,y)=H(x,y+1)-H(x,y-1)

(3)

式中：Gx(x,y) 為像素點(diǎn) (x,y) 的水平方向梯度，Gy(x,y) 為像素點(diǎn) (x,y) 的垂直方向梯度，H(x,y) 為像素點(diǎn) (x,y) 處的像素值。而像素點(diǎn) (x,y) 處的梯度幅值和梯度方向分別為

(4)

(5)

一般采用梯度算子對(duì)圖像進(jìn)行卷積運(yùn)算求取圖像梯度，文中用[-1,0,1]梯度算子對(duì)圖像進(jìn)行卷積操作得到水平方向的梯度分量，用[-1,0,1]T梯度算子進(jìn)行卷積操作得到豎直方向的梯度分量，然后求取圖像的梯度幅值和方向。

(3)在cell中計(jì)算梯度方向直方圖

參考文獻(xiàn)[1]中的計(jì)算方法，對(duì)于一個(gè)64×64的圖像窗口，首先將其劃分為若干個(gè)8×8像素的連通區(qū)域(cell)，相鄰cell之間不重疊，每一個(gè)歸一化的塊(block)由2×2個(gè)cell組成，則共有 (8-1)×(8-1)=49個(gè)block，將梯度方向量化為9個(gè)表示9個(gè)直方圖通道，將某個(gè)方向的直方圖通道采用加權(quán)投票的方式計(jì)算cell中的每一個(gè)像素點(diǎn)，像素點(diǎn)的梯度幅值決定了權(quán)值的大小，然后在每個(gè)cell內(nèi)統(tǒng)計(jì)梯度方向直方圖，得到的HOG特征向量的維數(shù)為49×2×2×9=1764。

(4)在block中歸一化梯度方向直方圖

將2×2的cell組合成一個(gè)連通塊(block)，而該block的HOG特征描述子為串聯(lián)block內(nèi)所有cell的特征向量，不同block之間相互重疊，局部鄰域信息得以有效利用。統(tǒng)計(jì)大范圍內(nèi)的梯度直方圖，并做歸一化處理，能夠更好地適應(yīng)光照和對(duì)比度的變化。常用的歸一化方法有4種，文中采用L2-norm進(jìn)行歸一化操作

(6)

2 目標(biāo)跟蹤計(jì)數(shù)

通過(guò)上節(jié)分析的HOG特征，得到圖像中的行人頭肩目標(biāo)區(qū)域，接著對(duì)目標(biāo)區(qū)域進(jìn)行跟蹤得到行人運(yùn)動(dòng)軌跡，通過(guò)設(shè)置感興趣區(qū)域計(jì)數(shù)線實(shí)現(xiàn)行人的人流量統(tǒng)計(jì)[6]。

本文通過(guò)自適應(yīng)權(quán)值的方式融合HOG與CN特征[7]，利用特征融合的相關(guān)濾波響應(yīng)圖求出目標(biāo)位置，同時(shí)采用Kalman濾波與CN結(jié)合的算法來(lái)實(shí)現(xiàn)目標(biāo)的跟蹤。Kalman濾波器在預(yù)測(cè)下一幀圖像中目標(biāo)位置的周圍選取合適的檢測(cè)窗口，可以預(yù)防前一幀圖像中目標(biāo)被完全遮擋時(shí)跟丟目標(biāo)的情況，提高跟蹤效率[8]。

2.1 CN跟蹤算法原理

CN跟蹤算法是在前一幀目標(biāo)坐標(biāo)位置的周圍選取合適的檢測(cè)窗口，利用循環(huán)偏移矩陣來(lái)構(gòu)建分類器的訓(xùn)練樣本，其中用到的循環(huán)矩陣在傅里葉空間的可對(duì)角化性質(zhì)將矩陣的運(yùn)算簡(jiǎn)化成向量的點(diǎn)乘，從而降低了算法的復(fù)雜度。其算法實(shí)現(xiàn)的主要步驟為：

(1)假設(shè)訓(xùn)練的樣本集為 (xi,yi)， 目標(biāo)圖像的輸入為z， 權(quán)重為ω， 輸出為f(ω)=ωTx， 分類器模型的輸出為f(xi)， 期望回歸值yi， 尋找滿足f(xi) 和yi的最小均方差的解ω

(7)

其中，λ是防過(guò)擬合的正則化參數(shù)。通過(guò)最小二乘法求解，令導(dǎo)數(shù)為0，可得

ω=(XHX+λI)-1XHy

(8)

其中，XH=(X*)T為復(fù)共軛轉(zhuǎn)置矩陣，X為樣本矩陣，由一個(gè)樣本的特征向量作為行向量表示，y為列向量，由對(duì)應(yīng)樣本的回歸值yi所組成，I為單位矩陣。

(2)利用循環(huán)矩陣X求解式(8)。循環(huán)矩陣X的每一行由基樣本x的循環(huán)偏移量組成，如式(9)所示

(9)

(10)

(3)引入核函數(shù)，在高維核空間中特征線性可分。則回歸系數(shù)ω可用x和對(duì)偶空間α線性表示為

(11)

回歸問(wèn)題則轉(zhuǎn)化為

(12)

其中，k(z,xi)=ψ(z)ψ(xi) 為核函數(shù)，文中使用高斯核函數(shù)。

(4)快速訓(xùn)練過(guò)程中，根據(jù)式(12)可將ω的求解轉(zhuǎn)換為α的求解，由此解出ω的值，即非線性的解為

(13)

其中，取核矩陣K=C(kxx) 的首行作為向量kxx。

(5)在快速檢測(cè)過(guò)程中，由訓(xùn)練樣本和測(cè)試樣本構(gòu)建核函數(shù)矩陣，取循環(huán)矩陣首行作為向量kxz， 即可得出由測(cè)試樣本z的循環(huán)偏移而構(gòu)成的測(cè)試樣本，回歸問(wèn)題被轉(zhuǎn)化為

(14)

在高斯核函數(shù)中，kxx′的求解為

(15)

利用訓(xùn)練好的分類器對(duì)當(dāng)前幀的目標(biāo)搜索區(qū)域z進(jìn)行檢測(cè)，得到相關(guān)濾波響應(yīng)圖，相關(guān)濾波相應(yīng)圖的峰值位置即當(dāng)前幀的目標(biāo)位置。

2.2 特征融合

文中采用文獻(xiàn)[9-11]的一種自適應(yīng)權(quán)值的方式將具有互補(bǔ)特性的HOG特征和CN特征進(jìn)行融合。由于跟蹤系統(tǒng)中峰值旁瓣比(PSR)能量化相關(guān)峰值的銳度，PSR值越大跟蹤置信度越高，當(dāng)前幀與前一幀目標(biāo)越匹配。另外，相關(guān)濾波響應(yīng)圖的峰值越大目標(biāo)位置越精確。因此，根據(jù)兩種特征的峰值旁瓣比和相關(guān)濾波響應(yīng)圖的峰值計(jì)算特征融合權(quán)值。

峰值旁瓣比的定義為

(16)

其中， max(ft(z)) 是相關(guān)濾波響應(yīng)圖第t幀的峰值，μt和σt分別是除峰值區(qū)域以外旁瓣的均值與標(biāo)準(zhǔn)差。

特征融合自適應(yīng)權(quán)值的計(jì)算方式為

(17)

其中，gCN代表第t幀時(shí)CN特征的融合權(quán)值比例，PSRHOG,t和PSRCN,t分別是HOG特征和CN特征第t幀的PSR值。為了防止權(quán)值漂移采用線性插值的方式更新權(quán)值

gCN,t=(1-θ)×gCN,t-1+θ×gCN

(18)

其中，θ是融合權(quán)值的學(xué)習(xí)系數(shù)，gCN,t是第t幀中CN特征的融合權(quán)值。

利用兩種特征的融合權(quán)值計(jì)算融合特征的相關(guān)濾波響應(yīng)圖

ft(z)=(1-gCN,t)×fHOG,t(z)+gCN,t×fCN,t(z)

(19)

其中，fHOG,t和fCN,t分別是HOG和CN特征第t幀時(shí)相關(guān)濾波響應(yīng)圖，進(jìn)而根據(jù)ft(z) 的峰值位置得到目標(biāo)位置。

2.3 目標(biāo)計(jì)數(shù)

通過(guò)目標(biāo)的實(shí)時(shí)跟蹤得到目標(biāo)的運(yùn)動(dòng)軌跡，文中通過(guò)設(shè)置感興趣區(qū)域計(jì)數(shù)線來(lái)統(tǒng)計(jì)人數(shù)，攝像頭拍攝中的行人存在任意的活動(dòng)行為，文中只需統(tǒng)計(jì)通過(guò)感興趣區(qū)域計(jì)數(shù)線的行人人數(shù)。首先定義目標(biāo)進(jìn)入場(chǎng)景的正向量方向；當(dāng)目標(biāo)離開(kāi)場(chǎng)景后，記錄該目標(biāo)的結(jié)束位置和開(kāi)始位置，形成坐標(biāo)向量，若該向量與定義的正向量之間的夾角小于90°，則計(jì)數(shù)count加1；若該向量與定義的正向量之間的夾角大于90°，則計(jì)數(shù)count減1。

3 實(shí)驗(yàn)結(jié)果及分析

本文算法是在Intel Core i5-4210M CPU，主頻為2.6 GHz，以及4 GB內(nèi)存配置的Win7計(jì)算機(jī)上進(jìn)行測(cè)試，使用MATLAB R2016a作為算法開(kāi)發(fā)環(huán)境。以INRIA數(shù)據(jù)庫(kù)為基礎(chǔ)制作訓(xùn)練樣本，同時(shí)采用拍攝的視頻資料以及網(wǎng)上數(shù)據(jù)資源，制作了615個(gè)行人頭肩正樣本和1000個(gè)非行人頭肩負(fù)樣本，同時(shí)負(fù)樣本中還增加了一次訓(xùn)練時(shí)被誤檢的識(shí)別區(qū)域，其中正樣本集如圖2所示，負(fù)樣本集如圖3所示。測(cè)試視頻為iphone6拍攝視頻和網(wǎng)上的視頻資源。

3.1 目標(biāo)前景提取

文中選用背景差分與三幀差分相結(jié)合的方式來(lái)提取運(yùn)動(dòng)目標(biāo)前景，圖4(a)為背景差分提取的運(yùn)動(dòng)目標(biāo)前景，圖4(b)為三幀差分提取的運(yùn)動(dòng)目標(biāo)前景，圖4(c)為背景差分與三幀差分相結(jié)合提取的運(yùn)動(dòng)目標(biāo)前景。

圖2 正樣本集

圖3 負(fù)樣本集

圖4 目標(biāo)前景提取效果

選取合適的閾值進(jìn)行圖像二值化處理，由上圖可以明顯看出采用背景差分與三幀差分相結(jié)合的方式提取的運(yùn)動(dòng)目標(biāo)前景輪廓清晰，目標(biāo)位置更準(zhǔn)確。

3.2 行人頭肩檢測(cè)

文中采用HOG+SVM算法進(jìn)行行人頭肩特征提取與檢測(cè)，所需訓(xùn)練樣本包括610張頭肩正樣本和1000張非頭肩負(fù)樣本，測(cè)試樣本為iphone拍攝的不同場(chǎng)景下的行人視頻幀圖像。實(shí)驗(yàn)中分別選取64×64和64×128像素的樣本進(jìn)行行人頭肩特征分類器的訓(xùn)練；同時(shí)，分別采用8×8和16×16像素的細(xì)胞單元、8像素的滑動(dòng)步長(zhǎng)以及塊大小為 2×2 個(gè)細(xì)胞單元，在本文提出的行人頭肩目標(biāo)前景提取算法得到的檢測(cè)區(qū)域中進(jìn)行檢測(cè)算法測(cè)試，測(cè)試圖片數(shù)量為50個(gè)，檢測(cè)結(jié)果見(jiàn)表1。

表1 不同參數(shù)下的檢測(cè)結(jié)果對(duì)比

由不同參數(shù)下的檢測(cè)結(jié)果對(duì)比得出，在綜合考量算法準(zhǔn)確率和檢測(cè)速度因素后，本文將選用64×64的測(cè)試樣本與8×8的胞元大小來(lái)進(jìn)行行人頭肩目標(biāo)檢測(cè)，以達(dá)到最優(yōu)檢測(cè)效果。

3.3 跟蹤計(jì)數(shù)

CN跟蹤算法是CSK的改進(jìn)算法，增加了顏色特征使得檢測(cè)精度和系統(tǒng)性能都有所提高，但在目標(biāo)被完全遮擋的情況下CN跟蹤算法會(huì)造成跟蹤目標(biāo)丟失，通過(guò)增加Kalman濾波提前預(yù)測(cè)下一幀圖像中的目標(biāo)位置，有效解決目標(biāo)被完全遮擋時(shí)跟蹤丟失的問(wèn)題。而本文在此基礎(chǔ)上融合HOG特征與CN特征，作為目標(biāo)跟蹤的檢測(cè)機(jī)制，更加準(zhǔn)確地鎖定目標(biāo)的位置。其中，CN跟蹤算法效果如圖5所示，Kalman濾波與CN結(jié)合跟蹤算法效果如圖6所示，而本文跟蹤算法效果如圖7所示。

實(shí)驗(yàn)結(jié)果可以看出，增加Kalman濾波器與特征融合的CN跟蹤算法能有效解決行人遮擋問(wèn)題，提高系統(tǒng)可靠性。

采用文中行人檢測(cè)跟蹤算法進(jìn)行人流量的統(tǒng)計(jì)結(jié)果見(jiàn)表2。

其中，實(shí)際目標(biāo)為實(shí)際進(jìn)入視頻畫面的所有目標(biāo)，實(shí)際計(jì)數(shù)目標(biāo)為實(shí)際進(jìn)入感興趣區(qū)域計(jì)數(shù)的目標(biāo)，檢測(cè)目標(biāo)大大減少了目標(biāo)誤檢和漏檢數(shù)量，同時(shí)準(zhǔn)確率顯著提高。

圖5 CN跟蹤算法效果

圖6 Kalman濾波與CN結(jié)合跟蹤算法效果

為系統(tǒng)檢測(cè)到的目標(biāo)(包括漏檢目標(biāo)和誤檢目標(biāo))，檢測(cè)計(jì)數(shù)目標(biāo)為檢測(cè)到進(jìn)入感興趣區(qū)域的目標(biāo)。準(zhǔn)確率=檢測(cè)計(jì)數(shù)目標(biāo)/實(shí)際計(jì)數(shù)目標(biāo)×100%，實(shí)驗(yàn)結(jié)果表明，文中算法

圖7 本文跟蹤算法效果

4 結(jié)束語(yǔ)

本文通過(guò)改進(jìn)CN算法來(lái)提高行人檢測(cè)跟蹤計(jì)數(shù)的精度。在背景差分與三幀差分相結(jié)合提取的運(yùn)動(dòng)目標(biāo)前景中利用HOG特征與SVM分類器判斷行人目標(biāo)；之后通過(guò)Kalman濾波器進(jìn)行下一幀圖像中目標(biāo)位置的預(yù)測(cè)，采用改進(jìn)CN算法對(duì)目標(biāo)進(jìn)行跟蹤；最后，在感興趣計(jì)數(shù)區(qū)域內(nèi)實(shí)時(shí)統(tǒng)計(jì)目標(biāo)人數(shù)。經(jīng)實(shí)驗(yàn)測(cè)試，本系統(tǒng)具有較好的穩(wěn)定性和實(shí)時(shí)性，其中，目標(biāo)漏檢率降低10%，誤檢率降低13%，檢測(cè)精度提高8%。但文中算法在適應(yīng)目標(biāo)尺度變化時(shí)效果較差，這將是本文算法后續(xù)應(yīng)該改進(jìn)的方向。

表2 人流量統(tǒng)計(jì)結(jié)果