基于Adaboost和碼本模型的手扶電梯出入口視頻監(jiān)控方法

杜啟亮，黎浩正，田聯(lián)房

(華南理工大學(xué) 自動化科學(xué)與工程學(xué)院，廣州 510640)(*通信作者電子郵箱466739850@qq.com)

基于Adaboost和碼本模型的手扶電梯出入口視頻監(jiān)控方法

杜啟亮，黎浩正*，田聯(lián)房

(華南理工大學(xué) 自動化科學(xué)與工程學(xué)院，廣州 510640)(*通信作者電子郵箱466739850@qq.com)

針對傳統(tǒng)視頻監(jiān)控方法無法對密集前景目標(biāo)進(jìn)行準(zhǔn)確分割的問題，提出一種基于Adaboost和碼本模型的多目標(biāo)視頻監(jiān)控方法。首先，通過訓(xùn)練得到Adaboost人頭分類器，利用碼本算法為垂直拍攝的手扶電梯出入口圖像建立背景模型，提取前景圖像對其進(jìn)行人頭檢測和跟蹤；之后，剔除行人目標(biāo)得到物件目標(biāo)，對物件目標(biāo)進(jìn)行跟蹤；最后，根據(jù)行人和物件的運(yùn)動特征進(jìn)行監(jiān)控。對12段出入口視頻序列的實(shí)驗(yàn)結(jié)果表明，監(jiān)控方法能夠準(zhǔn)確穩(wěn)定地跟蹤行人和物件，完成逆行檢測、客流統(tǒng)計(jì)、行人擁堵和物件滯留等監(jiān)控任務(wù)，處理速度達(dá)到36幀/秒，目標(biāo)跟蹤準(zhǔn)確率達(dá)到94%以上，行為監(jiān)控準(zhǔn)確率達(dá)到95.8%，滿足智能視頻監(jiān)控系統(tǒng)魯棒性、實(shí)時性和準(zhǔn)確性的要求。

Adaboost；背景建模；視頻監(jiān)控；人頭檢測；多目標(biāo)跟蹤

0 引言

智能視頻監(jiān)控技術(shù)由于其準(zhǔn)確直觀和成本低廉的特點(diǎn)，被廣泛應(yīng)用于公共管理與決策領(lǐng)域，如商場出入口客流統(tǒng)計(jì)、公交車乘客人數(shù)統(tǒng)計(jì)和電梯口擁堵檢測等。光照變化和目標(biāo)遮擋是視頻監(jiān)控中造成誤差的主要原因，為減小這兩種因素的不良影響，一般采取攝像頭垂直向下拍攝的方法。視頻監(jiān)控的核心任務(wù)是運(yùn)動目標(biāo)檢測與跟蹤，主要有兩類方法：基于模板匹配的方法和基于統(tǒng)計(jì)分類的方法。

基于模板匹配的方法為目標(biāo)建立特征模板，如人頭的類圓模板和人體外輪廓的矩形模板等，通過擬合圖像中與模板相匹配的前景目標(biāo)進(jìn)行檢測與跟蹤。該類方法計(jì)算量小，在檢測單個或多個分離目標(biāo)時效果較好，在工程上應(yīng)用較廣。潘浩等[1]用Sobel算子提取垂直拍攝的人體輪廓后進(jìn)行曲線生長，能夠適應(yīng)公交車門處不同角度人體的檢測需要，但是計(jì)算量大，處理速度只能達(dá)到6幀/秒。顧德軍等[2]首先采用高斯模型進(jìn)行前景提取，之后根據(jù)輪廓特性和顏色特性為俯視的人頭建立模板，最后對前景圖像進(jìn)行人頭模板匹配，但是高斯模型無法提取靜止的前景目標(biāo)，因此無法進(jìn)行滯留檢測。張姍姍等[3]提出了一種基于深度圖像的人頭檢測算法，利用立體匹配的方法有效解決了目標(biāo)擁擠的問題，但是無法檢測被遮擋的目標(biāo)。上述算法的性能在很大程度上取決于前景提取算法的效果，因此存在對光線變化敏感和易受陰影干擾的問題。

基于統(tǒng)計(jì)分類的方法首先獲取大量正負(fù)樣本，之后提取樣本的目標(biāo)特征并訓(xùn)練分類器或建立神經(jīng)網(wǎng)絡(luò)進(jìn)行目標(biāo)檢測，準(zhǔn)確率高且魯棒性強(qiáng)。文嘉俊等[4]和Li等[5]分別采用Haar特征和局部二值模式(Local Binary Pattern, LBP)特征訓(xùn)練得到Adaboost人頭分類器，在垂直拍攝圖像中檢測人頭并進(jìn)行客流監(jiān)控，實(shí)現(xiàn)了多人過線時傳統(tǒng)方法難以準(zhǔn)確完成的行人分割和計(jì)數(shù)，但是存在如背景中的椅子等誤檢。樸春赫等[6]結(jié)合傳統(tǒng)ViBe(Visual Background extractor)前景檢測算法，利用方向梯度直方圖(Histogram of Oriented Gradient, HOG)特征訓(xùn)練得到SVM分類器進(jìn)行行人檢測，有效消除目標(biāo)殘影但是無法檢測水平拍攝圖像中被遮擋的目標(biāo)。Zhao等[7]利用立體視覺和人工神經(jīng)網(wǎng)絡(luò)建立了準(zhǔn)確率很高的行人檢測系統(tǒng)但是處理速度只能達(dá)到10幀/秒。

本文在碼本模型前景提取算法的基礎(chǔ)上，提出基于Adaboost和碼本模型的多目標(biāo)跟蹤算法。碼本模型是高效的背景建模方法，但是無法對多目標(biāo)前景進(jìn)行分割，為此本文引入Adaboost人頭分類器，利用檢測目標(biāo)之間的獨(dú)立性完成目標(biāo)分割，由此提高多目標(biāo)跟蹤的準(zhǔn)確性。本文的視頻監(jiān)控方法主要應(yīng)用于商場、地鐵出入口和手扶電梯出入口等人流密集的場合，完成目標(biāo)檢測與跟蹤、客流統(tǒng)計(jì)、行人擁堵和物件滯留等視頻監(jiān)控任務(wù)。

1 基于Adaboost和碼本模型的前景提取

本文采取圖1所示的攝像頭垂直向下拍攝的方法以減少光照變化和目標(biāo)遮擋的不良影響，首先利用碼本算法提取包含行人目標(biāo)和物件目標(biāo)的前景圖像，訓(xùn)練人頭分類器對行人目標(biāo)進(jìn)行檢測與跟蹤，之后剔除行人目標(biāo)對物件目標(biāo)進(jìn)行跟蹤，最后根據(jù)行人和物件的運(yùn)動特征進(jìn)行目標(biāo)行為監(jiān)控，圖2為算法流程。

圖1 攝像頭安裝位置示意圖

圖2 視頻監(jiān)控算法流程

1.1 基于碼本模型的前景提取

視頻監(jiān)控的核心是背景建模和前景提取，在手扶電梯出入口等客流密集、背景復(fù)雜和光照變化頻繁的應(yīng)用場合，需要同時考慮算法對復(fù)雜背景的自適應(yīng)能力以及算法復(fù)雜度對效率的影響。碼本模型(Codebook Model)是一種高效的背景建模方法，基本思想是為圖像所有像素建立一個時間序列，根據(jù)序列觀察值對像素點(diǎn)進(jìn)行分類。碼本模型不需要背景像素的先驗(yàn)知識，只根據(jù)像素點(diǎn)時間特征提取前景圖像，因此計(jì)算量少且適用于復(fù)雜背景，步驟[8-9]如下：

1)為圖像每個像素建立一個碼本(CodeBook, CB)，每個碼本由多個碼字(CodeWord, CW)組成。CW為六元組，包含背景更新的學(xué)習(xí)上下界IH和IL，當(dāng)前像素的上下界Imax和Imin，上一次的更新時間tlast和記錄像素多久未被訪問的陳舊時間tst，根據(jù)圖像更新每個CB的狀態(tài)；

2)選擇一幀或者多幀建立背景的CB模型，背景建立幀數(shù)一般為視頻采集幀率的1～2倍；

3)設(shè)前景圖像的判定閾值上下界為IMmax和IMmin，對圖像中某一像素I(x,y)，歷遍背景CB模型中的每個CW，如果存在一個CW的當(dāng)前像素上下界Imax和Imin使得Imin-IMmin

4)隔一定幀數(shù)更新背景CB模型且進(jìn)行時間濾波，設(shè)更新閾值Tst為更新次數(shù)的一半，歷遍像素CB中的每個CW，若陳舊時間tst大于更新閾值，則移除該CW。

采用帶連通域分析的邊緣生長算法對前景圖像進(jìn)行輪廓提取，加入輪廓周長等先驗(yàn)知識對輪廓圖像進(jìn)行二次校正，得到包含行人和物件兩種目標(biāo)的前景圖像，圖3為前景提取結(jié)果。

圖3 前景提取結(jié)果

1.2 基于Adaboost的人頭檢測

基于輪廓特征的傳統(tǒng)目標(biāo)檢測方法無法對密集前景目標(biāo)進(jìn)行準(zhǔn)確分割，在垂直拍攝的圖像中，人頭有顯著的橢圓形狀特征，且不隨前景目標(biāo)密集程度發(fā)生變化，因此使用HOG特征的Adaboost分類器進(jìn)行人頭檢測。HOG通過計(jì)算和統(tǒng)計(jì)圖像局部區(qū)域的梯度方向直方圖來構(gòu)成特征[10]，對目標(biāo)圖像進(jìn)行Gamma壓縮后計(jì)算梯度向量并建立方向直方圖，本文的HOG描述子胞元(Cell)為8×8的矩形像素塊，梯度方向數(shù)為9，塊(Block)為2×2的Cell串聯(lián)塊，也即16×16的矩形像素塊。

Adaboost是一種結(jié)構(gòu)簡單的級聯(lián)分類器，首先對同一個訓(xùn)練集訓(xùn)練不同的弱分類器，之后把弱分類器級聯(lián)為強(qiáng)分類器，步驟[11]如下：

1)設(shè)N為樣本總數(shù)，將訓(xùn)練集所有樣本的權(quán)重初始化為1/N；

2)以誤差最小原則訓(xùn)練弱分類器，如果某一個訓(xùn)練樣本已被正確分類，則在下一輪訓(xùn)練過程中降低該樣本的權(quán)重，否則提高權(quán)重；

3)弱分類器級聯(lián)為強(qiáng)分類器，后者為前者的線性組合，誤差率越小的弱分類器在強(qiáng)分類器中的權(quán)重越大。

本文選取正樣本為3 850張垂直拍攝的人頭圖片，大小為24×24，負(fù)樣本為8 000張不同場景下的其他圖片，包括背景圖片和非人頭部位圖片，大小范圍為45×45到105×105，圖4為部分訓(xùn)練集圖片。

設(shè)置分類器訓(xùn)練的迭代層數(shù)為20，每層的最小命中率為0.999，最大誤檢率為0.5，最大迭代次數(shù)為100，表1為本文Adaboost分類器的訓(xùn)練結(jié)果，圖5為人頭目標(biāo)檢測結(jié)果。

表1 Adaboost分類器訓(xùn)練結(jié)果

圖4 部分訓(xùn)練集圖片

圖5 目標(biāo)檢測結(jié)果

2 多目標(biāo)跟蹤

多目標(biāo)跟蹤的本質(zhì)是目標(biāo)特征的跟蹤，視頻監(jiān)控任務(wù)中造成跟蹤誤差的主要原因有：1)檢測環(huán)境光照強(qiáng)度不足、不均或變化頻繁，環(huán)境噪聲造成分類器誤檢；2)訓(xùn)練的分類器性能有限，出現(xiàn)漏檢(False Rejection)或誤檢(False Acceptance)；3)訓(xùn)練集規(guī)模過小，不足以訓(xùn)練出高精度的分類器。本文針對前兩點(diǎn)建立了一種運(yùn)動目標(biāo)的跟蹤強(qiáng)度特征模型，能夠自適應(yīng)地增添新出現(xiàn)的目標(biāo)，丟棄應(yīng)該停止跟蹤的過期目標(biāo)，采用最小距離的目標(biāo)匹配方法對多目標(biāo)進(jìn)行卡爾曼跟蹤，圖6為多目標(biāo)跟蹤算法流程。

2.1 目標(biāo)的跟蹤強(qiáng)度特征模型

根據(jù)分類器的檢測結(jié)果，觀測序列的運(yùn)動目標(biāo)數(shù)量和跟蹤序列的運(yùn)動目標(biāo)數(shù)量存在三種情況：1)觀測數(shù)M小于跟蹤數(shù)N，此時可能是運(yùn)動目標(biāo)離開檢測區(qū)域或分類器漏檢，為保證跟蹤序列的連續(xù)性，應(yīng)當(dāng)增補(bǔ)N-M組觀測值并降低未觀測到的運(yùn)動目標(biāo)的跟蹤強(qiáng)度；2)觀測數(shù)M大于跟蹤數(shù)N，此時可能是出現(xiàn)新的運(yùn)動目標(biāo)或分類器誤檢，應(yīng)當(dāng)增補(bǔ)M-N組跟蹤值并提高已檢測到的運(yùn)動目標(biāo)的跟蹤強(qiáng)度；3)觀測數(shù)M等于跟蹤數(shù)N，此時可能是分類器無差檢測或漏檢誤檢恰好使二者匹配，應(yīng)當(dāng)對觀測序列與跟蹤序列作最小距離目標(biāo)匹配。本文將1)和3)合并為一種情況，設(shè)cf(k)和cf(k-1)分別為某運(yùn)動目標(biāo)在k時刻和k-1時刻的跟蹤強(qiáng)度，cfi(k)和cfd(k)分別為目標(biāo)被連續(xù)觀測到和連續(xù)未被觀測到的幀數(shù)，cfi(k)·cfd(k)=0，則該目標(biāo)的跟蹤強(qiáng)度特征按下式更新：

(1)

圖6 多目標(biāo)跟蹤算法流程

2.2 最小距離目標(biāo)匹配

觀測序列與跟蹤序列利用歐氏距離(Euclidean Metric)進(jìn)行最小距離匹配，當(dāng)觀測數(shù)M小于或等于跟蹤數(shù)N時，算法對M組已觀測目標(biāo)作最小距離匹配，并在原地增補(bǔ)N-M組觀測值即假設(shè)未觀測到的運(yùn)動目標(biāo)靜止不動；當(dāng)觀測數(shù)M大于跟蹤數(shù)N時，算法對N組已觀測目標(biāo)作最小距離匹配，并以未匹配的觀測值為初始值新建M-N組跟蹤序列。設(shè)觀測序列為m，跟蹤序列為n，圖7為最小距離目標(biāo)匹配的示意圖。

圖7 最小距離目標(biāo)匹配示意圖

2.3 卡爾曼濾波器

卡爾曼濾波器(Kalman Filter)是一種擁有狀態(tài)估計(jì)功能的濾波器，通過迭代核心方程，狀態(tài)變量最終將收斂至一個最優(yōu)自回歸解，即狀態(tài)變量的最優(yōu)估計(jì)，利用卡爾曼濾波器預(yù)測下一時刻的系統(tǒng)狀態(tài)，從而完成多目標(biāo)跟蹤任務(wù)，其時間與狀態(tài)共五個核心更新方程[12]如下：

(2)

對中心坐標(biāo)Pp=(xp,yp) ，x(k)=[xpypΔxpΔyp]T為狀態(tài)變量，y(k)=[xpyp]T為觀測變量，A為狀態(tài)估計(jì)矩陣，H為觀測矩陣，q和r分別為估計(jì)噪聲和觀測噪聲，符合高斯分布，Q和R分別為其協(xié)方差矩陣，P為誤差協(xié)方差矩陣。本文建立行人和物件目標(biāo)在手扶電梯出入口等環(huán)境下的線性運(yùn)動模型并取值如下：

(3)

(4)

(5)

(6)

(7)

以觀測數(shù)M小于跟蹤數(shù)N為例，采用最小歐氏距離的目標(biāo)匹配方法對兩個行人目標(biāo)進(jìn)行卡爾曼跟蹤，算法對M組已觀測目標(biāo)作最小距離匹配，并在原地增補(bǔ)N-M組觀測值即假設(shè)未觀測到的運(yùn)動目標(biāo)靜止不動，同時降低未觀測到的運(yùn)動目標(biāo)的跟蹤強(qiáng)度，圖8為卡爾曼跟蹤結(jié)果及其軌跡，矩形框?yàn)橛^測結(jié)果，圓形框?yàn)楦櫧Y(jié)果，表2為跟蹤過程中觀測序列、跟蹤序列、歐氏距離和跟蹤強(qiáng)度的變化。

圖8 卡爾曼跟蹤結(jié)果

表2 跟蹤過程中卡爾曼濾波器的參數(shù)變化

3 基于運(yùn)動特征的視頻監(jiān)控

根據(jù)行人和物件的運(yùn)動特征進(jìn)行監(jiān)控，主要是由二者的中心坐標(biāo)計(jì)算運(yùn)動速度和運(yùn)動方向，判斷運(yùn)動目標(biāo)行為從而達(dá)到視頻監(jiān)控的目的。本文對手扶電梯出入口上的運(yùn)動目標(biāo)進(jìn)行下列4種行為監(jiān)控：逆行檢測、客流統(tǒng)計(jì)、行人擁堵和物件滯留。設(shè)采樣幀數(shù)為n，運(yùn)動目標(biāo)在k時刻的跟蹤強(qiáng)度為cf(k)，中心坐標(biāo)Pp(k)=(xp(k),yp(k))，則運(yùn)動速度和運(yùn)動方向如下式所示：

(8)

(9)

3.1 逆行檢測

在手扶電梯出入口等存在正常前進(jìn)方向的場所中逆行可能發(fā)生安全事故，因此需要對該行為進(jìn)行監(jiān)控。以手扶電梯前進(jìn)方向?yàn)闃O軸，取逆時針方向?yàn)檎较蚪O坐標(biāo)系，則目標(biāo)逆行的運(yùn)動特征為：

-π/2<θ(k)<π/2

(10)

3.2 客流統(tǒng)計(jì)

在手扶電梯出入口監(jiān)控區(qū)域設(shè)置客流計(jì)數(shù)線，按手扶電梯前進(jìn)方向?qū)⒊鋈肟诜指顬閮?nèi)部區(qū)域Areain與外部區(qū)域Areaout，從k-n時刻某目標(biāo)出現(xiàn)在監(jiān)控區(qū)域并被跟蹤開始進(jìn)行統(tǒng)計(jì)，經(jīng)過n幀后在k時刻目標(biāo)通過客流計(jì)數(shù)線，此時算法判定目標(biāo)進(jìn)入監(jiān)控區(qū)域(客流數(shù)加1)或離開監(jiān)控區(qū)域(客流數(shù)減1)，當(dāng)前客流統(tǒng)計(jì)過程結(jié)束，如圖9所示。

設(shè)k時刻該目標(biāo)在內(nèi)部區(qū)域存在的累計(jì)幀數(shù)為in(k)，在外部區(qū)域存在的累計(jì)幀數(shù)為out(k)，客流方向的起點(diǎn)閾值為Tbegin，終點(diǎn)閾值為Tend，且Tbegin>Tend，定義符號“∈”表示坐標(biāo)包含于某區(qū)域內(nèi)，則目標(biāo)進(jìn)入監(jiān)控區(qū)域的運(yùn)動特征為：

(11)

目標(biāo)離開監(jiān)控區(qū)域的運(yùn)動特征為：

(12)

本文客流統(tǒng)計(jì)的起點(diǎn)閾值Tbegin=5，終點(diǎn)閾值Tend=2，運(yùn)動目標(biāo)通過客流計(jì)數(shù)線后，其累計(jì)幀數(shù)in(k)和out(k)均要清零，這樣能夠有效防止目標(biāo)中心位置在計(jì)數(shù)線附近抖動所造成的客流誤檢。表3為某運(yùn)動目標(biāo)通過客流計(jì)數(shù)線進(jìn)入或離開監(jiān)控區(qū)域前后的運(yùn)動特征變化，其中符號“#”表示目標(biāo)進(jìn)入監(jiān)控區(qū)域的時刻，符號“*”表示目標(biāo)離開監(jiān)控區(qū)域的時刻。

圖9 客流統(tǒng)計(jì)過程示意圖

表3 目標(biāo)進(jìn)入或離開監(jiān)控區(qū)域時的運(yùn)動特征變化

3.3 行人擁堵與物件滯留

若手扶電梯出入口區(qū)域存在行人擁堵或大物件滯留，容易發(fā)生安全事故，因此需要對兩類行為進(jìn)行監(jiān)控，由于出入口區(qū)域面積較小，因此某目標(biāo)在該區(qū)域內(nèi)靜止或反復(fù)作小幅移動均認(rèn)為是擁堵或滯留，設(shè)Tcf為擁堵滯留的跟蹤強(qiáng)度閾值，實(shí)驗(yàn)中Tcf=2 000，則行人擁堵或物件滯留的運(yùn)動特征如下：

cf(k)>Tcf

(13)

4 實(shí)驗(yàn)結(jié)果與分析

為分析基于Adaboost和碼本模型的視頻監(jiān)控方法的效果，對12段手扶電梯出入口視頻序列進(jìn)行實(shí)驗(yàn)，視頻包含不同光照環(huán)境下物件滯留、行人正常通過、逆行、滯留和擁堵等多種事件，算法在i5-6200U 2.40 GHz CPU、8 GB RAM、Windows 10操作系統(tǒng)的計(jì)算機(jī)上用C++編程實(shí)現(xiàn)。視頻圖像大小為480×272，處理速度達(dá)到36幀/秒。

4.1 目標(biāo)跟蹤實(shí)驗(yàn)結(jié)果

從某目標(biāo)進(jìn)入監(jiān)控區(qū)域開始跟蹤，至其離開并結(jié)束跟蹤，設(shè)目標(biāo)存在于監(jiān)控區(qū)域期間經(jīng)歷的總幀數(shù)為n，若算法能夠連續(xù)穩(wěn)定地跟蹤目標(biāo)位置且累計(jì)跟蹤幀數(shù)達(dá)到0.95n以上，則認(rèn)為算法成功跟蹤該目標(biāo)。設(shè)整個視頻監(jiān)控過程中實(shí)際總目標(biāo)數(shù)為TG(Target)，則按上述方法定義成功跟蹤數(shù)為TP(True Positive)，若算法將行人肩部或背景中的陰影等誤檢為人頭則計(jì)入誤檢數(shù)FP(False Positive)，若無法檢測出某目標(biāo)則計(jì)入漏檢數(shù)FN(False Negative)。本文采用文獻(xiàn)[13]的性能指標(biāo)分析算法對行人目標(biāo)及物件目標(biāo)的跟蹤效果，分別是精確率PR(Precision)、召回率RE(Recall)和調(diào)和均值F1(F1Score)，其中PR=TP/(TP+FP)，RE=TP/(TP+FN)，F(xiàn)1=2TP/(2TP+FP+FN)。圖10為目標(biāo)跟蹤結(jié)果，圓形框?yàn)樾腥烁櫧Y(jié)果及其軌跡，矩形框?yàn)槲锛櫧Y(jié)果及其軌跡，表4為目標(biāo)跟蹤性能指標(biāo)。

圖10 目標(biāo)跟蹤結(jié)果

目標(biāo)跟蹤的結(jié)果和性能指標(biāo)表明，算法能夠在行人目標(biāo)和物件目標(biāo)同時存在的情況下分別對其進(jìn)行連續(xù)穩(wěn)定的跟蹤，行人跟蹤的總調(diào)和均值為96.1%，物件跟蹤的總調(diào)和均值為94.9%，算法在光照充足且穩(wěn)定的環(huán)境下性能達(dá)到最佳。

對行人跟蹤性能指標(biāo)進(jìn)行分析，Adaboost人頭分類器能夠有效抵抗檢測環(huán)境光照強(qiáng)度及其穩(wěn)定性的影響。由于光照不足或不穩(wěn)所造成的召回率降幅約為3%，說明不良的光照環(huán)境造成了更多漏檢，這與HOG特征基于方向梯度的特性相符合。但即使是惡劣的光照環(huán)境下算法的調(diào)和均值也能保持在94%以上，說明算法對環(huán)境光照的變化是魯棒的。在此基礎(chǔ)上，客流的擁擠情況是造成算法性能下降的主要原因，相同光照條件下，算法對稀疏客流的跟蹤性能比對擁擠客流的跟蹤性能提高3.5%以上。在稀疏情況下，俯視人體的肩部HOG特征與人頭相似，可能造成誤檢；而在擁擠情況下，人體邊緣的粘連、衣物顏色過深和行人相距過近造成的陰影等因素使人頭的HOG特征不再明顯，造成了更多漏檢，圖11為上述幾種誤檢或漏檢情況的例子。

圖11 幾種誤檢或漏檢情況

對物件跟蹤性能指標(biāo)進(jìn)行分析，碼本模型在手扶電梯出入口等光照變化緩慢均勻的環(huán)境下有較好的背景建模效果，但是作為一種傳統(tǒng)的背景建模方法，碼本模型無法分割擁擠情況下的粘連目標(biāo)。對視頻監(jiān)控這一任務(wù)而言，物件跟蹤一般為大件物品滯留判定提供有用信息，因此實(shí)際工程中視頻監(jiān)控對物件跟蹤的性能要求較低。雖然在惡劣的光照環(huán)境下調(diào)和均值的降幅達(dá)到了9%以上，但引入某些先驗(yàn)知識及矯正條件后，算法的物件跟蹤總計(jì)調(diào)和均值仍能夠達(dá)到94%以上，足以完成滯留判定任務(wù)。此外，算法的精確率較低而召回率較高，說明碼書模型一類的傳統(tǒng)背景建模方法主要缺點(diǎn)在于容易造成誤檢。由目標(biāo)跟蹤的結(jié)果及性能指標(biāo)來看，結(jié)合Adaboost和碼本模型的多目標(biāo)跟蹤算法能夠準(zhǔn)確地建立行人及物件目標(biāo)的位置序列，這為目標(biāo)行為監(jiān)控奠定了良好的基礎(chǔ)。

表4 目標(biāo)跟蹤性能指標(biāo)

4.2 目標(biāo)行為監(jiān)控實(shí)驗(yàn)結(jié)果

本文完成了視頻監(jiān)控中逆行檢測、客流統(tǒng)計(jì)、行人擁堵和物件滯留等監(jiān)控任務(wù)，仍然采用文獻(xiàn)[13]中的PR、RE和F1指標(biāo)分析算法對目標(biāo)行為的監(jiān)控效果，圖12為目標(biāo)行為檢測結(jié)果，表5為目標(biāo)行為監(jiān)控的性能指標(biāo)。

圖12 目標(biāo)行為檢測結(jié)果

分析目標(biāo)行為檢測的結(jié)果和性能指標(biāo)，其中逆行檢測和行人擁堵的效果僅決定于行人跟蹤的性能，因此二者的性能指標(biāo)與行人跟蹤的相關(guān)指標(biāo)相近。對客流統(tǒng)計(jì)而言，若無法保證行人跟蹤的性能，則目標(biāo)在通過客流計(jì)數(shù)線時可能多次觸發(fā)即發(fā)生誤檢，表現(xiàn)在客流統(tǒng)計(jì)的精確率只有91.3%，與其他目標(biāo)行為的指標(biāo)相比數(shù)值較低，因此該行為的調(diào)和均值也是最低的。物件滯留主要利用碼本模型的相關(guān)背景建模與前景提取算法，在物件目標(biāo)跟蹤部分的分析中已經(jīng)提到，在良好的光照環(huán)境下，較低的跟蹤性能便足以完成該監(jiān)控任務(wù)，因此物件滯留的調(diào)和均值能夠達(dá)到最高的97.2%?？傮w而言，算法能夠在各種環(huán)境下準(zhǔn)確地完成基本的視頻監(jiān)控任務(wù)，對各行為的檢測調(diào)和均值均達(dá)到93.9%以上，平均調(diào)和均值為95.8%，算法有較強(qiáng)的魯棒性。

表5 目標(biāo)行為監(jiān)控結(jié)果

5 結(jié)語

為了解決傳統(tǒng)視頻監(jiān)控方法在密集目標(biāo)場景下失效的問題，滿足智能監(jiān)控系統(tǒng)的實(shí)時性需求，本文提出了一種基于Adaboost和碼本模型的多目標(biāo)視頻監(jiān)控方法，通過訓(xùn)練得到Adaboost人頭分類器，利用碼本算法為垂直拍攝的手扶電梯出入口圖像建立背景模型，提取前景圖像對其進(jìn)行人頭檢測和跟蹤，之后剔除行人目標(biāo)得到物件目標(biāo)，對物件目標(biāo)進(jìn)行跟蹤，最后根據(jù)行人和物件的運(yùn)動特征進(jìn)行監(jiān)控。實(shí)驗(yàn)表明，本文的監(jiān)控算法能夠準(zhǔn)確穩(wěn)定地跟蹤行人和物件兩類目標(biāo)，通過分析目標(biāo)的運(yùn)動特征能夠準(zhǔn)確完成逆行檢測、客流統(tǒng)計(jì)、行人擁堵和物件滯留等監(jiān)控任務(wù)，處理速度達(dá)到36幀/秒，目標(biāo)跟蹤準(zhǔn)確率達(dá)到94%以上，行為監(jiān)控準(zhǔn)確率達(dá)到95.8%，滿足智能視頻監(jiān)控系統(tǒng)魯棒性、實(shí)時性和準(zhǔn)確性的要求。但算法仍然存在不足，當(dāng)檢測環(huán)境過暗或光照產(chǎn)生猛烈突變時，算法容易監(jiān)控失敗。今后將會在多目標(biāo)檢測與跟蹤方面改善算法的性能，增強(qiáng)算法在不同應(yīng)用場合下的魯棒性，使其更好地應(yīng)用在各種智能視頻監(jiān)控系統(tǒng)當(dāng)中。

References)

[1] 潘浩,高枝寶,何小海,等.基于計(jì)算機(jī)視覺的公交系統(tǒng)人流量檢測算法[J].計(jì)算機(jī)工程,2007,33(11):216-218.(PAN H, GAO Z B, HE X H, et al. Pedestrian flow detection algorithm in public transport system based on computer vision[J]. Computer Engineering, 2007, 33(11): 216-218.)

[2] 顧德軍,伍鐵軍.一種基于人頭特征的人數(shù)統(tǒng)計(jì)方法研究[J].機(jī)械制造與自動化,2010,39(4):134-138.(GU D J, WU T J. Pedestrian count method based on head feature [J]. Machine Building & Automation, 2010, 39(4): 134-138.)

[3] 張姍姍,景文博,劉學(xué),等.一種基于深度信息的人頭檢測方法[J].長春理工大學(xué)學(xué)報(自然科學(xué)版),2016,39(2):107-111.(ZHANG S S, JING W B, LIU X, et al. A head detection method based on depth information [J]. Journal of Changchun University of Science and Technology (Natural Science), 2016, 39(2): 107-111.)

[4] 文嘉俊,徐勇,戰(zhàn)蔭偉.基于AdaBoost和幀間特征的人數(shù)統(tǒng)計(jì)[J].中國圖象圖形學(xué)報,2011,16(9):1729-1735.(WEN J J, XU Y, ZHAN Y W. People counting based on AdaBoost and inter-frame features [J]. Journal of Image and Graphics, 2011, 16(9): 1729-1735.)

[5] LI B, ZHANG J, ZHANG Z, et al. A people counting method based on head detection and tracking [C]// Proceedings of the 2014 International Conference on Smart Computing. Washington, DC: IEEE Computer Society, 2014: 136-141.

[6] 樸春赫,潘怡霖,趙海,等.基于改進(jìn)ViBe的多行人檢測方法[J].東北大學(xué)學(xué)報(自然科學(xué)版),2016,37(4):481-485.(PAK C H, PAN Y L, ZHAO H, et al. Multi-pedestrian detection approach based on improved ViBe algorithm [J]. Journal of Northeastern University (Natural Science), 2016, 37(4): 481-485.)

[7] ZHAO L, THORPE C E. Stereo- and neural network-based pedestrian detection [J]. IEEE Transactions on Intelligent Transportation Systems, 2000, 1(3): 148-154.

[8] KIM K, CHALIDABHONGSE T H, HARWOOD D, et al. Real-time foreground-background segmentation using codebook model [J]. Real-Time Imaging, 2005, 11(3): 172-185.

[9] KIM K, CHALIDABHONGSE T H, HARWOOD D, et al. Background modeling and subtraction by codebook construction [C]// Proceedings of the 2004 International Conference on Image Processing. Piscataway, NJ: IEEE, 2004, 5: 3061-3064.

[10] DALAL N, TRIGGS B. Histograms of oriented gradients for human detection [C]// Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. Washington, DC: IEEE Computer Society, 2005, 1: 886-893.

[11] KéGL B. The return of AdaBoost.MH: multi-class Hamming trees [EB/OL]. [2016- 12- 20]. https://core.ac.uk/download/pdf/24989526.pdf.

[12] KELLY A. A 3D state space formulation of a navigation Kalman filter for autonomous vehicles [EB/OL]. [2016- 12- 20]. http://frc.ri.cmu.edu/users/alonzo/pubs/reports/kalman_V2.pdf.

[13] POWERS D M W. Evaluation: from precision, recall and F-measure to ROC, informedness, markedness and correlation [J]. Journal of Machine Learning Technologies, 2011, 2(1): 37-63.

VideomonitoringmethodofescalatorentranceareabasedonAdaboostandcodebookmodel

DU Qiliang, LI Haozheng*, TIAN Lianfang

(CollegeofAutomationScienceandEngineering,SouthChinaUniversityofTechnology,GuangzhouGuangdong510640,China)

Aiming at the problem that the traditional video monitoring method can not divide the dense foreground objects accurately, a multi-target video monitoring method based on Adaboost and codebook model was proposed. Firstly, the Adaboost human head classifier was obtained by training, and the background model was established for the vertical elevator image by the codebook algorithm. The foreground image was extracted and heads were detected and tracked. After that, the pedestrian targets were removed to get the object targets, and the object targets were tracked. Finally, the movement of pedestrians and objects was monitored. The experimental results on 12 entrance area videos show that the method can track pedestrians and objects accurately and stably. It can accomplish the monitoring tasks of retrograde detection, passenger statistics, pedestrian congestion and object retention. With the processing speed of 36 frames per second, the tracking-accuracy rate is above 94% and the monitoring-accuracy rate is 95.8%. The proposed algorithm meets robustness, real-time and accuracy requirements of the intelligent video monitoring system.

Adaboost; background modeling; video monitoring; head detection; multi-target tracking

2017- 03- 23;

2017- 05- 17。

廣州市產(chǎn)學(xué)研項(xiàng)目(201604010114)；廣東省前沿與關(guān)鍵技術(shù)創(chuàng)新專項(xiàng)資金資助項(xiàng)目(2016B090912001)；廣州市科信局國際合作項(xiàng)目(2012J5100001)。

杜啟亮(1980—)，男，廣東佛山人，副研究員，博士，主要研究方向：機(jī)器人、機(jī)器視覺； 黎浩正(1994—)，男，廣東番禺人，碩士研究生，主要研究方向：計(jì)算機(jī)視覺、機(jī)器學(xué)習(xí)； 田聯(lián)房(1969—)，男，山東濟(jì)寧人，教授，博士，主要研究方向：模式識別、人工智能。

1001- 9081(2017)09- 2610- 07

10.11772/j.issn.1001- 9081.2017.09.2610

TP391.4

A

This work is partially supported by the Projects on the Integration of Industry, Education and Research of Guangzhou (201604010114), the Special Funds for Frontier and Key Technology Innovation of Guangdong (2016B090912001), the International Cooperation Projects of Science and Technology Information Bureau of Guangzhou (2012J5100001).

DUQiliang, born in 1980, Ph. D., associate research fellow. His research interests include robot, machine vision.

LIHaozheng, born in 1994, M. S. candidate. His research interests include computer vision, machine learning.

TIANLianfang, born in 1969, Ph. D., professor. His research interests include pattern recognition, artificial intelligence.