基于改進(jìn)型LBP特征的監(jiān)控視頻行人檢測(cè)

劉璨，孟朝暉

（河海大學(xué) 江蘇 南京211100）

基于改進(jìn)型LBP特征的監(jiān)控視頻行人檢測(cè)

劉璨，孟朝暉

（河海大學(xué) 江蘇 南京211100）

對(duì)圖像和視頻中的不同類別的對(duì)象的檢測(cè)是計(jì)算機(jī)視覺研究的基本任務(wù)。行人檢測(cè)是一個(gè)熱門的研究課題。行人是交通系統(tǒng)中的主要參與者，所以對(duì)視頻監(jiān)控系統(tǒng)中的行人檢測(cè)對(duì)智能交通系統(tǒng)的研究和應(yīng)用有著重要的意義。由于光線，顏色，尺度和姿勢(shì)等各方面的差別，行人檢測(cè)是一個(gè)具有挑戰(zhàn)性的問題。有效特征的提取是這個(gè)問題的關(guān)鍵。本文提出了一種基于改進(jìn)型的局部三值模式（LTP）特征的行人檢測(cè)方法，提取的特征中包含梯度信息，紋理和尺度信息，采用前景分割的方法完成了檢測(cè)任務(wù)。CAVIAR序列實(shí)驗(yàn)證明用此方法提取的特征結(jié)合支持向量機(jī)可以有效地檢測(cè)出真實(shí)場(chǎng)景監(jiān)控視頻中的行人。

視頻監(jiān)控；行人檢測(cè)；局部三值模式；特征提取

在智能視頻監(jiān)控，輔助駕駛系統(tǒng)，人機(jī)交互，軍事應(yīng)用和智能數(shù)字化管理等這些大量的應(yīng)用中，行人檢測(cè)是第一步。由于光線，顏色，尺度，姿勢(shì)和著裝等各方面的差別，行人識(shí)別是一個(gè)具有挑戰(zhàn)性的問題。在圖像上檢測(cè)行人已經(jīng)有了很長(zhǎng)的歷史，在過去的十年里，人們對(duì)行人檢測(cè)有著巨大的興趣。

如今進(jìn)入了一個(gè)視頻監(jiān)控的社會(huì)，生活中的視頻監(jiān)控現(xiàn)象隨處可見。人們對(duì)視頻監(jiān)控中的行人檢測(cè)算法的興趣也日益劇增。隨著現(xiàn)代化城市中的交通問題日益嚴(yán)重，對(duì)智能交通系統(tǒng)（ITS）的研究和應(yīng)用已經(jīng)成為全球的熱點(diǎn)話題。視頻監(jiān)控系統(tǒng)，是一種感知交通世界的工具，它是智能交通系統(tǒng)中的重要模塊。行人是交通系統(tǒng)中的主要參與者，所以對(duì)視頻監(jiān)控系統(tǒng)中的行人識(shí)別對(duì)智能交通系統(tǒng)的研究和應(yīng)用意義重大。

1　相關(guān)工作

在文中，我們重點(diǎn)對(duì)單個(gè)行人進(jìn)行檢測(cè)，得到他們的準(zhǔn)確位置。從廣義上來說主要有兩種行人檢測(cè)方法：基于模型的方法以及基于特征分類的方法。這兩種方法模式分類上分別對(duì)應(yīng)生成模型和判別模型。在基于模型的行人檢測(cè)方法中，首先需要定義精確的行人模型。然后用算法搜索與模型匹配位置的視頻幀，檢測(cè)行人?；诓糠帜Ｐ偷姆椒ㄔ谟?jì)算機(jī)視覺領(lǐng)域中對(duì)一般物體的檢測(cè)和行人探測(cè)有著很長(zhǎng)的歷史[1-3]?；诓糠值哪Ｐ陀袃蓚€(gè)主要成分。第一個(gè)是使用低級(jí)別的特征或分類器來模擬行人的各個(gè)部分。第二個(gè)是模擬行人的拓?fù)鋄4]。這種方法是可行的，但部分檢測(cè)本身是一個(gè)困難的任務(wù)。這種方式的實(shí)現(xiàn)遵循處理圖像數(shù)據(jù)的標(biāo)準(zhǔn)程序：創(chuàng)建一個(gè)密集采樣圖像金字塔，在每個(gè)比例下計(jì)算特征，在所有可能的位置進(jìn)行分類，最后執(zhí)行非最大抑制方法，生成一組最終的包圍盒?；谔卣鞣诸惖姆椒ǖ谝徊绞菑囊曨l幀中提取行人檢測(cè)窗口，（通常是滑動(dòng)窗口搜索）[5]，下一個(gè)特征從所提取的檢測(cè)窗口提取。基于大量訓(xùn)練示例訓(xùn)練分類器，使用該分類器用特征向量劃分行人類或非行人者類。

2　系統(tǒng)架構(gòu)

圖1是我們的系統(tǒng)概述，輸入視頻幀被分割，以確定前景。該檢測(cè)系統(tǒng)掃描圖像的所有相關(guān)位置和尺度以檢測(cè)行人。該特征部件編碼行人的視覺外觀，分類器組件確定每個(gè)獨(dú)立滑動(dòng)的窗口中是否包含行人。

圖1　我們的行人檢測(cè)系統(tǒng)

為了訓(xùn)練我們的系統(tǒng)，我們收集了一組2 500灰階行人樣本圖像正例，連同其左，右反射。正例已經(jīng)對(duì)齊，并調(diào)整尺寸為128×64。行人的圖像取自公共行人數(shù)據(jù)集和監(jiān)控視頻。我們做了一個(gè)包含6 000非行人圖像的反樣本數(shù)據(jù)集。為了提高性能，我們把如電線桿，樹木，路牌等2 000個(gè)垂直結(jié)構(gòu)增加到負(fù)樣本。垂直結(jié)構(gòu)在行人識(shí)別中是常見的誤報(bào)檢測(cè)。

2.1前景分割

這里采用混合高斯背景建模的方法來進(jìn)行前景分割[6]。詳細(xì)算法流程如下：

1）每個(gè)新像素值Xt同當(dāng)前K個(gè)模型按下式進(jìn)行比較，知道找出匹配新像素值的分布模型，即同該模型的均值偏差在2.5σ內(nèi)。

2）如果所匹配的模式符合背景要求，則該像素屬于背景，否則屬于前景。

3）各模式權(quán)值按如下公式更新，其中α是學(xué)習(xí)速率，對(duì)于匹配的模式Mk，t=1，否則Mk，t=0，然后各模式的權(quán)重進(jìn)行歸一化。

4）未匹配模式的均值μ與標(biāo)準(zhǔn)差σ不變，匹配模式的參數(shù)按照如下公式更新：

5）如果第一步中沒有任何模式匹配，則權(quán)重最小的模式被替換，即該模式的均值為當(dāng)前的像素值，標(biāo)準(zhǔn)差為初始較大值，權(quán)重為較小值。

6）各模式按照ω/α2按降序排列，權(quán)重大，標(biāo)準(zhǔn)差小的模式排列靠前。

7）選前B個(gè)模式作為背景，B滿足下式，參數(shù)T表示背景所占的比例。

2.2局部三值模式（LTP）

局部二元模式 （LBP）是一種簡(jiǎn)單但非常有效的紋理算子。在一個(gè)3×3的窗口中，以窗口中心點(diǎn)的灰度值為閾值對(duì)窗口內(nèi)其它像素作二值化處理[7]，然后根據(jù)像素不同位置進(jìn)行加權(quán)求和得到的二進(jìn)制數(shù)作為該窗口的LBP值[8]。在文中，我們提出了將LBP擴(kuò)展為具有三值編碼形式，即LTP，LTP公式定義如下：

LTP將中心像素值的鄰域?qū)挾取纓范圍內(nèi)的像素值量化為0值，大于此鄰域?qū)挾鹊南袼刂盗炕癁?，小于鄰域?qū)挾鹊南袼刂盗炕癁?1。并且t是用戶定義的閾值，以下是LTP編碼的計(jì)算公式為：

LTP編碼過程如圖2所示，這里t設(shè)為5，即規(guī)定0值編碼的像素值范圍為[36，48]。

圖2　LTP算子計(jì)算過程示意圖

多尺度局部三值模式的方法是基于改變LTP的半徑R以及結(jié)合所得直方圖的簡(jiǎn)單原理。鄰域用兩個(gè)參數(shù)P，R來描述，R={R1，R2，...，Rnr}，其中nr是計(jì)算過程中所用的半徑的數(shù)量。在多尺度局部三值模式圖像中每個(gè)像素都用nr的值描述。對(duì)于不同值R={R1，R2，...，Rnr}的多尺度局部三值模式直方圖由H（1），H（2），...，H（nR）向量的和決定，為得到連貫的描述，在H計(jì)算之前，需要對(duì)空間增強(qiáng)直方圖H（1），H（2），...，H（nr）做歸一化處理。

其中，fx和fy分別代表輸入圖像像素的水平和垂直尺寸。H（i）由公式（10）得出。

2.3特征提取

特征提取的關(guān)鍵步驟如下：

1）我們對(duì)輸入圖像的灰度級(jí)進(jìn)行歸一化處理，以減少不同圖像中的光照差別。

2）每個(gè)檢測(cè)窗口分為大小相等的重疊塊。檢測(cè)窗口的尺寸是64×128，塊的尺寸為16×16。

3）在每個(gè)像素中計(jì)算多尺度的LTP值。它們被位于塊中心尺寸為σ=0.5×塊寬度的高斯窗口加權(quán)。然后從每個(gè)塊中獨(dú)立提取出多尺度LTP直方圖。然后組合直方圖，形成行人的全局描述。我們使用以下參數(shù)描述多尺度LTP：P=8，R={1，2，3}，nr=3。

4）不是所有的直方圖成分在分類過程中都同樣重要。所以要根據(jù)重要性來調(diào)整全局LTP直方圖塊的權(quán)重[9]。在INRIA行人數(shù)據(jù)集上實(shí)驗(yàn)證明，所提出的與支持向量機(jī)[10]和徑向基函數(shù)[11]結(jié)合的多尺度LTP特征效果很好。

3　實(shí)驗(yàn)結(jié)果

我們對(duì) CAVIAR序列進(jìn)行了實(shí)驗(yàn)，比較了 Dalal and Trigg提出的HOG+SVM系統(tǒng)[12]，Lie提出的HOG+Adaboost系統(tǒng)[13]，Papageorgiou提出的Haar+SVM系統(tǒng)[5]，Monteiro提出的Haar+AdaBoost系統(tǒng)[14]，HOG+IKSVM系統(tǒng)[15]，PHOG+HIKSVM系統(tǒng)[15]，以及我們提出的系統(tǒng)總共7個(gè)系統(tǒng)。從結(jié)果可以看出我們可以建立一個(gè)強(qiáng)大的和判別性的特征，顯著減少錯(cuò)誤檢測(cè)率。7個(gè)系統(tǒng)的速度和準(zhǔn)確率如表1所示。我們比較了在384×284分辨率下的不同系統(tǒng)的檢測(cè)率和誤檢測(cè)率。從表1中，可以看出我們的算法準(zhǔn)確度達(dá)到了先進(jìn)水平，基于Haar特征的檢測(cè)算法有著較高的檢測(cè)速度。圖3是對(duì)CAVIAR數(shù)據(jù)集的檢測(cè)示例。

表1　不同系統(tǒng)的速度和準(zhǔn)確率比較，分辨率為384×284

圖3　CAVIAR數(shù)據(jù)集檢測(cè)示例

也用戶外監(jiān)控?cái)z像頭的監(jiān)控視頻中的視頻幀測(cè)試了的行人檢測(cè)系統(tǒng)。實(shí)驗(yàn)結(jié)果如圖4所示。

圖4　戶外視頻檢測(cè)示例

4　結(jié)　論

在文中，我們提出基于多尺度LTP特征的行人探測(cè)算法并顯示其實(shí)驗(yàn)結(jié)果。首先，進(jìn)行前景分割，然后提取特征，最后分類進(jìn)行行人檢測(cè)。CAVIAR序列的實(shí)驗(yàn)結(jié)果表明，該行人檢測(cè)算法的性能優(yōu)于HOG特征。我們比較了我們的算法和其他先進(jìn)水平的基于滑動(dòng)窗口的行人檢測(cè)算法并且展示了行人檢測(cè)的一些示例。結(jié)果表明，我們的檢測(cè)算法檢測(cè)行人的效果良好。此外，也有一些方面需要我們進(jìn)一步的研究，比如如何將我們提取的LTP特征與其他特征進(jìn)行融合以及行人遮擋問題。

[1]Felzenszwalb D，Huttenlocher D.Fine particles，thin films and exchange anisotropy[C]∥CVPR，2010：812-825.

[2]Forsyth D，F(xiàn)leck M.Body plans[C]∥CVPR，2009：768-775.

[3]Leibe B，Seemann E，Schiele B.Pedestrian detection in crowded scenes[C]∥CVPR，2005：878-885.

[4]Seemann E，Leibe B，Schiele B.Multi-aspect detection of articulated objects[C]∥CVPR，2006：1582-1588.

[5]Papageorgiou C，Oren M，Poggio T.A general framework for object detection[C]∥ICCV，1998：555-562.

[6]王典.基于混合高斯的背景建模與陰影抑制算法研究[D].西安：西北工業(yè)大學(xué)，2006.

[7]安寧，林樹忠，劉海華，等.圖像處理方法研究及其應(yīng)用[J].儀器儀表學(xué)報(bào)，2006，8（2）：15-21.

[8]Ahonen T，Hadid A，Pietikainen M.Face recognition with local binary patterns[C]∥ECCV，2004：469-481.

[9]Sanya.Pedestrian detection based on HOG-LBP feature[C]∥Ninth International Conference on Computational Intelligence and Security，2013：1184-1187.

[10]Liu Min，Zhu Kai，Cong Li，et al.Based on rough set and support vector machine（SVM）in Jilin province power distribution network transformation project evaluation[C]∥DCABES，2013：312-318.

[11]Li Shu-Ling，Li Xiao-Lin.Application of radial basis functions to evolution equations arising in image segmen-tation[J].Chinese Physics B，2014，21（2）：10-15.

[12]Dalal N，Triggs B.Histograms of oriented gradients for human detection[C]∥CVPR，2005：886-893.

[13]Lie G，Ping-shuG，Yi-bingZ，et al.Pedestrian detection based on HOG features optimized by Gentle AdaBoost in ROI[J].Journal of Convergence Informa-tion Technology，2013，8（2）：33-40.

[14]Monteiro G，Peixoto P，Nunes U.Vision-based pedestrian detection using Haar-like features[J].Robotica，2006，24：46-50.

[15]Maji S，Berg AC，MalikJ.Classification using intersection kernel support vector machines is efficient[C]∥CVPR，2008：1-8.

Pedestrian detection in surveillance videos based on improved LBP features

LIU Can，MENG Zhao-hui
（HoHai University，Nanjing 211100，China）

Detecting different categories of objects in an image and video content is one of the fundamental tasks in computer vision research.Pedestrian detection is a hot research topic.Pedestrians are key participants in transportation systems，so pedestrian detection in video surveillance systems is of great significance to the research and application of Intelligent Transportation Systems（ITS）.Pedestrian detection is a challenging problem due to the variance of illumination，color，scale，pose，and so forth.Extraction of effective features is a key to this task.In this work，we present the multi-scale Centersymmetric Local Binary Pattern feature for pedestrian detection.The proposed feature captures gradient information and some texture and scale information.We completed the detection task with a foreground segmentation method.Experiments on CAVIAR sequences show that the proposed feature with support vector machines can detect pedestrians in real-time effectively in surveillance videos.

video surveillance；pedestrian detection；LTP；feature extraction

TN701

A

1674－6236（2016）21-0048-03

2015-11-06稿件編號(hào)：201511058

劉 璨（1992—），女，安徽阜陽(yáng)人，碩士研究生。研究方向：計(jì)算機(jī)視覺，圖像處理。