視頻監(jiān)控系統(tǒng)中的行人及其面部偵測(cè)研究

練士龍，李 強(qiáng)，趙蓓蕾

（西南科技大學(xué) 信息工程學(xué)院，四川 綿陽(yáng) 621010）

視頻監(jiān)控系統(tǒng)廣泛應(yīng)用于各種監(jiān)控場(chǎng)合。如何有效地對(duì)視頻監(jiān)控區(qū)域內(nèi)容進(jìn)行分析處理是一個(gè)值得深入探討的問(wèn)題，尤其針對(duì)行人目標(biāo)進(jìn)行偵測(cè)是當(dāng)前研究的一大熱點(diǎn)。

行人檢測(cè)算法研究已取得了一些成果，常用的行人檢測(cè)算法有背景差法和光流法等[1]。Gavrila等人[2]給出了基于輪廓模板的匹配方法，該方法實(shí)現(xiàn)簡(jiǎn)單，但對(duì)姿態(tài)變化多樣的行人檢測(cè)具有一定的局限性。Viola等人[3]結(jié)合類(lèi)haar小波特征與AdaBoost算法建立瀑布型行人檢測(cè)分類(lèi)器，有效地提高行人檢測(cè)速度。李娟等人[4]利用改進(jìn)的混合高斯模型實(shí)現(xiàn)行人檢測(cè)，具有較好的適應(yīng)性和魯棒性。Alonso等人[5]利用人體各個(gè)部位特征信息建立支持向量機(jī)檢測(cè)器，通過(guò)檢測(cè)結(jié)果的綜合比較來(lái)完成對(duì)行人的檢測(cè)。Walk S等人[6]利用行人顏色自相似度特征，并結(jié)合HOG特征實(shí)現(xiàn)行人檢測(cè)，有效地提高了檢測(cè)精度，缺點(diǎn)是計(jì)算量較大。朱文佳等人[7]將改進(jìn)的Boosted Cascade人臉檢測(cè)算法應(yīng)用到行人檢測(cè)中，具有檢測(cè)速度快、訓(xùn)練時(shí)間短的優(yōu)點(diǎn)，但訓(xùn)練尺度會(huì)影響其檢測(cè)精度。

本文在設(shè)計(jì)視頻監(jiān)控系統(tǒng)的基礎(chǔ)上，接著結(jié)合形態(tài)學(xué)分析方法，利用背景差分法和陰影去除方法精確提取目標(biāo)運(yùn)動(dòng)區(qū)域，再結(jié)合連續(xù)均值量化變換（SMQT）和SNoW分類(lèi)算法對(duì)運(yùn)動(dòng)區(qū)域中的行人及其面部信息進(jìn)行檢測(cè)。進(jìn)而通過(guò)監(jiān)控區(qū)域中是否存在行人目標(biāo)的檢測(cè)判斷實(shí)現(xiàn)視頻監(jiān)控系統(tǒng)的錄像啟動(dòng)與行人偵測(cè)報(bào)警等功能，以達(dá)到無(wú)人值守監(jiān)控的目的。

1 系統(tǒng)平臺(tái)設(shè)計(jì)

視頻監(jiān)控系統(tǒng)主要由采集終端、傳輸網(wǎng)絡(luò)、監(jiān)控平臺(tái)應(yīng)用軟件等部分組成。采集終端主要完成對(duì)目標(biāo)監(jiān)控區(qū)域的音視頻采集與壓縮處理，傳輸網(wǎng)絡(luò)主要完成音視頻信息及系統(tǒng)控制信息的傳輸，監(jiān)控平臺(tái)應(yīng)用軟件主要完成信息獲取、行人及其面部目標(biāo)偵測(cè)、圖形界面設(shè)計(jì)、系統(tǒng)控制命令配置等功能。

視頻采集終端主要包括存儲(chǔ)器接口、音頻采集轉(zhuǎn)換、視頻采集轉(zhuǎn)換、PTZ控制、以太網(wǎng)接口、視頻輸出轉(zhuǎn)換、電源管理等電路設(shè)計(jì)，其結(jié)構(gòu)圖如圖1所示。

圖1 視頻采集終端結(jié)構(gòu)Fig.1 Structure of video collection terminal

視頻采集終端中央處理器選用海思半導(dǎo)體公司高性能通信媒體處理器Hi3512，是一款基于ARM內(nèi)核以及視頻硬件加速引擎的處理器，并支持H.264協(xié)議。NOR Flash選用閃存芯片SGL064N，SDRAM選用同步動(dòng)態(tài)RAM芯片EM68B16CWQD。視頻信號(hào)采集選用Sony公司彩色一體化攝像機(jī)，水平分辨率高達(dá)530線。采集到的視頻信號(hào)通過(guò)視頻解碼芯片TW9910將模擬信號(hào)轉(zhuǎn)化為數(shù)字信號(hào)供Hi3512壓縮編碼等進(jìn)一步處理。通過(guò)麥克拾取到聲音信號(hào)經(jīng)立體聲音頻編解碼器TLV320AIC32B處理后，傳送給中央處理器作壓縮編碼等處理。經(jīng)Hi3512處理后的音視頻信息通過(guò)以太網(wǎng)發(fā)送，Hi3512通過(guò)串口對(duì)攝像機(jī)和云臺(tái)進(jìn)行控制操作。

針對(duì)傳輸網(wǎng)絡(luò)，監(jiān)控系統(tǒng)應(yīng)用軟件通過(guò)以太網(wǎng)訪問(wèn)視頻采集終端設(shè)備，并通過(guò)創(chuàng)建套接字方式實(shí)現(xiàn)對(duì)系統(tǒng)設(shè)備進(jìn)行設(shè)置、控制、圖像和聲音數(shù)據(jù)請(qǐng)求等操作。視頻監(jiān)控系統(tǒng)應(yīng)用軟件可以分為系統(tǒng)設(shè)置、設(shè)備管理、PTZ控制、系統(tǒng)日志、錄像管理、實(shí)時(shí)監(jiān)控等功能模塊，其結(jié)構(gòu)如圖2所示。

圖2 監(jiān)控系統(tǒng)應(yīng)用軟件結(jié)構(gòu)Fig.2 Software architecture of monitoring system

系統(tǒng)應(yīng)用軟件通過(guò)以太網(wǎng)獲取監(jiān)控區(qū)域視頻數(shù)據(jù)流并進(jìn)行H.264解碼處理獲得監(jiān)控現(xiàn)場(chǎng)視頻圖像信息，根據(jù)視頻圖像清晰度需求和監(jiān)控區(qū)域定位需求對(duì)云臺(tái)和攝像機(jī)進(jìn)行相應(yīng)的調(diào)整。在獲取到監(jiān)控區(qū)域視頻圖像信息后，便可對(duì)其中的行人目標(biāo)及面部信息進(jìn)行偵測(cè)。

2 行人偵測(cè)算法

行人目標(biāo)偵測(cè)過(guò)程中融合了針對(duì)行人面部信息的檢測(cè)。利用背景差分法提取運(yùn)動(dòng)目標(biāo)區(qū)域，并利用目標(biāo)陰影的相關(guān)特征去除陰影干擾，獲取精確的運(yùn)動(dòng)目標(biāo)區(qū)域。進(jìn)而在運(yùn)動(dòng)目標(biāo)區(qū)域內(nèi)利用SMQT和SNoW算法檢測(cè)定位行人及其面部信息。

2.1 運(yùn)動(dòng)目標(biāo)提取

2.1.1 形態(tài)學(xué)分析

圖像形態(tài)學(xué)處理[8]是依據(jù)數(shù)學(xué)形態(tài)學(xué)集合論方法對(duì)二值圖像發(fā)展起來(lái)的圖像處理和分析方法，基本的圖像形態(tài)學(xué)處理方法包括膨脹和腐蝕兩種，將兩者組合起來(lái)可以得到開(kāi)運(yùn)算和閉運(yùn)算兩種基本形態(tài)學(xué)處理方法。

腐蝕的作用是去除目標(biāo)圖像的邊界毛刺像素點(diǎn)和其他小噪聲像素點(diǎn)，使用結(jié)構(gòu)元素B對(duì)A進(jìn)行腐蝕表示為：

膨脹的作用是在目標(biāo)圖像的邊界處添加像素點(diǎn)，使用結(jié)構(gòu)元素B對(duì)A進(jìn)行膨脹表示為：

開(kāi)運(yùn)算就是使用結(jié)構(gòu)元素B對(duì)A先進(jìn)行腐蝕，然后對(duì)結(jié)果進(jìn)行膨脹，表示為A?B。開(kāi)運(yùn)算可以去除小目標(biāo)區(qū)域噪聲，但是對(duì)重要目標(biāo)區(qū)域的改變不大A·B。閉運(yùn)算就是用結(jié)構(gòu)元素B對(duì)A先進(jìn)行膨脹，然后對(duì)處理結(jié)果進(jìn)行腐蝕，表示為。閉運(yùn)算主要作用是填充空洞和平滑邊緣，但是無(wú)法去除小的噪聲區(qū)域。根據(jù)圖像的特征選取合適的圖像形態(tài)學(xué)處理方法可取得較好的效果。

2.1.2 運(yùn)動(dòng)目標(biāo)粗提取

利用背景差分法對(duì)監(jiān)測(cè)圖像進(jìn)行二值化處理，并通過(guò)形態(tài)濾波方法實(shí)現(xiàn)運(yùn)行目標(biāo)區(qū)域的粗提取。背景差分法利用獲得背景幀圖像Bk與含有運(yùn)動(dòng)目標(biāo)的當(dāng)前幀圖像fk做差，設(shè)定合適的閾值Th對(duì)差分圖像進(jìn)行二值化處理，即：

由于視頻信號(hào)獲取過(guò)程中的噪聲影響，通過(guò)簡(jiǎn)單的圖像處理得到的運(yùn)動(dòng)區(qū)域可能與實(shí)際運(yùn)動(dòng)區(qū)域有所偏差。為解決這個(gè)問(wèn)題，采用圖像形態(tài)學(xué)分析方法來(lái)獲取有效的運(yùn)動(dòng)目標(biāo)區(qū)域。

2.1.3 陰影去除

視頻監(jiān)控過(guò)程中，由于光線原因可能會(huì)使得目標(biāo)形成一定的陰影區(qū)域，從而造成一定的陰影干擾，故需要進(jìn)行陰影去除處理?？紤]到陰影區(qū)域的主要特征[9-10]是陰影像素亮度值低于背景和前景目標(biāo)區(qū)域的亮度值，而色度信息基本保持不變，那么，根據(jù)陰影像素亮度值的差異情況就可實(shí)現(xiàn)目標(biāo)陰影的去除。

結(jié)合視頻監(jiān)控背景圖像與前述的運(yùn)動(dòng)目標(biāo)區(qū)域，根據(jù)不同光線下亮度的變化情況確定合適的判別閾值，并以此進(jìn)行二值化處理，將含有陰影像素信息消除并保留目標(biāo)信息。再對(duì)去除陰影后的圖像應(yīng)用形態(tài)學(xué)分析方法，以便從視頻監(jiān)控圖像中準(zhǔn)確提取目標(biāo)區(qū)域。

2.2 行人面部檢測(cè)

針對(duì)獲取到的行人目標(biāo)區(qū)域，利用連續(xù)均值量化變換方法獲取行人目標(biāo)區(qū)域細(xì)節(jié)特征，再利用稀疏網(wǎng)絡(luò)分類(lèi)方法標(biāo)記出行人面部的準(zhǔn)確位置。

2.2.1 SMQT方法

SMQT方法[11-12]主要完成對(duì)灰度目標(biāo)圖像進(jìn)行增強(qiáng)處理，并能以較小計(jì)算代價(jià)獲取較好行人目標(biāo)圖像細(xì)節(jié)特征。

SMQT方法的實(shí)現(xiàn)可用二叉樹(shù)來(lái)描述，其中的節(jié)點(diǎn)表示均值量化單元，且該單元可通過(guò)平均值計(jì)算、量化和輸入集劃分三個(gè)步驟來(lái)獲取。首先，計(jì)算出圖像像素灰度值的平均值；其次，以該均值作為參考進(jìn)行像素灰度值的二值量化處理，采用的量化函數(shù)規(guī)則為

式中，V（y）表示為圖像中的任一像素灰度值。結(jié)合連接操作?，量化結(jié)果可表示為

最后，將輸入圖像集合I（z）進(jìn)行分解，獲取二叉樹(shù)結(jié)構(gòu)中左、右兩個(gè)子集 I0（z）和 I1（z），即

經(jīng)過(guò)上述處理，經(jīng)過(guò)SMQT變換后的輸出可表示為

上式中，L是SMQT變換重要輸入?yún)?shù)，表示輸入灰度圖像的等級(jí)參數(shù)，且當(dāng)處理對(duì)象為的灰度圖像時(shí)，參數(shù)L取值為 8。

2.2.2 SNoW分類(lèi)方法

SNoW分類(lèi)器[12-13]學(xué)習(xí)算法利用預(yù)定義的相關(guān)樣本特征訓(xùn)練線性稀疏網(wǎng)絡(luò)，進(jìn)而實(shí)現(xiàn)目標(biāo)識(shí)別，其中，任意樣本特征均與相應(yīng)的線性稀疏網(wǎng)絡(luò)節(jié)點(diǎn)相對(duì)應(yīng)。線性稀疏網(wǎng)絡(luò)根據(jù)正負(fù)樣本更新網(wǎng)絡(luò)節(jié)點(diǎn)權(quán)重值，假設(shè)節(jié)點(diǎn)x處的正樣本特征集合為Yx，表示第i個(gè)特征的權(quán)值，θTh為判決閾值，上升參數(shù)α＞1，下降參數(shù) β∈（0，1）。

對(duì)本文而言，φ設(shè)是圖像經(jīng)SMQT處理后得到的特征集合，目標(biāo)判定閾值θ表示為

3 實(shí)驗(yàn)調(diào)試與分析

以實(shí)驗(yàn)室場(chǎng)景為例，所設(shè)計(jì)的視頻監(jiān)控系統(tǒng)運(yùn)行整體效果如圖3所示，該系統(tǒng)能實(shí)現(xiàn)控制、運(yùn)動(dòng)偵測(cè)報(bào)警、錄像管理等功能。從圖中可以看出，監(jiān)控系統(tǒng)能夠獲取滿意的視頻圖像。

圖3 視頻監(jiān)控系統(tǒng)運(yùn)行效果圖Fig.3 Operating results of Video surveillance system

在獲取監(jiān)控區(qū)域現(xiàn)場(chǎng)的視頻信息后，采用文中給出的行人偵測(cè)算法進(jìn)行相關(guān)實(shí)驗(yàn)。針對(duì)一個(gè)空曠的監(jiān)控區(qū)域，利用多幀平均方法獲取背景圖像，在實(shí)驗(yàn)中取200幀圖像進(jìn)行背景獲取，背景獲取結(jié)果如圖4（a）。視頻監(jiān)控系統(tǒng)的當(dāng)前幀圖像如圖4（b）所示，行人目標(biāo)旁邊形成了一定的陰影區(qū)域，使用當(dāng)前幀圖像與背景圖像做差，并通過(guò)閾值方式進(jìn)行二值化處理，得到運(yùn)動(dòng)目標(biāo)的大致區(qū)域如圖4（c）所示。從圖4（c）中可看出經(jīng)差分二值化處理得到的二值圖像出現(xiàn)了空洞和毛刺現(xiàn)象，對(duì)其進(jìn)行圖像形態(tài)學(xué)運(yùn)算處理，結(jié)果如圖4（d）所示，進(jìn)而從原圖中提取運(yùn)動(dòng)目標(biāo)大致區(qū)域如圖4（e）所示。為避免陰影對(duì)人臉檢測(cè)的干擾，利用陰影像素亮度低于背景像素和運(yùn)動(dòng)區(qū)域像素的特征去除陰影，結(jié)果如圖4（f）所示。從4（f）圖中可以看出基于亮度的陰影去除算法會(huì)使人臉部分空洞部分?jǐn)U大，為了能夠準(zhǔn)確提取運(yùn)動(dòng)目標(biāo)，使用形態(tài)學(xué)分析方法對(duì)圖4（f）進(jìn)行形態(tài)學(xué)處理，結(jié)果如圖4（g）所示，結(jié)合原始的當(dāng)前幀圖像精確提取出的行人區(qū)域，結(jié)果如圖4（h）所示。最后利用SMQT和SNoW算法對(duì)提取到的運(yùn)動(dòng)目標(biāo)區(qū)域中進(jìn)行面部檢測(cè)與定位的效果如圖4（i）所示。

從上圖結(jié)果可以看出，在準(zhǔn)確提取運(yùn)動(dòng)目標(biāo)區(qū)域后進(jìn)行面部定位與行人偵測(cè)，可以提高檢測(cè)的精度和速度。原因在于準(zhǔn)確提取得到的運(yùn)動(dòng)目標(biāo)區(qū)域減少了其他干擾對(duì)面部定位與行人偵測(cè)的影響，提高了面部定位精度，同時(shí)也減少面部定位分類(lèi)器搜索范圍以提高定位速度。為對(duì)所采用算法性能進(jìn)行對(duì)比實(shí)驗(yàn)，單獨(dú)采用SNoW算法對(duì)視頻當(dāng)前幀圖像圖4（b）進(jìn)行面部定位處理，其結(jié)果如圖5所示。從圖中可以看出，僅采用SNoW算法時(shí)檢測(cè)結(jié)果中出現(xiàn)了誤檢區(qū)域，使得檢測(cè)準(zhǔn)確度降低。與圖4（i）對(duì)比，本文所采用算法則能獲得滿意的行人目標(biāo)及其面部信息檢測(cè)效果。

圖4 行人偵測(cè)算法Fig.4 Pedestrian detection algorithm

圖5 SNoW算法面部定位結(jié)果Fig.5 Results of face position by SNoW algorithms

圖6 SNoW算法與本文算法對(duì)比Fig.6 Contrast with SNoW algorithm and the article algorithm

進(jìn)一步地，為測(cè)試所采用算法在干擾環(huán)境下的行人目標(biāo)檢測(cè)效果，調(diào)整的視頻監(jiān)控區(qū)域如圖6所示，該區(qū)域中存在相應(yīng)的黑色磚塊干擾區(qū)域。分別采用SNoW算法和本文所采用算法進(jìn)行對(duì)比實(shí)驗(yàn)，檢測(cè)結(jié)果如圖6中的方框位置所示。從圖中可以看出，單獨(dú)采用SNoW算法時(shí)仍然導(dǎo)致誤檢區(qū)域的出現(xiàn)，本文所采用算法則實(shí)現(xiàn)了行人面部信息的有效提取。

4 結(jié)束語(yǔ)

本文在完成視頻監(jiān)控終端硬件設(shè)計(jì)的基礎(chǔ)上，將面部定位算法應(yīng)用于行人偵測(cè)。首先利用背景差算法、陰影去除算法和圖像形態(tài)學(xué)分析方法完成運(yùn)動(dòng)目標(biāo)區(qū)域精確提取，然后使用面部定位算法對(duì)運(yùn)動(dòng)目標(biāo)區(qū)域進(jìn)行面部定位，最后以面部定位結(jié)果判斷監(jiān)控區(qū)域是否存在行人目標(biāo)。通過(guò)相關(guān)實(shí)驗(yàn)證明了本文所用方法在行人偵測(cè)的精度和速度上有較大的提升，可用于需要行人偵測(cè)報(bào)警功能的視頻監(jiān)控系統(tǒng)中，以及各類(lèi)重要視頻監(jiān)控的場(chǎng)合。另外，本文設(shè)計(jì)的視頻監(jiān)控系統(tǒng)具有很好的擴(kuò)展性，可應(yīng)用于電力、能源、通信、交通等行業(yè)。

[1]ZHOU You， LIU Yan-ying， WANG Chun-min.Contrast research of several human motion detection algorithm[J].Journal of Jilin University:Information Science Edition，2009，27（6）:652-658.

[2]Gavrila D M，Giebel J，Munder S.Vision-based pedestrian detection:the PROTECTOR system [C]//In Proceedings of IEEE of Conference on Intelligent Vehicles Symposium，Parma:2004:13-18.

[3]Viola P，Jones M J，Snow D.Detecting Pedestrians Using patterns of motion and appearance[J].International Journal of Computer Vision，2005，63（2）:153-161.

[4]李娟，邵春福，楊勵(lì)雅.基于混合高斯模型的行人檢測(cè)方法[J].吉林大學(xué)學(xué)報(bào)：工學(xué)版，2011，41（1）:41-45.LI Juan，SHAO Chun-fu，YANG Li-ya.Pedestrian detection based on improved gaussian mixture mode[J].Journal of Jilin University：Engineering and Technology Edition，2011，41（1）:41-45.

[5]Alonso I P，Llorca D F，SoteloM A.Combination of feature extraction methods for SVM pedestrian detection[J].IEEE Transactions on Intelligent Transportation Systems，2007，8（2）:292-307.

[6]Walk S，Majer N，Schindler K，Schiele B.New features and insights for pedestrian detection[C]//In Proceedings of IEEE Conference on Computer Vision and Pattern Recognition（CVPR）， San Francisco:2010：1030-1037.

[7]朱文佳，戚飛虎.基于Gentle Adaboost的行人檢測(cè)[J].中國(guó)圖象圖形學(xué)報(bào)，2007，12（10）:1905-1908.ZHU Wen-jia，QI Fei-hu.Gentle adaboost based pedestrian detection[J].Journal of Image and Graphics，2007，12（10）:1905-1908.

[8]Rafael C.Gonzalez，Richard E.數(shù)字圖像處理[M].2版.北京:電子工業(yè)出版社，2005：420-432.

[9]劉清，秦秀麗，文松柏，等.YUV顏色空間和圖論切割的陰影去除算法[J].智能系統(tǒng)學(xué)報(bào)，2010，5（6）:556-559.LIU Qing，QIN Xiu-li，WEN Song-bai，et al.The algorithm of shadow-elimination based on YUV color space and graph theory[J].CAAI Transactions on Intelligent Systems，2010，5（6）:556-559.

[10]Prati A，Mikic I.Detecting moving shadows:algorithms and evaluation[J]. IEEE Trans. on Pattern and Machine Intelligence，2003，25（7）:918-923.

[11]Nilsson M，Dahl M，Claesson I.The successive mean quantization transform[C]//In Proceedings of IEEE Conference on Acoustics，Speech，and Signal Processing （ICASSP），Philadelphia:2005：429-432.

[12]Nilsson M，Nordberg J，Claesson I.Face detection using local SMQT features and split up SNoW classifier[C]//In Proceedings of IEEE Conference on Speech and Signal Processing（ICASSP），Honolulu:2007：589-592.

[13]Roth D，Yang M，Ahuja N.A SNoW-Based face detector[C]//In Proceedings of Annual Neural Information Processing Systems Conference on Advances in Neural Information Processing Systems 12，Massachusetts:2000：855-861.