基于人臉跟蹤與識別的行人闖紅燈取證系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)

韋勇 萬旭 徐海黎 沈標(biāo)

摘 要： 針對交叉路口行人頻繁闖紅燈的現(xiàn)象，提出一種基于人臉跟蹤和人臉識別的行人闖紅燈取證解決方案。行人闖紅燈取證系統(tǒng)分為前端抓拍部分和后臺比對查詢部分，主要包括信息采集模塊、人臉檢測跟蹤模塊、報(bào)警模塊和比對識別模塊。系統(tǒng)采用改進(jìn)的AdaBoost算法檢測人臉，提出基于Camshift和軌跡預(yù)測的多人臉跟蹤算法，以解決傳統(tǒng)Camshift算法跟蹤目標(biāo)需手動繪制、跟蹤目標(biāo)單一和背景區(qū)域干擾大的缺點(diǎn)，實(shí)現(xiàn)了多人臉實(shí)時跟蹤。后臺比對查詢部分采用基于卷積神經(jīng)網(wǎng)絡(luò)的方法對人臉進(jìn)行比對識別。實(shí)際使用結(jié)果表明，該系統(tǒng)具有良好的穩(wěn)定性和實(shí)時性，可有效杜絕“中國式過馬路”現(xiàn)象。

關(guān)鍵詞： 行人闖紅燈； 多功能報(bào)警； 人臉檢測； 人臉跟蹤； 人臉抓拍； 人臉識別

中圖分類號： TN911.73?34； TP391.4 文獻(xiàn)標(biāo)識碼： A 文章編號： 1004?373X（2018）19?0036?04

Abstract： Aiming at the phenomenon that pedestrians frequently cross the intersections on a red light， a solution about how to warn the pedestrians and collect the evidences of pedestrians′ red?light running is put forward， which is based on face tracking and recognition. The pedestrians′ red?light running evidence?collection system is divided into front?end capture section and background matching query section， which includes information acquisition module， face detection tracking module， alarm module and matching recognition module. The improved AdaBoost algorithm is adopted in the system to detect the human face. The multi?face tracking algorithm based on Camshift and trajectory prediction is proposed to overcome the shortcomings of the tracking target manual drawing of traditional Camshift algorithm， single tracking target and large interference of background area， and realize the multi?face real?time tracking. The method based on convolutional neural network is used in the background matching query section to compare and recognize the faces. The practical usage result of this system shows that the system has high stability and real?time performance， and can effectively eliminate the phenomenon of ″Chinese style of crossing road″.

Keywords： pedestrians′ red?light running； multi?function alarm； face detection； face tracking； face capture； face recognition

0 引 言

近年來，隨著城市道路交通的迅速發(fā)展，機(jī)動車的數(shù)量日益增多。在我國城市交叉路口，行人過馬路闖紅燈的現(xiàn)象較為常見，尤其當(dāng)群體行人數(shù)量達(dá)到4人時，最容易激發(fā)人群的集體闖紅燈行為，這種行為被稱為“中國式過馬路”[1?4]。行人闖紅燈的行為不僅會威脅人身安全，還會誘發(fā)交通事故，影響交通秩序。為了提高城市交通秩序、保障人民群眾的生命安全、倡導(dǎo)文明出行，需要對行人闖紅燈行為進(jìn)行檢測識別，并做出一些相應(yīng)的提醒和處罰措施，提高行人在道路交通中的自覺意識[5?6]。本文提出了基于人臉跟蹤和識別技術(shù)的行人闖紅燈取證系統(tǒng)的解決方案，用信息化、智能化的手段加強(qiáng)對城市道路交通的管理，推動智慧交通、智慧城市的建設(shè)。本系統(tǒng)對路口的實(shí)時視頻流進(jìn)行處理，檢測視頻中闖紅燈的行人并對其進(jìn)行跟蹤，在斑馬線上設(shè)置3條虛擬檢測線，行人每至一處便存取一張圖片作為闖紅燈憑證，將對比獲得的清晰人臉圖片送至后臺服務(wù)器進(jìn)行提取特征和比對識別，最終得到此人闖紅燈的次數(shù)。

1 行人闖紅燈取證系統(tǒng)設(shè)計(jì)方案

行人闖紅燈取證系統(tǒng)分為前端抓拍部分和后臺識別查詢部分。抓拍客戶端通過星光級高清攝像機(jī)的SDK中相關(guān)回調(diào)函數(shù)將采集到的視頻信息進(jìn)行顯示，當(dāng)路口信號燈為紅燈時將H264編碼方式的每一幀圖像數(shù)據(jù)用于人臉檢測和人臉跟蹤，若為綠燈時則只顯示不處理。檢測到行人闖紅燈時，則語音播報(bào)“請不要闖紅燈”，LCD液晶屏顯示當(dāng)前闖紅燈人臉圖像且LED文字屏顯示“您闖紅燈了”。抓拍客戶端將抓拍的行人闖紅燈軌跡圖、提取的人臉圖像通過FTP傳至后臺服務(wù)器。后臺服務(wù)器將這些存入數(shù)據(jù)庫，并與庫中人臉進(jìn)行比對識別，最終可通過網(wǎng)頁查詢每位行人闖紅燈的總次數(shù)。行人闖紅燈系統(tǒng)的結(jié)構(gòu)如圖1所示。

2 行人闖紅燈取證系統(tǒng)模塊設(shè)計(jì)

2.1 信息采集模塊

信息采集模塊的主要功能是采集紅綠燈信號和圖像數(shù)據(jù)，并對采集到的圖像數(shù)據(jù)進(jìn)行預(yù)處理。紅綠信號使用紅燈信號檢測板獲得，紅燈時工控機(jī)將通過RS 232串口接收數(shù)據(jù)。該模塊首先結(jié)合星光相機(jī)SDK中的回調(diào)函數(shù)實(shí)現(xiàn)視頻實(shí)時播放，若接收到紅燈信號則將H264編碼方式的每一幀圖像數(shù)據(jù)作預(yù)處理，使得光線等外界因素對人臉的影響減小，人臉特征信息凸顯，且圖像數(shù)據(jù)四字節(jié)對齊以滿足后續(xù)人臉檢測跟蹤算法的要求。

2.2 檢測跟蹤模塊

檢測跟蹤模塊的主要功能是紅燈時檢測每一幀圖像中是否存在人臉，若存在則在視頻序列中對其進(jìn)行跟蹤，在3條虛擬檢測帶處抓拍圖片并提取最清晰人臉。該模塊具有人臉檢測、人臉跟蹤、虛擬檢測帶處抓拍等功能。

2.2.1 人臉檢測

人臉檢測的目的是確定圖像數(shù)據(jù)中人臉的數(shù)量、位置和大小。人臉檢測算法在速率和準(zhǔn)確性上很難同時達(dá)到最優(yōu)，目前使用最廣泛且速度和準(zhǔn)確性較好的是AdaBoost算法。傳統(tǒng)的AdaBoost算法的一種分類器只能檢測一個角度的人臉，而且對環(huán)境的要求較高，一般用于實(shí)驗(yàn)室中對靜態(tài)正面人臉的檢測[7?8]。本系統(tǒng)的工作環(huán)境為交叉路口的人行橫道區(qū)，需要考慮人臉多角度多姿態(tài)等問題。針對本系統(tǒng)復(fù)雜的工作環(huán)境，對原始的AdaBoost算法進(jìn)行改進(jìn)，訓(xùn)練正臉分類器、側(cè)臉分類器，分別用于檢測水平旋轉(zhuǎn)角度為[-15°，15°]，[-30°，-15°]，[15°，30°]的人臉，使用時通過串聯(lián)分類器檢測人臉，當(dāng)正臉分類器檢測到人臉則無需使用側(cè)臉分類器。這種方法很好地解決了以往AdaBoost分類器只能檢測靜態(tài)圖像中正臉的問題。

2.2.2 人臉跟蹤

人臉跟蹤的目的是根據(jù)前一幀圖像中檢測到的人臉位置、人臉膚色等信息，確定下一幀圖像中該人臉的位置。通常人臉檢測后才可進(jìn)行人臉跟蹤，因此檢測是跟蹤的必要前提和鋪墊[9?10]。本系統(tǒng)需要抓拍3張不同位置的圖片記錄行人闖紅燈的過程，所以在檢測到目標(biāo)人臉后需要對人臉進(jìn)行跟蹤。目前人臉跟蹤使用最多的是Camshift算法。Camshift算法主要通過對設(shè)定的初始區(qū)域建立顏色模型，然后在視頻序列中尋找最優(yōu)匹配目標(biāo)從而達(dá)到跟蹤的目的，魯棒性較好。但Camshift算法只能對單一目標(biāo)進(jìn)行跟蹤，初始區(qū)域需要手動設(shè)定，當(dāng)背景顏色與跟蹤目標(biāo)相近會出現(xiàn)混亂甚至跟丟的現(xiàn)象。本系統(tǒng)工作環(huán)境為交叉路口的人行橫道區(qū)，背景復(fù)雜且會有多個行人同時出現(xiàn)的情況。針對此問題，對傳統(tǒng)Camshift進(jìn)行改進(jìn)，提出一種基于Camshift和軌跡預(yù)測的多人臉跟蹤算法。該算法將上一步檢測到的人臉區(qū)域自動設(shè)為跟蹤初始區(qū)，采用多線程，每一線程跟蹤一個人臉，并結(jié)合軌跡預(yù)測實(shí)現(xiàn)多人臉的對應(yīng)跟蹤，經(jīng)驗(yàn)證該算法具有很好的穩(wěn)定性。

2.2.3 虛擬檢測帶處抓拍

虛擬檢測帶是視頻檢測技術(shù)的一種，本系統(tǒng)中在視頻中的馬路區(qū)域設(shè)置3條虛擬的檢測線，在實(shí)現(xiàn)人臉跟蹤后，當(dāng)跟蹤目標(biāo)到達(dá)檢測線位置時便抓拍1張圖片，由此抓拍3張過程圖片作為行人闖紅燈憑證[11]。

檢測跟蹤模塊工作流程如圖2所示。

2.3 報(bào)警模塊

報(bào)警模塊的主要功能是對闖紅燈的行人進(jìn)行提示和警告，由人臉顯示液晶屏、LED文字提示屏和語音提示喇叭三部分組成。當(dāng)有行人闖紅燈時則LCD液晶屏顯示當(dāng)前闖紅燈清晰人臉圖像，LED文字屏顯示紅色文字“您闖紅燈了”，且語音提示喇叭提示“請不要闖紅燈”。當(dāng)綠燈或無行人闖紅燈時則LCD液晶屏循環(huán)顯示最近10張闖紅燈人臉圖，LED文字屏顯示綠色“請注意交通安全”。

2.4 比對識別模塊

比對識別模塊的主要功能是將FTP接收的行人闖紅燈3張過程圖和優(yōu)選清晰的人臉圖錄入管理數(shù)據(jù)庫，并提取清晰人臉圖特征與數(shù)據(jù)庫中已有的人臉庫進(jìn)行比對識別，統(tǒng)計(jì)出該行人闖紅燈的次數(shù)，然后更新記錄數(shù)據(jù)庫以便網(wǎng)頁查詢。

人臉識別的核心問題就是提取出人臉的特征值[12?14]，并將其與人臉庫中的特征值進(jìn)行比對。本系統(tǒng)中在獲取清晰人臉圖片后先采用一個九層的卷積神經(jīng)網(wǎng)絡(luò)來提取特征，然后進(jìn)行特征比對識別[15]。本系統(tǒng)使用的人臉識別模型是開源的，由140萬張人臉圖像訓(xùn)練得到，這些訓(xùn)練圖像來自于約1.6萬人，其中既有東方人也有西方人。實(shí)際測試表明，該引擎在本系統(tǒng)所在場景中具有良好的性能。

比對識別模塊工作流程如圖3所示。

3 系統(tǒng)實(shí)現(xiàn)與實(shí)驗(yàn)結(jié)果

行人闖紅燈取證系統(tǒng)的開發(fā)工具是Visual Studio 2013，使用了主流計(jì)算機(jī)開放視覺庫Open Source Computer Vision Library（OpenCV），OpenCV版本是2.4.10，數(shù)據(jù)庫采用的是SQL 2008。系統(tǒng)的抓拍客戶端主界面和網(wǎng)頁查詢界面如圖4，圖5所示。

在南京市浦口區(qū)某路口安裝本系統(tǒng)實(shí)際測試，通過對前后一個月行人闖紅燈數(shù)量統(tǒng)計(jì)后發(fā)現(xiàn)，該路口每天約有10 000人經(jīng)過，安裝前每天闖紅燈的人數(shù)在1 000～2 000人之間，占總?cè)藬?shù)的10%～20%，而在安裝后每天闖紅燈行人數(shù)為200～300人，只占總?cè)藬?shù)的2%～3%。本系統(tǒng)有效緩解了行人闖紅燈現(xiàn)象，具有很好的實(shí)用性和穩(wěn)定性，不僅維持了交通秩序，也促進(jìn)了智慧交通的發(fā)展。

4 結(jié) 語

本文設(shè)計(jì)了一種新的行人闖紅燈取證系統(tǒng)，介紹了該系統(tǒng)的總體結(jié)構(gòu)，詳細(xì)闡述了各個模塊的功能。同時，通過與沒有安裝系統(tǒng)前的路口情況作了對比測試，驗(yàn)證了基于人臉跟蹤與識別的行人闖紅燈取證系統(tǒng)的實(shí)用性和穩(wěn)定性，為提高城市交通秩序提供了新的可行的辦法。

注：本文通訊作者為徐海黎。

參考文獻(xiàn)

[1] ZHANG W， WANG K， WANG L， et al. Exploring factors affecting pedestrians′ red?light running behaviors at intersections in China [J]. Accident analysis prevention， 2016， 96： 71?78.

[2] 武強(qiáng)，洪趙駿，呂美.“中國式過馬路”背景下的交叉路口行人闖紅燈現(xiàn)象調(diào)查——基于西安市交叉路口觀測數(shù)據(jù)分析[J].決策與信息，2016（9）：121.

WU Qiang， HONG Zhaojun， L? Mei. Investigation on pheno?menon of pedestrian running red traffic lights at cross roads under the background of "Chinese?style crossing the road"： based on analysis of observation data at crossroads in Xian [J]. Decision & information， 2016（9）： 121.

[3] 陳亦新，徐婷，孫小端.信號交叉口個體行人與群體行人過街闖紅燈行為分析[J].科學(xué)技術(shù)與工程，2017，17（8）：288?292.

CHEN Yixin， XU Ting， SUN Xiaoduan. Study on red?light violation behavior of individual pedestrian and pedestrian group at signalized intersections [J]. Science technology and enginee?ring， 2017， 17（8）： 288?292.

[4] 張高煜.行人闖紅燈事件視頻檢測算法與實(shí)現(xiàn)[J].信息技術(shù)，2013（12）：53?56.

ZHANG Gaoyu. Pedestrian red light running event video detection algorithm [J]. Information technology， 2013（12）： 53?56.

[5] 嚴(yán)官林，沈昱明，張民.基于視頻的行人闖紅燈檢測方法[J].信息技術(shù)，2015（3）：165?169.

YAN Guanlin， SHEN Yuming， ZHANG Min. Detecting method of pedestrian running red light with video [J]. Information technology， 2015（3）： 165?169.

[6] 唐曉東.基于視頻分析的行人闖紅燈違法行為檢測系統(tǒng)[J].中國人民公安大學(xué)學(xué)報(bào)（自然科學(xué)版），2014，20（1）：60?63.

TANG Xiaodong. Pedestrian detection system for red light violation based on video analysis [J]. Journal of Chinese People′s Public Security University （science and technology）， 2014， 20（1）： 60?63.

[7] 汪翠.基于OpenCV的人臉檢測與跟蹤算法研究與實(shí)現(xiàn)[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2014.

WANG Cui. Research on algorithm of face detection and tracking based on OpenCV [D]. Harbin： Harbin Institute of Technology， 2014.

[8] 廖廣軍.復(fù)雜條件下的人臉檢測與識別應(yīng)用研究[D].廣州：華南理工大學(xué)，2014.

LIAO Guangjun. Research of face detection & recognition and its application under complex environment [D]. Guangzhou： South China University of Technology， 2014.

[9] 陳春林.基于pcDuino的人臉檢測追蹤系統(tǒng)[D].蘭州：蘭州大學(xué)，2015.

CHEN Chunlin. Face detection and tracking system based on pcDuino [D]. Lanzhou： Lanzhou University， 2015.

[10] KANG S， CHOI B， JO D. Faces detection method based on skin color modeling [M]. North?Holland： Elsevier North?Holland Inc.， 2016.

[11] 郭鵬飛，徐海黎，潘臘青，等.基于視頻虛擬檢測帶的交通流量檢測方法[J].測控技術(shù)，2016，35（2）：28?31.

GUO Pengfei， XU Haili， PAN Laqing， et al. Traffic volume detection methods based on video virtual strip [J]. Measurement & control technology， 2016， 35（2）： 28?31.

[12] 卓成龍.基于視頻的多目標(biāo)人臉跟蹤算法研究與實(shí)現(xiàn)[D].成都：電子科技大學(xué)，2013.

ZHUO Chenglong. The study and implementation of the algorithm for the video?based multiple faces tracking [D]. Chengdu： University of Electronic Science and Technology of China， 2013.

[13] 吳丹陽.基于視頻的實(shí)時多人臉檢測、識別與跟蹤方法研究[D].沈陽：沈陽工業(yè)大學(xué)，2013.

WU Danyang. Research on video based real?time multiple face detection， recognition and tracking methods [D]. Shenyang： Shenyang University of Technology， 2013.

[14] CHAUDHRY S， CHANDRA R. Face detection and recognition in an unconstrained environment for mobile visual assistive system [J]. Applied soft computing， 2017， 53： 168?180.

[15] 孟繁靜.基于視頻的實(shí)時多人臉檢測跟蹤與優(yōu)選方法研究[D].長春：東北師范大學(xué)，2016.

MENG Fanjing. Research on real?time video?based multiple faces detection， tracking and optimization methods [D]. Changchun： Northeast Normal University， 2016.