基于卷積神經(jīng)網(wǎng)絡(luò)的視頻監(jiān)控人臉識(shí)別方法

晏鵬程 張一鳴 童光紅 黃鋒 歐先鋒

摘要：視頻監(jiān)控中的人臉識(shí)別算法主要包含人臉檢測(cè)、預(yù)處理、特征提取和特征匹配（人臉識(shí)別）4個(gè)部分，其中最重要的是人臉檢測(cè)和特征匹配。視頻監(jiān)控圖像中的人臉可能有多姿態(tài)、多尺度和局部遮擋等問(wèn)題，對(duì)人臉的提取和識(shí)別有較大影響。采用基于Haar特征的AdaBoost算法實(shí)時(shí)檢測(cè)出視頻中的人臉區(qū)域，獲取人臉圖像，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)（CNN）訓(xùn)練得到人臉圖像的深層特征，進(jìn)而進(jìn)行人臉識(shí)別。實(shí)驗(yàn)結(jié)果表明：該方法可以滿足識(shí)別準(zhǔn)確率和實(shí)時(shí)檢測(cè)的要求，對(duì)視頻圖像中光照變化、姿態(tài)變化、尺度變化和局部遮擋等問(wèn)題具有較好的魯棒性。

關(guān)鍵詞：視頻監(jiān)控，人臉識(shí)別，卷積神經(jīng)網(wǎng)絡(luò)，人臉檢測(cè)，Haar，AdaBoost

中圖分類號(hào)：TP391?文獻(xiàn)標(biāo)志碼：A?文章編號(hào)：2095-5383（2020）01-0026-06

Abstract：The face recognition algorithm in video surveillance mainly includes four parts：face detection，preprocessing，feature extraction and feature matching （face recognition），and the two most important parts are face detection and feature matching.?Faces images in video surveillance may have problems such as multi-pose，multi-scale，and local occlusion，which have a greater impact on face extraction and recognition.In this paper，the AdaBoost algorithm based on Haar feature was used to detect the face regions in real time，and the face image was obtained.?The deep features of the face image were obtained through the convolutional neural network （CNN） training，and then face recognition were performed.?The simulation results indicate that the proposed algorithm meets the requirements of recognition accuracy and real-time detection，and is robust to problems such as illumination change，attitude change，scale change and partial occlusion.

Keywords：video surveillance，face recognition，Convolutional Neural Networks，face detection，Haar，AdaBoost

隨著視頻監(jiān)控技術(shù)的發(fā)展，視頻監(jiān)控系統(tǒng)在許多公共場(chǎng)合得到了廣泛應(yīng)用，為公共安全的保障提供了技術(shù)基礎(chǔ)[1-2]。但是，現(xiàn)有的視頻監(jiān)控系統(tǒng)大都只具備視頻傳輸和視頻儲(chǔ)存的功能，需要人工跟進(jìn)或者后續(xù)進(jìn)行查閱，占用了安全人員的大部分時(shí)間和資源。如果視頻監(jiān)控系統(tǒng)具備智能分析的功能，能夠?qū)σ曨l監(jiān)控場(chǎng)景中的目標(biāo)進(jìn)行智能分析，將大幅度減少安全人員在后續(xù)查閱視頻上的時(shí)間。如果能夠提前預(yù)警，在危情尚未發(fā)生時(shí)將其扼殺，將達(dá)到進(jìn)一步提升監(jiān)控區(qū)域安全的目的。

由于視頻監(jiān)控中人臉?lè)直媛瘦^低、經(jīng)?？焖僖苿?dòng)、尺度變化范圍大、光照和姿態(tài)等變化不定等因素的影響，視頻監(jiān)控人臉識(shí)別面臨更多的困難和更大的挑戰(zhàn)。視頻監(jiān)控中的人臉識(shí)別主要包含人臉檢測(cè)、預(yù)處理、特征提取和特征匹配（人臉識(shí)別）4個(gè)部分，其中最重要的2個(gè)部分是人臉檢測(cè)和特征提取[3]。要做到實(shí)時(shí)人臉檢測(cè)，要求算法的檢測(cè)速度快，檢測(cè)效果準(zhǔn)確。而特征提取直接影響人臉識(shí)別的準(zhǔn)確率。本文在人臉檢測(cè)部分采用基于Haar特征[4]的AdaBoost算法[5]實(shí)時(shí)檢測(cè)出視頻中的人臉區(qū)域，人臉區(qū)域圖像經(jīng)過(guò)預(yù)處理后得到人臉目標(biāo)圖像，然后采用卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）來(lái)提取人臉目標(biāo)圖像的特征[6]，網(wǎng)絡(luò)經(jīng)過(guò)訓(xùn)練后得到預(yù)訓(xùn)練模型作為人臉的分類器，通過(guò)fine-tuning[7]可以減少網(wǎng)絡(luò)模型的訓(xùn)練時(shí)間。

1?人臉檢測(cè)

視頻圖像采集完成后，需要通過(guò)人臉檢測(cè)算法對(duì)視頻圖像中的人臉區(qū)域進(jìn)行截取。本文采用基于Haar特征的Adaboost分類器進(jìn)行人臉區(qū)域的檢測(cè)。

1.1?Haar特征

Haar特征是一種矩形特征，通常用來(lái)進(jìn)行目標(biāo)檢測(cè)。其值表示為黑色矩形所表示區(qū)域的灰度值之和與白色矩形所表示區(qū)域的灰度值之和的差，這樣就可以反映該圖像局部區(qū)域的灰度變化。Haar特征的基本原型[8]如圖1所示。

在人臉檢測(cè)中，人臉的眼睛、鼻子、嘴巴為人臉目標(biāo)的重要面部特征，通過(guò)檢測(cè)這些特征可以極大概率地檢測(cè)出圖像中是否存在人臉目標(biāo)，因此在算法中引入了兩種擴(kuò)展的Haar特征原型[9]：眼睛與眉毛組成的Haar特征、眼睛與鼻子組成的Haar特征，如圖2所示。

1.2?基于Haar特征的AdaBoost算法

AdaBoost算法[10-12]的原理是通過(guò)訓(xùn)練得到多個(gè)不同的弱分類器，并將這些弱分類器通過(guò)疊加、級(jí)聯(lián)得到強(qiáng)分類器。AdaBoost算法流程如圖3所示。

[2]薛曉利，胡蓉，朱金陵.?一種改進(jìn)的Gabor算法及其在人臉識(shí)別中的應(yīng)用[J].?成都工業(yè)學(xué)院學(xué)報(bào)，2011，14（2）：6-8.

[3]曾青松.?多核支持向量域描述在基于圖像集合匹配的人臉識(shí)別中的應(yīng)用[J].?中國(guó)圖象圖形學(xué)報(bào)，2016，21（8）：1021-1027.

[4]MA S，BAI L.?A face detection algorithm based on Adaboost and new Haar-Like feature[C]// IEEE International Conference on Software Engineering and Service Science.?IEEE，2017：651-654.

[5]GUDIPATI V K，BARMAN O R，GAFFOOR M，et al.?Efficient facial expression recognition using adaboost and haar cascade classifiers[C]// Industrial Electronics，Technology & Automation.?IEEE，2017.

[6]盧宏濤，張秦川.?深度卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺(jué)中的應(yīng)用研究綜述[J].?數(shù)據(jù)采集與處理，2016，31（1）：1-17.

[7]歐先鋒，向燦群，湛西羊.基于CNN的車牌數(shù)字字符識(shí)別算法[J].?成都工業(yè)學(xué)院學(xué)報(bào)，2016，19（4）：26-30.

[8]楊秋芬，桂衛(wèi)華，胡豁生，等.?局部二元Haar特征Kadane多閾值A(chǔ)daBoost面部分類識(shí)別[J].?小型微型計(jì)算機(jī)系統(tǒng)，2016，37（11）：2582-2587.

[9]糜元根，陳丹馳，季鵬.?基于幾何特征與新Haar特征的人臉檢測(cè)算法[J].?傳感器與微系統(tǒng)，2017，36（2）：154-157.

[10]李晶惠，葉學(xué)義，夏胡云，等.?基于“大T”型區(qū)域的AdaBoost人臉檢測(cè)算法[J].?軟件導(dǎo)刊，2017，16（10）：22-26.

[11]SONG X，RUI T，ZHA Z，et al.?The AdaBoost algorithm for vehicle detection based on CNN features[C]//International Conference on Internet Multimedia Computing and Service.?ACM，2015：5.

[12]王慶偉，應(yīng)自爐.?一種基于Haar-Like T特征的人臉檢測(cè)算法[J].?模式識(shí)別與人工智能，2015，28（1）：35-41.

[13]李勇，林小竹，蔣夢(mèng)瑩.基于跨連接LeNet-5網(wǎng)絡(luò)的面部表情識(shí)別[J].自動(dòng)化學(xué)報(bào)，2018，44（1）：176-182.