智能視頻監(jiān)控中基于膚色信息的人臉檢測算法研究

黃知超 張鵬 趙華榮 趙文明

摘 要： 針對智能視頻監(jiān)控中人臉檢測受復雜環(huán)境以及多姿態(tài)人臉的影響，采用一種基于膚色特征與AdaBoost算法相結合的方法，提取兩種算法各自優(yōu)點并加以優(yōu)化，其主要思想是利用膚色特征建立膚色模型，選出含有人臉預檢測膚色區(qū)域，進行人臉樣本訓練，提取人臉樣本Haar特征，進行弱分類器訓練，利用迭代的方法，再將不同的弱分類器組合成強分類器，最后形成級聯(lián)分類器，運用級聯(lián)分類器檢測含有人臉的膚色區(qū)域。實驗結果表明，該方法不僅提高了智能視頻監(jiān)控中人臉檢測的效率和準確性，而且具有較好的魯棒性。

關鍵詞： 人臉檢測； 膚色特征； AdaBoost算法； 弱分類器訓練； 級聯(lián)分類器； 視頻監(jiān)控

中圖分類號： TN911.73?34； TP319.4 文獻標識碼： A 文章編號： 1004?373X（2018）07?0058?04

Research on human face detection algorithm based on skin

color information in intelligent video surveillance

HUANG Zhichao， ZHANG Peng， ZHAO Huarong， ZHAO Wenming

（School of Mechanical and Electrical Engineering， Guilin University of Electronic Technology， Guilin 541004， China）

Abstract： Since the human face detection in intelligent video surveillance is influenced by complex environment and multi?pose human face， a method based on skin color feature algorithm and AdaBoost algorithm is adopted to extract and optimize the respective advantages of the two algorithms. According to the main thought of the method， the skin color feature is used to establish the skin color model， and select the pre?detecting skin color area containing human face for human face sample training. The Haar feature of human face sample is extracted to train the weak classifiers. The iterative method is used to combine different weak classifiers into a strong classifier， so as to form a cascade classifier， with which the skin color region containing human face is detected. The experimental results show this method can improve the efficiency and accuracy of human face detection in intelligent video surveillance， and has strong robustness.

Keywords： human face detection； skin color feature； AdaBoost algorithm； weak classifier training； cascade classifier； video surveillance

0 引 言

隨著社會公共安全措施的日益增強和防范技術的不斷進步，智能視頻監(jiān)控系統(tǒng)中的人臉檢測逐漸成為熱門的研究領域。人臉檢測技術是一種分析人臉特征信息進行身份辨別的生物檢測技術，它涉及圖像處理、機器視覺、模式識別等眾多領域。通過人臉檢測判斷該人身份信息[1?2]，人們可以根據(jù)人臉的復雜變化，判斷出一個人的性格與情緒狀態(tài)。人臉檢測技術的最大優(yōu)點是檢測過程精度高、速度快以及更具保密性和方便性，廣泛應用于計算機安全、網(wǎng)絡安全、機器視覺、門禁系統(tǒng)、醫(yī)學診斷系統(tǒng)和智能監(jiān)控系統(tǒng)等[3?4]。因此，對人臉檢測的算法研究成為重中之重。

人臉檢測技術是對載入的圖像經(jīng)過一定的算法處理，找到人臉并確定人臉大小和位置的過程[5?6]。但容易受到復雜環(huán)境的影響，提高了檢測的難度，如易受到人體姿態(tài)、面部表情、圖像旋轉方向、光照和遮擋等因素的影響[7]。海內外學者對此做了很多研究，以AdaBoost算法為核心的人臉檢測算法是2001年由Paul Viola等人提出的，此算法保證了檢測的實時性[8]，但由于容易受到人臉姿態(tài)的影響，從而對多人臉檢測的準確率較低；基于膚色特征的檢測方法主要利用膚色的穩(wěn)定性以及不依賴于人臉細節(jié)的特征[9]，對膚色區(qū)域的圖像進行分割，在膚色區(qū)域中找到并確認人臉位置，檢測速度快，但易出現(xiàn)把類似膚色背景物體錯判為人臉的情況，從而增大了誤判率。

本文結合膚色模型和AdaBoost算法的優(yōu)點，并加以優(yōu)化，利用膚色建模，進行膚色分割，分割出含有人臉的預檢測膚色區(qū)域，結合AdaBoost算法訓練人臉樣本，篩選出能夠區(qū)分人臉特征的弱分類器，再將一系列的弱分類器組合成強分類器，創(chuàng)建級聯(lián)分類器，對含有人臉預檢測膚色區(qū)域的人臉目標進行檢測。該方法不僅解決了智能視頻監(jiān)控中多姿態(tài)人臉以及在復雜背景下人臉檢測困難的問題，而且提高了人臉檢測的準確率和效率。

1 膚色特征和級聯(lián)結構AdaBoost算法解析

1.1 基于膚色特征的人臉檢測

基于膚色特征的人臉檢測方法如圖1所示，主要利用膚色特征在YCbCr空間分布呈現(xiàn)良好的聚類特性和統(tǒng)計分布規(guī)律性，找出含有人臉的膚色區(qū)域。

1.1.1 色彩空間轉換

對于不同種族和膚色的人，膚色差別是亮度的差別，而色度的差別很小[10]。而在RGB色彩空間中，各個分量都含有亮度信息，并且相關性大，易受光照影響。于是，采用YCbCr色彩空間進行膚色特征檢測。

RGB色彩空間經(jīng)過線性轉換可以得到YCbCr空間，其中分量[Y]代表亮度，分量[Cb]代表藍色分量與一個相對參考值的差，分量[Cr]代表紅色分量與一個相對參考值的差。RGB與YCbCr相互轉換的公式如下：

[YCbCr=0.2990.5870.114-0.168 7-0.331 30.50.5-0.418 7-0.081 3RGB+00.50.5] （1）

1.1.2 基于色彩空間的膚色分割

統(tǒng)計信息表明，世界上不同人種的皮膚顏色相差很大，但膚色信息受亮度影響較大，相對受色度信息影響很小，于是，在YCbCr空間內，不考慮分量[Y]的影響，直接映射到CbCr空間上，呈現(xiàn)二維獨立分布，便于運算。在膚色檢測過程中容易受到光照、噪聲等因素的影響，對待測樣本進行光照補償、高斯濾波處理，降低不利因素的影響，提高檢測的準確性。在YCbCr色彩空間內，根據(jù)橢圓膚色模型，按照式（2）進行膚色分割，做形態(tài)學處理，進而得到理想的膚色區(qū)域檢測效果。

在YCbCr色彩空間中，若待檢測圖像像素滿足式（2），則認為是膚色圖像，記為1；否則，記為0，形成二值圖像。

1.1.3 人臉區(qū)域篩選

由膚色模型篩選的膚色區(qū)域，很多不為人臉區(qū)域，需要對這些區(qū)域進行篩選。如受手臂、噪聲、膚色相近的物體和背景環(huán)境等因素影響，存在白色的孤立點以及類膚色的小區(qū)域，做形態(tài)學處理，利用連續(xù)的開閉運算，消除了一些孤立點以及小區(qū)域，進一步確定人臉區(qū)域（限定條件）：

1） 若目標高寬比[k（k≤0.8，k≥2.4）]，則不是人臉區(qū)域并刪除該區(qū)域；

2） 膚色面積過大或過小，則認為不是人臉區(qū)域，刪除該膚色區(qū)域；

3） 矩形面積[S]是目標區(qū)長度與目標區(qū)寬度的乘積，目標區(qū)面積為[s，]若[sS<0.6，]則認為不是人臉區(qū)域；

4） 膚色檢測區(qū)域小于300的去掉，一般多為手或與膚色相近的區(qū)域。

如圖2所示為基于膚色特征的人臉檢測過程。

1.2 AdaBoost算法人臉檢測

AdaBoost算法的人臉檢測如圖3所示，選擇的人臉樣本為正向，在速率和準確性方面，AdaBoost算法對人臉的檢測具有良好的優(yōu)勢，可以得到良好的檢測效果。具體算法是：對候選區(qū)域進行積分圖計算，快速得到Haar?like特征，利用Haar?like特征創(chuàng)建弱分類器，一系列的弱分類器經(jīng)過多次迭代生成強分類器，再將多個強分類器級聯(lián)組成更有檢測效果的級聯(lián)結構分類器。

1.2.1 級聯(lián)結構的AdaBoost算法原理

AdaBoost算法是基于統(tǒng)計理論的一種機器學習算法，其基本原理是訓練大量的正負樣本，篩選樣本的關鍵特征，并把正負樣本區(qū)分開來。Viola和Jones提出了積分圖像概念，并且以AdaBoost算法為基礎訓練人臉檢測分類器，創(chuàng)建第一個實時的人臉檢測系統(tǒng)[11]。該系統(tǒng)利用積分圖像，快速計算正負樣本大量的簡單特征，再利用AdaBoost學習算法篩選一些重要特征，構造一組弱分類器，多個弱分類器經(jīng)過線性組合，形成一個強分類器，然后采用多個強分類器迭代，形成級聯(lián)結構，大大提高檢測準確率。

1.2.2 Haar特征

Haar?like特征作為人臉檢測的特征表示，常常使用到三種類型四種形式（見圖4）。Haar特征分為三類：邊緣特征、線性特征、中心特征和對角線特征，組合成特征模板。Haar特征值反映了圖像的灰度變化情況。

式中[αt=log1βt]。

6） 通過不斷調整檢測窗口的位置和比例找到人臉。

1.2.3 級聯(lián)結構的分類器的訓練

在AdaBoost算法學習中，通過篩選所檢測圖像獲取大量具有代表性的Haar特征值，每一個Haar特征構建一個弱分類器，將一系列弱分類器經(jīng)過迭代構建強分類器，級聯(lián)分類器是把訓練好的強分類器層層迭代并串聯(lián)在一起，每級都有相同的檢測率，并且保留對下一級具體物體的檢測，而每一級的子分類器則有許多Haar特征，并且每個特征帶一個閾值和兩個分支值，每級子分類器帶一個總的閾值，能夠阻擋大部分非人臉樣本通過，人臉樣本順利篩選。級聯(lián)結構是一種從粗到細的結構，從弱分類器到強分類器的過程，從而形成級聯(lián)結構，經(jīng)過多個分類器篩選，人臉樣本最終會以大概率被檢測到，從而被判定為人臉。

2 基于膚色特征與級聯(lián)結構的AdaBoost算法

人臉檢測

基于膚色特征的人臉檢測方法在人臉表情變化以及人臉側面有很好的檢測率，但容易受復雜背景以及光照的影響，出現(xiàn)誤檢和漏檢的現(xiàn)象；AdaBoost人臉檢測算法受背景影響比較小，但容易受到人臉姿態(tài)變化的影響，從而影響檢測率。因此，將兩者的優(yōu)點與缺點進行對比分析，汲取兩種算法的優(yōu)點，將兩種方法進行混合并加以優(yōu)化。通過膚色模型得到含有人臉的待檢測膚色區(qū)域，然后利用分類器對待檢測膚色區(qū)域進行分類，從而提高級聯(lián)分類器的檢測速率，人臉檢測相關流程圖如圖5所示。

3 實驗結果與分析

通過對膚色特征與AdaBoost算法兩種人臉檢測算法進行比較，汲取兩者的優(yōu)點，并加以優(yōu)化，從而得到檢測效果好、檢測速率快的人臉檢測方法。

本實驗從單臉、多人臉、簡單背景和復雜背景四個方面進行測試，比較每一種算法的優(yōu)缺點。測試系統(tǒng)基于VS2013+OpenCV編程，在Intel[?]CoreTm i5?4590 CPU @ 3.30 GHz、4 GB內存的計算機上實現(xiàn)。實驗樣本：180張從監(jiān)控視頻中截取的彩色仿真圖像，圖像規(guī)格為320×240像素，其中包含有單人臉、多人臉、復雜背景以及人臉姿態(tài)各異的圖像，共856張人臉，仿真結果如圖6與圖7所示。

對檢測結果進行分析，統(tǒng)計各個算法的檢測結果如表1所示。

依據(jù)對表1統(tǒng)計數(shù)據(jù)的分析，采用膚色特征的人臉檢測方法在檢測率上比較高，而且檢測速度比較快，但誤檢率相對較高，主要因為容易受到類似膚色區(qū)域以及光照條件的影響；而采用具有級聯(lián)結構的AdaBoost算法容易受到人臉姿態(tài)和復雜背景的影響，從而使多人臉檢測率比較低，檢測速率不高，但誤檢率比較低。本文將兩者各自的優(yōu)點相結合，并加以優(yōu)化，在滿足檢測率的情況下，能夠有比較低的誤檢率，也可以同時滿足相對比較好的檢測率和誤檢率，在檢測速度方面相對兩種算法也有很大的提高，在一定范圍內滿足人臉檢測的準確性。

4 結 語

本文針對膚色特征以及級聯(lián)結構人臉檢測方法進行解析和對比實驗，實驗結果表明，膚色特征容易受到光照條件的影響，而AdaBoost算法容易受到人臉姿態(tài)的影響，其中任何一種算法都不能滿足檢測率和誤檢率的要求，因此，本文取兩種算法各自的優(yōu)點，并加以優(yōu)化。實驗結果證明，在智能視頻監(jiān)控中，該方法不僅達到了檢測率和誤檢率的要求，而且具有比較好的檢測效率，并且對光照、遮擋以及多姿態(tài)人臉等復雜環(huán)境條件，在一定程度上也有很好的檢測效果。

參考文獻

[1] 陳一寧，陳曉光.基于手機和人臉識別的身份識別系統(tǒng)[J].計算機應用與軟件，2011，28（3）：77?79.

CHEN Yining， CHEN Xiaoguang. A novel identity recognition system based on mobile phone and face recognition [J]. Computer applications and software， 2011， 28（3）： 77?79.

[2] 杜薇薇，瞿春柳.人臉檢測技術在3G移動增值業(yè)務中的應用[J].現(xiàn)代電子技術，2009，32（22）：80?83.

DU Weiwei， QU Chunliu. Human face detection technology in 3G mobile value?added business application [J]. Modern electronics technique， 2009， 32（22）： 80?83.

[3] YANG M H， KRIEGMAN A N. Detecting faces in images： a survey [J]. IEEE transactions on pattern analysis and machine intelligence， 2002， 24（1）： 34?58.

[4] 胡一帆，胡友彬，李騫，等.基于視頻監(jiān)控的人臉檢測跟蹤識別系統(tǒng)研究[J].計算機工程與應用，2016，52（21）：1?7.

HU Yifan， HU Youbin， LI Qian， et al. Research on face detection， tracking and recognition system based on video surveillance [J]. Computer engineering and applications， 2016， 52（21）： 1?7.

[5] 賈慧星，章毓晉.智能視頻監(jiān)控中基于機器學習的自動人數(shù)統(tǒng)計[J].電視技術，2009，33（4）：78?81.

JIA Huixing， ZHANG Yujin. Automatic people counting based on machine learning in intelligent video surveillance [J]. Video engineering， 2009， 33（4）： 78?81.

[6] 馮翔，楊健，錢建軍.基于多尺度圖像局部結構分解的人臉特征提取方法[J].計算機與現(xiàn)代化，2015 （3）：52?56.

FENG Xiang， YANG Jian， QIAN Jianjun. Face feature extraction and recognition method for multi?scale local structure?based image decomposition [J]. Computer and modernization， 2015（3）： 52?56.

[7] QIAN Z， XU D. Research advances in face recognition [C]// Proceedings of 2009 Chinese Conference on Pattern Recognition. [S.l.]： IEEE， 2009： 1?5.

[8] VIOLA P， JONES M J. Robust real?time face detection [J]. International journal of computer vision， 2004， 5（2）： 137?154.

[9] WU H， CHEN Q， YACHIDA M. Face detection from color images using a fuzzy pattern matching method [J]. IEEE transactions on pattern analysis and machine intelligence， 1999， 21（6）： 557?563.

[10] YANG J， WAIBEL A. A real?time face tracker [C]// Procee?dings of the 3rd IEEE Workshop on Applications of Computer Vision. [S.l.]： IEEE， 1996： 142?147.

[11] 蔣政，程春玲.基于Haar特性的改進 HOG的人臉特征提取算法[J].計算機科學，2017，44（1）：303?307.

JIANG Zheng， CHENG Chunling. Improved HOG face extraction algorithm based on Haar characteristics [J]. Computer science， 2017， 44（1）： 303?307.