基于膚色和器官定位的實時人臉檢測*

黃禹馨，黃 山,，張洪斌

(1.四川大學電氣信息學院，四川 成都 610065;2.四川大學計算機學院，四川 成都 610065)

基于膚色和器官定位的實時人臉檢測*

黃禹馨1，黃 山1,2，張洪斌2

(1.四川大學電氣信息學院，四川 成都 610065;2.四川大學計算機學院，四川 成都 610065)

基于膚色和器官的人臉檢測是視覺監(jiān)控領域中廣泛應用的經(jīng)典方法，但是辨別每個膚色像素和提取候選區(qū)域非常耗時且對噪聲敏感，很多時候不能滿足實時人臉檢測的需要。通過引入膚色單元的概念，提高了該方法的快速性和魯棒性，最終將其應用于實時視頻序列中。首先，采用單元化的方法進行膚色分割，提取出人的膚色部分；接著，根據(jù)人臉長寬比例的范圍，確定出候選人臉；然后，再對候選人臉區(qū)域分別進行眼睛和嘴巴的定位；對眼睛和嘴巴定位之后，我們可以利用眼睛和嘴巴呈倒三角關系的幾何特征反過來進行人臉的精確定位。實驗結果表明，該方法的識別率較高，并能滿足實時視頻人臉檢測的快速性要求。

人臉檢測；膚色分割；器官定位；幾何特征

1 引言

人臉檢測作為計算機視覺領域的一個熱點研究問題，是人臉識別的前期工作，直接影響整個系統(tǒng)的性能和效率。近年來，隨著安全監(jiān)控、自動跟蹤等領域的快速發(fā)展，人們不再滿足于對單幅圖片的人臉檢測和識別，而轉向了對實時視頻中的人臉檢測和識別，由此對系統(tǒng)的實時性提出了更高的要求。

目前人臉檢測的主要方法有：基于AdaBoost的方法、基于神經(jīng)網(wǎng)絡的方法、基于色彩信息的方法和基于器官特征的方法等。然而前兩種方法均需要通過冗長而復雜的訓練過程才能達到人臉檢測的目的，而基于色彩信息和器官特征這兩種方法相對來說更簡單易行，能更好地滿足實際應用中的實時性要求。Hsu R等人[1]對基于膚色的人臉檢測方面已經(jīng)做了大量的研究。本文主要是在文獻[1]的基礎上引入膚色單元的概念,提高了該方法的快速性和魯棒性，并結合了文獻[2,3]中的器官定位方法來保證人臉檢測精度，從而使之可以運用于實時視頻的檢測。

2 實時視頻中快速人臉檢測方法

2.1 人臉的顏色空間

經(jīng)過對不同民族、不同種族的膚色研究發(fā)現(xiàn)，人的膚色在顏色空間上有聚類性，通過這種聚類性可以將人的膚色和其他物體區(qū)別出來。目前文獻中常用的人臉顏色空間主要有：RGB(Red-Green-Blue)顏色空間、YIQ顏色空間[4]、HSV(Hue-Saturation-Value)顏色空間、HSI(Hue-Saturation-Intensity)顏色模型和YUV(YCbCr)顏色模型等。本文選取RGB顏色模型進行膚色檢測。RGB顏色模型基于多媒體和攝像機中應用最廣泛的RGB顏色空間。RGB顏色空間的紅綠藍三個變量之間是相互獨立的，其混合疊加后能共同表示現(xiàn)實中的幾乎任何顏色，通過線性變化，RGB顏色空間可以直接轉化為灰度圖?；叶葓D轉換表達式如式(1)所示：

Gray=0.299×R+0.587×G+0.114×B

(1)

然而，在RGB顏色模型中，物體如果受到不同的光照，那么這個點表現(xiàn)出的三色值將受到較大影響，但其表達式的顏色不變。為了解決這個問題，我們引入了RGB顏色模型。RGB顏色模型又叫歸一化的RGB顏色模型。RGB顏色模型三分量是RGB顏色模型中各個分量(R、G、B分量)占它們三者之和(R+G+B)的比例，其轉換公式為：

(2)

由上式可以看出，經(jīng)過轉換，r+g+b=1總是成立，如果我們只考慮r和g的值不考慮b的值，這就相當于將三維的RGB空間轉換成了二維的r-g空間。由于RGB模型是各個顏色分量的比例，和亮度信息沒有關系，所以該模型可以克服亮度對膚色的影響。McKenna等人曾在(r,g)空間中對40個人(這40個人來自不同的民族)的膚色分布進行分析；Soriano等人對白種人和黃種人的膚色分布情況進行研究得出的結論是：不同人種的人臉膚色在不同光照的條件下在(r,g)空間的分布具有一致性。所以，本文采用了Soriano等人提出的膚色描述方法[5]進行膚色空間描述，即：

G+=amr2+bmr+cm,

(3)

其中,r應當滿足一定的范圍來進行條件約束；并且，當r和g都等于0.33時會出現(xiàn)白色像素點，需要剔除，即：

(4)

在滿足式(3)和式(4)的前提下，如果滿足下式條件，則判斷此像素點為膚色點：

(5)

對于膚色像素，我們將其標記為1，非膚色像素我們將其標記為0。膚色圖像掩膜的數(shù)學表達式如下：

(6)

圖1為實際的膚色像素分類圖。其中，圖1a為原始RGB圖，圖1b為經(jīng)過歸一化的RGB膚色檢測后的效果圖。

Figure 1 Color space pixel calibration圖1 顏色空間像素標定

2.2 膚色區(qū)域分割

2.2.1 膚色單元

在RGB顏色空間中進行膚色分類得到的膚色區(qū)域是以像素點為單位的。在接下來的連通域檢測[6]中，為了節(jié)省時間，并提高其魯棒性，我們引入了膚色單元概念進行處理。

假設，一幅圖像I(x,y)的大小為M*N，我們可以將這幅圖像均等地分為P*Q個大小為m*n的基本單元U(X,Y)。P=M/m，Q=N/n。根據(jù)基本單元U(X,Y)內膚色像素點和基本單元內總像素點的比例，將基本單元分為膚色單元和非膚色單元。

(7)

其中，R(X,Y)為第(X,Y)個基本單元內膚色像素點和總像素點的比例，如果這個值大于某個閾值θ，我們就將U(X,Y)標記為膚色單元；否則為非膚色單元，表達式如下：

(8)

原始圖像的大小為320*240，我們將其分割成40*30(1 200)個大小為8*8的基本單元。也就是將傳統(tǒng)算法中的76 800個像素點的連通域檢測變成了對1 200個膚色單元的連通域檢測。大大縮小了計算時間。

由圖2我們可以看出，傳統(tǒng)膚色提取方法對噪聲非常敏感。而引入了膚色單元后，其魯棒性得到了顯著的改善。

Figure 2 Comparison of robustness between traditional algorithm and the unitized color extraction algorithm 圖2 傳統(tǒng)算法與單元化膚色提取算法魯棒性的對比

單元化的膚色提取方法不僅改善了原來算法的魯棒性，在快速性方面也有很大的提升。我們使用了100幅圖像對傳統(tǒng)算法和改進后的算法分別進行測試，結果如表1所示。表格中只抽取了這100幅圖像中的前4組數(shù)據(jù)進行比較，經(jīng)過改進后的算法的搜索時間大大縮短，平均搜索時間比未改進前快了210.15倍。

2.2.2 候選人臉

在對人臉進行膚色單元標定之后，我們就可以使用連通域方法[6]從膚色區(qū)域中提取出候選人臉

Table 1 Comparison of search time between

區(qū)域。人臉的形狀接近于矩形和橢圓形，但是，使用橢圓比外接矩形耗時，而且在確定真正的人臉之前就使用橢圓進行人臉提取沒有實際的意義。因此，我們選用外接矩形去逼近人臉進行人臉的提取。我們知道，人臉的長寬是有一定的比例范圍的，本文選取外接矩形的長寬比為：

0.5

(9)

經(jīng)過連通域方法對膚色區(qū)域進行提取，然后利用人臉的長寬比例對連通域方法提取的矩形進行初步判斷。初步選定的候選人臉圖如圖3所示。

Figure 3 Candidates face圖3 候選人臉

文獻[7]中對候選人臉的選取采用投影法，即將圖3c圖分別進行橫軸和縱軸的投影，然后確定聯(lián)通域。顯然本文采用的方法比文獻[7]采用的方法要簡單、快速、省時。

2.3 器官定位

檢測出候選人臉之后，可以利用面部器官的位置、比例關系反過來進行人臉的精確定位。本文利用人臉面部的眼睛和嘴巴呈倒三角關系的幾何特征來進行人臉的精確定位，同時濾除非人臉區(qū)域。

2.3.1 眼睛定位

在人的面部器官中，人的眼睛是主要器官之一，也是非常重要的面部特征。因此，實現(xiàn)眼睛的精確定位對人臉面部器官特征的提取和人臉的精確檢測有著非常重要的意義。目前常用的人眼定位方法主要有以下幾種：模板匹配的方法、基于廣義對稱變換的方法、邊緣檢測方法、基于灰度投影的方法等。

上述方法中，前三種方法計算復雜、運算量大、對計算機性能要求較高且不利于實時視頻的處理。第四種方法計算簡單，但是該種方法容易受到服飾和周圍環(huán)境的影響。因此，我們對該種方法進行了一些改進。改進算法的具體流程如圖4所示。

Figure 4 Flow chart of eyes position 圖4 眼睛定位流程圖

(1)y坐標的確定。

由于人眼周圍顏色和明暗變化豐富，而面部其他部分則不具有這個特征，所以我們可以對灰度的變化進行微分，在眼睛部分必然產(chǎn)生一個絕對值較大的值，然后將這些值累加，結果最大的那一行便為眼睛的y坐標。在數(shù)字圖像處理中，我們用差分代替微分，運算如下：

(10)

(11)

通過D(x，y)的最大值確定y坐標，繼而確定候選眼睛區(qū)域。

由于候選人臉的定位是采用外接矩形進行描述的，因此會存在脖子部分有衣服等其他非膚色干擾因素的存在。這些非膚色區(qū)域也可能存在較豐富的灰度變化，這給眼睛y坐標的定位帶來了一定的干擾。針對這一問題，我們進行了一定的改進：根據(jù)人臉的比例，我們將微分操作限制在圖像的上半部分，即在圖像的1/2～2/3以上部分；同時，將圖片分成左右兩部分分別進行y坐標的確定。這樣就避免了其他非膚色區(qū)域的干擾。獲得y坐標后，分別將y+a和y-a部分作為眼睛的候選區(qū)域。

(2)x坐標定位。

人的眼睛構成部分有白色和黑色，根據(jù)這一點可以進行眼睛x坐標的判斷。在獲取了眼睛y坐標之后，我們將候選眼睛區(qū)域進行二值化，獲取二值化的眼睛圖像；然后將二值化的圖像向x軸做投影，這樣便可以獲取兩個波峰。這兩個波峰分別為左、右兩個眼睛的x坐標。

Figure 5 Results of eyes position圖5 眼睛定位結果

2.3.2 嘴巴定位

在人臉中，嘴巴是除了眼睛之外的另外一個重要器官和重要面部特征。利用嘴巴和眼睛的三角關系以及人臉的比例結構可以進行人臉的精確定位。嘴巴的顏色相對于膚色而言顏色較深且偏紅，其他器官的顏色沒有這一特性，因此可以利用RGB顏色空間進行嘴巴的定位。

根據(jù)人臉的比例關系和前面已經(jīng)確定的左、右眼位置，我們可以大致確定嘴巴X和Y坐標的搜索范圍：

AEyey-2.3×Δx

Δx=Righteyex-Lefteyex，

AEyey=(Lefteyey+Righteyey)/2

(12)

YangJie等人[7]根據(jù)RGB三分量提出了唇色模型：

(13)

若θ<0.2，則認為此點為嘴巴。利用這一唇色模型，加上我們規(guī)定的搜索范圍，可以在彩色圖上進行嘴唇位置的判斷。獲得了左、右眼和嘴巴的位置，就可以根據(jù)三角關系進行人臉的精確定位。左、右眼和嘴巴的三角關系圖如圖6所示。

Figure 6 Eyes and mouth position圖6 眼睛和嘴巴定位

在圖6b中，經(jīng)過上一小節(jié)候選人臉的判斷后，將手掌部分判定為候選人臉，在候選人臉部分進行眼睛和嘴巴等器官的定位后系統(tǒng)確定手掌區(qū)域內部沒有眼睛、嘴巴等器官，也不存在眼睛嘴巴的三角關系，因此判斷出手掌區(qū)域不是人臉區(qū)域。在系統(tǒng)中，定位到人臉面部器官后，用直線將左眼、右眼以及嘴巴部分連接起來。

3 實驗結果與分析

本文實驗中使用的計算機的配置為：Intel Pentium(R)E5300 2.6 GHz CPU；Kingston DDR 2 GB內存。操作系統(tǒng)為Windows XP，實驗平臺為VS2010。攝像機采用SHEPER彩色攝像機，以PAL制信號輸出。視頻采集卡采用天敏公司的SDK2500監(jiān)控卡，獲取到的圖片為320*240的24 Bit的真彩色RGB圖，采集幀率為25幀/s。

3.1 人臉檢測結果

單人人臉檢測效果如圖7所示，經(jīng)過多次實驗，本文的方法能實時地進行單個人臉的檢測，且檢測率較高。

Figure 7 Results of face detection 圖7 人臉檢測結果

3.2 干擾檢測

由圖8可見，本文的算法排除了與人臉同樣具有大面積膚色連通域且長寬比相近的手掌的干擾，成功地檢測出了人臉的位置。并且本次實驗中有一位圖片提供者一直佩戴眼鏡參與實驗，所以本文的檢測方法對佩戴簡單飾物者仍然適用。

Figure 8 Palm interference experiments圖8 手掌干擾實驗

3.3 實驗數(shù)據(jù)分析

用本文方法對200幅實時正面人臉進行檢測，得出本文方法的檢測平均幀率為21，正確檢測數(shù)為191，錯誤檢測數(shù)為9，正確率為95.5%。

4 結束語

本文提出了一種實時視頻中的快速人臉檢測方法，采用膚色分割和器官檢測來確定人臉的位置。通過引入膚色單元的概念來提高人臉定位的快速性和魯棒性。實驗結果表明了該方法的效果。如何進行多人臉的同時有效定位和對不同人種膚色人臉的檢測將是下一步研究的主要方向。

[1] Hus R L,Abdel-Mottalab M,Jain A K.Face detection in color images[J]. PAMI, 2002,24(5):696-706.

[2] Sheng Xian, Huang Shan，Zhou He. Application and simulation of eye location based on improved projection algorithm[J]. Computer Simulation, 2011,28(11):311-314.(in Chinese)

[3] Yang Jie,Alex W.A real-time face tracker[C]∥Proc of WACV’ 96, 1996:142-147.

[4] Hu Xiao-yan. The study of algorithms about face detection based on complexion[D]. Chengdu:Sichuan University, 2004.(in Chinese)

[5] Soriano M, Martinkauppi B, Huovinen S, et al. Using the skin locus to cope with changing illumination conditions in color-based face tracking[C]∥Proc of IEEE Nordic Signal Processing Symposium,2000:383-386.

[6] Yang Shu-ying. VC++ image processing program design [M]. 2nd edition. Beijing:Tsinghua University Press, 2003. (in Chinese)

[7] Du Ping, Zhang Yan-kun, Liu Chong-qing. Institute of image processing and pattern recognition[J]. Computer Simulation, 2003,20(2):117-119. (in Chinese)

附中文參考文獻：

[2] 盛賢,黃山,周何. 改進的投影算法在人眼定位中的應用與仿真[J]. 計算機仿真,2011,28(11):311-314.

[4] 胡小燕. 基于膚色的人臉檢測算法的研究[D]. 成都：四川大學, 2004.

[6] 楊淑瑩.VC++圖像處理程序設計(第二版)[M].北京：清華大學出版社，2003.

[7] 杜平,張燕昆,劉重慶. 基于廣義對稱變換的人臉檢測和面部特征提取[J]. 計算機仿真, 2003，20(2):117-119.

HUANGYu-xin,born in 1989,MS candidate,his research interest includes image recognition and processing.

Real-timefacedetectionbasedoncomplexionandorganslocation

HUANG Yu-xin1,HUANG Shan1,2,ZHANG Hong-bin2

(1.School of Electrical Engineering and Information,Sichuan University,Chengdu 610065;2.School of Computer Science,Sichuan University,Chengdu 610065,China)

Face detection based on complexion and organs location is one of the classical methods widely used in the field of visual monitoring,but discriminating each complexion pixel and extracting candidate areas are very time consuming and noise sensitive, which often cannot meet the requirements of real-time face detection. The concept of skin cells is introduced to improve the speed and robustness of the processing and applied to real-time video sequence. Firstly, complexion-like regions are extracted by classifying color skin units. Secondly,candidate face region are filtered with aspect ratio of the regions. Finally,real face regions are well located by utilizing the geometrical features of eyes and mouth and their inverted triangle relation.The experimental results show that this method has high detection accuracy and satisfies the requirements of real-time face detection.

face detection;complexion segmentation;organ location;geometrical feature

1007-130X(2014)05-0936-05

2012-10-12;

：2013-02-25

TP317． 4

：A

10.3969/j.issn.1007-130X.2014.05.025

黃禹馨(1989-),男,江蘇蘇州人，碩士生，研究方向為圖像識別與處理。E-mail:772448597@qq.com

通信地址：610065 四川省成都市四川大學望江校區(qū)基礎教學樓B217

Address:Room B217,Basic Teaching Building,Wangjiang Campus，Sichuan University,Chengdu 610065,Sichuan,P.R.China