基于膚色模型和FloatBoost的多姿態(tài)人臉檢測(cè)

李全彬，劉錦高，黃 智

1.徐州師范大學(xué) 物理與電子工程學(xué)院，江蘇 徐州 221116

2.華東師范大學(xué) 通信工程系，上海 200062

基于膚色模型和FloatBoost的多姿態(tài)人臉檢測(cè)

李全彬1，劉錦高2，黃 智1

1.徐州師范大學(xué) 物理與電子工程學(xué)院，江蘇 徐州 221116

2.華東師范大學(xué) 通信工程系，上海 200062

1 引言

光照、表情、姿態(tài)、遮擋等都會(huì)在一定程度上影響人臉檢測(cè)的準(zhǔn)確率，其中，姿態(tài)的變化對(duì)檢測(cè)結(jié)果的影響尤其明顯。而有研究表明，實(shí)際應(yīng)用需處理的人臉圖像，超過75%都是多姿態(tài)的[1]。因此，多姿態(tài)的人臉檢測(cè)已經(jīng)成為目前研究的一個(gè)熱點(diǎn)方向之一。

Miao等[2]利用拉普拉斯算子提取人臉6個(gè)主要器官的邊緣作為人臉模板，利用分層的方法較早地實(shí)現(xiàn)了復(fù)雜背景下的多姿態(tài)人臉檢測(cè)。但該方法只能檢測(cè)旋轉(zhuǎn)角度在－30°至+30°的灰度人臉圖像，并且檢測(cè)率只有86.7%。Li等[3]采用支持向量機(jī)訓(xùn)練人臉姿態(tài)分類器，實(shí)現(xiàn)了多姿態(tài)的人臉檢測(cè)，但系統(tǒng)的運(yùn)行速度離實(shí)際應(yīng)用還有一定的差距。Huang等[4]通過一棵由粗到精標(biāo)注了人臉的不同姿態(tài)的樹形檢測(cè)器實(shí)現(xiàn)了多姿態(tài)的人臉檢測(cè)。如果考慮到膚色信息，該系統(tǒng)的運(yùn)行速度應(yīng)該還有很大的提升。Wang[5]等用遞歸非參數(shù)鑒別分析（RNDA）方法提取人臉特征，利用Adaboost算法設(shè)計(jì)分類器，實(shí)現(xiàn)了多姿態(tài)的人臉檢測(cè)，但由于沒有考慮人臉的膚色信息，造成了部分誤檢，影響了檢測(cè)效果。Lin等[6]利用YCbCr顏色空間進(jìn)行人臉區(qū)域的粗定位，然后利用訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)了多姿態(tài)的人臉檢測(cè)。該方法雖然考慮了膚色信息，但由于YCbCr分割閾值是個(gè)固定范圍，在某些復(fù)雜光照情況下會(huì)造成膚色區(qū)域定位失敗，造成檢測(cè)失敗。Chen[7]和Vural[8]根據(jù)不同姿態(tài)的人臉特征點(diǎn)信息，利用級(jí)聯(lián)分類器實(shí)現(xiàn)了多姿態(tài)的人臉檢測(cè)系統(tǒng)，對(duì)于標(biāo)準(zhǔn)化處理過的多姿態(tài)人臉圖像實(shí)現(xiàn)了較好的檢測(cè)效果。但由于提取的特征點(diǎn)過多并且沒有考慮膚色信息，對(duì)復(fù)雜環(huán)境下的圖像進(jìn)行實(shí)時(shí)的多姿態(tài)人臉檢測(cè)在速度和準(zhǔn)確度上都有一定的局限性。

本文利用光照魯棒的膚色模型來搜索可能人臉區(qū)域，并進(jìn)行膚色分割，確定候選人臉區(qū)域，然后對(duì)人臉的關(guān)鍵特征進(jìn)行定位，確定重要特征塊的中心，將這些中心點(diǎn)確定的符合條件的候選區(qū)域利用FloatBoost進(jìn)行分類，最終快速準(zhǔn)確的實(shí)現(xiàn)了多姿態(tài)的人臉檢測(cè)。系統(tǒng)的實(shí)現(xiàn)框圖如圖1所示。

圖1 多姿態(tài)人臉檢測(cè)系統(tǒng)實(shí)現(xiàn)框圖

2 膚色區(qū)域檢測(cè)

利用光照魯棒的膚色模型[9-10]，對(duì)輸入圖像進(jìn)行膚色區(qū)域檢測(cè)，效果如圖2所示。

圖2 膚色區(qū)域檢測(cè)結(jié)果

3 人臉候選區(qū)域的搜索和分割

3.1 搜索特征和定位

經(jīng)過膚色區(qū)域檢測(cè)后，背景、頭發(fā)等影響人臉檢測(cè)的因素基本被清除，即可在剩下的候選區(qū)域內(nèi)進(jìn)行特征搜索，待搜索特征采用Lin等[6]使用的三角形特征，但搜索策略有所增加。Lin等選擇的三角形的三個(gè)頂點(diǎn)為左眼、右眼和嘴唇，該三角形近似為等腰三角形，如圖3（a）所示。但如果偏轉(zhuǎn)角度接近90°，左眼或右眼的定位特征消失，將造成檢測(cè)失敗，如圖3（b）所示。為此，本文引入新的三角形特征，即：左眼（右眼）、鼻孔、嘴唇，如圖3（c）所示。

圖3 三角形特征和裁剪區(qū)域

為了對(duì)本文所提三角形特征的各個(gè)頂點(diǎn)進(jìn)行準(zhǔn)確定位，對(duì)Hsu等[11]提出的基于YCbCr顏色空間的彩色人臉圖像特征（眼睛和嘴巴）定位方法進(jìn)行改進(jìn)，即在獲取映射圖像后，對(duì)映射圖進(jìn)行二值化，然后采用4-連通檢測(cè)的方法獲取其中的關(guān)鍵特征點(diǎn)區(qū)域，并按規(guī)則消除非特征點(diǎn)區(qū)域，實(shí)現(xiàn)了彩色/灰度圖像的眼睛、鼻子、嘴巴的準(zhǔn)確定位，實(shí)現(xiàn)過程如圖4所示。

圖4 人臉特征點(diǎn)定位過程

3.2 搜索策略

由于搜索特征的變化，本文在Lin等采用的搜索策略基礎(chǔ)上，新增搜索策略如下：

其中，i為左眼或右眼塊的中心，j為嘴唇塊的中心，k為鼻孔塊的中心。D(i，j)為眼睛與嘴唇的歐式距離，D(i，k)為眼睛與鼻孔的歐式距離，D(j，k)為鼻孔與嘴唇的歐式距離。 Abs為絕對(duì)值。如果(i，j，k)坐標(biāo)滿足上面三個(gè)匹配條件，則構(gòu)成待選的三角區(qū)域。

一般分割的人臉區(qū)域應(yīng)該包含眉毛至下巴的區(qū)域，修正Lin等的分割策略，解決其在檢測(cè)水平偏轉(zhuǎn)角度超過－15°以后造成的候選區(qū)域裁剪不當(dāng)問題。修正策略如下（所有坐標(biāo)值均取整，下同）：

其中，(Xi，Yi)表示左眼的中心，(Xj，Yj)表示嘴唇的中心，(Xk，Yk)表示右眼的中心。(X1，Y1)，(X2，Y2)，(X3，Y3)，(X4，Y4)分別表示圖3（d）所示分割區(qū)域的四個(gè)頂點(diǎn)。

由本文搜索策略確定的區(qū)域，分割坐標(biāo)由下面的公式確定：

其中，(Xi，Yi)表示左眼或右眼的中心，(Xj，Yj)表示嘴唇的中心，(Xk，Yk)表示鼻孔的中心。 (X1，Y1)，(X2，Y2)，(X3，Y3)，(X4，Y4)分別表示圖3（d）所示分割區(qū)域的四個(gè)頂點(diǎn)。

經(jīng)過以上步驟，一系列的人臉候選區(qū)域已經(jīng)被確定，在將這些候選區(qū)域進(jìn)行尺寸標(biāo)準(zhǔn)化，統(tǒng)一為60像素×60像素，即可送入FloatBoost分類器進(jìn)行驗(yàn)證，以最終確定真實(shí)的人臉區(qū)域。

4 FloatBoost算法

Freund等[12]提出的AdaBoost算法有一個(gè)前提假設(shè)，即隨著弱分類器的不斷增加，強(qiáng)分類器的分類性能也應(yīng)該逐漸提高。但在實(shí)際應(yīng)用中，這一單調(diào)性的假設(shè)如不能滿足，將造成弱分類器選擇失敗。此外，AdaBoost在訓(xùn)練時(shí)，對(duì)于分類性能好的弱分類器增加權(quán)值，反之則減少權(quán)值，這將導(dǎo)致該算法在弱分類器的選擇中常常存在局部最優(yōu)的問題，影響分類性能。因此，Li[1]等對(duì)AdaBoost算法進(jìn)行了改進(jìn)，提出了FloatBoost算法。該算法把浮動(dòng)搜索（Floating Search）與AdaBoost算法結(jié)合起來，在前向搜索時(shí)引入回朔機(jī)制，將已選擇的強(qiáng)分類器中導(dǎo)致整體分類性能下降的弱分類器從級(jí)聯(lián)弱分類器中剔除掉，這種策略不僅解決了AdaBoost算法必須保證單調(diào)性的問題，也在很大程度上克服了AdaBoost算法存在的局部最優(yōu)缺陷。

5 分類器的設(shè)計(jì)

基于該算法設(shè)計(jì)的人臉檢測(cè)分類器采用由粗到精的塔型策略，共3層，最上一層處理的姿態(tài)范圍為[-90，+90]，第二層細(xì)分姿態(tài)為三組，分別為[-90，-30]，[-30，+30]，[+30，+90]，第三層繼續(xù)將姿態(tài)細(xì)分，每偏轉(zhuǎn)20度為一個(gè)組，共9組，分別為 [-90，-70]，[-70，-50]，[-50，-30]，[-30，-10]，[-10，+10]，[+10，+30]，[+30，+50]，[+50，+70]，[+70，+90]。分類器結(jié)構(gòu)如圖5所示。

圖5 多姿態(tài)人臉的分類器結(jié)構(gòu)圖

該分類器結(jié)構(gòu)共包含13個(gè)檢測(cè)器，但只有其中的8個(gè)需要通過樣本進(jìn)行訓(xùn)練，其他位于第二層和第三層的5個(gè)檢測(cè)器可以利用人臉的對(duì)稱性通過鏡像的方法得到，因此，每層只需要訓(xùn)練（K+1）/2個(gè)檢測(cè)器即可（K是對(duì)應(yīng)層次的姿態(tài)檢測(cè)器數(shù)目）。這些檢測(cè)器分別獨(dú)立訓(xùn)練，訓(xùn)練過程如下：最上面一層的檢測(cè)器由三個(gè)分別使用5，13，20個(gè)Haar小波特征訓(xùn)練的強(qiáng)分類器級(jí)聯(lián)，能拒絕50%的非人臉圖像，接受99%的訓(xùn)練人臉。在第二層，每一個(gè)檢測(cè)器都是由6個(gè)強(qiáng)分類器級(jí)聯(lián)，能拒絕第一層檢測(cè)漏檢的97%的非人臉圖像，接受98%的訓(xùn)練人臉。第三層，每一個(gè)檢測(cè)器由20個(gè)強(qiáng)分類器組成，能實(shí)現(xiàn)接近97%的人臉檢測(cè)率，6×10－4的誤檢率和3.4×10－2的漏檢率。

分類器的訓(xùn)練樣本來自FERET彩色人臉庫和部分網(wǎng)絡(luò)收集的多姿態(tài)人臉照片，共1 000張，涵蓋了垂直偏轉(zhuǎn)[-90，+90]、水平偏轉(zhuǎn)[-45，+45]以及上下[-20，+20]的姿態(tài)范圍。部分訓(xùn)練樣本如圖6所示。

圖6 部分多姿態(tài)人臉訓(xùn)練樣本

6 實(shí)驗(yàn)結(jié)果和分析

實(shí)驗(yàn)所用測(cè)試圖像共1 200張，大小不等。其中含人臉圖像1 000張（包含1 655個(gè)人臉），無人臉圖像200張。測(cè)試圖像來自數(shù)碼相機(jī)拍攝、網(wǎng)絡(luò)、FERET彩色人臉庫和MIT-CBCL人臉庫[13]。實(shí)驗(yàn)平臺(tái)為Windows XP，P4 2 GHz，內(nèi)存2 GB的臺(tái)式機(jī)，在總計(jì)1 655個(gè)獨(dú)立人臉圖像中，有55張漏檢，1張誤檢，正確檢測(cè)率接近96.6%（1 599/1 655= 96.6%），非人臉圖像只有一幅圖像出現(xiàn)誤檢，非人臉拒絕率為99.5%（199/200=99.5%），檢測(cè)系統(tǒng)通過Delphi代碼實(shí)現(xiàn)，在大小為170像素×240像素的人臉圖像中，平均定位一個(gè)人臉的時(shí)間約為220 ms。部分圖片的檢測(cè)效果如圖7所示，圖8對(duì)比了文獻(xiàn)[6]方法和本文方法的人臉區(qū)域定位效果，表1是最終的實(shí)驗(yàn)結(jié)果。

圖7 多姿態(tài)人臉檢測(cè)效果

表1 本文方法與其他方法的實(shí)驗(yàn)結(jié)果比較 （%）

實(shí)驗(yàn)結(jié)果表明，有效的膚色檢測(cè)可以有效提高多姿態(tài)人臉檢測(cè)的正確檢測(cè)率，并且明顯地縮短檢測(cè)時(shí)間，提高了檢測(cè)效率。由圖8可以看出，本文的特征搜索策略提高了多姿態(tài)人臉的檢出率，定位人臉區(qū)域的效果也明顯改善，為后期的人臉識(shí)別提供了更準(zhǔn)確的特征提取區(qū)域。

圖8 定位結(jié)果比較

[1]Li S Z，Zhang Z Q.Floatboost learning and statistical face detection[J].IEEE Trans on Pattern Anal Mach Intell，2004，26：1112-1123.

[2]Miao J，Yin B，Wang K，et al.A hierarchical multiscale and multiangle system for human face detection in a complex background using gravity-center template[J].Pattern Recognition，1999，32（7）：1237-1248.

[3]Li Y M，Gong S G，Sherrah J，et al.Support vector machine based multi-view face detection and recognition[J].Image and Vision Computing，2004，22（5）：413-427.

[4]Huang C，Ai H，Li Y，et al.Vector boosting for rotation invariantmulti-view facedetection[C]//Proceedingsofthe 10th IEEE ICCV，2005.

[5]Wang P，Ji Q.Multi-view face and eye detection using discriminantfeatures[J].ComputerVision and Image Understanding，2007，105（2）：99-111.

[6]Lin C.Face detection in complicated backgrounds and differentillumination conditionsby using YCbCrcolorspace and neural network[J].Pattern Recognition Letters，2007，28（16）：2190-2200.

[7]Chen J C，Lien J J J.A view-based statistical system for multi-view face detection and pose estimation[J].Image and Vision Computing，2009，27（9）：1252-1271.

[8]Vural S，Mae Y，Uvet H，et al.Multi-view fast object detection by using extended haar filters in uncontrolled environments[J].Pattern Recognition Letters，2012，33（2）：126-133.

[9]李全彬，王小明，劉錦高，等.復(fù)雜光照下的人臉膚色檢測(cè)方法[J].計(jì)算機(jī)應(yīng)用，2010，30（6）：1594-1596.

[10]李全彬，孫巧榆，劉錦高，等.復(fù)雜背景和光照多變的人臉檢測(cè)方法[J].計(jì)算機(jī)工程與應(yīng)用，2009，45（18）：22-24.

[11]Hsu R L，Abdel-Mottaleb M，Jain A K.Face detection in color images[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24（5）：696-706.

[12]Freund Y，Schapire R E.A decision-theoretic generalization of on-line learning and an application to boosting[J].Journal of Computer and System Sciences，1997，55（1）：119-139. [13]Weyrauch B，Huang J，Heisele B，et al.Component-based face recognition with 3D morphable models[C]//1st IEEE Workshop on Face Processing in Video，Washington，DC，2004.

LI Quanbin1,LIU Jingao2,HUANG Zhi1

1.College of Physics and Electronic Engineering,Xuzhou Normal University,Xuzhou,Jiangsu 221116,China
2.Department of Communication Engineering,East China Normal University,Shanghai 200062,China

Multi-view face detection is a key problem for face recognition system.This method searches the potential face regions using the proposed skin color model,chroma map is adopted to obtain the four-connected components from the skin color segmentation blocks,it labels them,and identifies the center of each block,the faces verification is performed through the classifier based on FloatBoost.

face detection;multi-view;skin color model;FloatBoost

多姿態(tài)人臉檢測(cè)是人臉識(shí)別系統(tǒng)必須解決的關(guān)鍵問題之一。利用光照魯棒的膚色模型來搜索待檢圖像的可能人臉區(qū)域并進(jìn)行膚色分割，結(jié)合分割區(qū)域的幾何信息確定最終的候選人臉區(qū)域，然后對(duì)人臉的關(guān)鍵特征進(jìn)行定位，按規(guī)則計(jì)算重要特征塊的中心，將這些中心點(diǎn)確定的符合條件的候選區(qū)域利用FloatBoost進(jìn)行分類，最終實(shí)現(xiàn)了快速準(zhǔn)確的多姿態(tài)人臉檢測(cè)。

人臉檢測(cè)；多姿態(tài)；膚色模型；FloatBoost

A

TP391

10.3778/j.issn.1002-8331.1202-0187

LI Quanbin,LIU Jingao,HUANG Zhi.Multi-view face detection using skin color model and FloatBoost.Computer Engineering and Applications,2013,49（23）：166-169.

國家自然科學(xué)基金（No.41104096）；上海市科委科技支撐計(jì)劃部市合作項(xiàng)目（No.10DZ0581000）。

李全彬（1977—），男，博士，講師，主要研究領(lǐng)域?yàn)槿斯ぶ悄?、網(wǎng)絡(luò)信息系統(tǒng)；劉錦高（1948—），男，教授，博導(dǎo)；黃智（1973—），女，博士，副教授。E-mail：liqbzy@163.com

2012-02-13

2012-04-06

1002-8331（2013）23-0166-04

CNKI出版日期：2012-06-15 http://www.cnki.net/kcms/detail/11.2127.TP.20120615.1727.042.html