結(jié)合膚色和頭發(fā)檢測(cè)的人頭區(qū)域檢測(cè)方法

朱秋煜， 王國(guó)威， 陳 波， 袁 賽， 徐建忠

1.上海大學(xué) 通信與信息工程學(xué)院，上海200444

2.上海大學(xué) 智慧城市研究院，上海200444

密集人群檢測(cè)是公共安全管理中的重要任務(wù).在基于視頻的人群檢測(cè)與計(jì)數(shù)應(yīng)用中，人體的遮擋重疊相當(dāng)嚴(yán)重，這給人體區(qū)域的準(zhǔn)確檢測(cè)和提取造成了很大的困難.

近年來(lái)，針對(duì)人群檢測(cè)問(wèn)題的研究理論和方法大致分為以下4類：基于知識(shí)的方法、基于模版匹配的方法、基于特征的方法、基于外觀形狀的方法.其中后兩種方法為當(dāng)今研究的熱點(diǎn).基于特征的方法主要對(duì)圖像的膚色、發(fā)色、唇色進(jìn)行檢測(cè)，需要將RGB色彩空間圖像轉(zhuǎn)換到Y(jié)UV或者HSI色彩空間，通過(guò)監(jiān)測(cè)區(qū)域的顏色區(qū)分是否為感興趣區(qū)域[1].基于外觀形狀的方法又稱為基于統(tǒng)計(jì)學(xué)習(xí)或機(jī)器學(xué)習(xí)的方法，其大致流程如下：首先收集大量的各個(gè)視角的人頭和非人頭樣本，然后訓(xùn)練分類器，最后通過(guò)分類器區(qū)分人頭和非人頭區(qū)域，得到檢測(cè)結(jié)果.常見(jiàn)的技術(shù)手段包括基于人工神經(jīng)網(wǎng)絡(luò)的方法、基于支持向量機(jī)的方法、基于Adaboost的方法[2,11].

為了得到準(zhǔn)確的膚色區(qū)域，許多研究者從不同的角度開(kāi)展膚色檢測(cè)方法的分析研究.文獻(xiàn)[3-4]采用基于統(tǒng)計(jì)的方法，通過(guò)建立膚色統(tǒng)計(jì)模型進(jìn)行膚色檢測(cè)，主要包括顏色空間變換和膚色模型的構(gòu)建兩個(gè)步驟；文獻(xiàn)[5]從物理學(xué)光學(xué)特點(diǎn)出發(fā)，在膚色檢測(cè)中引入膚色的光學(xué)特點(diǎn)，利用光照與皮膚間的相互作用，研究膚色反射模型和光譜特性的關(guān)系并進(jìn)行膚色檢測(cè)；文獻(xiàn)[6]采用參數(shù)化的方法構(gòu)造膚色模型，其中包括單高斯模型法、混合高斯模型法、橢圓邊界模型法(elliptic boundary model,EBM)等，通過(guò)驗(yàn)證足夠多的樣本數(shù)據(jù)可以構(gòu)建實(shí)際使用的膚色模型.

文獻(xiàn)[7]針對(duì)頭發(fā)檢測(cè)提出首先使用Adaboost算法檢測(cè)人臉位置，然后將人臉歸一化得到頭發(fā)位置模板，通過(guò)抽取頭發(fā)特征向量將像素聚類為區(qū)域，并利用高斯模型聚類判定聚類區(qū)域是否為頭發(fā)區(qū)域；文獻(xiàn)[8]通過(guò)建立頭發(fā)區(qū)域的顏色統(tǒng)計(jì)模型并結(jié)合頭發(fā)的紋理信息實(shí)現(xiàn)正面臉部頭發(fā)區(qū)域的檢測(cè).

在本文的密集人群研究場(chǎng)景下，人體之間存在著較嚴(yán)重的遮擋.本文選擇人頭作為感興趣區(qū)域，以人頭的位置代表人體的三維位置，從而實(shí)現(xiàn)人體的定位與后續(xù)的計(jì)數(shù).攝像機(jī)的架設(shè)位置一般較高，這就使人頭之間的遮擋概率較小.

本文的檢測(cè)算法沒(méi)有選取當(dāng)今較為熱門的基于Adaboost機(jī)器學(xué)習(xí)方法的人頭檢測(cè)，而是檢測(cè)具有顯著特征的頭部區(qū)域，從而實(shí)現(xiàn)人頭目標(biāo)的檢測(cè).在頭部區(qū)域中，較為明顯且易于檢測(cè)的區(qū)域主要是膚色和頭發(fā).本文將膚色和頭發(fā)區(qū)域作為目標(biāo)區(qū)域，在保證目標(biāo)不漏檢的前提下提高密集人群圖像中人頭檢測(cè)的正確率.

1 膚色區(qū)域檢測(cè)

色彩空間中膚色檢測(cè)的準(zhǔn)確性在一定程度上受到亮度因素的影響.為了降低基于HSV色度空間的檢測(cè)方法中V分量的影響，本文將RGB色彩空間、HSV色彩空間和XYZ色彩空間綜合起來(lái)進(jìn)行研究，從而提高了檢測(cè)率.

在RGB色彩空間中，類膚色顏色的3個(gè)通道值總是遵循R＞G＞B的規(guī)則.在這個(gè)規(guī)律的基礎(chǔ)上，分別為R、G、B三個(gè)通道設(shè)置不同的閾值，同時(shí)對(duì)應(yīng)到HSV色彩空間完成不同的判定.整個(gè)檢測(cè)過(guò)程的詳細(xì)流程如圖1所示：

圖1 膚色判定流程圖Figur e 1 Flowchart of color determination

該方法可以比較理想地消除亮度問(wèn)題給膚色檢測(cè)帶來(lái)的干擾.常見(jiàn)的單獨(dú)使用HSV檢測(cè)的方式雖然在亮度較高的場(chǎng)景中會(huì)出現(xiàn)檢測(cè)不完全的情況，但可以在絕大多數(shù)亮度較高的場(chǎng)景完成比較完整的膚色檢測(cè).此外，該檢測(cè)流程還適用于不同膚色的膚色檢測(cè).

如圖2所示，本文選取的被檢測(cè)圖像包括多種膚色的個(gè)體，同時(shí)在場(chǎng)景中有較多的干擾因素，如前排隊(duì)員的座椅、觀眾席的一些座椅和其他物體.這些干擾物體具有與膚色相近的顏色，尤其是前排座椅，與膚色極其相近.兩種方法都對(duì)該區(qū)域產(chǎn)生了明顯的誤檢測(cè).對(duì)于膚色較淺的隊(duì)員，兩種方法性能相近；但對(duì)于膚色較黑的隊(duì)員，本文方法明顯好于傳統(tǒng)方法.對(duì)于類似于圖2中座椅與膚色近似度很高的區(qū)域，本文進(jìn)一步使用檢測(cè)是否朗伯面的方法，對(duì)座椅類區(qū)域進(jìn)行刪減.

圖2 膚色檢測(cè)結(jié)果對(duì)比圖Figure 2 Comparative results of skin-color detection

朗伯(Lambertian)表面是指在一個(gè)固定的照明分布下，從所有的視場(chǎng)方向上觀測(cè)都具有相同亮度的表面；對(duì)于一個(gè)非朗伯平面，物體表面上每個(gè)點(diǎn)的反射光強(qiáng)度都會(huì)發(fā)生變化.

由于膚色是非朗伯面[29]，膚色區(qū)域中不同的點(diǎn)具有不同的反射光強(qiáng)度.當(dāng)入射光線與法線平行時(shí)，反射光的強(qiáng)度值最高.物體的外觀色彩是該物體表面反射光LS、滲透到物體中的光線及反射到空間中的光線Lb的和，即

式中，等式右邊的第1個(gè)多項(xiàng)式為色彩的觀測(cè)值，該值也是物體的真實(shí)色彩.在XYZ色彩空間中，膚色色彩區(qū)域主要是在黃色和紅色之間，其波長(zhǎng)為580～680 nm，Z通道在該播放范圍內(nèi)變化遠(yuǎn)沒(méi)有X和Y通道明顯，于是選取X Y平面.在X Y平面內(nèi)，直方圖遵循式(2)

在實(shí)際的檢測(cè)中，本文將備選區(qū)域分割成20×20的區(qū)塊，然后根據(jù)式(3)處理每個(gè)區(qū)塊，以判斷該區(qū)塊是否為朗伯面

通過(guò)最大似然估計(jì)可以計(jì)算得到最符合等式左邊部分的曲線，進(jìn)而得到參數(shù)a和b.對(duì)于膚色區(qū)域，a的取值范圍大致為[5,5.5]，b的取值范圍大致為[-1,-2].如果一個(gè)區(qū)塊的a、b值在這個(gè)范圍之內(nèi)，那么就認(rèn)為這個(gè)區(qū)塊是膚色區(qū)域.

采用此方法消除朗伯面區(qū)域后，可得到更準(zhǔn)確的膚色區(qū)域，如圖3所示：

圖3 刪除朗伯面后膚色區(qū)域Figure 3 Skin-color region after removing Lambertian region

2 頭發(fā)區(qū)域檢測(cè)

發(fā)色像素點(diǎn)在YCrCb色彩空間中的色度信息對(duì)于亮度信息具有更好的獨(dú)立性，并且色彩空間的聚類性較好.當(dāng)對(duì)頭發(fā)區(qū)域進(jìn)行檢測(cè)時(shí)，首先在YCrCb空間中將所有發(fā)色采樣點(diǎn)投影到Cb-Cr平面，取得發(fā)色采樣點(diǎn)的色度分布范圍，其映射關(guān)系為

式中，gi=[Yi,Cbi,Cri]T，i=1,2,···,N，f2D=(Cb,Cr)為Cb-Cr坐標(biāo)系平面上的函數(shù)，φi(gi)的定義如下：

這樣可以取得采樣點(diǎn)在Cb-Cr色度平面上的密度分布.對(duì)f2D=(Cb,Cr)進(jìn)行歸一化變換之后，可將其定義為發(fā)色采樣點(diǎn)在Cb-Cr色度平面上的概率分布.為了進(jìn)一步對(duì)頭部區(qū)域進(jìn)行分割和提取，必須建立相應(yīng)的模型來(lái)描述頭發(fā)發(fā)色的色度概率分布.本文采用高斯概率模型完成這一過(guò)程

式中，Cs為高斯峰的總數(shù)；πsk為第k個(gè)高斯成分的先驗(yàn)概率，滿足；μsk和σsk分別為相應(yīng)的均值和方差.對(duì)于此模型，采用EM算法來(lái)估計(jì)模型的參數(shù).根據(jù)參數(shù)估計(jì)的結(jié)果可知Cb與Cr的取值區(qū)間分別為(115,141)和(115,143).

除了頭發(fā)的顏色特征外，在檢測(cè)頭發(fā)區(qū)域的同時(shí)還利用了頭發(fā)的紋理特征.提取頭發(fā)的紋理特征可采用高斯差分濾波器(difference of Gaussian,DOG)和高斯偏移差分濾波器(difference offset of Gaussian,DOOG)相結(jié)合的方法.DOG和DOOG是在圖像處理與計(jì)算機(jī)視覺(jué)領(lǐng)域經(jīng)常用到的一組濾波器，它們的傳遞函數(shù)是兩個(gè)不同寬度的高斯函數(shù)的差分結(jié)果.DOG和DOOG的另外一個(gè)優(yōu)勢(shì)表現(xiàn)在運(yùn)算方面，它們比Gabor簡(jiǎn)單得多.提取該模型的步驟如下：

步驟1 用高斯差分濾波器和高斯偏移差分濾波器對(duì)圖像進(jìn)行卷積，得到響應(yīng)；

步驟2 強(qiáng)化空間域上的響應(yīng)；

步驟3 得到紋理邊緣.

本文抽取頭發(fā)紋理特征和顏色特征作為特征向量，并采用Mean-Shift算法對(duì)頭部區(qū)域所有像素點(diǎn)進(jìn)行聚類，從而得到初步的頭發(fā)區(qū)域.某一樣本點(diǎn)的Mean-Shift向量可定義為

式中，w(xi)為樣本點(diǎn)的權(quán)值，xi為d維的特征向量.此處以頭發(fā)像素點(diǎn)的相對(duì)位置概率取代權(quán)值，這樣就可以通過(guò)增加類頭發(fā)區(qū)域中像素的權(quán)值使頭發(fā)像素聚集更緊密.像素點(diǎn)的相對(duì)位置概率為0時(shí)被劃為非頭發(fā)類.該概率值越大越傾向于聚集成頭發(fā)類，則使用核函數(shù)構(gòu)成的特征空間如下：

式中，hs和hr控制著平滑的解析度，hs為空間域窗口半徑，hr為顏色域窗口半徑.經(jīng)大量實(shí)驗(yàn)證明，當(dāng)hs和hr取值分別為4和6.5時(shí)，可以獲得較為理想的結(jié)果.

本文對(duì)Mean-Shift得到的聚類區(qū)域進(jìn)行進(jìn)一步判斷.判斷時(shí)以每個(gè)區(qū)域的中心點(diǎn)替代整個(gè)區(qū)域，根據(jù)頭發(fā)特征高斯混合模型計(jì)算像素點(diǎn)屬于頭發(fā)的概率，從而對(duì)該像素是否為頭發(fā)像素進(jìn)行判斷，最終獲得頭發(fā)區(qū)域，其判別函數(shù)為

式中，x為像素點(diǎn)，閾值Th設(shè)置為0.003，p(x,μ,σ)為高斯后驗(yàn)概率，具有如下關(guān)系：

當(dāng)某一個(gè)像素屬于頭發(fā)模型的概率低于該閾值時(shí)，該像素被判定為非頭發(fā)像素，表示該像素所在區(qū)域?yàn)榉穷^發(fā)區(qū)域.

圖4為使用本文方法檢測(cè)發(fā)色區(qū)域的效果圖.為了便于觀察黑色區(qū)域，特將其他區(qū)域設(shè)置為白色.

圖4 發(fā)色區(qū)域檢測(cè)Figure 4 Detection of hair region

在被檢測(cè)圖像中，每個(gè)人的發(fā)色有黑色和多種棕色，發(fā)型有長(zhǎng)與短.本文方法都能比較完整地提取到這些區(qū)域，不足之處在于將一些衣服區(qū)域也錯(cuò)誤地識(shí)別為膚色區(qū)域.

3 實(shí)驗(yàn)結(jié)果

采用非背景區(qū)域相疊加的融合方法將膚色提取到的區(qū)域和提取到的頭發(fā)區(qū)域進(jìn)行融合，進(jìn)而得到更加豐富的目標(biāo)信息.融合策略如圖5所示.

為了驗(yàn)證本文方法的性能，本文以網(wǎng)上收集的包含多人的復(fù)雜圖像為實(shí)驗(yàn)對(duì)象進(jìn)行實(shí)驗(yàn)，將膚色提取到的區(qū)域和該部分發(fā)色提取到的區(qū)域相融合，獲得的效果如圖6所示.

為了定量地分析該方法的準(zhǔn)確性，本文從檢測(cè)正確率、漏檢率和誤檢率來(lái)對(duì)該方法進(jìn)行分析.其中正確率為檢測(cè)得到的區(qū)域大小除以實(shí)際目標(biāo)區(qū)域大小，漏檢率為漏掉的區(qū)域大小除以實(shí)際目標(biāo)區(qū)域大小，誤檢率為誤檢測(cè)的區(qū)域大小除以實(shí)際目標(biāo)區(qū)域大小.

圖5 融合策略流程圖Figure 5 Flowchart of images fusion

圖6 膚色頭發(fā)區(qū)域融合Figure 6 Fusion of skin region and hair region

表1 實(shí)驗(yàn)統(tǒng)計(jì)結(jié)果Table 1 Statistical results of experiments

仔細(xì)研究實(shí)驗(yàn)結(jié)果發(fā)現(xiàn)：頭發(fā)區(qū)域檢測(cè)時(shí)容易引起一些誤檢測(cè)，如圖(a)～(c)中的少許學(xué)士服區(qū)域以及圖(d)～(f)中運(yùn)動(dòng)員的衣服區(qū)域.另外，圖(d)～(f)中的幾位運(yùn)動(dòng)員由于頭發(fā)較少，檢測(cè)到的頭發(fā)區(qū)域也較少，這是造成漏檢測(cè)的主要原因.

4 結(jié)語(yǔ)

由于不同的色彩空間對(duì)膚色和頭發(fā)特征的提取具有較大的影響，本文首先對(duì)常用的色彩空間進(jìn)行對(duì)比，便于后續(xù)檢測(cè)環(huán)節(jié)對(duì)色彩空間的選擇.在膚色檢測(cè)部分，本文選取像素點(diǎn)檢測(cè)和區(qū)域檢測(cè)相結(jié)合的方法對(duì)膚色區(qū)域進(jìn)行精準(zhǔn)快速的提取.在像素點(diǎn)檢測(cè)時(shí)，本文選取HSV色彩空間和RGB色彩空間各取所長(zhǎng)的閾值檢測(cè)方法，對(duì)類膚色像素點(diǎn)進(jìn)行提??；對(duì)于誤提取的非膚色區(qū)域，本文利用膚色的非朗伯面屬性進(jìn)行刪除.通過(guò)實(shí)驗(yàn)表明，該方法具有較高的準(zhǔn)確性.在對(duì)頭發(fā)區(qū)域進(jìn)行檢測(cè)時(shí)，本文選取頭發(fā)的顏色特征和紋特征作為特征向量，在使用Mean-Shift進(jìn)行聚類后，訓(xùn)練得到基于高斯模型的檢測(cè)模型，對(duì)頭發(fā)區(qū)域進(jìn)行提取.本文使用的檢測(cè)方法即使出現(xiàn)少許檢測(cè)誤差，仍然能夠得到較為準(zhǔn)確而完整的目標(biāo)區(qū)域，故具有較高的實(shí)用性，為后續(xù)的目標(biāo)定位打下了良好的基礎(chǔ).

[1]GHOMSHEH A N,TALEBPOUR A,BASSERI M.Regional skin detection based on eliminating skin-like Lambertian surfaces[C]//2011 IEEE Symposium on Computers&Informatics,2011:307-312.

[2]VIOLA P,JONESM J.Robust real-time face detection[J].International Journal of Computer Vision,2004,57(2):137-154.

[3]YANGD W,CHENC W,CHANGC H.Face detection architecture design using hybrid skin color detection and cascade of classif iers[C]//2012 IEEE Asia Pacif ic Conference on Circuits and Systems(APCCAS),2012:543-546.

[4]LIU L Y,SANGN,YANG SY,HUANGR.Real-time skin color detection under rapidly changing illumination conditions[J].IEEE Transactions on Consumer Electronics,August,2011,57(3):1295-1302.

[5]GHOMSHEH A N,TALEBPOUR A,BASSERI M.Skin detection based on eliminating skin-like Lambertian surfaces[C]//2011 IEEE Symposium on Computers&Informatics(ISCI),2011:307-312.

[6]VEZHNEVETSV,SAZONOV V,ANDREEVA A.A survey on pixel-based skin color detection techniques[C]//International Conference GraphiCon,2003(3):85-92.

[7]傅文林，胡福喬.基于Mean Shift的頭發(fā)自動(dòng)檢測(cè)[J].微型電腦應(yīng)用，2010,26(9):62-64.

FU Wenlin,HU Fuqiao.Hair detection with mean shift[J].Microcomputer Applications,2010,26(9):62-64.(in Chinese)

[8]YACOOBY,DAVISL S.Detection and analysis of hair[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2006,28(7):1164-1169.(in Chinese)

[9]徐濤，馮志全，吳鵬.與顏色空間選擇無(wú)關(guān)的膚色檢測(cè)方法[J].計(jì)算機(jī)復(fù)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2013,25(1):49-54

XU Tao,FENG Zhiquan,WU Peng.Skin color detection without considering the choice of color space[J].Journal of Computer-Aided Design&Computer Graphics,2013,25(1):49-54.(in Chinese)

[10]曾飛，蔡燦輝.自適應(yīng)膚色檢測(cè)算法的研究[J].微型機(jī)與應(yīng)用，2011(4):37-40.

ZENGFei,CAICanhui.Study on adaptive skin color detection algorithm[J].Image Processing and Multimedia Technology,2011(4):37-40.(in Chinese)

[11]李明瑞，傅明，曹敦.基于膚色檢測(cè)的AdaBoost人臉檢測(cè)算法改進(jìn)[J].計(jì)算機(jī)工程，38(19):147-150.

LIMingrui,FUMing,CAODun.Improvement of AdaBoost face detection algorithm based on skin color detection[J].Computer Engineering,38(19):147-150.(in Chinese)