基于高斯膚色模型和圖像分割的人臉檢測(cè)

柳映輝，任德華，陳少杰

(天津科技大學(xué)計(jì)算機(jī)科學(xué)與信息工程學(xué)院，天津 300222)

基于高斯膚色模型和圖像分割的人臉檢測(cè)

柳映輝，任德華，陳少杰

(天津科技大學(xué)計(jì)算機(jī)科學(xué)與信息工程學(xué)院，天津 300222)

提出了一種基于HSV、YCgCr顏色空間和圖像區(qū)域分割的人臉檢測(cè)方法．首先，將規(guī)范化的rgb膚色轉(zhuǎn)化到HSV、YCgCr顏色空間，對(duì)向量(H，Cg，Cr)T進(jìn)行統(tǒng)計(jì)，得到膚色的三維高斯概率模型．然后，根據(jù)該模型計(jì)算待檢圖像的膚色相似概率，采用最大類(lèi)間方差的方法計(jì)算二值化閾值，根據(jù)閾值將相似度圖像二值化．為了抵消人臉區(qū)域亮度變化和陰影的影響，以二值圖像為模板，在原待檢圖像的飽和圖中根據(jù)3像素×3像素區(qū)域的平均R、G值進(jìn)行圖像區(qū)域分割．在分割得到的區(qū)域中，根據(jù)人臉特征檢測(cè)出圖像中的人臉．實(shí)驗(yàn)表明，提出的方法能在復(fù)雜背景的情況下檢測(cè)出人臉圖像．

人臉檢測(cè)；高斯模型；圖像分割

人臉檢測(cè)(Face Detection)的目的是判斷圖像中是否存在人臉，并要給出人臉的位置、大小、是否旋轉(zhuǎn)及旋轉(zhuǎn)角度等信息．隨著大量研究工作的展開(kāi)，國(guó)內(nèi)外研究者提出了各種各樣的人臉檢測(cè)方法．大部分的人臉檢測(cè)算法復(fù)雜度都較高，為了提高運(yùn)算效率應(yīng)盡可能地減少檢測(cè)的范圍．

基于顏色特征的方法作為人臉檢測(cè)的前期步驟可以快速地縮小檢測(cè)的區(qū)域，是一種有效的預(yù)處理方法[1]．因此，基于膚色信息的人臉檢測(cè)方法無(wú)論是作為檢測(cè)前期的預(yù)處理，還是作為檢測(cè)后期的結(jié)果確認(rèn)，都是一種有效的手段．

Michael和James統(tǒng)計(jì)了大量膚色、非膚色圖像，根據(jù)RGB空間下的直方圖得到一個(gè)基于概率比值的膚色分類(lèi)器[2]．但是在RGB顏色空間中，其顏色與RGB三個(gè)分量都有關(guān)系，無(wú)法做到顏色、亮度、飽和度信息的分離．劉萬(wàn)春等[3]利用規(guī)范化rgb顏色空間中的分量r，g建立二維高斯模型來(lái)檢測(cè)人臉區(qū)域，并建立了一個(gè)自適應(yīng)模型調(diào)整膚色模型的參數(shù)，然后采用擴(kuò)展卡爾曼濾波器預(yù)測(cè)運(yùn)動(dòng)軌跡，在預(yù)測(cè)軌跡附近的一個(gè)區(qū)域進(jìn)行膚色匹配以減少檢測(cè)范圍，最后采用特征匹配的方法檢測(cè)人臉．規(guī)范化的rgb顏色空間雖然能一定程度上減少亮度差異的影響，但是膚色在rgb空間中的分布離散性還是較大，當(dāng)待檢測(cè)圖像之間的差異較大時(shí)采用該方法不容易取得好的效果．溫靜等[4]則把RGB圖像轉(zhuǎn)換到Y(jié)CbCr顏色空間，并對(duì)Cb，Cr分量建立高斯混合模型(Gaussian Mixture Model，GMM)來(lái)初步檢測(cè)人臉，并配合基于人臉、非人臉特征統(tǒng)計(jì)模型的Bayes分類(lèi)器進(jìn)行人臉檢測(cè)．YCbCr空間雖然做到了亮度信息的分離，但是高斯混合模型參數(shù)的確定卻過(guò)于麻煩，并且非人臉的特征統(tǒng)計(jì)模型也是不容易獲得的．YCgCr顏色空間中膚色類(lèi)聚性?xún)?yōu)于YCbCr顏色空間，張爭(zhēng)珍等[5]用YCgCr顏色空間中的Cg，Cr分量建立二維高斯模型進(jìn)行人臉檢測(cè)．該方法僅利用了Cg，Cr分量，背景干擾較大．

本文在文獻(xiàn)[5]的基礎(chǔ)上，提出了采用(H，Cg，Cr)T向量建立高斯模型，先進(jìn)行初步人臉區(qū)域檢測(cè)，然后進(jìn)行圖像區(qū)域分割進(jìn)一步確定出人臉，最后再利用特征判斷的方法得到人臉位置．由于加入了H分量，其與亮度信息無(wú)關(guān)，只與顏色相關(guān)，故可以在一定程度上減少背景干擾和亮度差異的影響，并且利用人臉區(qū)域連續(xù)性的特點(diǎn)，聯(lián)合采用圖像區(qū)域分割的方法，可以在復(fù)雜背景中檢測(cè)出人臉位置．

1 檢測(cè)原理

1.1 顏色空間轉(zhuǎn)換

在將RGB顏色空間的數(shù)值轉(zhuǎn)化到HSV、YCgCr顏色空間之前，為了進(jìn)一步減少皮膚亮度的差異對(duì)檢測(cè)的影響，先將RGB顏色進(jìn)行規(guī)范化，得到規(guī)范化的rgb值，轉(zhuǎn)換方法與標(biāo)準(zhǔn)方法[6]略有不同：

在此基礎(chǔ)上將規(guī)范化的rgb顏色轉(zhuǎn)化到HSV和YCgCr空間中，獲取(H，Cg，Cr)T三個(gè)分量．從rgb空間轉(zhuǎn)換到HSV空間的轉(zhuǎn)換公式為

經(jīng)過(guò)上述步驟以后，可以將任意一個(gè)像素經(jīng)過(guò)RGB→rgb→HCbCr轉(zhuǎn)換后得到混合顏色空間的膚色向量．將膚色向量中各個(gè)分量看作是隨機(jī)變量，即可根據(jù)膚色樣本圖像計(jì)算得到高斯模型．

1.2 高斯膚色模型

膚色向量為三維向量，故最終統(tǒng)計(jì)得到的高斯模型是多隨機(jī)變量的高斯模型．下面根據(jù)單隨機(jī)變量的協(xié)方差給出多隨機(jī)變量協(xié)方差矩陣的推導(dǎo)過(guò)程：

設(shè)X1，X2，…，Xn為一組隨機(jī)變量，這些隨機(jī)變量構(gòu)成隨機(jī)向量X＝[X1，X2，…，Xn]T，每個(gè)隨機(jī)變量有m個(gè)樣本，則有樣本矩陣

其中αi(i＝1，2，…，n)行向量為隨機(jī)變量Xi所有樣本值，βi(i＝1，2，…，n)列向量為隨機(jī)向量X的單個(gè)樣本值．

隨機(jī)變量Xi，Xj之間的協(xié)方差可以表示為[7]則p(x)可以作為膚色相似度的衡量參數(shù)．進(jìn)行人臉檢測(cè)時(shí)，把待檢測(cè)圖像中的每一個(gè)像素都進(jìn)行計(jì)算，最后得到一副256灰度級(jí)別的膚色相似度圖像．圖像中每個(gè)像素的亮度值表示該像素與膚色的相似度大?。毫炼戎翟礁撸瑒t表示原圖像中該像素越接近皮膚的顏色．

根據(jù)膚色相似度圖像，采用最大類(lèi)間方差的方法(Otsu法)進(jìn)行圖像二值化，在二值圖像中白色的像素表示膚色點(diǎn)，黑色的像素表示非膚色點(diǎn)．從而，使用高斯膚色模型完成了膚色檢測(cè)的工作．一般情況下，人臉的區(qū)域會(huì)被檢測(cè)為膚色區(qū)域，只需在二值圖像中像素為白色的區(qū)域中進(jìn)一步檢測(cè)就可以獲得人臉．當(dāng)然，由于待檢測(cè)圖像的多樣性，例如光照不均勻、拍攝條件不一致、背景干擾等原因，采用高斯膚色模型得到的結(jié)果只能作為初選條件，結(jié)合其他檢測(cè)方法才能得到理想的結(jié)果．

協(xié)方差矩陣和樣本均值決定著人臉檢測(cè)的最終效果，而膚色樣本的選擇直接影響著上述協(xié)方差矩陣的值和樣本均值，只有當(dāng)樣本圖像的(H，Cg，Cr)T向量真正符合高斯分布時(shí)，該模型才能獲得好的檢測(cè)結(jié)果．因此在選取膚色樣本時(shí)，應(yīng)將樣本圖像中明顯差異度較大的圖刪除．

1.3 圖像區(qū)域分割

二值化膚色相似度圖后，人臉區(qū)域可能不連續(xù)(人臉被分裂為多個(gè)部分)或者不完整(人臉只保留一小部分)，單純使用二值圖像不容易得到完整、準(zhǔn)確的人臉位置．由于原始圖像中的人臉區(qū)域一般是連續(xù)的，因此利用區(qū)域連續(xù)性可以從原始圖像中得到較為完整的人臉區(qū)域．

采用基于區(qū)域增長(zhǎng)的方法來(lái)進(jìn)行圖像分割，如何判斷區(qū)域連續(xù)性是一個(gè)關(guān)鍵問(wèn)題．通過(guò)實(shí)驗(yàn)發(fā)現(xiàn)，利用原始RGB顏色作為判斷依據(jù)時(shí)，照片拍攝條件的不一致導(dǎo)致很難找到一個(gè)通用的閾值來(lái)適應(yīng)絕大多數(shù)的圖像，人臉區(qū)域分割的效果不理想．而將膚色轉(zhuǎn)換到HSV顏色空間時(shí)，H分量為紅色偏綠色，可以以此作為區(qū)域連續(xù)性判斷的依據(jù)，并且將飽和度S規(guī)范化為100%，有利于減少飽和度對(duì)連續(xù)性判斷的影響．飽和圖像中人臉顏色不包含藍(lán)色B分量，通過(guò)R、G分量來(lái)判斷某個(gè)點(diǎn)是在區(qū)域內(nèi)還是在區(qū)域外．采用計(jì)算圖1所示3像素×3像素區(qū)域的R、G均值來(lái)判斷其中心點(diǎn)是否在區(qū)域內(nèi)，判斷方法為

當(dāng)(R，G，B)T滿(mǎn)足B＜0.01，R＞100，G＞30，R＞1.5,G時(shí)，P點(diǎn)是區(qū)域內(nèi)的點(diǎn)；否則P點(diǎn)是區(qū)域邊緣的點(diǎn)．實(shí)驗(yàn)發(fā)現(xiàn)通過(guò)如此處理的飽和圖RGB顏色，可以得到滿(mǎn)意的分割效果．

圖1 檢測(cè)區(qū)域舉例Fig.1 Example of detection area

區(qū)域增長(zhǎng)算法如下：

(1)將膚色二值化圖像濾除干擾，得到相對(duì)干凈的二值化圖IB．

(2)將原圖中每個(gè)像素從RGB空間轉(zhuǎn)換到HSV空間，并令其H＝100，再將HSV值反算轉(zhuǎn)換到RGB空間，得到飽和圖像IS．

(3)以IB中白色點(diǎn)為起始點(diǎn)，在IS中按照上述的判斷方法進(jìn)行區(qū)域搜索，得到區(qū)域Region．

(4)如果Region區(qū)域大于400像素，且其寬高比例介于[0.33，3]時(shí)，則將Region視為人臉區(qū)域，加入候選區(qū)域列表；否則轉(zhuǎn)到(3)繼續(xù)搜索下一個(gè)區(qū)域．

(5)當(dāng)IB中所有白色點(diǎn)都搜索完畢時(shí)，區(qū)域增長(zhǎng)算法結(jié)束，輸出候選區(qū)域列表．

這樣在二值圖像中不完整的人臉區(qū)域就被完整的查找出來(lái)了，當(dāng)然以上粗略的判斷條件無(wú)法完全濾除非人臉區(qū)域，因此還要將候選區(qū)域中的非人臉濾除，才能得到最終結(jié)果．

1.4 非人臉區(qū)域?yàn)V除

從候選人臉區(qū)域中將不符合人臉特征的區(qū)域?yàn)V除，主要是根據(jù)人眼、人嘴的顏色特征和位置特征．候選區(qū)域先把H∈(0，30)∪(330，360)的部分保留，其他部分涂黑，再計(jì)算Cr2/Cg2，其中Cr2/Cg2要規(guī)范化到區(qū)間[0，255]．最后將Cr2/Cg2二值化并腐蝕兩次，得到的二值圖中白色區(qū)域的包圍矩形寬高比位于區(qū)間(1，10)時(shí)認(rèn)為是人嘴的位置．根據(jù)嘴和眼睛的位置比例，計(jì)算區(qū)域中屬于人眼部分E1和E2的亮度值，如果二者亮度相近，且比周?chē)鷧^(qū)域亮度低，則認(rèn)為E1和E2就是人眼的位置．否則認(rèn)為候選區(qū)域中不存在人臉，將其濾除．

2 實(shí) 驗(yàn)

實(shí)驗(yàn)圖像集來(lái)自于網(wǎng)上圖片和自拍照片，共計(jì)300副．樣本圖像是從圖像集中隨機(jī)選取50副，從50副圖中手工切割出200副小的人臉樣本圖像(刪除差異明顯的圖像)．然后用這200副人臉樣本圖像建立三維高斯膚色模型，得到的結(jié)果為

以單人和多人兩種情況為例，圖2為原始圖像，圖3為使用本文方法得到的膚色相似度圖．可以看出人臉區(qū)域亮度較高，具有較高的膚色相似度．區(qū)域分割圖見(jiàn)圖4，圖中的人臉在候選區(qū)域中被完整檢出，但是同時(shí)也有一些非人臉區(qū)域被檢出．圖5是濾除非人臉區(qū)域后的最終檢測(cè)結(jié)果．

圖2 原始圖像Fig.2 Original image

圖3 膚色相似度圖Fig.3 Skin color similarity image

圖4 區(qū)域分割圖Fig.4 Result of image segmentation

圖5 檢測(cè)結(jié)果Fig.5 Result of detection

本文方法與文獻(xiàn)[5]檢測(cè)方法的結(jié)果對(duì)比見(jiàn)表1.可以看出本文方法在單純的使用高斯膚色模型基礎(chǔ)上，增加了圖像區(qū)域分割的處理，因此檢測(cè)正確率有較大提高．

表1 實(shí)驗(yàn)結(jié)果Tab.1 Result of face detection %

3 結(jié) 語(yǔ)

提出了一種基于HSV、YCgCr顏色空間和圖像區(qū)域分割的人臉檢測(cè)方法，先進(jìn)行初步人臉區(qū)域檢測(cè)，然后進(jìn)行圖像區(qū)域分割進(jìn)一步確定出人臉，最后再利用特征判斷的方法得到人臉位置．由于加入了H分量，可以在一定程度上減少背景干擾和亮度差異的影響．利用人臉區(qū)域連續(xù)性的特點(diǎn)，采用圖像區(qū)域分割的方法，可以在復(fù)雜背景中檢測(cè)出人臉位置．但是在實(shí)驗(yàn)的過(guò)程中，也發(fā)現(xiàn)了一些問(wèn)題：

(1)采用Otsu算法進(jìn)行圖像二值化的效果不理想，可能的原因是膚色相似度圖中灰度分布在低亮度區(qū)域過(guò)于集中，前景、背景之間無(wú)明顯分類(lèi)差異，使本應(yīng)歸于背景的一部分區(qū)域也變?yōu)榱饲熬埃?/p>

(2)基于膚色模型的檢測(cè)方法針對(duì)某類(lèi)圖像具有較好的效果，當(dāng)圖像成像條件過(guò)于多變時(shí)，正確檢測(cè)率會(huì)急劇降低．

以上問(wèn)題尚需進(jìn)一步的深入研究，以取得更好的檢測(cè)結(jié)果．

［1］黃福珍，蘇劍波. 人臉檢測(cè)[M]. 上海：上海交通大學(xué)出版社，2006：24–27.

［2］Jones M J，Rehg J M. Statistical color models with application to skin detection[J]. International Journal of Computer Vision，2002，46(1)：81–96.

［3］劉萬(wàn)春，賈云得，徐一華，等. 基于膚色的人臉實(shí)時(shí)跟蹤方法[J]. 北京理工大學(xué)學(xué)報(bào)，2000，20(4)：461–465.

［4］溫靜，高新波. 一種基于膚色模型的貝葉斯人臉檢測(cè)算法[J]. 西安電子科技大學(xué)學(xué)報(bào)：自然科學(xué)版，2006，33(5)：773–777.

［5］張爭(zhēng)珍，石躍祥. YCgCr顏色空間的膚色聚類(lèi)人臉檢測(cè)法[J]. 計(jì)算機(jī)工程與應(yīng)用，2009，45(22)：163–165.

［6］馬淑燕，孔德慧，尹寶才，等. 基于膚色模型和橢圓環(huán)模板的人臉跟蹤及姿態(tài)估計(jì)[J]. 計(jì)算機(jī)工程與應(yīng)用，2004，40(17)：50–55.

［7］帕普里斯，佩萊. 概率、隨機(jī)變量與隨機(jī)過(guò)程[M]. 保錚，馮大政，水鵬朗，譯. 4版. 西安：西安交通大學(xué)出版社，2004：164–169.

［8］楊光正，黃煦濤. 鑲嵌圖在人面定位中的應(yīng)用[J]. 模式識(shí)別與人工智能，1996，9(3)：213–220.

Face Detection Based on Skin Color Gaussian Model and Image Segmentation

LIU Ying-hui，REN De-hua，CHEN Shao-jie
(College of Computer Science and Information Engineering，Tianjin University of Science & Technology，Tianjin 300222，China)

Based on HSV and YCgCr color space as well as image segmentation，an approach for face detection was put forward. First，the normalized rgb color was converted into HSV and YCgCr color space. Meanwhile the 3D Gaussian model was obtained by statistics of the vector(H，Cg，Cr)T. According to this model，the image similarity of skin color that is ready for being inspected could be calculated，and binary threshold could be attained through Otsu method. As a result，the threshold could binary the similarity image. In the application of binary image，the saturate image was segmented on the basis of the R，G component obtained by the 3 pixel×3 pixel region so as to offset the effect of brightness variation and shadow. In the areas of image segmentation，face was detected from the image by facial features. Experiment shows that the method can detect the image of face accurately in complicated background.

face detection；Gaussian model；image segmentation

TP391.41

：A

：1672-6510(2010)05-0064-04

2010-01-26；

2010-05-27

天津科技大學(xué)引進(jìn)人才科研啟動(dòng)基金資助項(xiàng)目（20060416）

柳映輝（1979—），男，山東棲霞人，講師，liuyinghui@tust.edu.cn.