基于特征點(diǎn)定位與膚色分割的胡子檢測(cè)算法

蔡曉東，甘凱今，楊　超，王麗娟，王　迪

(桂林電子科技大學(xué) a.信息與通信學(xué)院；b.機(jī)電工程學(xué)院， 廣西 桂林 541004)

基于特征點(diǎn)定位與膚色分割的胡子檢測(cè)算法

蔡曉東a，甘凱今a，楊超a，王麗娟a，王迪b

(桂林電子科技大學(xué) a.信息與通信學(xué)院；b.機(jī)電工程學(xué)院， 廣西 桂林 541004)

摘要:針對(duì)具有一定程度偏轉(zhuǎn)和模糊的人臉圖像難以實(shí)現(xiàn)胡子檢測(cè)的問題，提出基于人臉特征點(diǎn)定位與膚色分割的胡子檢測(cè)算法。該算法的設(shè)計(jì)思路是首先使用主動(dòng)形狀模型(ASM)算法定位人臉特征點(diǎn)進(jìn)而獲取下巴區(qū)域，然后利用提出的自動(dòng)選擇聚類中心(ASCC)的膚色分割算法分離出下巴的非膚色區(qū)域，最后在下巴非膚色區(qū)域中使用胡子顏色判別法檢測(cè)得到胡子。在LFW人臉庫(kù)上的實(shí)驗(yàn)表明，該算法能夠準(zhǔn)確地檢測(cè)出人臉的胡子，特別地，對(duì)有一定程度偏轉(zhuǎn)和模糊的人臉圖像，算法依然能獲取良好的檢測(cè)效果。

關(guān)鍵詞:胡子檢測(cè)；主動(dòng)形狀模型；人臉特征點(diǎn)；膚色分割

人臉標(biāo)志性的特征包括胡子、斑痣和表情等，胡子作為一種獨(dú)特而顯著的人臉特征，不僅在性別判別、年齡估計(jì)和人臉識(shí)別中占有重要地位，還在目標(biāo)追蹤和人臉檢索方面扮演著重要角色。胡子檢測(cè)是胡子判別和分類的首要步驟，極具研究?jī)r(jià)值。

目前關(guān)于人臉特征的研究方法主要分為兩大類：基于先驗(yàn)知識(shí)的方法與基于訓(xùn)練模型的方法?；谙闰?yàn)知識(shí)的方法[1-3]是通過觀察大量的包含特定特征的人臉樣本，分析出特征的分布規(guī)律、數(shù)學(xué)模型等信息，此類方法操作簡(jiǎn)單、計(jì)算量小、易于實(shí)現(xiàn)，但容易受角度和光照變化的影響，難以得到穩(wěn)定的特征檢測(cè)效果；基于訓(xùn)練模型的方法[4-5]，首先通過訓(xùn)練大量具有某種特征的樣本得到特征分類器，再使用分類器進(jìn)行特征檢測(cè)與分類，此類方法結(jié)構(gòu)簡(jiǎn)單、可移植性強(qiáng)，但計(jì)算量大，且需要大量的訓(xùn)練樣本。

本文結(jié)合先驗(yàn)知識(shí)和訓(xùn)練模型的特征檢測(cè)方法，提出了一種基于人臉特征點(diǎn)定位與膚色分割的胡子檢測(cè)算法。實(shí)驗(yàn)表明，本算法能夠從人臉中準(zhǔn)確檢測(cè)出胡子，對(duì)人臉的角度變化有良好的魯棒性，而且在輕度模糊圖像中也能獲取良好的檢測(cè)效果。

1胡子檢測(cè)算法框架

本文提出的胡子檢測(cè)算法流程如圖1所示，首先，使用基于訓(xùn)練模型的主動(dòng)形狀模型(Active Shape Model，ASM)算法對(duì)輸入的彩色人臉圖像進(jìn)行人臉特征點(diǎn)定位；其次，利用先驗(yàn)知識(shí)與特征點(diǎn)定位結(jié)果獲取下巴區(qū)域，并在YCbCr顏色空間中使用本文提出的自動(dòng)選擇聚類中心(Auto Selected Clustering Center，ASCC)的膚色分割算法進(jìn)行膚色分割，進(jìn)而獲取下巴的非膚色區(qū)域；再次，利用下巴非膚色區(qū)域的顏色信息檢測(cè)出人臉胡子；最后顯示輸出胡子檢測(cè)結(jié)果。

圖1本文提出的胡子檢測(cè)算法流程

2基于ASM的下巴區(qū)域定位

人的胡子主要生長(zhǎng)在下巴區(qū)域與嘴唇上方區(qū)域，本文將這兩個(gè)區(qū)域統(tǒng)稱為下巴區(qū)域。準(zhǔn)確定位出下巴區(qū)域，能減小搜索胡子的范圍，提高胡子檢測(cè)的正確率。本文設(shè)計(jì)的下巴區(qū)域定位模塊首先采用ASM算法獲取人臉特征點(diǎn)，然后根據(jù)人臉特征點(diǎn)的位置進(jìn)行劃分，進(jìn)而獲取下巴區(qū)域。

2.1ASM人臉特征點(diǎn)定位

ASM算法[6-7]是目前最有效的人臉特征點(diǎn)定位算法之一，它的特點(diǎn)在于對(duì)人臉的形狀和光照變化有較好的魯棒性。典型的ASM算法分為兩大步驟：建立標(biāo)準(zhǔn)模型和搜索特征點(diǎn)。首先使用特征點(diǎn)的坐標(biāo)信息和灰度梯度信息進(jìn)行統(tǒng)計(jì)建模得到人臉特征點(diǎn)的標(biāo)準(zhǔn)模型，然后利用建立的標(biāo)準(zhǔn)模型在目標(biāo)人臉中搜索人臉輪廓，從而定位出特征點(diǎn)。ASM算法兩大步驟具體如下：

(1)

(2)

(3)

(4)

(5)

(6)

vt=(x0,y0,…,xj,yj,…)T

(7)

圖2　ASM人臉特征點(diǎn)定位結(jié)果

2.2下巴區(qū)域定位

瞳孔和鼻尖點(diǎn)的灰度梯度信息較為獨(dú)特，使用ASM對(duì)瞳孔和鼻尖的定位結(jié)果不但準(zhǔn)確，而且不容易受到胡子的干擾，此外，不同的人臉中兩個(gè)瞳孔的間距的差別較小。因此，本文提出的下巴定位方法使用雙眼瞳孔和鼻尖作為參照點(diǎn)進(jìn)行下巴區(qū)域定位。

根據(jù)ASM人臉特征點(diǎn)定位結(jié)果，分別提取左右瞳孔坐標(biāo)Pl(xl,yl)、Pr(xr,yr)和鼻尖坐標(biāo)Pn(xn,yn)，并以鼻尖Pn為圓心，rh為短軸半徑，rv為長(zhǎng)軸半徑繪制橢圓，橢圓的下半部分就是下巴區(qū)域，其中rh=0.6de，rv=0.8de，瞳距de由式(8)計(jì)算得到，下巴定位結(jié)果如圖3所示。

(8)

圖3　下巴區(qū)域定位

3胡子檢測(cè)

在本文設(shè)計(jì)的胡子檢測(cè)模塊中，首先，使用ASCC膚色分割算法對(duì)人臉進(jìn)行膚色分割，獲取人臉的非膚色區(qū)域；然后，結(jié)合下巴定位結(jié)果分離出下巴的非膚色區(qū)域；最后，使用基于HSV顏色空間的胡子顏色判別法對(duì)下巴的非膚色區(qū)域進(jìn)行胡子檢測(cè)。

3.1ASCC膚色分割算法

針對(duì)現(xiàn)有的膚色分割算法[8-9]存在的難以適應(yīng)不同膚色的問題，同時(shí)結(jié)合胡子檢測(cè)的實(shí)際應(yīng)用條件，本文提出了一種能夠自動(dòng)選擇聚類中心(ASCC)的膚色分割算法。

ASCC膚色分割算法利用ASM特征點(diǎn)定位結(jié)果，選取人臉中膚色均勻、不易受遮擋的人眼下方臉頰作為膚色參考?jí)K，計(jì)算膚色參考?jí)K在YCbCr顏色空間的藍(lán)色色度Cb和紅色色度Cr的平均值，并以此作為膚色聚類中心在YCbCr顏色空間對(duì)人臉進(jìn)行膚色分割。ASCC膚色分割算法自動(dòng)選擇的膚色聚類中心能夠隨著人臉光照和膚色的不同而變化，因此，ASCC膚色分割算法對(duì)光照和膚色變化具有較好的適應(yīng)性。

ASCC膚色分割算法的具體步驟如下：

第一步：根據(jù)ASM特征點(diǎn)定位結(jié)果，分別在左右臉頰選取兩個(gè)膚色參考?jí)K。本文在瞳孔以下1/3瞳距的地方選擇邊長(zhǎng)為1/3瞳距的方塊區(qū)域作為膚色參考?jí)K，如圖4所示。

圖4　選取膚色參考?jí)K

(9)

(10)

P(i,j)=e-d(i,j)

(11)

第四步：對(duì)人臉圖像的每一個(gè)像素點(diǎn)執(zhí)行第三步，得到每個(gè)像素點(diǎn)的膚色概率后根據(jù)式(12)進(jìn)行膚色判別。

(12)

式(10)～(11)中，d(i,j)∈[0,10]，P(i,j)∈(0,1]，由公式可見，像素點(diǎn)色度值與參考?jí)K平均色度值的歐氏距離越小，則該點(diǎn)屬于膚色的概率越大；反之，則屬于膚色的概率越小。式(12)中S(i,j)是像素點(diǎn)的膚色判別結(jié)果，k是膚色判別閾值，當(dāng)P(i,j)≥k時(shí)，S(i,j)=1，則該像素點(diǎn)是膚色，反之，當(dāng)P(i,j)

a原圖bk=0.6ck=0.7 dk=0.8

圖5取不同k值的ASCC膚色分割效果

3.2胡子顏色判別

由于下巴的非膚色區(qū)域包括胡子和嘴唇，因此，為了準(zhǔn)確檢測(cè)出胡子區(qū)域，必須對(duì)下巴的非膚色區(qū)域做進(jìn)一步處理。鑒于絕大部分胡子的顏色都屬于黑色、灰色或白色，本文提出的胡子顏色判別模型根據(jù)HSV顏色空間的顏色分布，分別獲取下巴區(qū)域中的黑色、灰色和白色像素，并將屬于這三種顏色的像素判定為胡子，其中黑色、灰色和白色的判別依據(jù)是通過統(tǒng)計(jì)大量的胡子顏色得到。

胡子檢測(cè)步驟如下：首先，根據(jù)下巴區(qū)域定位和ASCC膚色分割結(jié)果，獲取下巴的非膚色區(qū)域；然后，把下巴非膚色區(qū)域的顏色空間由RGB空間轉(zhuǎn)換到HSV空間[11]；最后，根據(jù)式(13)～(15)判斷像素點(diǎn)是否屬于灰色、白色或黑色，當(dāng)滿足式(16)中bear=1時(shí)，該像素點(diǎn)被判定為胡子。

(13)

(14)

(15)

(16)

v，s分別是HSV顏色空間的亮度、飽和度，v，s∈[0,1]。式(13)～(15)中，v，s的取值范圍由大量的顏色實(shí)驗(yàn)統(tǒng)計(jì)得到，g=1代表灰色，g=0代表非灰色，同理，w=1代表白色，w=0代表非白色，b=1代表黑色，b=0代表非黑色。式(16)中，bear=1表示該點(diǎn)顏色是胡子顏色，bear=0則不是胡子顏色。胡子檢測(cè)效果如圖6b所示。

a　原圖

b　胡子檢測(cè)結(jié)果

4實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證本文提出的ASCC膚色分割算法和胡子檢測(cè)算法的有效性，實(shí)驗(yàn)選擇LFW人臉庫(kù)分別測(cè)試膚色分割與胡子檢測(cè)的效果。

4.1膚色分割

為測(cè)試本文提出的ASCC膚色分割算法，本實(shí)驗(yàn)從LFW人臉庫(kù)中分別抽取300張正面的黃膚色、白膚色、黑膚色的人臉圖像，組成900張涵蓋黃色、白色、黑色3種膚色的人臉膚色分割測(cè)試集，部分人臉樣本如圖7所示。

圖7　部分膚色分割樣本

實(shí)驗(yàn)分別使用本文提出的ASCC膚色分割算法和HsuR.L.等人提出的基于改進(jìn)的YCbCr橢圓模型膚色分割算法[8]對(duì)3種膚色人臉做膚色分割測(cè)試，膚色分割準(zhǔn)確率定義為正確膚色分割的圖像數(shù)與參與測(cè)試的圖像數(shù)的比值，而正確膚色分割的圖像是指人臉膚色至少有3/4的區(qū)域被識(shí)別為膚色，部分實(shí)驗(yàn)結(jié)果如圖8所示，表1為膚色分割準(zhǔn)確率的統(tǒng)計(jì)結(jié)果。

a　原圖

b　橢圓模型膚色分割結(jié)果

c　本文算法結(jié)果

表1　膚色分割準(zhǔn)確率比較 %

由圖8和表1可以看出，相比橢圓模型膚色分割算法，本文提出的ASCC膚色分割算法對(duì)膚色邊緣分割更為準(zhǔn)確，不受背景顏色的干擾，同時(shí)，對(duì)不同膚色的人臉都能獲得良好的膚色分割效果。

4.2胡子檢測(cè)

為測(cè)試本文提出的胡子檢測(cè)算法的有效性，實(shí)驗(yàn)從LFW人臉庫(kù)中抽取200張正面有胡子人臉，200張偏轉(zhuǎn)小于30度的有胡子人臉。同時(shí)，為了測(cè)試本文的胡子檢測(cè)算法在圖像輕度模糊條件下的性能，對(duì)先前選取的200張正面胡子人臉做高斯模糊處理，以此獲取200張模糊的正面有胡子人臉。因此，實(shí)驗(yàn)的胡子人臉集由200張正面、200張偏轉(zhuǎn)小于30°和200張模糊正面的有胡子人臉組成。實(shí)驗(yàn)分別使用Le[12]等人的基于自商圖像的稀疏分類器算法與本文提出的算法做胡子檢測(cè)。

本文提出的胡子檢測(cè)算法的實(shí)驗(yàn)結(jié)果如圖9所示，胡子被顯著標(biāo)出，表2為胡子檢測(cè)的對(duì)比實(shí)驗(yàn)結(jié)果。

a　清晰正臉

b　偏轉(zhuǎn)人臉

c　模糊正臉

表2　胡子檢測(cè)實(shí)驗(yàn)結(jié)果 %

從圖9和表2中可以看出，本文提出的胡子檢測(cè)算法能夠在人臉圖像輕微偏轉(zhuǎn)和輕度模糊的條件下有效檢測(cè)出人臉的胡子區(qū)域，相比Le等人的算法，本文算法對(duì)模糊的人臉圖像有更好的檢測(cè)效果。

為了測(cè)試本文提出的胡子檢測(cè)算法的復(fù)雜度，本文在64位Windows7操作系統(tǒng)、CPUi5-3230M主頻為2.6GHz、內(nèi)存DDR3容量為4G，開發(fā)平臺(tái)為VS2010的實(shí)驗(yàn)環(huán)境下進(jìn)行胡子檢測(cè)性能測(cè)試。實(shí)驗(yàn)對(duì)LFW人臉庫(kù)中10 000張尺寸為250×250的彩色人臉圖像進(jìn)行胡子檢測(cè)，耗時(shí)2 436s，平均每次胡子檢測(cè)耗時(shí) 0.243 6s，表明算法復(fù)雜度能夠滿足實(shí)時(shí)檢測(cè)的需求。

實(shí)驗(yàn)表明本文提出的胡子檢測(cè)算法能夠較好地滿足不同場(chǎng)景下的胡子檢測(cè)需求，對(duì)偏轉(zhuǎn)人臉、模糊人臉具有較好的魯棒性，算法效率能夠滿足實(shí)時(shí)檢測(cè)的需求。

由于ASM能夠準(zhǔn)確且快速地對(duì)瞳孔和嘴角點(diǎn)進(jìn)行定位，從而可以準(zhǔn)確定位下巴區(qū)域，又因?yàn)楹宇伾皇苋四槇D像的角度和清晰度的影響，因此，對(duì)偏轉(zhuǎn)人臉、模糊人臉具有較好的魯棒性。

5結(jié)束語

本文提出了一種新的胡子檢測(cè)算法，該算法使用ASM獲取人臉特征點(diǎn)和下巴區(qū)域，并使用本文提出的基于YCbCr顏色空間的ASCC膚色分割算法分離出下巴的非膚色區(qū)域，最后在下巴的非膚色區(qū)域中使用基于HSV顏色空間的胡子顏色判別法檢測(cè)得到胡子。實(shí)驗(yàn)表明，該算法能夠準(zhǔn)確地檢測(cè)人臉的胡子，對(duì)具有一定程度的偏轉(zhuǎn)和模糊的人臉圖像依然能獲取良好的檢測(cè)效果，且算法效率能夠滿足實(shí)時(shí)檢測(cè)的需求。相對(duì)其他特征而言，胡子與皮膚的紋理特征差異較大，具有良好的辨識(shí)度，但是對(duì)圖像的清晰度要求較高，難以在模糊的圖像中準(zhǔn)確提取紋理特征。如何在胡子檢測(cè)算法中兼顧顏色特征和紋理特征以增加算法的適用范圍，將是筆者后續(xù)研究的主要內(nèi)容。

參考文獻(xiàn)：

[1]徐國(guó)慶.復(fù)合特征的眼睛中心定位[J].計(jì)算機(jī)工程與設(shè)計(jì)，2014，35(10)：3598-3601.

[2]曹春萍，常利.一種基于ASM和灰度共生矩陣的光頭定位檢測(cè)方法[J].計(jì)算機(jī)應(yīng)用與軟件，2014，31(6)：138-141.

[3]PARKU，JAINAK.Facematchingandretrievalusingsoftbiometrics[J].IEEEtransactionsoninformationforensicsandsecuity，2010，5(3)：406-415.

[4]孟令軍，于磊，郭雄飛.疲勞檢測(cè)中人眼定位方法研究[J].電視技術(shù)，2015，39(1)：113-115.

[5]蔡詩(shī)威，郭太良，姚劍敏.一種基于卷積神經(jīng)網(wǎng)絡(luò)的性別識(shí)別方法[J].電視技術(shù)，2014，38(19)：188-191.

[6]COOTESTF，TAYLORCJ，COOPERDH，etal.Activeshapemodels-theirtrainingandapplication[J].Computervisionandimageunderstanding，1995，61(1)：38-59.

[7]LIZ，IMAIJ，KANEKOM.FacialfeaturelocalizationusingstatisticalmodelsandSIFTdescriptors[C]//Proc. 18thIEEEInternationalSymposiumonRobotandHumanInteractiveCommunication.Toyama，Japan：IEEEPress， 2009：961-966.

[8]HSURL，ABDEL-MOTTALEBM，JAINAK.Facedetectionincolorimages[J].Patternanalysisandmachineintelligence，2002，24(5)：696-706.

[9] 郭聳，顧國(guó)昌，蔡則蘇，等.膚色相似度和動(dòng)態(tài)閾值相結(jié)合的膚色分割技術(shù)[J].計(jì)算機(jī)工程與應(yīng)用，2010，46(18)：1-3.

[10]LINC.FacedetectionincomplicatedbackgroundsanddifferentilluminationconditionsbyusingYCbCrcolorspaceandneuralnetwork[J].Patternrecognitionletters，2007，28(16)：2190-2200.

[11]苗姣姣，徐望明.HSV空間和形態(tài)學(xué)處理相結(jié)合的車牌定位方法[J].電視技術(shù)，2015，39(5)：146-149.

[12]LETHN，LUUK，SESHADRIK，etal.Beardandmustachesegmentationusingsparseclassifiersonself-quotientimages[C]//Proc.19thIEEEInternationalConferenceonImageProcessing.Florida，USA：IEEEPress，2012：165-168.

蔡曉東(1971— )，碩士生導(dǎo)師，主要研究方向?yàn)椴⑿谢瘓D像和視頻處理、模式識(shí)別與智能系統(tǒng)；

甘凱今(1992—)，碩士，主研人臉識(shí)別、深度學(xué)習(xí)；

楊超(1990— )，碩士生，主研模式識(shí)別、并行化視頻及圖像處理；

王麗娟(1991— )，女，碩士生，主研智能視頻分析與人臉識(shí)別；

王迪(1988— )，碩士生，主研智能視頻分析與人臉識(shí)別。

責(zé)任編輯：閆雯雯

Beard detection based on facial feature points location and skin color segmentation

CAI Xiaodonga， GAN Kaijina， YANG Chaoa， WANG Lijuana，WANG Dib

(a.SchoolofInformationandCommunication；b.ElectromechanicalEngineeringCollege，GuilinUniversityofElectronicTechnology，GuangxiGuilin541004，China)

Abstract:In order to solve the problems which beard/mustache detection may encounter when using profile or fuzzy face image， a beard/mustache detection algorithm that combined with facial feature points location and color segmentation is proposed. First， employ the Active Shape Model (ASM) algorithm to mark facial feature points and then get the chin area. Secondly， use the proposed skin segmentation algorithm of Auto Selected Clustering Center (ASCC) to separate chin area into skin color and non-skin color region. Finally， beard/mustache can be detected in non-skin color region of chin by using the beard color discriminance. The experimental results on LFW database have shown that the proposed beard/mustache detection algorithm is practical and effective. Especially， in the case of profile or fuzzy face image， the approach can still obtain a good result.

Key words:beard detection； active shape model； facial feature points； skin color segmentation

中圖分類號(hào):TP391.4

文獻(xiàn)標(biāo)志碼：A

DOI：10.16280/j.videoe.2016.03.025

基金項(xiàng)目：國(guó)家科技支撐計(jì)劃課題(2014BAK11B02)；廣西科學(xué)研究與技術(shù)開發(fā)計(jì)劃項(xiàng)目(桂科攻14122007-5)；桂林電子科技大學(xué)研究生教育創(chuàng)新計(jì)劃資助項(xiàng)目(YJCXS201521)

作者簡(jiǎn)介：

收稿日期：2015-07-09

文獻(xiàn)引用格式：蔡曉東，甘凱今，楊超，等. 基于特征點(diǎn)定位與膚色分割的胡子檢測(cè)算法[J].電視技術(shù)，2016，40(3)：116-121.

CAI X D， GAN K J， YANG C，et al. Beard detection based on facial feature points location and skin color segmentation[J].Video engineering， 2016，40(3)：116-121.