聯(lián)合膚色分割的Adaboost算法人臉快速檢測(cè)

◆徐凌風(fēng)

（中國(guó)人民公安大學(xué) 北京 100038）

人臉檢測(cè)技術(shù)作為計(jì)算機(jī)視覺中的重要一環(huán)，被廣泛應(yīng)用于各行業(yè)領(lǐng)域。在公安工作中，人臉檢測(cè)技術(shù)一方面可應(yīng)用于關(guān)鍵視頻幀的人臉識(shí)別、人群篩選、安防預(yù)警的面部檢索階段；另一方面，人臉檢測(cè)也可應(yīng)用于圖像真?zhèn)涡澡b別的自動(dòng)取證過程中?，F(xiàn)有人臉檢測(cè)技術(shù)可做如下分類[1]：第一類是基于先驗(yàn)知識(shí)的方法，通過利用面部五官的幾何關(guān)系來對(duì)人臉的特征進(jìn)行規(guī)則描述，并使用此規(guī)則來對(duì)待檢測(cè)人臉進(jìn)行判定；第二類是基于特征的方法，通過使用人臉?biāo)逃械膸缀翁卣?、膚色特征、紋理特征來對(duì)人臉進(jìn)行檢測(cè)；第三類則是基于表象的方法，其主要依靠尋找人臉與非人臉圖像中的相關(guān)特征來構(gòu)建人臉特征庫(kù)，此類方法可進(jìn)一步分為[2]貝葉斯分類器，Winnows稀疏網(wǎng)絡(luò)、支持向量機(jī)法（SVM）、神經(jīng)網(wǎng)絡(luò)法、Adaboost算法、隱馬爾科夫模型法（HMM）等。然而，由于人臉自身所具有的特性以及不同環(huán)境給面部所帶來的檢測(cè)干擾，現(xiàn)有的人臉檢測(cè)器檢測(cè)精度仍受其制約。針對(duì)人臉檢測(cè)中的難點(diǎn)，Ashu Kumar等人[3]將其分為面部形態(tài)、復(fù)雜背景、光照條件以及圖像質(zhì)量四類。其中，人臉形態(tài)主要包括人臉遮擋、旋轉(zhuǎn)、表情變化等方面，該條件下所導(dǎo)致的人臉特征部分消失及改變使得檢測(cè)器需要具備更高的魯棒性；另一方面，復(fù)雜背景的存在使得背景中具有與人臉特征類似分布的區(qū)域易被誤判為人臉，導(dǎo)致誤檢率的提升；光照條件的干擾可以分為色溫、光強(qiáng)、光位三方面：色溫的干擾來自入射光譜色光比例的不同，進(jìn)而使得人體膚色偏離正常色調(diào)。不同的光位及光強(qiáng)條件則易導(dǎo)致人臉面部出現(xiàn)亮度不均、過明或過暗的情況。最后，較低的圖像質(zhì)量將會(huì)加大檢測(cè)器提取并識(shí)別人臉特征的難度，造成檢測(cè)精準(zhǔn)度的下降。本文針對(duì)圖像中的復(fù)雜背景、光照條件可能對(duì)人臉檢測(cè)帶來的干擾，提出了使用單峰高斯模型的膚色分割方案進(jìn)行圖像的預(yù)處理以去除圖像中存在的部分復(fù)雜背景，并對(duì)分割后圖像進(jìn)行伽馬校正，最后使用結(jié)合Haar特征的Adaboost算法進(jìn)行人臉檢測(cè)，以得到框選后人臉圖像。

1 圖像的預(yù)處理

由于圖像中具有復(fù)雜圖案的地板、墻壁、家具，以及場(chǎng)景內(nèi)人所穿戴的衣物等存在灰度分布的多變性，對(duì)于以圖像中灰度分布為特征來檢索人臉區(qū)域的Adaboost算法來說，這將導(dǎo)致人臉檢測(cè)器的誤檢率上升。另外，考慮到某些圖像場(chǎng)景（如室內(nèi)場(chǎng)景）中光源的分布較為分散且光照強(qiáng)度不一，易導(dǎo)致人臉亮度的分布不均，即產(chǎn)生“陰陽(yáng)臉”的情況。對(duì)此，本文設(shè)計(jì)使用伽馬校正來確保人臉灰度分布處于較為合理的灰度層級(jí)內(nèi)，以便于后期的人臉檢測(cè)。圖1為人臉檢測(cè)中的圖像預(yù)處理流程：

圖1 人臉檢測(cè)圖像預(yù)處理流程

1.1 膚色分割

Angelopoulou等人[4]經(jīng)研究發(fā)現(xiàn)，不同種族、性別及年齡的群體，其皮膚的光譜反射率曲線具有較強(qiáng)的關(guān)聯(lián)性。膚色分割即是依據(jù)皮膚獨(dú)特的反射性質(zhì)在特定的顏色空間內(nèi)構(gòu)建膚色模型以區(qū)分背景與膚色區(qū)域。目前，膚色分割較常使用的顏色空間有RGB色彩空間、HSV色彩空間以及YCbCr色彩空間。其中，RGB色彩空間內(nèi)的R、G、B三色分量由于均包含不同比例的亮度成分，難以通過簡(jiǎn)單的線性關(guān)系進(jìn)行膚色與背景的區(qū)分，故不采用此色彩空間。針對(duì)HSV色彩空間以及YCbCr色彩空間，本文采用FDDB人臉數(shù)據(jù)庫(kù)中的5016張人臉圖像在其各自的空間內(nèi)建立膚色模型，各色彩空間內(nèi)皮膚像素的三維統(tǒng)計(jì)圖如下（圖2、圖3）：

圖2 HSV色彩空間內(nèi)膚色分布

圖3 YCbCr色彩空間內(nèi)膚色分布

通過比較可以發(fā)現(xiàn)，相比于HSV色彩空間，人體膚色在YCbCr色彩空間內(nèi)的緊密度更高，故本文選擇在YCbCr色彩空間內(nèi)構(gòu)建膚色模型。

根據(jù)膚色在YCbCr色彩空間內(nèi)的分布關(guān)系，本文選擇使用Cb、Cr分量來構(gòu)建膚色的二維高斯模型，高斯模型計(jì)算公式如下：

m與C分別為模型的均值與協(xié)方差矩陣，通過對(duì)樣本的統(tǒng)計(jì)，本文所確定的均值m與協(xié)方差C的值為：

圖4為膚色像素Cb、Cr值的二維高斯分布圖：

根據(jù)該二維高斯分布模型可求得圖像中每點(diǎn)像素對(duì)應(yīng)的所屬皮膚概率，通過OTSU對(duì)概率圖進(jìn)行二值化后即可分割出圖像中的膚色區(qū)域。由于人臉中包含眼睛、眉毛此類非膚色區(qū)域，故需對(duì)二值化圖像進(jìn)行形態(tài)學(xué)操作以獲得完整的面部區(qū)域，本文所做形態(tài)學(xué)處理流程如圖5：

圖5 形態(tài)學(xué)處理流程圖

圖6、圖7為原始圖及其膚色分割后的結(jié)果：

圖6 膚色分割原圖

圖7 膚色分割效果圖

1.2 伽馬校正

在部分場(chǎng)景中，由于光源方向及亮度的不確定性，易導(dǎo)致人面部出現(xiàn)光照不均的現(xiàn)象。另外，當(dāng)嫌疑人佩戴帽子等裝飾品時(shí)，也易出現(xiàn)面部的灰度分布改變，給人臉檢測(cè)帶來干擾。針對(duì)以上問題，本文采用了伽馬變換來進(jìn)行圖像灰度值的非線性變換。伽馬校正的公式如下：

經(jīng)實(shí)驗(yàn)，gamma值取0.45時(shí)對(duì)圖像的灰度校正效果較好，圖8為原圖及經(jīng)伽馬校正后的圖像：

圖8 伽馬校正效果圖

2 Adaboost算法人臉檢測(cè)

2.1 Haar矩形特征

Haar特征是由Viola和Jones于2001年提出，基于灰度分布來表征人臉特征的一組矩形框。通過以不同的位置、大小及方向在人臉區(qū)域進(jìn)行排列，并使用Adaboost算法對(duì)其篩選，進(jìn)而可以得到那些對(duì)人臉及背景具有良好區(qū)分度的Haar特征。該類矩形特征所具有的辨識(shí)力可用圖9來解釋。

圖9 Haar特征面部表述示意圖

由于人面部的灰度值分布不均，某些部位如眼睛的平均灰度值要明顯低于其周圍部位的平均灰度值。當(dāng)某一Haar矩形特征以上圖所示大小及方向處于圖像中的位置時(shí)，若使白色區(qū)域的平均灰度值減去黑色區(qū)域的平均灰度值，易知所得特征值將趨于某一正值k。而當(dāng)該Haar矩形特征處于雜亂的背景之中時(shí)，可知其值應(yīng)該趨向于0[5]。由于特征值的明顯不同，此類Haar特征將會(huì)對(duì)背景及人臉具有較好的辨識(shí)度。不同類型的Haar特征如圖10所示，除此之外，亦有針對(duì)人臉灰度分布做改進(jìn)后的Haar矩形特征。

圖10 Haar矩形特征

2.2 Adaboost算法流程

Adaboost算法的作用即是從上述海量的Haar矩形特征中，篩選出對(duì)人臉具有良好表達(dá)性質(zhì)的矩形特征作為人臉檢測(cè)中的弱分類器來使用。弱分類器的判定公式如下[6]：

其中，x、f、p、θ分別代表待檢測(cè)窗口、特征值、不等式方向、閾值。針對(duì)樣本集以訓(xùn)練并篩選最優(yōu)弱分類器的步驟如下：

（1）針對(duì)樣本集M=（x1，y1），（x2，y2），…（xn，yn），x1至xn代表訓(xùn)練樣本，y1至yn代表樣本的正負(fù)性，初始化其樣本權(quán)重為1/n。

（2）For t=1，2…T：

①樣本權(quán)值歸一化：

② 針對(duì)每一個(gè)Haar矩形特征計(jì)算其錯(cuò)誤率并選擇具有最小加權(quán)錯(cuò)誤率的作為最優(yōu)弱分類器：

③更改樣本權(quán)重，使得那些被錯(cuò)分的樣本具有更大的權(quán)重：

其中，ei=0代表樣本被錯(cuò)誤分類，ei=1代表被正確分類。

（3）T類最佳弱分類器疊加以得到強(qiáng)分類器：

由數(shù)個(gè)最優(yōu)弱分類器合成的強(qiáng)分類器雖然已具備了較高的檢測(cè)率，但其誤檢率仍較高。然而，通過對(duì)最優(yōu)弱分類器數(shù)量的累加以提高強(qiáng)分類器的性能，一方面對(duì)檢測(cè)率的提升貢獻(xiàn)較?。涣硪环矫鎰t易導(dǎo)致檢測(cè)的時(shí)間過長(zhǎng)。對(duì)此，Viola等人提出使用強(qiáng)分類器的級(jí)聯(lián)結(jié)構(gòu)來實(shí)現(xiàn)快速的人臉檢測(cè)。該方案將多個(gè)強(qiáng)分類器分組并以級(jí)聯(lián)形式排列，待檢測(cè)窗口需通過上組分類器判定后才會(huì)進(jìn)入下一層的判定。該方案使得大部分的待檢測(cè)窗口在前幾輪的判定中即被拒絕并不再進(jìn)行檢測(cè)，在保證了檢測(cè)率沒有較大降低的程度下使得誤檢率大幅減小，同時(shí)提高了人臉檢測(cè)的速度。

3 仿真實(shí)驗(yàn)與結(jié)果分析

本文實(shí)驗(yàn)在CPU為 Inter（R）Core（TM）i7-8750h 2.21GHz，內(nèi)存為16G的PC機(jī)上使用Matlab語(yǔ)言進(jìn)行編程實(shí)現(xiàn)。

實(shí)驗(yàn)選自FDDB人臉數(shù)據(jù)庫(kù)中200幅包含人臉的圖像，部分圖像檢測(cè)結(jié)果如下（圖11）：

圖11 人臉檢測(cè)效果圖

本文以交并比IOU指數(shù)對(duì)人臉檢測(cè)結(jié)果做二分類，并以精準(zhǔn)率與召回率作為檢測(cè)器的評(píng)價(jià)標(biāo)準(zhǔn)。IOU計(jì)算方式如下：

其中，A代表檢測(cè)器標(biāo)注人臉區(qū)域，B代表真實(shí)標(biāo)注人臉區(qū)域。一般認(rèn)為，當(dāng)IOU＞0.5時(shí)即為標(biāo)注成功，圖12為200例圖像中檢測(cè)器標(biāo)注區(qū)域IOU值：

圖12 檢測(cè)器標(biāo)注區(qū)域IOU值

可以看出，本文所采用檢測(cè)器的絕大多數(shù)標(biāo)注區(qū)域處于虛線上方。根據(jù)上述分類方式可以將檢測(cè)結(jié)果加以區(qū)分，針對(duì)該檢測(cè)結(jié)果計(jì)算精準(zhǔn)率與召回率，設(shè)True為檢測(cè)器檢出人臉數(shù)量、Detection為檢測(cè)器標(biāo)注人臉數(shù)量Ground Truth為真實(shí)標(biāo)注人臉數(shù)量。精準(zhǔn)率（Precision）與召回率（Recall）的計(jì)算方式如下：

針對(duì)FDDB內(nèi)200幅圖像，其精準(zhǔn)度與檢測(cè)率如表1所示：

表1 精準(zhǔn)度與檢測(cè)率

4 結(jié)論

針對(duì)公安行業(yè)內(nèi)對(duì)圖像中人臉自動(dòng)檢測(cè)的需求，設(shè)計(jì)了一種聯(lián)合膚色分割模型的Adaboost算法人臉檢測(cè)方案。其中，本文采用的高斯膚色分割模型可有效去除非人臉背景區(qū)域，避免后續(xù)人臉檢測(cè)器對(duì)人臉的誤檢。另外，對(duì)分割后區(qū)域進(jìn)行灰度化并應(yīng)用伽馬校正，則可以有效減弱面部的光照不均的現(xiàn)象，提高人臉檢測(cè)器的魯棒性。經(jīng)實(shí)驗(yàn)，該方案對(duì)于圖像中人臉具有較高的精準(zhǔn)度以及召回率，可用于公安領(lǐng)域中的人臉檢測(cè)任務(wù)。