基于Haar分類(lèi)器和AAM算法的人臉基準(zhǔn)點(diǎn)定位

程培培 陳典典 馬軍山

文章編號(hào)： 1005-5630（2018）06-0048-06

摘要： 人臉基準(zhǔn)點(diǎn)定位可應(yīng)用于人臉識(shí)別、疲勞檢測(cè)等領(lǐng)域。針對(duì)人臉基準(zhǔn)點(diǎn)定位中常用的主動(dòng)表觀模型（AAM）的局限性，提出了Haar分類(lèi)器和AAM算法相結(jié)合的人臉基準(zhǔn)點(diǎn)定位方法。先是計(jì)算圖像積分

圖，然后采用基于 Haar特征的 AdaBoost級(jí)聯(lián)檢測(cè)器快速定位出人臉區(qū)域，最后將檢測(cè)到的位置和圖像信息傳遞給AAM進(jìn)行人臉基準(zhǔn)點(diǎn)定位。該方法在抽取的AFLW（annotated facial landmarks in the wild）人臉測(cè)試集上表現(xiàn)出良好的性能。實(shí)驗(yàn)結(jié)果表明，采用該方法能準(zhǔn)確、快速定位出人臉基準(zhǔn)點(diǎn)。

關(guān)鍵詞： Haar分類(lèi)器; 人臉檢測(cè); AAM 算法; 人臉基準(zhǔn)點(diǎn)定位

中圖分類(lèi)號(hào)： TP 391文獻(xiàn)標(biāo)志碼： Adoi： 10.3969/j.issn.1005-5630.2018.06.008

引言

一般的人臉識(shí)別系統(tǒng)是先進(jìn)行面部特征定位與提取，然后進(jìn)行特征對(duì)比與分類(lèi)，其中面部特征點(diǎn)的定位也叫人臉對(duì)齊，特征點(diǎn)亦稱(chēng)作基準(zhǔn)點(diǎn)[1]。人臉基準(zhǔn)點(diǎn)定位是人臉識(shí)別系統(tǒng)中的重要環(huán)節(jié)，可應(yīng)用于計(jì)算機(jī)視覺(jué)方面的研究，例如人臉確認(rèn)[2]、表情識(shí)別[3]、疲勞檢測(cè)，姿態(tài)估計(jì)和凝視方向分析以及三維人臉動(dòng)畫(huà)制作[4] 等。

人臉基準(zhǔn)點(diǎn)是能夠描述人臉信息的點(diǎn)，如明顯的角、邊緣之間的“T”連接，人臉基準(zhǔn)點(diǎn)一般分三類(lèi)：標(biāo)記人臉上的器官，比如眼角、嘴角等;某個(gè)方向上的最高點(diǎn)或曲率極值點(diǎn)，比如鼻尖;上述兩類(lèi)點(diǎn)的插值點(diǎn)，比如臉頰輪廓點(diǎn)等。由于不同的姿態(tài)、表情、光照以及遮擋等因素的影響，如何準(zhǔn)確地定位出各個(gè)關(guān)鍵特征點(diǎn)成為了研究熱點(diǎn)[5]。計(jì)算機(jī)視覺(jué)領(lǐng)域的研究人員提出了許多解決方法，其中較為經(jīng)典的是Cootes等提出的活動(dòng)形狀模型（active shape model，ASM）和主動(dòng)表觀模型（active appearance model，AAM）[6]，其中AAM方法是對(duì)ASM方法在紋理信息上的擴(kuò)充，采取形狀和紋理相融合的統(tǒng)計(jì)約束，更加適用于復(fù)雜圖像的人臉特征點(diǎn)定位。但是AAM模型參數(shù)的更新僅使用一個(gè)線性預(yù)測(cè)模型，即根據(jù)當(dāng)前模型和輸入模式之間的差別來(lái)預(yù)測(cè)和更新模型參數(shù)，具有較大的局限性，在初始位置距離目標(biāo)位置較大時(shí)，則不容易收斂到準(zhǔn)確位置[7]，因此，在使用AAM算法進(jìn)行人臉基準(zhǔn)點(diǎn)定位時(shí)可考慮先進(jìn)行人臉粗定位。Haar分類(lèi)器方法利用AdaBoost算法訓(xùn)練強(qiáng)分類(lèi)器，然后將強(qiáng)分類(lèi)器進(jìn)行級(jí)聯(lián)，并且在底層的特征提取中采用了高效率的Haar特征和積分圖方法，在人臉檢測(cè)中可以快速定位出人臉位置。

針對(duì)AAM算法在人臉?biāo)阉鬟^(guò)程中的局限性，本文采用Haar分類(lèi)器進(jìn)行人臉區(qū)域快速定位，使AAM可以快速擬合正確的初始形狀，最終加快收斂速度和提高定位準(zhǔn)確度。

1主動(dòng)表觀模型（AAM）

AAM算法主要分為模型建立和模型匹配兩個(gè)階段，其中：模型建立階段包括了對(duì)訓(xùn)練樣本分別建立形狀模型（shape model）和紋理模型（texture model），然后將兩者進(jìn)行結(jié)合，形成混合外觀模型;模型匹配階段是指在已建立好AAM模型的當(dāng)前幀圖像中尋找最匹配目標(biāo)的過(guò)程。

2人臉檢測(cè)

2.1Haar分類(lèi)算法要點(diǎn)

采用Haar分類(lèi)器進(jìn)行快速人臉檢測(cè)，能獲得較好的檢測(cè)率，其算法要點(diǎn)有：1） 使用Haar特征做檢測(cè);2） 提出了積分圖，利用它可以快速計(jì)算Haar特征值;3） 通過(guò)AdaBoost的機(jī)器學(xué)習(xí)算法訓(xùn)練用于判斷是否為人臉的強(qiáng)分類(lèi)器;4） 使用篩選式級(jí)聯(lián)把強(qiáng)分類(lèi)器級(jí)聯(lián)到一起用于檢測(cè)人臉，能很快地排除背景，提高檢測(cè)速度，有利于實(shí)時(shí)應(yīng)用[8]。

2.2Haar特征與積分圖

Haar特征，又稱(chēng)為矩形特征，圖2是四種基本Haar特征模板，由黑白矩形組成，可分為三類(lèi)特征：邊緣特征、線性特征、特定方向特征。用Haar特征描述人臉區(qū)域時(shí)，眼睛區(qū)域的顏色比臉頰區(qū)域更暗，鼻梁的兩側(cè)比鼻梁更深等。使用矩形特征來(lái)計(jì)算速度是非?？?，比單純使用像素更好。雖然Haar特征比較粗糙，但速度非?？欤臅r(shí)較少，可用于AdaBoost算法。

圖2中模板特征值定義為白色矩形像素和與黑色矩形像素和的差值。為了便于快速計(jì)算特征值，引入積分圖。積分圖的基本思想是對(duì)圖像中任意點(diǎn)左上角所構(gòu)成的矩形區(qū)域，計(jì)算出該區(qū)域所有像素的灰度值之和，然后保存該值，該值即為像素點(diǎn)（x，y）的積分值。

3人臉基準(zhǔn)點(diǎn)定位

采用本文方法進(jìn)行人臉基準(zhǔn)點(diǎn)定位大致可分為訓(xùn)練和檢測(cè)兩個(gè)過(guò)程，首先利用AAM算法訓(xùn)練樣本集，得到平均形狀模型。當(dāng)要對(duì)一張沒(méi)有標(biāo)記的人臉圖像進(jìn)行基準(zhǔn)點(diǎn)定位時(shí)，需要結(jié)合Haar分類(lèi)器檢測(cè)面部信息，利用AAM自動(dòng)訓(xùn)練的模型來(lái)匹配新的圖像，在模板的基礎(chǔ)上生成一個(gè)初始形狀估計(jì)，進(jìn)而不斷擬合，得到人臉基準(zhǔn)點(diǎn)準(zhǔn)確位置。

Haar分類(lèi)器方法進(jìn)行人臉檢測(cè)時(shí)，首先構(gòu)造圖像的積分圖進(jìn)行特征值快速計(jì)算，然后基于分級(jí)分類(lèi)器策略，由AdaBoost算法根據(jù)Haar特征構(gòu)建人臉級(jí)聯(lián)檢測(cè)器，通過(guò)遍歷圖像所有位置將人臉區(qū)域檢測(cè)出來(lái)。將檢測(cè)到的人臉區(qū)域和圖像信息傳遞給AAM，確定初始形狀模型，進(jìn)行迭代擬合（搜索）直至迭代收斂，最后通過(guò)描述符模型[11]得到相應(yīng)的人臉基準(zhǔn)點(diǎn)，人臉基準(zhǔn)點(diǎn)定位過(guò)程如圖5所示。

4實(shí)驗(yàn)結(jié)果與分析

本實(shí)驗(yàn)在MUCT人臉庫(kù)（3755面，76地標(biāo)）中隨機(jī)選擇500幅人臉圖片（選不同性別、年齡、表情、姿態(tài)等）作為訓(xùn)練數(shù)據(jù)，在AFLW人臉庫(kù)中隨機(jī)抽取300幅圖片作為測(cè)試數(shù)據(jù)集，實(shí)驗(yàn)程序在VS 2013環(huán)境下結(jié)合Open CV編寫(xiě)。為了便于觀察確認(rèn)，我們將測(cè)試圖片按序編號(hào)并平均分到三個(gè)文件夾下，采用C++編程進(jìn)行批量處理，實(shí)驗(yàn)在一臺(tái) 2.5 GHz，4G RAM的PC上進(jìn)行。

實(shí)驗(yàn)結(jié)果：本次實(shí)驗(yàn)處理一張AFLW圖片（150×150）平均用時(shí)約20 ms，定位速度較快;共有298張圖片定位出人臉基準(zhǔn)點(diǎn)，僅2張圖片定位出錯(cuò)（顯示沒(méi)有定位到人臉），定位成功率高達(dá)99%。

觀察定位成功的輸出圖片可得：

1） 有小部分不同角度或遮擋的人臉圖像中臉頰輪廓定位有一定的偏差，考慮是由于圖像預(yù)處理不佳造成的，可以進(jìn)一步對(duì)圖像進(jìn)行圖像增強(qiáng)等操作，以?xún)?yōu)化試驗(yàn)效果;

2） 輸出圖片中人眼、鼻尖、嘴、下巴定位準(zhǔn)確，總體來(lái)看人臉基準(zhǔn)點(diǎn)定位具有較好的準(zhǔn)確度。圖6展示了部分圖像的最終定位結(jié)果。

5結(jié)束語(yǔ)

本文采取Haar分類(lèi)器進(jìn)行快速人臉區(qū)域檢測(cè)，結(jié)合AAM 算法實(shí)現(xiàn)了人臉稠密基準(zhǔn)點(diǎn)（68個(gè)標(biāo)定點(diǎn)）的快速定位。在300張取自AFLW不同光照和不同姿態(tài)的人臉圖像測(cè)試中，取得了約99%的定位成功率，且速度快、準(zhǔn)確度高。本文提出的人臉基準(zhǔn)點(diǎn)定位方法可以應(yīng)用于計(jì)算機(jī)視覺(jué)中針對(duì)人臉的特征定位，實(shí)現(xiàn)自動(dòng)定位的同時(shí)可大幅提高定位準(zhǔn)確度。

參考文獻(xiàn)：

[1]蔡超.基于面部基準(zhǔn)點(diǎn)對(duì)齊的人臉識(shí)別方法研究[D].武漢：華中科技大學(xué)，2013.

[2]CHEN D，CAO X D，WEN F，et al.Blessing of dimensionality：high-dimensional feature and its efficient compression for face verification[C]∥Proceedings of 2013 IEEE Conference on Computer Vision and Pattern Recognition.Portland，USA：IEEE，2013：30253032.

[3]PANTIC M.Automatic analysis of facial expressions[C]∥Proceedings of the 2014 ACM/IEEE International Conference on Human-Robot Interaction.New York，USA：ACM，2014：390390.

[4]CAO C，WENG Y L，LIN S，et al.3D shape regression for real-time facial animation[J].ACM Transactions on Graphics，2013，32（4）：110.

[5]張少華.基于深度卷積神經(jīng)網(wǎng)絡(luò)的人臉基準(zhǔn)點(diǎn)定位研究[D].武漢：華中科技大學(xué)，2016.

[6]COOTES T F，EDWARDS G J，TAYLOR C J.Active appearance models[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2001，23（6）：681685.

[7]山世光.人臉識(shí)別中若干關(guān)鍵問(wèn)題的研究[D].北京：中國(guó)科學(xué)院研究生院（計(jì)算技術(shù)研究所），2004.

[8]LIENHART R，MAYDT J.An extended set of Haar-like features for rapid object detection[C]∥Proceedings of 2002 International Conference on Image Processing.Rochester，USA：IEEE，2002：I900I903.

[9]李理，李偉生.一種基于改進(jìn)樣本選取的快速人臉檢測(cè)方法[J].計(jì)算機(jī)應(yīng)用與軟件，2010，27（7）：8386.

[10]MILBORROW S，BISHOP T E，NICOLLS F.Multiview active shape models with SIFT descriptors for the 300-W face landmark challenge[C]∥Proceedings of 2013 IEEE International Conference on Computer Vision Workshops.Sydney，Australia：IEEE，2014：378385.

[11]沈道義，俞能海，龐彥偉，等.結(jié)合提升自舉FLD投影的特征提取算法[J].小型微型計(jì)算機(jī)系統(tǒng)，2009，30（4）：690694.

（編輯：劉鐵英）