基于表觀模型的人臉特征點(diǎn)提取

閆保中，何偉，韓旭東

哈爾濱工程大學(xué)自動(dòng)化學(xué)院，黑龍江哈爾濱150001

隨著5G 時(shí)代的到來，催生了諸如人機(jī)交互、生物鑒別等方向的應(yīng)用。眾多國內(nèi)外高校和科研機(jī)構(gòu)在尋求創(chuàng)新的同時(shí)把目光轉(zhuǎn)向了以人臉識(shí)別、姿態(tài)估計(jì)和人臉圖像編碼為基礎(chǔ)的與人臉相關(guān)的圖像處理技術(shù)研究。而這些技術(shù)能得到快速發(fā)展的一個(gè)前提是較高精度和較快速度的人臉特征點(diǎn)提取。

不同的研究人員對(duì)人臉特征點(diǎn)研究的側(cè)重點(diǎn)有所不同，根據(jù)人臉器官的分布規(guī)律，人臉特征點(diǎn)涵蓋了眼睛輪廓點(diǎn)、瞳孔中心點(diǎn)、眉毛輪廓、鼻尖位置、嘴部輪廓、臉部外輪廓等[1]。Kass等[2]提出的主動(dòng)輪廓模型，以及Yuille、Hallinan 提出的可變形模板等方法可用于人臉、人眼定位。這類方法稱為非參數(shù)方法，雖可以在任意圖像中獲取目標(biāo)區(qū)域，但是精度不高。Cootes等[3]提出的主動(dòng)形狀模型（active shape model，ASM）利用了人臉特征點(diǎn)之間的束縛關(guān)系，將獲取的特征點(diǎn)限制在一個(gè)合理的模型之下，能比較精確地對(duì)人臉特征點(diǎn)進(jìn)行定位。Cootes等[4]在ASM的基礎(chǔ)上，提出將紋理模型和形狀模型進(jìn)行融合，進(jìn)一步得到了主動(dòng)表觀模型[5]（AAM），使得人臉特征點(diǎn)提取有較高的精度，此模型已經(jīng)被廣泛應(yīng)用于人臉特征點(diǎn)檢測(cè)、人臉定位、人臉表情分析中。

AAM算法在對(duì)人臉特征點(diǎn)進(jìn)行擬合的過程中，過度依賴模型的初始位置[5]，當(dāng)模型的初始位置離目標(biāo)位置過大時(shí)，會(huì)影響擬合的精度和速度；而且在擬合過程中會(huì)出現(xiàn)不滿足人臉器官分布的人臉模型[6]，使提取特征點(diǎn)的精度變低。針對(duì)以上不足，利用不同的模型進(jìn)行初始位置的匹配，并對(duì)形狀參數(shù)進(jìn)行限制，防止非法變形。

1 基于AAM的人臉特征點(diǎn)定位分析

AAM包括模型的建立和對(duì)輸入圖像的擬合計(jì)算2個(gè)部分[7]。AAM 模型是對(duì)象的表觀模型，是建立在對(duì)象的形狀模型之上。基于AAM的人臉特征點(diǎn)提取算法先根據(jù)人工標(biāo)記的數(shù)據(jù)集訓(xùn)練構(gòu)建表觀模型，再以訓(xùn)練的模型與目標(biāo)圖像作差取平方和來建立能量損失函數(shù)模型，以能量值的大小來作為擬合程度的評(píng)價(jià)指標(biāo)。在擬合的過程中，通過擬合算法來改變模型參數(shù)，參數(shù)改變引起形狀控制點(diǎn)改變，使模型實(shí)例與目標(biāo)圖像完成擬合[8]。當(dāng)擬合完成后，形狀控制點(diǎn)的位置，就是目標(biāo)圖像的特征點(diǎn)位置。

1.1 AAM 模型建立

1.1.1形狀建模

當(dāng)根據(jù)數(shù)據(jù)訓(xùn)練出平均形狀S0和形狀特征向量S i后，此時(shí)AAM 的形狀模型就建立完成。

1.1.2表觀建模

通過對(duì)形狀的建模，得到了形狀特征向量S i和平均形狀向量S0。利用S0經(jīng)過Delaunay 三角化[10]作為映射的基準(zhǔn)網(wǎng)絡(luò)，將數(shù)據(jù)集中標(biāo)記好的特征點(diǎn)進(jìn)行三角化，通過分段線性仿射的方法映射到基準(zhǔn)網(wǎng)絡(luò)中[11]，如圖1所示。這時(shí)建立表觀模型達(dá)到歸一化的目的。

圖1 分段線性仿射示意

然后以與形狀建模相似的方式，用主成分分析（principal component analysis，PCA）方法獲取前m個(gè)表觀特征向量A i和平均表觀模型A0[12]，建立的表觀模型公式為通過設(shè)置不同的參數(shù)，可以獲取不同的表觀模型實(shí)例，就完成了表觀模型的建立。

1.2 利用反向組合進(jìn)行AAM 擬合計(jì)算

早期的AAM 擬合計(jì)算是通過Lucas-Kanade算法[13]實(shí)現(xiàn)的，Lucas-Kanade的數(shù)學(xué)模型為

為了獲取Lucas-Kanade數(shù)學(xué)模型的最小值，對(duì)其進(jìn)行求導(dǎo)，零求導(dǎo)式的左右兩邊等于0，得到的表達(dá)式為

2 AAM初始化模型優(yōu)化

AAM 利用全局形狀和紋理對(duì)人臉的特征點(diǎn)進(jìn)行搜索和擬合，首先需要訓(xùn)練出一個(gè)初始化模型，然后在初始化模型的基礎(chǔ)上進(jìn)行擬合。但是由于初始化模型的預(yù)估能力在一定情況下效果不佳，當(dāng)偏離的位置在能處理的范圍之外時(shí)，模型將不能進(jìn)行正確的擬合，收斂的速度慢且不精確。

為了在擬合過程中使模型收斂的速度加快且使擬合的精度提高，提出將不同的頭部姿態(tài)訓(xùn)練不同的人臉模型。在訓(xùn)練模型時(shí)，首先將頭部姿態(tài)相似的人臉歸為一類進(jìn)行訓(xùn)練，獲取多個(gè)模型；之后在進(jìn)行選取初始化模型時(shí)，對(duì)輸入圖像進(jìn)行支持向量機(jī)(support vector machines，SVM)分類匹配，粗略判斷輸入人臉的姿態(tài)，相應(yīng)的姿態(tài)選取相應(yīng)的初始化模型進(jìn)行擬合，從而提高擬合速度和精度。整體檢測(cè)流程如圖2所示。

圖2 基于多模板AAM 的人臉特征點(diǎn)檢測(cè)

2.1 頭部姿態(tài)粗估計(jì)

基于多模板AAM的核心在于如何將輸入的人臉圖像對(duì)應(yīng)訓(xùn)練好的人臉模型，所以需要對(duì)輸入的圖像姿態(tài)進(jìn)行預(yù)估。頭部姿態(tài)預(yù)估的具體方案是：選取CASIA-webface 人臉數(shù)據(jù)集和自己采集的人臉作為數(shù)據(jù)集，在數(shù)據(jù)集中找出頭部正向前方、頭部左偏45°、頭部右偏45°、頭部上揚(yáng)45°和頭部下低45°這5種姿態(tài)，如圖3所示。

圖3 5種人臉初始姿態(tài)

2.1.1方向梯度直方圖人臉特征提取

在提取方向梯度直方圖（histogram of oriented gradient，HOG）特征時(shí)，將所有的數(shù)據(jù)集都縮放到128像素×128像素，處理的速度更快。所以HOG特征提取時(shí)窗口個(gè)數(shù)為15×15，HOG塊的大小為16×16。一個(gè)block 有4個(gè)細(xì)胞，且核的個(gè)數(shù)為9，所以HOG 特征最終得到的特征向量的維數(shù)是8 100。

選取HOG作為分類器的特征進(jìn)行訓(xùn)練，HOG特征參數(shù)如表1所示。提取HOG 特征如圖4所示。

表1 HOG 參數(shù)選擇

圖4 HOG 特征提取

由于SVM是一個(gè)二分類器[15]，但是在進(jìn)行頭部姿態(tài)粗分類的過程中需要區(qū)分5個(gè)頭部姿態(tài)，采用一對(duì)一法，將5 種姿態(tài)的數(shù)據(jù)集分為數(shù)據(jù)集A、B、C、D、E。在訓(xùn)練時(shí)，選取A,B；A,C；A,D；A,E；B,C；B,D；B,E；C,D；C,E；D,E這10對(duì)子數(shù)據(jù)集，訓(xùn)練出10個(gè)訓(xùn)練結(jié)果。然后將輸入的被分類對(duì)象進(jìn)行分別測(cè)試，采取投票的形式得到最后的結(jié)果。

投票的過程如下：假設(shè)a、b、c、d、e分別對(duì)應(yīng)5 種姿態(tài)結(jié)果的計(jì)數(shù)器，當(dāng)利用A,B組成的數(shù)據(jù)集訓(xùn)練的分類器給被分類的對(duì)象進(jìn)行分類，若分類的結(jié)果為A，則a進(jìn)行累加，否則b進(jìn)行累加。其余組的判斷方式與該組相同。最后對(duì)應(yīng)結(jié)果為a、b、c、d、e中最大值所對(duì)應(yīng)的類。

通過一對(duì)一得到的10個(gè)訓(xùn)練模型，通過一張輸入的圖片，就可以得到初步預(yù)估頭部姿態(tài)。

2.2 多模板AAM 模型建立

在2.1節(jié)中，已知輸入人臉的初步姿態(tài)，需要找到合適的AAM 人臉初始化模型進(jìn)行匹配，所以需要訓(xùn)練出5個(gè)相對(duì)應(yīng)的人臉初始化模型。

在訓(xùn)練初始化模型過程中使用300-W 數(shù)據(jù)集，該數(shù)據(jù)集共有訓(xùn)練集樣本3 148張，測(cè)試集樣本共有689張，每張都有標(biāo)記好的人臉特征點(diǎn)坐標(biāo)，不需要再進(jìn)行人工的手動(dòng)標(biāo)注，減少了重復(fù)性工作。從300-W 數(shù)據(jù)集中選出頭部正向前方、頭部左偏45°、頭部右偏45°、頭部上揚(yáng)45°和頭部下低45°這5種類型的照片和標(biāo)注點(diǎn)，每種類型200張，進(jìn)行訓(xùn)練，獲取5種類型的初始化模型。模型圖如圖5所示。

圖5 AAM 模型

2.3 特征點(diǎn)獲取過程

獲取了人臉初始姿態(tài)模型和多模板AAM 初始化模型，就可以進(jìn)行人臉特征點(diǎn)獲取，具體步驟如下：

1）提取輸入圖片HOG 特征，利用訓(xùn)練好的SVM分類器進(jìn)行頭部姿態(tài)初步估計(jì)；

9月下旬至10月上旬播種，選擇中熟油菜品種，用種量是0.3～0.4公斤/畝。基肥施復(fù)合肥(15-15-15含量)50公斤/畝，硼肥(10%含量)0.5～1公斤/畝；苗肥于4～5葉期施尿素5公斤/畝，臘肥每畝施尿素5公斤/畝，氯化鉀2公斤/畝，于春節(jié)前施用；薹肥每畝施尿素、氯化鉀各3公斤/畝，初花和盛花期結(jié)合一促四防噴施磷酸二氫鉀和硼肥。

2）根據(jù)預(yù)估的頭部姿態(tài)匹配對(duì)應(yīng)的初始化AAM 模型；

3）利用反向組合進(jìn)行AAM 擬合計(jì)算；

4）多次重復(fù)步驟3），不斷地迭代擬合，使模型擬合到正確的位置；

5）通過擬合的最終結(jié)果獲取特征點(diǎn)。

3 AAM擬合改進(jìn)

不同人臉的外形、表情可能都不相同，但是人臉器官的分布是有規(guī)律可循的，即器官特征點(diǎn)之間的距離關(guān)系不會(huì)有特別大的區(qū)別。在利用表觀模型進(jìn)行回歸時(shí)，AAM的人臉形狀會(huì)超出這種關(guān)系，得到了非人臉的形狀。而原AAM 沒有對(duì)這種情況進(jìn)行判斷，沒有對(duì)這種非正常的擬合變形進(jìn)行修正，最終導(dǎo)致特征點(diǎn)沒有擬合到正確的位置。

3.1 形狀限制項(xiàng)解決非法形變思路

由第1節(jié)可知，建立了形狀模型S，其表達(dá)式如式（1），給定任意一組參數(shù)p之后，就能得到一個(gè)形狀實(shí)例S，p值不同，得到的形狀就不同。由于S0和S i在擬合的過程中都是已知的值，這時(shí)p就決定了擬合的形狀。

AAM在模型訓(xùn)練過程中選取了不同表情和不同姿態(tài)的50張人臉標(biāo)注點(diǎn)，這些數(shù)據(jù)集能很好地表示人臉可能出現(xiàn)的形狀情況。將這些人臉數(shù)據(jù)投影到對(duì)應(yīng)的人臉形狀，得到形狀系數(shù)p，將p值進(jìn)行統(tǒng)計(jì)分析，可以得到一個(gè)p值系數(shù)空間，如圖6所示。如果在擬合的過程中，p值系數(shù)超過這個(gè)系數(shù)空間，表示擬合形狀是不合理的，需要修正和限制。

圖6 符合人臉形狀的p值空間

3.2 改進(jìn)實(shí)現(xiàn)模型

4 基于AAM的特征點(diǎn)提取實(shí)驗(yàn)

在實(shí)驗(yàn)過程中，依然選用300-W 作為測(cè)試數(shù)據(jù)，300-W 數(shù)據(jù)集中有689張測(cè)試數(shù)據(jù)集。

實(shí)驗(yàn)主要對(duì)反向組合AAM算法、多模板AAM算法以及基于多模板AAM的改進(jìn)算法在特征點(diǎn)定位的時(shí)間效率和定位的精度上作比較。本實(shí)驗(yàn)的開發(fā)環(huán)境為Intel Core i5 CUP，利用Matlab程序?qū)Σ煌乃惴ㄟM(jìn)行人臉特征點(diǎn)提取。

實(shí)驗(yàn)用測(cè)試數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，利用提取的人臉特征點(diǎn)坐標(biāo)和數(shù)據(jù)集中原有標(biāo)定的人臉特征點(diǎn)坐標(biāo)的差值作為誤差標(biāo)準(zhǔn)，誤差標(biāo)準(zhǔn)的計(jì)算公式為

在數(shù)據(jù)集中選取不同姿態(tài)的人臉圖像，用改進(jìn)的和未改進(jìn)的AAM算法進(jìn)行特征點(diǎn)提取，如圖7所示。圖中三角形特征點(diǎn)為數(shù)據(jù)集中手動(dòng)標(biāo)記的特征點(diǎn)，圓點(diǎn)為算法提取的特征點(diǎn)。

圖7 特征點(diǎn)提取

實(shí)驗(yàn)記錄了3種算法300-W 數(shù)據(jù)集中20張不同姿態(tài)測(cè)試圖片的特征點(diǎn)定位誤差和時(shí)間效率，3種算法的時(shí)間效率分布和誤差分布散點(diǎn)圖如圖8、9所示。

圖8 3種算法時(shí)間效率散點(diǎn)

圖9 3種算法誤差散點(diǎn)

從測(cè)試樣本中選取8幅圖像的實(shí)驗(yàn)數(shù)據(jù)記錄，得到特征點(diǎn)定位時(shí)間效率表2和定位誤差表3。

表2 不同算法對(duì)不同圖片特征定位時(shí)間效率ms

表3 不同算法對(duì)不同圖片特征定位誤差比較pixel

通過對(duì)表2、3中的8組時(shí)間和像素誤差求平均值，得到對(duì)比結(jié)果如表4所示。

表4 不同算法速度和定位誤差對(duì)比表

分析實(shí)驗(yàn)數(shù)據(jù)可以發(fā)現(xiàn)：通過初始化模板優(yōu)化和擬合改進(jìn)后的AAM 算法在提取特征點(diǎn)時(shí)所用的時(shí)間明顯減少，速度有了明顯的提升，這是因?yàn)椴煌藨B(tài)的人臉匹配了不同的初始化模型，使初始化模型與輸入的人臉模型更貼合，同時(shí)擬合的改進(jìn)減少了模型迭代計(jì)算的時(shí)間，使速度提升，初始化模板的優(yōu)化對(duì)速度提升的影響更大；改進(jìn)后的定位誤差也與傳統(tǒng)的AAM算法相比有明顯的改善，因?yàn)閮?yōu)化的初始化模型更接近輸入模型，且對(duì)擬合的過程進(jìn)行了改進(jìn)，對(duì)不符合人臉器官分布規(guī)律的形狀做了限制，有效防止了非法變形，使精度進(jìn)一步提升。

5 結(jié)論

針對(duì)人臉特征點(diǎn)檢測(cè)設(shè)計(jì)多模板的AAM 算法，對(duì)不同的人臉匹配不同的初始模型，彌補(bǔ)了傳統(tǒng)AAM 算法在初始位置偏離目標(biāo)位置過大時(shí)，難以收斂的不足，使特征點(diǎn)提取速度和精度得到提升。

1）同時(shí)對(duì)擬合過程中的形狀變量進(jìn)行限制，有效解決了擬合過程中非法變形問題，進(jìn)而使特征點(diǎn)提取精度進(jìn)一步提升。

2）使用公開數(shù)據(jù)集對(duì)不同人臉姿態(tài)進(jìn)行了特征點(diǎn)提取實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，本文的算法能有效提高人臉特征點(diǎn)提取的速度和精度。在后續(xù)的研究中，將進(jìn)一步研究更有效的人臉特征點(diǎn)提取算法，以適應(yīng)頭部偏轉(zhuǎn)較大情況下的特征點(diǎn)提取。

在后續(xù)的研究中，將進(jìn)一步研究更有效的人臉特征點(diǎn)提取算法，以適應(yīng)頭部偏轉(zhuǎn)較大情況下的特征點(diǎn)提取。