一種基于姿態(tài)先驗(yàn)的魯棒的人臉對(duì)齊方法

周麗芳，谷 雨，文佳黎，李偉生 ，雷幫軍，李佳其

1(重慶郵電大學(xué) 軟件工程學(xué)院，重慶 400065)2(三峽大學(xué) 水電工程智能視覺(jué)檢測(cè)湖北省重點(diǎn)實(shí)驗(yàn)室，湖北 宜昌 443002)3(重慶郵電大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，重慶 400065)

1 引 言

人臉對(duì)齊的目的是能夠自動(dòng)定位人臉特征點(diǎn)(例如眼睛、鼻子、嘴巴及輪廓等部位的關(guān)鍵點(diǎn)).在人臉識(shí)別[1，2]、人臉檢測(cè)[3，4]、特征提取[5]、表情分析[6]、姿態(tài)估計(jì)[7]以及活體檢測(cè)[8]等多個(gè)應(yīng)用領(lǐng)域被廣泛使用.在眾多自動(dòng)學(xué)習(xí)人臉信息的算法研究中，基于模型的算法被證實(shí)為最有效的.這類算法的早期研究包含可變形模板和主動(dòng)輪廓模型，主要是通過(guò)單一地研究特征點(diǎn)來(lái)提取人臉特征和人臉輪廓.因此，其匹配效果有一定的局限性.近幾十年，包括主動(dòng)形狀模型(ASM)[9]和主動(dòng)表觀模型(AAM)[10]在內(nèi)的多種基于模型和基于紋理的方法被提出.其中，ASM從整體的角度研究人臉的形狀信息(基于手動(dòng)標(biāo)注的人臉特征點(diǎn)).而AAM是由形狀模型和外觀模型(研究一個(gè)區(qū)域內(nèi)的像素強(qiáng)度)合成的模型，被廣泛應(yīng)用于人臉圖像、醫(yī)學(xué)圖像以及特征點(diǎn)檢測(cè).由于這些模型的高效性和準(zhǔn)確性，近些年來(lái)多種關(guān)于ASM和AAM的改進(jìn)方法[11-13]被提出，使得其在人臉特征點(diǎn)標(biāo)定的準(zhǔn)確率上有很大提升.

在實(shí)際的情況中，人臉卻存在著多種姿態(tài)變化.但ASM和AAM無(wú)法隨姿態(tài)變化進(jìn)行判斷，對(duì)初始化模型效果的依賴性較高.換言之，當(dāng)初始模型和標(biāo)準(zhǔn)臉相差較大時(shí)，會(huì)導(dǎo)致后續(xù)匹配情況越來(lái)越糟糕.與此同時(shí)，AAM的匹配是一個(gè)迭代過(guò)程，在每一次迭代更新中模型的參數(shù)都會(huì)被評(píng)估.通常，參數(shù)的迭代更新利用最小化輸入圖像和模型實(shí)例之間的誤差函數(shù)來(lái)實(shí)現(xiàn).解決這類問(wèn)題的主要方法有兩種.第一種是基于回歸方法[14，15]來(lái)實(shí)現(xiàn)，學(xué)習(xí)速度快，但是容易陷入局部最小.第二種匹配AAM的方法是基于非線性最小二乘法算法[16].

本文中，提出一種在非限制性環(huán)境下精確的人臉特征點(diǎn)標(biāo)定(也稱自然環(huán)境下的人臉對(duì)齊)方法.首先，由于人臉可以分為正面、左側(cè)面和右側(cè)面，因此，在訓(xùn)練階段我們分別建立了人臉的正臉模型、左偏模型和右偏模型.在搜索階段，利用特征三角形自動(dòng)選擇合適的模型作為人臉的初始模型.也就是說(shuō)，人臉初始模型不再是平均臉，而是與當(dāng)前人臉姿態(tài)更為匹配的初始模型.此外本文第二個(gè)主要的貢獻(xiàn)是采用了高效快速的高斯牛頓下降方法進(jìn)行AAM匹配.

2 基于姿態(tài)先驗(yàn)的人臉對(duì)齊方法

原始的主動(dòng)表觀模型AAM在匹配階段均以訓(xùn)練集的平均形狀作為初始模型，當(dāng)測(cè)試人臉姿態(tài)為非正面(即存在姿態(tài)變化)時(shí)，極易陷入局部最優(yōu)，最終無(wú)法準(zhǔn)確定位.本文通過(guò)構(gòu)建的特征三角形在搜索階段先進(jìn)行姿態(tài)的預(yù)判，可有效避免姿態(tài)變化時(shí)主動(dòng)表觀模型AAM的收斂瓶頸.

2.1 主動(dòng)表觀模型(AAM)

AAM是由形狀變化模型和紋理變化模型結(jié)合而來(lái).

假設(shè)存在D個(gè)訓(xùn)練樣本，在每個(gè)訓(xùn)練樣本上標(biāo)定u個(gè)標(biāo)定點(diǎn)[x1，y1，…，xu，yu]，那么這些標(biāo)記點(diǎn)就對(duì)應(yīng)于所屬圖像的形狀特征.接下來(lái)，通過(guò)普魯克分析(Procrustes Analysis)從原始圖形中移除相似轉(zhuǎn)換(縮放、旋轉(zhuǎn)和轉(zhuǎn)換)進(jìn)行歸一化.用主成分分析法對(duì)形狀歸一化后的數(shù)據(jù)進(jìn)行處理，得到平均形狀s0和按特征值大小排序后的前n個(gè)形狀特征向量S.該模型典型地反映了由于身份、姿勢(shì)和表情而產(chǎn)生的形狀變化.則任意人臉形狀s都可以用線性表達(dá)式表示：

s=s0+Sb，b=ST(s-s0)

(1)

類似地，利用訓(xùn)練圖像的紋理建立表觀模型.通過(guò)分段放射W將每一個(gè)人臉I(yè)i映射到平均形狀s0，實(shí)現(xiàn)對(duì)紋理的歸一化，再利用PCA歸一化后的紋理進(jìn)行降維得到平均紋理向量A0和m個(gè)表觀特征向量A，則一個(gè)表觀模型的實(shí)例可表示為：

I=A0+Ac，c=AT(I-A0)

(2)

盡管AAM在特征點(diǎn)定位上有著良好的效果，但它的標(biāo)定精度對(duì)于初始形狀以及姿態(tài)、表情和光照的變化非常敏感.

2.2 初始模型選擇

為了解決這些問(wèn)題，提出利用人臉特征三角形(由兩眼中心和鼻尖組成)判定選取初始模型的方法.

眾所周知，按照姿態(tài)的不同，人臉大致可以分為左偏、正面以及右偏人臉.因此，本文利用特征三角形針對(duì)不同的姿態(tài)分別訓(xùn)練了正面模型、左偏模型以及右偏模型.同時(shí)，在搜索過(guò)程為待定位人臉提供一個(gè)較匹配的初始模型，從而解決了當(dāng)人臉有姿態(tài)變化的情況下，初始形狀仍然為平均形狀的問(wèn)題.

如圖1所示，我們用Adaboost算法定位人眼和鼻尖.假設(shè)右眼坐標(biāo)為A(a1，a2)，左眼坐標(biāo)為B(b1，b2)，鼻尖坐標(biāo)為C(c1，c2)，則特征三角形的三條邊分別為：

(3)

(4)

(5)

圖1 人臉特征三角形展示Fig.1 Facial characteristic triangle

α、β、γ分別是∠A、∠B、∠C的對(duì)邊，則特征三角形的三個(gè)角可由余弦定理計(jì)算得到：

2016年在恩施州利川、來(lái)鳳、建始、咸豐、宣恩、恩施6個(gè)主要植煙縣（市）采取典型抽樣方法取樣。每個(gè)植煙縣（市）選擇3個(gè)能代表該植煙縣（市）主要植煙區(qū)域的取樣地點(diǎn)。田間煙草品種為云煙87，由專職評(píng)級(jí)人員按照GB 2635—1992烤煙分級(jí)標(biāo)準(zhǔn)在每個(gè)取樣點(diǎn)采集C3F等級(jí)煙葉樣品，共采集樣品18份。所有采樣地點(diǎn)均實(shí)行GPS定位，樣品都標(biāo)識(shí)地理坐標(biāo)和海拔高度。

(6)

(7)

∠C=π-∠A-∠B

(8)

當(dāng)人臉發(fā)生偏轉(zhuǎn)的時(shí)候，如圖1所示，可以看出特征三角形發(fā)生了扭曲，不再是等腰三角形.人臉向哪個(gè)方向旋轉(zhuǎn)，這個(gè)方向的頂角就會(huì)變大.于是可以得到這樣的結(jié)論：如果∠A>∠B，我們判斷人臉向左邊偏轉(zhuǎn)，則選擇左側(cè)模型為初始模型.與此同時(shí)，訓(xùn)練集中所有左側(cè)人臉的平均值被當(dāng)作初始模型.相反，如果∠B>∠A，則判斷人臉向右偏，選擇右側(cè)模型.如果∠A=∠B，則選擇正面平均模型.

如前文所述，在定位階段特征三角形判定可以使AAM模型中的初始化形狀達(dá)到最優(yōu)效果.特別是在人臉有姿態(tài)偏轉(zhuǎn)的情況下，該方法使AAM對(duì)姿態(tài)變化的抗干擾能力大幅提升.同時(shí)，將對(duì)應(yīng)的人臉模型作為下一擬合階段的初始化.

2.3 AAM的匹配

AAM的匹配過(guò)程就是利用AAM去定位人臉特征點(diǎn)，根據(jù)輸入圖像與模板圖像間的差值不斷調(diào)整參數(shù)，最終達(dá)到誤差最小.本文利用非線性的最小二乘優(yōu)化方法來(lái)匹配一個(gè)測(cè)試圖像.對(duì)于給定的測(cè)試圖像，我們將其變換到AAM框架中，然后通過(guò)最小化模型實(shí)例和測(cè)試圖像之間誤差來(lái)得到相應(yīng)模型參數(shù)：

(9)

其中，X=(x，y)T表示像素坐標(biāo)形成的向量，p=(p1，…，pn)T是扭曲參數(shù)組成的向量，本文中共有9個(gè)扭曲參數(shù)，即p=(p1，…，p9)T.

接著，使用反向合成的方式處理上式：

(10)

根據(jù)公式(10)，進(jìn)行一階泰勒展開：

(11)

根據(jù)公式(11)，忽略二階項(xiàng)可簡(jiǎn)化為：

(12)

1https://github.com/TadasBaltrusaitis/CLM-framework

根據(jù)公式(13)，可得到Δc的更新方式：

(13)

因?yàn)锳是一個(gè)正交空間，定義投影空間P=E-AAT，其中E是單位矩陣.則優(yōu)化公式(12)等同于優(yōu)化下列公式：

(14)

則

Δp=H-1JT(I(W(X;p))-A0)

(15)

通過(guò)交替迭代不斷更新Δp和Δc來(lái)達(dá)到最優(yōu)化.

3 實(shí)驗(yàn)與分析

近年來(lái)，人臉對(duì)齊技術(shù)得到迅速的發(fā)展，同時(shí)越來(lái)越多新的人臉數(shù)據(jù)集出現(xiàn).但無(wú)論如何，最終目標(biāo)始終都是能夠在戶外人臉上實(shí)現(xiàn)精確的特征點(diǎn)定位.因此，本文中的實(shí)驗(yàn)均在無(wú)約束的戶外人臉庫(kù)LFPW進(jìn)行算法效果評(píng)估.LFPW數(shù)據(jù)庫(kù)中的圖像在姿勢(shì)、表情和光照等條件上具有隨機(jī)變化，如圖2所示.

圖2 LFPW人臉庫(kù)中圖像示例Fig.2 Sample face images from the LFPW dataset

3.1 平均誤差比較

本小節(jié)中通過(guò)比較點(diǎn)對(duì)點(diǎn)的平均誤差(利用瞳間距進(jìn)行標(biāo)準(zhǔn)化)來(lái)測(cè)試人臉對(duì)齊的性能.為了簡(jiǎn)單起見(jiàn)，文中展示了68個(gè)特征點(diǎn)，實(shí)驗(yàn)數(shù)據(jù)已省略“%”，匹配結(jié)果如表1所示.

表1 不同對(duì)齊方法誤差對(duì)比Table 1 Compare with different methods

從對(duì)比數(shù)據(jù)可以看出，本文所提出的方法在LFPW人臉庫(kù)上的性能優(yōu)于大多數(shù)現(xiàn)有的優(yōu)異的算法，比如SDM和3000FPS.

3.2 視覺(jué)效果展示

在本小節(jié)中，利用四種不同方法的標(biāo)定圖像從視覺(jué)效果上進(jìn)行了對(duì)比展示.

本文中所提出的方法與Active Orientation Models(AOMs)[13]、CLM_framework1和Tasks-Constrained Deep Convolutional Network (TCDCN)[25]在視覺(jué)效果上作出直觀比較.就AOMs而言，它所提供的源代碼采用Multi-PIE作為訓(xùn)練樣本.至于CLM-framework，也被稱為劍橋人臉跟蹤器，是一個(gè)人臉關(guān)鍵點(diǎn)檢測(cè)和頭部姿勢(shì)估計(jì)的框架.其中TCDCN方法進(jìn)行人臉對(duì)齊時(shí)需要一個(gè)外部人臉檢測(cè)器提供人臉框位置信息.我們根據(jù)TCDCN原作者的建議，選擇了被稱為Multi-task Cascaded Convolutional Networks (MTCNN)[26]的人臉檢測(cè)器.

顯而易見(jiàn)，對(duì)于一般簡(jiǎn)單姿態(tài)(圖片中被展示在前兩行的人臉)而言，所有方法的人臉特征點(diǎn)匹配結(jié)果都很有效.然而，在人臉有遮擋的情況下或者特效圖像上，本文中所提方法具有更好的表現(xiàn).對(duì)比效果已在圖3中用色圈作強(qiáng)調(diào)標(biāo)記出來(lái).在原始的主動(dòng)表觀模型AAM中，無(wú)論測(cè)試人臉姿態(tài)如何，在匹配階段均以訓(xùn)練集的平均形狀作為初始模型.當(dāng)測(cè)試人臉姿態(tài)為正面時(shí)，通常可以得到比較好的結(jié)果；但若測(cè)試人臉姿態(tài)為非正面(即存在姿態(tài)變化)時(shí)，極易陷入局部極值，而導(dǎo)致無(wú)法得到理想的結(jié)果.本文所提出的方法在搜索階段，利用特征三角形自動(dòng)選擇合適的模型作為人臉的初始模型，從而避免了姿態(tài)變化對(duì)初始模型的干擾.理論分析與試驗(yàn)證明，我們的方法具備的魯棒且精準(zhǔn)的特征點(diǎn)定位效果.

圖3 在LFPW人臉庫(kù)上的標(biāo)定圖像示例Fig.3 Visual fitting results of different methods on LFPW dataset

為了更明顯地展示算法的對(duì)比效果，我們通過(guò)放大圖3中的色圈區(qū)域來(lái)說(shuō)明標(biāo)定效果，如圖4.在嘴巴、眼睛和人臉輪廓被遮擋時(shí)，我們的算法相比于其他方法具有更優(yōu)異的標(biāo)定效果.另外，就深度學(xué)習(xí)模型而言，它是用大量外部數(shù)據(jù)源預(yù)先訓(xùn)練而成，相比于傳統(tǒng)算法它們主要定位人臉五個(gè)關(guān)鍵點(diǎn)(雙眼中心、鼻尖、嘴角)[27]，對(duì)于多點(diǎn)檢測(cè)效果并沒(méi)有表現(xiàn)得非常優(yōu)異.

圖4 從圖3中篩選出的放大后的標(biāo)定示例Fig.4 Enlarged visual fitting results of selected results from Fig.3

4 總結(jié)與展望

本文針對(duì)AAM對(duì)初始模型依賴度極高，且極易受到姿態(tài)、光照以及遮擋等因素的影響的問(wèn)題，設(shè)計(jì)了一種基于姿態(tài)先驗(yàn)的魯棒的人臉對(duì)齊方法.雖然我們并沒(méi)有利用一些魯棒的特征，僅僅只是利用像素特征，但本文所提方法比當(dāng)前大多數(shù)人臉對(duì)齊方法擬合效果都要好.