基于改進(jìn)主動(dòng)表觀模型算法的人臉特征定位

黃 飛，譚守標(biāo)

HUANG Fei,TAN Shoubiao

安徽大學(xué) 電子信息工程學(xué)院，合肥230601

College of Electrical and Information Engineering,Anhui University,Hefei 230601,China

1 引言

人臉特征點(diǎn)定位[1-3]一直就是人臉圖像處理中至關(guān)重要的部分。主動(dòng)表觀模型（AAM）是人臉特征點(diǎn)提取領(lǐng)域的經(jīng)典算法之一。AAM 算法最早由F T Cootes等人于1998 年提出[4]，AAM 擬合是一個(gè)非線性優(yōu)化問(wèn)題，難以快速有效地求解。直到卡納基梅隆大學(xué)的Sion Baker等人提出了反向組合算法[5]，它有效地減小了迭代過(guò)程中的計(jì)算量，大大提高了AAM 算法的擬合速度。

AAM 算法的擬合效率與模型的初始位置有著密切的關(guān)系，初始參數(shù)的好壞會(huì)直接影響AAM 算法的實(shí)際應(yīng)用。初始位置參數(shù)包括坐標(biāo)平移、縮放、旋轉(zhuǎn)和深度旋轉(zhuǎn)以及內(nèi)部特征點(diǎn)的形狀參數(shù)。基于Adaboost 的人臉檢測(cè)方法自從被提出，就廣泛應(yīng)用于AAM 算法的初始位置確定[6-7]，但是這種方法只能提供大致的位置，初始形狀參數(shù)的估計(jì)并沒(méi)有達(dá)到最優(yōu)。

本文將局部紋理模型應(yīng)用到AAM 初始形狀參數(shù)的優(yōu)化，充分利用局部紋理模型對(duì)單個(gè)特征點(diǎn)定位的快速精確性[4]，同時(shí)使用全局紋理信息加以約束，并在形狀參數(shù)最優(yōu)化的基礎(chǔ)上對(duì)AAM 匹配模板進(jìn)行升級(jí)。在得到最優(yōu)化的初始參數(shù)和升級(jí)的匹配模板后，利用反向組合AAM 算法做最終的特征點(diǎn)定位。

2 初始形狀參數(shù)的最優(yōu)化

本文在基于Adaboost算法人臉檢測(cè)[8-9]的基礎(chǔ)上，將特征點(diǎn)局部紋理模型和AAM 全局紋理約束應(yīng)用到初始形狀參數(shù)的優(yōu)化，保證AAM 算法在匹配時(shí)有最優(yōu)的初始形狀參數(shù)以提高AAM 算法的匹配精度。

2.1 局部紋理模型簡(jiǎn)介

局部紋理模型是在ASM（Active Shape Models）算法[10-11]中提出來(lái)的針對(duì)每個(gè)特征點(diǎn)建立的一種模型。模型訓(xùn)練時(shí)以特征點(diǎn)為中心，在法線方向上取一定范圍內(nèi)的像素點(diǎn)組成該特征點(diǎn)的局部特征向量，那么對(duì)于N個(gè)樣本就由N個(gè)這樣的局部特征向量。對(duì)這些特征向量進(jìn)行歸一化，并計(jì)算該特征點(diǎn)的平均特征向量及協(xié)方差矩陣。在匹配過(guò)程中，采取當(dāng)前關(guān)鍵點(diǎn)的局部特征向量，利用訓(xùn)練得到的平均特征向量和協(xié)方差矩陣計(jì)算特征點(diǎn)的最佳位置。局部紋理模型對(duì)特征點(diǎn)定位時(shí)具有速度快，低噪聲情況下精度高的優(yōu)點(diǎn)，但在噪聲較大的情況下，局部紋理模型定位時(shí)容易陷入局部極小。

2.2 局部紋理模型收斂和全局紋理模型收斂法則分析

局部紋理模型是針對(duì)ASM 算法提出來(lái)的，在一次迭代過(guò)程中，對(duì)于初始形狀sinit，對(duì)每個(gè)特征點(diǎn)做局部紋理模型處理，得到的一個(gè)目標(biāo)形狀sinit+ds，目的就是保持初始形狀sinit形變程度不過(guò)分的情況下盡量接近sinit+ds；先對(duì)sinit進(jìn)行剛體變換，將sinit向sinit+ds對(duì)齊，可以計(jì)算到平移量dxc，縮放量dz，旋轉(zhuǎn)角度dθ[4]。但是這實(shí)際上還是剛體變換，得到的還是初始平均形狀。理論上應(yīng)該對(duì)開(kāi)始的初始形狀做一個(gè)形狀變化：

其中是平均形狀，P是特征矩陣，b是形狀參數(shù)。在新形狀的基礎(chǔ)上再去做剛性變換。利用公式（1）求得形狀參數(shù)b：

在計(jì)算到形狀參數(shù)b后確定新的形狀并作為下一次迭代的初始形狀，整個(gè)迭代過(guò)程的收斂條件是：

其中i為迭代次數(shù)，ξ為設(shè)定的閾值。

這種方法一定會(huì)收斂，這是由算法的收斂函數(shù)決定，但是很明顯的缺點(diǎn)是收斂函數(shù)過(guò)于簡(jiǎn)單，而且從本質(zhì)上說(shuō)收斂只是針對(duì)形狀參數(shù)而言，并且形狀參數(shù)收斂并不等同于對(duì)應(yīng)的形狀也收斂，原因是紋理信息利用得太少，這是ASM 算法的主要缺點(diǎn)。AAM 算法正是為了克服這個(gè)缺點(diǎn)提出來(lái)的，AAM 算法利用的當(dāng)前形狀中的所有紋理信息，并利用這些信息來(lái)更新形狀參[5]。AAM 算法的收斂法則是：

局部紋理模型對(duì)單個(gè)特征點(diǎn)定位比較準(zhǔn)確，但可能由于噪聲陷入局部極小值，AAM 對(duì)于整體形狀有很好的定位效果，但對(duì)每個(gè)特征點(diǎn)定位精度不夠。

2.3 局部紋理模型應(yīng)用于AAM 初始參數(shù)優(yōu)化

由于局部紋理模型只是利用了關(guān)鍵點(diǎn)法線方向上的紋理信息[12]，在搜索過(guò)程中易受噪聲影響而陷入局部極小問(wèn)題。對(duì)于當(dāng)前形狀s，對(duì)每個(gè)特征點(diǎn)進(jìn)行局部紋理模型匹配之后形狀變?yōu)閟+ds，其中ds=(dX1,dX2,…，dXn)。顯然，經(jīng)過(guò)局部紋理模型處理后特征點(diǎn)之間的整體形狀約束消失了，每個(gè)特征點(diǎn)都是獨(dú)立的，要將局部紋理模型應(yīng)用到AAM 初始形狀參數(shù)優(yōu)化去，首先要解決局部紋理模型可能帶來(lái)的局部極小問(wèn)題。通過(guò)2.2 節(jié)分析可知，局部極小問(wèn)題的發(fā)生主要是由于特征點(diǎn)之間的約束被削弱，錯(cuò)誤的特征點(diǎn)在剛性變換的時(shí)候強(qiáng)制將整體形狀拉偏而導(dǎo)致的，AAM 全局紋理模型能有效地加強(qiáng)特征點(diǎn)之間的形狀約束關(guān)系，AAM 算法在匹配過(guò)程中始終使用全局紋理差來(lái)作為參數(shù)更新的動(dòng)力：

其中H是Hessian 矩陣，SDk(x) 是最快下降圖，ΔA(x)是全局紋理差。結(jié)合局部紋理模型對(duì)單個(gè)特征點(diǎn)定位的精確性和全局紋理模型對(duì)整體形狀的約束來(lái)抑制局部極小情況的發(fā)生。

為了將局部紋理模型和AAM 全局紋理約束有效結(jié)合起來(lái)，需要將經(jīng)局部紋理模型處理過(guò)的形狀投影到AAM 形狀模型坐標(biāo)系中。

設(shè)初始形狀為平均形狀s0，Adaboost 算法確定的相似變換參數(shù)為q，則當(dāng)前形狀為：

其中N(…;q) 是整體相似變換，W(…;p) 是形狀變化。對(duì)每個(gè)特征點(diǎn)進(jìn)行局部紋理模型搜索，得到變形的形狀s+ds，將s+ds投影到AAM 形狀模型坐標(biāo)系中，目標(biāo)函數(shù)為：

該過(guò)程與ASM 匹配過(guò)程相同，是一個(gè)反復(fù)迭代的過(guò)程，求出參數(shù)增Δp,Δq，更新參數(shù)p←p+Δp,q←q+Δq，此時(shí)s+ds已成功投影到AAM 形狀模型坐標(biāo)系中。s+ds在AAM 形狀模型坐標(biāo)系中的近似表達(dá)式為：

其中s0是AAM 形狀模型的平均形狀，si是形狀模型的特征向量。

解決了變形后的形狀向AAM 形狀模型坐標(biāo)投影的問(wèn)題，下面說(shuō)明如何將局部紋理模型應(yīng)用到AAM 初始形狀參數(shù)的估計(jì)中：

（1）采用Adaboost算法確定初始形狀sinit=+Pb，并提取當(dāng)前紋理A(x)，計(jì)算與AAM平均紋理的差ΔAinit(x)。

（2）對(duì)sinit用局部紋理模型進(jìn)行搜索，得到變形形狀sinit+ds，將sinit+ds利用公式（6）（7）投影到AAM 形狀模型中，確定參數(shù)p，q。利用公式（5）計(jì)算新的形狀，并在新形狀下提取紋理差ΔA(x)。若‖ΔA(x) ‖＜‖ ΔAinit(x) ‖則接受此次局部紋理模型更新的參數(shù)，否則認(rèn)為參數(shù)已經(jīng)達(dá)到最優(yōu)并退出。

（3）計(jì)算參數(shù)增量：

其中H是AAM 模型平局紋理模型的Hessian 矩陣，SDk是相應(yīng)的最快下降圖像。更新參數(shù)并計(jì)算最新形狀s，將sinit←s，ΔAinit(x)←ΔA(x)，重復(fù)步驟（2），（3）直至收斂。這里收斂的準(zhǔn)則是紋理差ΔA(x)不再減小，在每次迭代過(guò)程中通過(guò)局部紋理得到一個(gè)局部收斂的變形的形狀，再通過(guò)全局紋理模型將變形后的形狀投影到訓(xùn)練的形狀模型之下，所以最終的初始形狀優(yōu)化過(guò)程是全局收斂的。這個(gè)初始參數(shù)優(yōu)化的過(guò)程一定是收斂的，在迭代的過(guò)程中最壞的情況是平均形狀對(duì)應(yīng)的紋理差最小，只要紋理差在減小就一定會(huì)收斂于一個(gè)形狀參數(shù)向量，原理類似于AAM 迭代收斂，如果是在迭代過(guò)程中陷入了局部極小收斂，就直接采用平均形狀作為初始形狀。

上述過(guò)程將局部紋理模型和AAM 全局紋理約束有效結(jié)合到一起，利用局部紋理模型對(duì)形狀參數(shù)做優(yōu)化，從而在整體上使得初始參數(shù)的估計(jì)達(dá)到最優(yōu)。

由于本文算法提出了參數(shù)優(yōu)化的過(guò)程，會(huì)在時(shí)間效率上比AAM 算法要低。原始AAM 算法在使用Adaboost算法確定初始形狀之后直接利用紋理差來(lái)迭代更新參數(shù)直到收斂?，F(xiàn)在要在Adaboost 確定初始形狀之后做一個(gè)優(yōu)化過(guò)程，增加的時(shí)間體現(xiàn)在局部紋理模型匹配和利用紋理差更新參數(shù)的過(guò)程。

3 AAM 匹配模板的改進(jìn)

3.1 AAM 匹配模板改進(jìn)的原理

AAM 算法的擬合過(guò)程采用的是基于反向組合算法的L-K 算法[13-14]，L-K 算法的目標(biāo)函數(shù)為：

其中W(x;p)是仿射變換，T(x)是固定的匹配模板。從式（9）可知，L-K 算法要求待匹配圖像和模板之間只有大小、位置和扭曲的差異[13]，而基于反向組合算法的AAM 擬合過(guò)程中，假設(shè)待匹配圖像平均形狀下的真實(shí)紋理信息為Aface(x)，那么最精確的匹配模板T(x)應(yīng)該滿足（10）、（11）兩式：

即最終的紋理參數(shù)使得匹配模板和待匹配圖像在紋理細(xì)節(jié)上差異最小。

但是由于紋理模型參數(shù)λ在每次迭代過(guò)程中都要更新，這就導(dǎo)致模板的梯度，Hessian 矩陣，最快下降圖像都需要重新計(jì)算，這樣會(huì)帶來(lái)巨大的計(jì)算量，降低了算法的時(shí)間效率。故反向組合AAM 算法采用張量空間投影的方法[15]，將匹配模板固定為平均紋理向量A0(x)，這樣就可以在匹配之前，提前計(jì)算必要的參數(shù)量，從而大大提高了時(shí)間效率。

由公式（10）可知，如果在匹配前對(duì)紋理參數(shù)做一個(gè)初始值λ0的估計(jì)，使得模板的在紋理細(xì)節(jié)上與待匹配圖像更加接近，那么在匹配過(guò)程中會(huì)提高最終的特征點(diǎn)匹配精度。分析反向組合AAM 算法的匹配過(guò)程可知，紋理信息提取的準(zhǔn)確與否與形狀的精確定位成正比關(guān)系。所以，利用上一章中對(duì)初始形狀參數(shù)最優(yōu)估計(jì)的結(jié)果，在待匹配圖像上提取紋理信息并投影到AAM 紋理模型坐標(biāo)下，即更新后的匹配模板為：

因?yàn)槌跏夹螤畹奈恢靡绕骄螤詈?，所以升?jí)后的模板比平均紋理模板在紋理細(xì)節(jié)上更接近待匹配圖像。

3.2 AAM 匹配模板改進(jìn)的流程

針對(duì)上述問(wèn)題，本文在初始形狀參數(shù)最優(yōu)化的基礎(chǔ)上對(duì)AAM 匹配模板進(jìn)行升級(jí)改進(jìn)。在2.3 節(jié)介紹方法的基礎(chǔ)上，確定最優(yōu)化的初始形狀參數(shù)p0，q0，利用公式（5）可以確定形狀s，從當(dāng)前形狀s中提取紋理信息并仿射到平均形狀s0中，得到紋理向量A(x)，將該紋理向量投影到AAM 紋理模型中，計(jì)算對(duì)應(yīng)的紋理參數(shù)：

根據(jù)初始紋理參數(shù)計(jì)算新的紋理模板：

Hessian 矩陣的計(jì)算公式如下：

改進(jìn)前的模板為平均紋理模板，改進(jìn)后的模板包含了待匹配圖像紋理的細(xì)節(jié)信息，這樣更符合L-K 的算法要求。

4 算法的整體流程

綜合前面兩章的內(nèi)容，現(xiàn)將本文改進(jìn)算法的整體流程描述如下：

（1）采用Adaboost 算法確定AAM 形狀模型的初始位置，計(jì)算并記錄當(dāng)前形狀下的紋理差ΔA(x)。

（2）對(duì)當(dāng)前形狀應(yīng)用局部紋理形狀并用AAM 全局紋理進(jìn)行約束，利用公式（8）、（5）對(duì)形狀參數(shù)進(jìn)行更新，計(jì)算新形狀，計(jì)算紋理差，迭代此過(guò)程直到紋理差ΔA(x)不再減小，如果在迭代過(guò)程中始終是平均紋理差最小，那么就以平均形狀作為初始形狀。

（3）在得到最優(yōu)化的形狀參數(shù)p，q，根據(jù)公式（15）～（17）來(lái)計(jì)算新的匹配模板以及相關(guān)量。

（4）在優(yōu)化的形狀參數(shù)和更新后的紋理模板下，采用反向組合算法AAM 做最后的人臉特征定位。

5 實(shí)驗(yàn)結(jié)果

實(shí)驗(yàn)選用IMM 人臉數(shù)據(jù)庫(kù)，該數(shù)據(jù)庫(kù)有40 人6 個(gè)不同的角度的樣本圖像，每幅圖像標(biāo)定58 個(gè)特征點(diǎn)。本文采用120 幅圖像作為訓(xùn)練樣本集，其余的圖像用于測(cè)試。

實(shí)驗(yàn)主要對(duì)反向組合AAM 算法和本文改進(jìn)的算法以及現(xiàn)有改進(jìn)的PAAM[16]算法在特征點(diǎn)定位精度上和時(shí)間效率上做出比較。實(shí)驗(yàn)采用經(jīng)過(guò)算法定位的特征點(diǎn)坐標(biāo)和樣本手動(dòng)標(biāo)定的特征點(diǎn)坐標(biāo)的差值作為誤差標(biāo)準(zhǔn)，誤差計(jì)算函數(shù)為：

其中N是每個(gè)樣本的特征點(diǎn)數(shù)目，(xi，yi)是算法定位的特征點(diǎn)坐標(biāo)，(xi0，yi0)是手動(dòng)標(biāo)定的特征點(diǎn)坐標(biāo)。為了對(duì)三種算法有更直觀的比較，進(jìn)一步計(jì)算本文算法相對(duì)其余兩種算法的整體匹配精度：

其中EAAM代表傳統(tǒng)反向AAM算法或是PAAM算法的平均誤差，E′AAM代表本文算法的平均誤差。實(shí)驗(yàn)記錄了三種算法對(duì)IMM 人臉庫(kù)中測(cè)試圖片的特征點(diǎn)定位誤差和時(shí)間效率，并做出三種算法的時(shí)間效率分布和誤差值分布（正面、左側(cè)、右側(cè)）的散點(diǎn)圖。記錄如圖1～圖4所示。

圖1 三種算法的時(shí)間效率比較散點(diǎn)圖

圖2 三種算法的正面人臉誤差比較散點(diǎn)圖

圖3 三種算法的左側(cè)45°誤差比較散點(diǎn)圖

圖4 三種算法的右側(cè)45°誤差比較散點(diǎn)圖

圖1 為三種算法的時(shí)間效率比較（單位為秒），圖2、3、4 為不同噪聲下三種算法的定位誤差比較圖（單位為像素），對(duì)于圖1 中的第3 和第16 幅檢測(cè)圖是擬合失敗的結(jié)果，擬合失敗如圖5 所示。

圖5 本文算法擬合失敗的圖例

從測(cè)試樣本中選取8 幅圖像的實(shí)驗(yàn)數(shù)據(jù)記錄特征定位誤差得到表1 以及時(shí)間效率比較得到表2。

表1 三種算法特征定位誤差比較

表2 三種算法時(shí)間效率比較s

從表1 計(jì)算三種算法的平均誤差依次為，AAM：8.45，PAAM：6.30，本文算法：5.04。

從表2 計(jì)算三種算法的平均時(shí)間依次為，AAM：11.71，PAAM：11.32，本文算法：14.07。從實(shí)驗(yàn)數(shù)據(jù)可知，改進(jìn)后的算法在特征點(diǎn)定位精度上要比傳統(tǒng)反向組合AAM 算法高出約40%左右，比改進(jìn)的PAAM 算法高出約20%左右，在時(shí)間效率上，改進(jìn)的算法比反向組合AAM 算法降低約20%。實(shí)驗(yàn)還記錄了反向組合算法、PAAM 算法和本文算法對(duì)四張同一個(gè)人不同角度和表情的人臉擬合圖（如圖6 所示）以及四個(gè)不同人的人臉擬合的結(jié)果（如圖7 所示）。

圖6 三種算法人臉擬合結(jié)果

圖7 不同人的三種算法人臉擬合結(jié)果

實(shí)驗(yàn)部分的最后為了充分比較本算法和其他的結(jié)合ASM 和AAM 的算法，本文選取的最新的算法文獻(xiàn)[17]所示。通過(guò)分析，該算法是在擬合的前部分時(shí)間使用ASM 算，在擬合的后部分使用AAM 算法那，與該算法比較，本文算法的除了有效地融合ASM 和AAM 算法之外還再此基礎(chǔ)上對(duì)匹配模板進(jìn)行了升級(jí)。比較該文獻(xiàn)最終的實(shí)驗(yàn)結(jié)果[17]，該算法比AAM 算法誤差減小4%，本文算法比AAM 算法誤差減小20%。

6 結(jié)束語(yǔ)

本文在深入分析AAM 算法的基礎(chǔ)上，提出了將局部紋理模型應(yīng)用于AAM 初始參數(shù)的最優(yōu)化。在分析L-K 算法的基礎(chǔ)上，提出了對(duì)AAM 匹配模板進(jìn)行升級(jí)的改進(jìn)。本文將二者有效結(jié)合起來(lái)，從理論和實(shí)驗(yàn)結(jié)果可以證明，改進(jìn)后的算法在人臉特征點(diǎn)定位精度上有很大提高。但由于局部紋理模型的加入，使得改進(jìn)算法在時(shí)間效率上比反向AAM 算法低，今后的工作可以考慮如何在保證高時(shí)間效率的同時(shí)也保證高定位精度；另外，不同角度的多模板AAM 算法也是下一步重點(diǎn)的研究?jī)?nèi)容。

[1] 陳章樂(lè)，蔡茂國(guó)，劉凡秀.一種結(jié)合膚色及類人臉特征的人臉檢測(cè)[J].計(jì)算機(jī)工程與應(yīng)用，2013，49（3）：194-197.

[2] Wang C Y，Qu M J，Bi H Z，et al.Facial feature detection algorithm based on main characteristics of eyes[J].Applied Mechanics and Materials，2013，303：1402-1405.

[3] Fan B，Yang X，Zhou X，et al.A coarse to fine facial key landmark points locating algorithm based on Active Shape Model[C]//Proceedings of the The 2012 IEEE/WIC/ACM International Joint Conferences on Web Intelligence and Intelligent Agent Technology-Volume 03.IEEE Computer Society，2012：39-43.

[4] Edwards G J，Taylor C J，Cootes T F.Interpreting face images using active appearance models[C]//Third IEEE International Conference on Automatic Face and Gesture Recognition.IEEE，1998：300-305.

[5] Iain M，Simon B.Active appearance models revisited[J].International Journal of Computer Vision，2004，60（2）：135-164.

[6] Ma S，Du T.Improved Adaboost Face Detection[C]//2010 International Conference on Measuring Technology and Mechatronics Automation（ICMTMA）.IEEE，2010，2：434-437.

[7] Suo C G，Zhang W B，Sun G.Face gabor feature selection based on Adaboost[J].Advanced Materials Research，2013，694：1906-1909.

[8] Qian X，Yan Tang Y，Yan Z，et al.ISABoost：A weak classifier inner structure adjusting based adaboost algorithm—ISABoost based application in scene categorization[J].Neurocomputing，2012，103：104-113.

[9] 黃興，王小濤，陸麗華.一種快速高效的人臉檢測(cè)方法[J].計(jì)算機(jī)工程與應(yīng)用，2013，49（3）：198-201.

[10] Cootes T F，Taylor C J，Cooper D H，et al.Active shape models-their training and application[J].Computer Vision and Image Understanding，1995，61（1）：38-59.

[11] Wu J，Mei L.A face recognition algorithm based on ASM and Gabor features of key points[C]//2012 International Conference on Graphic and Image Processing.International Society for Optics and Photonics，2013.

[12] Elshoura S M，Megherbi D B.Secure high capacity fullgray-scale-level multi-image information hiding and secret image authentication scheme via Tchebichef moments [J].Signal Processing：Image Communication，2013，28（5）：531-552.

[13] Baker S，Matthews I.Lucas-kanade 20 years on：A unifying framework[J].International Journal of Computer Vision，2004，56（3）：221-255.

[14] Antink C H，Singh T，Singla P，et al.Advanced Lucas Kanada optical flow for deformable image registration[J].Journal of Critical Care，2012，27（3）.

[15] 張培，吳亞鋒.AAM 反向合成匹配算法及其性能分析[J].計(jì)算機(jī)工程與應(yīng)用，2007，43（18）：47-50.

[16] Kim D，Kim J，Cho S，et al.Progressive AAM based robust face alignment[C]//Proc of World Academy of Science，Engineering and Technology，2007，21：488-492.

[17] 王智.基于AAM 和ASM 的面部特征點(diǎn)提取研究[J].電子設(shè)計(jì)工程，2013，21（10）：169-170.