一種改進(jìn)的基于主動(dòng)形狀模型的人臉特征定位方法*

田建華

(菏澤學(xué)院遠(yuǎn)程教育學(xué)院，山東菏澤 274000）

一種改進(jìn)的基于主動(dòng)形狀模型的人臉特征定位方法*

田建華

(菏澤學(xué)院遠(yuǎn)程教育學(xué)院，山東菏澤 274000）

主動(dòng)形狀模型是目前一種常用的人臉特征定位方法.針對(duì)傳統(tǒng)的主動(dòng)形狀模型過度依賴模型初始參數(shù)的設(shè)置問題，提出了一種改進(jìn)的基于主動(dòng)形狀模型的人臉特征定位方法.首先，通過樣本學(xué)習(xí)得到輸入新圖像的灰度重構(gòu)系數(shù)，并將這組系數(shù)用于人臉形狀的重構(gòu)，再由重構(gòu)出的人臉形狀得到主動(dòng)形狀模型的初始參數(shù)，然后通過不斷調(diào)整模型參數(shù)減少模型與目標(biāo)輪廓的距離誤差，最后在數(shù)次迭代后達(dá)到模型與實(shí)際人臉特征輪廓的匹配.與基于傳統(tǒng)主動(dòng)形狀模型的特征定位相比，改進(jìn)的主動(dòng)形狀模型具有較高的準(zhǔn)確性，能快速定位出各目標(biāo)特征.

人臉特征定位;樣本學(xué)習(xí);主動(dòng)形狀模型

引言

在人臉表情識(shí)別中，人臉特征的精確定位對(duì)于特征提取和表情識(shí)別起著至關(guān)重要的作用.但在實(shí)際應(yīng)用中，由于人臉差異、圖像質(zhì)量等原因，準(zhǔn)確定位人臉特征并不容易.例如在人臉特征定位中，人臉形狀各異，大小也不一樣，或者是帶有表情的人臉、非正面人臉等等，這些都使得定位的難度加大.但是如果能夠找到一種目標(biāo)物體的通用模型，定位問題就會(huì)變的相對(duì)容易些.

主動(dòng)形狀模型(ASM)，最初是由Cootes等人提出的一種用于在圖像中搜索某一特定類型對(duì)象的方法［1，2］.其主要思想和snake［3］方法類似，不同的是它在搜索目標(biāo)模型的變形時(shí)依賴于訓(xùn)練集，這就保證了目標(biāo)搜索的正確性.ASM定位方法是對(duì)主動(dòng)輪廓模型的推廣，它通過對(duì)樣本圖像的訓(xùn)練，通過統(tǒng)計(jì)分析得到較為準(zhǔn)確的局部灰度模型，再以此模型作為依據(jù)，在測(cè)試圖像中與目標(biāo)人臉特征進(jìn)行快速匹配.ASM的優(yōu)點(diǎn)在于它能通過形狀建模得到目標(biāo)輪廓的初始位置，通過選取合理的參數(shù)更新機(jī)制加速匹配，并借助于特征點(diǎn)周圍的局部紋理特征更好的匹配圖像，精確地定位出人臉特征.目前使用的傳統(tǒng)ASM，由于其依賴于先驗(yàn)?zāi)Ｐ停绻Ｐ偷某跏嘉恢门c目標(biāo)位置相差太遠(yuǎn)，則特征定位會(huì)出現(xiàn)較大的偏差，甚至和目標(biāo)特征位置完全不一樣.鑒于傳統(tǒng)ASM以上的缺陷，本文提出了一種改進(jìn)的ASM，用樣本學(xué)習(xí)的方法得到人臉形狀，獲取模型的初始位置信息，再由此初始位置不斷調(diào)整模型參數(shù)，最后得到與實(shí)際人臉特征輪廓匹配的模型實(shí)例.

1 改進(jìn)的主動(dòng)形狀模型

本文利用樣本學(xué)習(xí)的方法［4］粗定位出人臉特征.因?yàn)樵跉w一化后的灰度圖像中，人臉的灰度差和形狀差之間存在一種近似的線性關(guān)系，即相似的人臉圖像在較大程度上蘊(yùn)涵相似的人臉形狀.對(duì)標(biāo)定了特征點(diǎn)的人臉樣本集，任意輸入一幅人臉圖像，可以用訓(xùn)練集中的人臉圖像進(jìn)行該圖像的重建，并得到一組線性系數(shù)，那么這組系數(shù)同樣可以用來從訓(xùn)練集中的人臉形狀重構(gòu)出該輸入圖像的人臉形狀.將這個(gè)預(yù)測(cè)得到人臉形狀作為模型的初始位置.通過這種初始化模型位置的方法，加快匹配速度，使得到的特征位置更準(zhǔn)確.

對(duì)訓(xùn)練集中的每個(gè)樣本在人臉輪廓和各個(gè)特征部件周圍標(biāo)定N個(gè)特征點(diǎn)，并將這N個(gè)特征點(diǎn)坐標(biāo)按次序排列，得到一個(gè) 2N 維的矢量(x0，y0，x1，y1，…，xN－1，yN－1)，其中(xi，yi)表示第 i個(gè)標(biāo)定點(diǎn).這樣來自樣本空間的每個(gè)訓(xùn)練樣本可用一個(gè)矢量表示其形狀，稱這個(gè)矢量為形狀矢量，因此整個(gè)樣本集就可以用m個(gè)形狀矢量的集合{x0，x1，…，xm－1}來表示(m 為樣本數(shù)).其中 Xi=(xi0，yi0，xi1，yi1，…，xi(n－1)，yi(n－1))表示樣本集中第i個(gè)樣本的形狀.由于不同圖像中的人臉形狀和位置存在較大的偏差，因此必須對(duì)樣本集中的形狀矢量用相似性變換進(jìn)行歸一化處理.

1.1 相似性變換

對(duì)上面得到的樣本空間中的任意兩個(gè)形狀矢量X和X＇，通過變換T()，使得X和X＇所代表的目標(biāo)輪廓中對(duì)應(yīng)的點(diǎn)的距離平方和最小，也就是使誤差項(xiàng)最小化:

這里T()選用計(jì)算機(jī)視覺中最常用的仿射變換，即伸縮，平移，旋轉(zhuǎn)，用如下矩陣表示:

式中 u=s·cosθ，v=s·sinθ，這樣，s2=u2+v2，θ=tan－1(v/u)，將式(2)代入式(1)得:

最小化式(3)，使誤差項(xiàng)E最小.即通過對(duì)式(3)求各變量的偏導(dǎo)，并令其為0，求相應(yīng)的變換參數(shù):

1.2 基于樣本學(xué)習(xí)的人臉特征點(diǎn)粗定位

歸一化后的訓(xùn)練樣本集中，對(duì)于固定的參考圖像，圖像的灰度差和形狀差之間存在一種近似的線性關(guān)系，即相似的人臉圖像在較大程度上蘊(yùn)涵相似的人臉形狀.選擇200幅圖像作為測(cè)試樣本，按預(yù)先的形狀在人臉輪廓和特征區(qū)域周圍標(biāo)定特征點(diǎn)，將樣本形狀按照標(biāo)準(zhǔn)人臉形狀作校準(zhǔn)，各樣本圖像也作同樣的校準(zhǔn)，并將樣本圖像灰度歸一化.因此得到訓(xùn)練數(shù)據(jù)，200幅人臉圖像以及對(duì)應(yīng)的形狀矢量，隨機(jī)選擇一幅作為參考圖像，其他的樣本圖像作為訓(xùn)練圖像，得到訓(xùn)練圖像和參考圖像的殘差:

式中m為測(cè)試樣本數(shù)，I＇是參考圖像，ΔIi即為訓(xùn)練圖像與參考圖像之間的歐式距離.同樣形狀差也可以表示為:

式中S＇為參考圖像形狀矢量，ΔSi為訓(xùn)練圖像形狀矢量與參考圖像形狀矢量之間的歐式距離.

對(duì)于任意固定的參考圖像得到圖像灰度差和形狀差這兩組數(shù)據(jù)集合，將這兩組數(shù)據(jù)分布在二維坐標(biāo)后發(fā)現(xiàn)，對(duì)于固定的參考圖像，圖像灰度差和形狀差之間存在一種近似的線性關(guān)系.即對(duì)于固定的參考圖像，這些數(shù)據(jù)對(duì)在二維坐標(biāo)系中可以擬合成一條直線.根據(jù)這個(gè)結(jié)論，可以用下面的方法提取人臉形狀.對(duì)一幅新圖像，尋找樣本集人臉圖像的最優(yōu)化的線性重構(gòu)系數(shù)，使得重構(gòu)的人臉圖像和新圖像之間的差最小，并將這組最優(yōu)系數(shù)應(yīng)用于樣本集人臉形狀，重構(gòu)出新圖像對(duì)應(yīng)的人臉形狀.

對(duì)給定的新圖像，首先在尺度和灰度級(jí)上進(jìn)行歸一化，得到包含n個(gè)像素的圖像，表示為I=(b1，b2，…，bn)T.樣本集中的每個(gè)樣本圖像表示為 Ij=(aj1，aj2，…，ajn)T，A=(I0，I1，…，Im－1)為樣本集圖像矢量排成的矩陣，S=(s0，s1，…，sm－1)是樣本集中的形狀矢量排成的矩陣.用樣本集中的圖像重構(gòu)該圖像:

最小化誤差項(xiàng)(11)得到最優(yōu)化的線性重構(gòu)系數(shù)X=((A＇A)－1A＇)I，由系數(shù)矩陣X，則可以把X用于新人臉圖像形狀的重建，得到S＇=(s1，s2，…，sm)X，S＇就是對(duì)輸入圖像特征邊緣的粗定位結(jié)果.按照這種粗定位得到的特征點(diǎn)位置，與特征的實(shí)際位置比較接近，因此以它作為ASM的初始位置，可以減少定位誤差，加快定位速度.

1.3 先驗(yàn)?zāi)Ｐ偷慕?/h3>

對(duì)于樣本集中的每個(gè)樣本的形狀矢量可以看成2N維空間的一個(gè)隨機(jī)樣本.由于各矢量之間存在相關(guān)性，為了去相關(guān)以及減少計(jì)算量，采用主成分分析的方法［5］，得到一組正交基.對(duì)于任何一個(gè)人臉圖像形狀都可以由這組正交基的線性組合得到.

將訓(xùn)練樣本形狀矢量的總體散布矩陣作為主成分分析的生成矩陣，記樣本空間中m個(gè)形狀矢量的協(xié)方差矩陣為:

求得C的特征值和特征矢量，并保留前j個(gè)最大的特征值λ=(λ0，λ1，…，λj－1)以及對(duì)應(yīng)的特征矢量P=(P0，P1，…Pj－1)，這j個(gè)特征矢量集中了大部分的能量，形成了整個(gè)形狀矢量空間，對(duì)于任意一個(gè)輸入的形狀矢量X，可以近似表示為X=+pb，b=(b0，b1…，bj－1)是權(quán)值矢量，為了保證得到合理的形狀矢量，形狀控制參數(shù)b必須加以限制.一般bk控制在［－3，3］范圍內(nèi).調(diào)整參數(shù)b，可以得到不同的人臉形狀，如圖1所示.

圖1 調(diào)整參數(shù)b得到的不同人臉形狀

1.4 邊緣搜索

粗定位得到的特征點(diǎn)位置與實(shí)際的特征位置未必一致，因此要對(duì)此形狀調(diào)整使其與真實(shí)的形狀更加接近，即每個(gè)特征點(diǎn)都移動(dòng)到最佳的位置.

選取一幅測(cè)試圖像，將先驗(yàn)?zāi)Ｐ蛻?yīng)用于該測(cè)試圖像，ASM使用輪廓的灰度信息進(jìn)行迭代，在每一步迭代中通過調(diào)整參數(shù)b來改變當(dāng)前模型的位置和形狀，進(jìn)而得到一個(gè)新的模型，最終完成模型與測(cè)試圖像特征區(qū)域輪廓的匹配.該迭代過程描述如下:

1)初始化模型參數(shù)b，通常情況下取b=0，這樣模型的初始位置就是樣本集形狀矢量的均值，在改進(jìn)模型中，由于模型的初始位置和形狀是由基于樣本的學(xué)習(xí)得到，假設(shè)由樣本學(xué)習(xí)得到的初始模型為X，將該初始模型投影到形狀矢量空間P，得到初始模型控制參數(shù)b0，所以當(dāng)前模型可以表示為X=+pb，(b=b0).

2)沿著當(dāng)前模型的每個(gè)特征區(qū)域的邊緣特征點(diǎn)周圍進(jìn)行搜索，尋找各邊界點(diǎn)(xi，yi)的最佳匹配點(diǎn)(x＇i，y＇i).

3)根據(jù)得到的新的特征點(diǎn)位置(x＇i，y＇i)更新模型參數(shù)b，更新的同時(shí)對(duì)b進(jìn)行約束(bk控制在［－3，3］)，由生成的新的特征點(diǎn)位置更新當(dāng)前模型X.

4)重復(fù)2)和3)，直到模型的變化在給定的閾值范圍內(nèi).

在上面的模型更新中，特征區(qū)域搜索是最為關(guān)鍵的一步.對(duì)訓(xùn)練樣本的每個(gè)特征點(diǎn)沿輪廓法線方向，分析其局部灰度信息，假設(shè)對(duì)人臉形狀中第i個(gè)特征點(diǎn)，在其法線方向兩側(cè)各取k個(gè)特征點(diǎn)，這2k+1個(gè)特征點(diǎn)的灰度值構(gòu)成矢量gi，對(duì)樣本集圖像中相同位置的特征點(diǎn)做同樣的工作，得到一組矢量集g={g0，g1，…，gm－1}，一般來說，g服從高斯分布，記矢量集的均值為，協(xié)方差矩陣記為sg.對(duì)樣本集圖像中每個(gè)特征點(diǎn)作同樣的灰度采樣分析，從而構(gòu)成目標(biāo)輪廓的灰度統(tǒng)計(jì)模型.對(duì)于一個(gè)待測(cè)特征邊界點(diǎn)P，沿其法線方向得到灰度矢量gp，定義如下的匹配函數(shù):

尋找最佳匹配點(diǎn)也就是最小化f(gp)，等價(jià)于求gp的最大概率分布問題.在搜索過程中，在當(dāng)前特征點(diǎn)沿搜索方向兩側(cè)各取W個(gè)點(diǎn)(W＞K)，從這2W+1個(gè)點(diǎn)中每次取2K+1個(gè)點(diǎn)的灰度與灰度模型進(jìn)行比較，從這2(W－K)+1個(gè)位置中找出最佳匹配位置.對(duì)所有的特征點(diǎn)做相同的工作，更新模型參數(shù)b，產(chǎn)生新的模型，使模型與目標(biāo)特征輪廓更加接近.

2 實(shí)驗(yàn)結(jié)果

在實(shí)驗(yàn)中，使用Cohn－Kanade人臉表情數(shù)據(jù)庫(kù)來評(píng)估本文的方法.實(shí)驗(yàn)采用200幅人臉圖像作為訓(xùn)練樣本，60幅作為測(cè)試樣本，對(duì)每個(gè)樣本中的人臉，按如下規(guī)則取特征點(diǎn).

眼睛:兩個(gè)眼角各取1點(diǎn)，上下眼簾各取3點(diǎn)，兩眼共16個(gè)特征點(diǎn).

眉毛:眉毛的內(nèi)角、外角各取1點(diǎn)，眉毛上下邊緣各取3點(diǎn)，兩側(cè)眉毛共8個(gè)特征點(diǎn).

鼻子:人中，兩個(gè)鼻孔外邊緣各1取點(diǎn)，鼻子左右邊緣各取4點(diǎn)，共11個(gè)特征點(diǎn).

嘴巴:兩個(gè)嘴角各取1點(diǎn)，上下嘴層邊緣各取3點(diǎn)，兩嘴層間取3點(diǎn)，共11個(gè)特征點(diǎn).

人臉輪廓:下巴取1點(diǎn)，兩側(cè)人臉輪廓等間距各取8點(diǎn)，共17個(gè)特征點(diǎn).

整個(gè)人臉共71個(gè)特征點(diǎn)，將各個(gè)特征點(diǎn)按順序編號(hào){1，2，…，71}，用點(diǎn)分布模型［6，7］構(gòu)造先驗(yàn)?zāi)Ｐ?，?duì)給定的測(cè)試樣本，由訓(xùn)練集圖像灰度和形狀信息學(xué)習(xí)得到其形狀矢量，作為ASM初始位置，并計(jì)算得到ASM的初始參數(shù)b0，對(duì)每個(gè)特征點(diǎn)取k=4進(jìn)行灰度模型訓(xùn)練，在特征邊緣搜索迭代中沿模型邊界點(diǎn)方向取w=8進(jìn)行灰度匹配，經(jīng)過20次迭代后，模型特征點(diǎn)定位到了目標(biāo)特征位置.

實(shí)驗(yàn)中，改進(jìn)的ASM方法僅需40ms就能定位到目標(biāo)特征位置，特征點(diǎn)定位的平均誤差為1.87個(gè)像素，而傳統(tǒng)的ASM方法需要70ms才能定位到目標(biāo)位置，并且特征點(diǎn)定位的平均誤差為2.15個(gè)像素.可以看出，改進(jìn)的ASM人臉特征定位方法的速度比傳統(tǒng)ASM快，并且平均誤差也比傳統(tǒng)ASM降低，總的性能提高了13.02%.

3 結(jié)束語(yǔ)

本文提出了結(jié)合樣本學(xué)習(xí)與主動(dòng)形狀模型的人臉特征定位方法，解決了傳統(tǒng)ASM人臉特征定位方法中存在的模型無法收斂到目標(biāo)特征位置的問題，能快速、準(zhǔn)確地定位出各目標(biāo)特征，為以后的人臉表情識(shí)別奠定了較好的基礎(chǔ).

［1］Cootes T，Taylor C，Cooper D，et al.Active shape models－Their training and application［J］.Computer Vision and Image Understanding，1995，61(1):38－59.

［2］Cootes T F，Taylor C J.Active shape models—Smart snakes［C］.Berlin:British Machine Vision Conference，1992:266 －275.

［3］Kass M，Witdin A，Terzopoulous D.Snakes:active contour Model［J］.International Journal of Computer Vision，1987，1(4):321－331.

［4］柴秀娟，山世光，高文.基于樣例學(xué)習(xí)的面部特征自動(dòng)標(biāo)定算法［J］.軟件學(xué)報(bào)，2005，16(5):718－725.

［5］Cootes T F，Hill A，Taylor C J，et al.The use of active shape models for locating structures in medical images［J］.Image and vision computing，1994，12(6):355 －366.

［6］Abdullah A.Al－Shaher，Edwin R.Hancork.Learning mixtures of point distribution models with the EM algorithm［J］.Pattern Recognition，2003，36(12):2805－2818.

［7］Cootes T，Taylor C.Combining point distribution models with shape models based on finite element analysis［J］.Image Vision Compute，1995，13(5):403－409.

A Improved Facial Feature Localization Method Based On Active Shape Model

TIAN Jian－h(huán)ua

(School of Distance Education，Heze University，Heze Shandong，274000，China)

Active Shape Model is one of the mostly used methods for facial feature locating.Regarding the traditional ASM excessively depend on the setting of the initial parameter of the model，a facial feature locating method was presented based on improved ASM.Firstly，obtain the reconstruction parameters of the new gray image by example－based learning and use it to reconstruction the shape of the new image and compute the initial parameters of the ASM by the reconstructed facial shape.Then reduce the distance error between the model and the target contour by adjusting the parameters of the model.Finally，the model is matched with the facial feature profile after several iterations.In contrast with the method of facial feature locating based on conventional ASM，the improved ASM has higher veracity and locates the object feature rapidly.

facial feature locating;sample－based learning;Active Shape Model

TP 391

A

1673－2103(2011)02－0043－05

2010－12－21

田建華(1978－)，男，山東嘉祥縣人，助教，碩士，研究方向:圖像處理，模式識(shí)別.