結(jié)構(gòu)化特征融合的主動(dòng)表觀模型

魏爽

（江蘇科技大學(xué)計(jì)算機(jī)科學(xué)與工程學(xué)院，江蘇鎮(zhèn)江212000）

人臉特征點(diǎn)定位在自動(dòng)化人臉理解和分析系統(tǒng)中起著至關(guān)重要的作用，如基于圖像或視頻的人臉識(shí)別、表情分析、三維人臉重建以及人臉動(dòng)畫(huà)等[1-3]。常用的人臉特征點(diǎn)定位算法有主動(dòng)形狀模型（Active Shape Model，ASM）[4]、主動(dòng)表觀模型（Active Appearance Model，AAM）[5-7]和非參數(shù)化級(jí)聯(lián)回歸模型[8-9]等。與主動(dòng)形狀模型和非參數(shù)化的級(jí)聯(lián)回歸模型不同的是，主動(dòng)表觀模型可以同時(shí)對(duì)人臉圖像的形狀和紋理信息進(jìn)行建模。主動(dòng)表觀模型的匹配算法可以分為兩類(lèi)：基于梯度下降的匹配算法和基于回歸的匹配算法。然而，基于梯度下降的匹配算法需要迭代計(jì)算目標(biāo)函數(shù)的偏導(dǎo)數(shù)，從而導(dǎo)致算法的效率低下。傳統(tǒng)的基于線性回歸的主動(dòng)表觀模型使用人臉圖像的灰度信息作為特征，對(duì)人臉的表觀變化較為敏感。近年來(lái)，深度學(xué)習(xí)[10-11]和張量分析[12]等方法也被陸續(xù)用到人臉特征點(diǎn)定位中，從而在不同的層面上提高了模型的表達(dá)能力和匹配精度。

近年來(lái)，大量研究表明，與傳統(tǒng)的全局紋理特征相比較，局部特征描述子對(duì)人臉的姿態(tài)、表情、光照和遮擋等問(wèn)題更加魯棒[13-14]。為了進(jìn)一步提高主動(dòng)表觀模型的匹配精度，本文提出了一種結(jié)構(gòu)化特征融合的主動(dòng)表觀模型匹配算法。該方法將全局紋理特征和形狀相關(guān)局部特征進(jìn)行融合，用于基于線性回歸主動(dòng)表觀模型的匹配算法中。通過(guò)在XM2VTS[15]和BioID[16]上進(jìn)行的實(shí)驗(yàn)表明，本文算法可以有效的提高原有模型的匹配精度。

1 主動(dòng)表觀模型

1.1 主動(dòng)表觀模型建立

在主動(dòng)表觀模型中，人臉的形狀用點(diǎn)分布模型進(jìn)行表示。一個(gè)點(diǎn)分布模型是由若干個(gè)人臉特征點(diǎn)的二維坐標(biāo)組成的向量：

其中，l表示特征點(diǎn)的個(gè)數(shù)，(xi,yi)表示第i個(gè)特征點(diǎn)的二維坐標(biāo)。圖1展示了一個(gè)由68個(gè)人臉特征點(diǎn)構(gòu)成的二維點(diǎn)分布模型。

圖1 點(diǎn)分布模型

給定一組用于模型訓(xùn)練的人臉圖像和對(duì)應(yīng)的人臉形狀，主動(dòng)表觀模型首先對(duì)訓(xùn)練集中的人臉形狀使用Procrustes方法進(jìn)行歸一化處理，以去除由成像參數(shù)不同帶來(lái)的平移、縮放和旋轉(zhuǎn)對(duì)建模造成的影響[17]。對(duì)歸一化后的人臉形狀訓(xùn)練樣本進(jìn)行主成分分析，可以得到一個(gè)線性的統(tǒng)計(jì)形狀模型：

相對(duì)于主動(dòng)形狀模型，主動(dòng)表觀模型的一個(gè)重要特點(diǎn)就是充分利用了人臉形狀區(qū)域內(nèi)的紋理信息?？梢酝ㄟ^(guò)特定的掃描方式，對(duì)訓(xùn)練集人臉圖像中的全局紋理進(jìn)行掃描和提取，得到一個(gè)灰度值向量t∈Rm，m是指人臉形狀區(qū)域內(nèi)像素點(diǎn)的個(gè)數(shù)。不同的訓(xùn)練樣本，其人臉區(qū)域的大小是不同的，因此獲取的人臉全局紋理向量具有不同的維數(shù)。主動(dòng)表觀模型通過(guò)使用二維圖像映射的方法[18]，把訓(xùn)練集中所有的人臉圖像的區(qū)域進(jìn)行進(jìn)一步歸一化處理，即將所有的人臉“拉伸”到平均形狀，然后提取灰度值信息，如圖2所示。與建立形狀模型的過(guò)程相似，對(duì)訓(xùn)練集中所有的紋理向量進(jìn)行主成分分析，可以得到線性的全局紋理模型：

圖2 紋理映射

得到形狀模型和紋理模型后，主動(dòng)表觀模型可以通過(guò)改變其參數(shù)值生成不同的人臉樣本實(shí)例。

1.2 模型匹配算法

主動(dòng)表觀模型的匹配算法也可以看作是一個(gè)參數(shù)優(yōu)化過(guò)程。給定一幅輸入圖像和訓(xùn)練好的主動(dòng)表觀模型，通過(guò)調(diào)節(jié)模型參數(shù)，最小化主動(dòng)表觀模型構(gòu)成的人臉實(shí)例和輸入圖像間的紋理差：

其中，I是輸入圖像，I(W(s;ps))是將輸入圖像當(dāng)前形狀中的紋理映射到平均形狀后的紋理向量，W(s;ps)是從由統(tǒng)計(jì)形狀模型的參數(shù)ps生成的當(dāng)前形狀到平均形狀的一個(gè)仿射變換函數(shù)，+Tpt是當(dāng)前模型的紋理向量。對(duì)于上述優(yōu)化問(wèn)題，最直接的解決方案是使用基于梯度下降的優(yōu)化算法。然而，該類(lèi)方法需要多次計(jì)算偏導(dǎo)數(shù)，從而導(dǎo)致算法效率低下。為了解決這一問(wèn)題，Cootes等人進(jìn)一步提出了一種基于回歸模型的參數(shù)搜索策略。首先定義模型匹配誤差為當(dāng)前模型和輸入圖像之間的紋理差：

其中c是統(tǒng)計(jì)形狀模型和全局紋理模型參數(shù)聯(lián)結(jié)起來(lái)組成的一個(gè)參數(shù)向量，，W是一個(gè)權(quán)重矩陣，用于調(diào)節(jié)形狀參數(shù)和全局紋理參數(shù)之間的差異。假設(shè)模型匹配誤差與參數(shù)更新量之間存在一定的線性關(guān)系，從而可以通過(guò)紋理差e(c′)去計(jì)算聯(lián)合參數(shù)的更新值δc。

其中，R是一個(gè)有關(guān)紋理差值和參數(shù)更新值的映射矩陣，可以通過(guò)一系列實(shí)例樣本學(xué)習(xí)獲得，如一個(gè)線性回歸模型[19]。給定一幅新的人臉圖像，可以計(jì)算當(dāng)前模型與輸入圖像的紋理差，并通過(guò)學(xué)習(xí)得到的回歸模型。通過(guò)一個(gè)迭代的過(guò)程，更新主動(dòng)表觀模型參數(shù)，直到匹配誤差收斂。

2 結(jié)構(gòu)化特征融合的主動(dòng)表觀模型

通過(guò)上面的介紹可以看出，主動(dòng)表觀模型的優(yōu)化過(guò)程依賴于模型和輸入圖像之間的全局紋理差。然而，人臉圖像的全局紋理受姿態(tài)、光照、表情和遮擋等因素的影響較為嚴(yán)重，往往不能很好地表示其與模型參數(shù)更新之間的關(guān)系。為了進(jìn)一步獲取更加魯棒的人臉圖像特征，本文使用了一種結(jié)構(gòu)化特征融合的策略，即將全局紋理誤差和形狀相關(guān)局部特征進(jìn)行融合用于模型參數(shù)更新的預(yù)測(cè)。

2.1 結(jié)構(gòu)化特征融合策略

假設(shè)當(dāng)前人臉的人臉形狀為s=[x1...xl,y1...yl]T，在每個(gè)特征點(diǎn)（x，y）周?chē)x取一塊尺寸為H×H矩形區(qū)域，用T(xi,yi)表示第i個(gè)人臉特征點(diǎn)附近的矩形區(qū)域。對(duì)每個(gè)矩形區(qū)域使用局部特征描述子進(jìn)行特征抽取并標(biāo)記為，其中l(wèi)是人臉特征點(diǎn)的個(gè)數(shù)。將局部紋理特征H和全局紋理差e(c′)連接起來(lái)，就可以得到融合了局部紋理特征和全局紋理特征的聯(lián)合向量，，如圖3所示。在訓(xùn)練線性回歸模型時(shí)，使用該聯(lián)合向量，建立其與模型參數(shù)更新值之間的線性關(guān)系。

圖3 結(jié)構(gòu)化特征融合

在模型優(yōu)化過(guò)程中，可以通過(guò)訓(xùn)練得到的回歸模型計(jì)算模型參數(shù)更新值：

基于結(jié)構(gòu)化特征融合的主動(dòng)表觀模型優(yōu)化算法可以總結(jié)為：

1）初始化模型參數(shù)c’；

2）計(jì)算紋理誤差e(c′)；

3）計(jì)算當(dāng)前形狀每個(gè)特征點(diǎn)附近的局部特征H；

4）將2）和3）得到的全局紋理誤差和局部特征融合，組成聯(lián)合向量G；

5）使用聯(lián)合向量計(jì)算主動(dòng)表觀模型的參數(shù)更新值G→δc；

6）更新聯(lián)合主動(dòng)表觀模型的參數(shù)值：c′←c′+δc；

7）重復(fù) 2）～6），直到參數(shù)更新值小于某個(gè)預(yù)先設(shè)定的很小的閾值。

給出了本文基于結(jié)構(gòu)化特征融合的主動(dòng)表觀模型優(yōu)化算法的流程圖。在每一個(gè)迭代過(guò)程中，根據(jù)當(dāng)前的統(tǒng)計(jì)形狀模型和全局紋理模型計(jì)算主動(dòng)表觀模型與輸入圖像之間的紋理差，再計(jì)算當(dāng)前形狀模型下每個(gè)特征點(diǎn)附近的局部特征，融合局部特征和全局紋理差，通過(guò)映射矩陣求得主動(dòng)表觀模型的參數(shù)更新值，更新主動(dòng)表觀模型，圖4是基于結(jié)構(gòu)化特征融合的主動(dòng)表觀模型匹配過(guò)程的示意圖。由于融合了局部特征，增強(qiáng)了抽取出來(lái)的人臉特征的表達(dá)能力，尤其是每個(gè)人臉圖像特征點(diǎn)附近的細(xì)節(jié)進(jìn)行了更好的描述。

圖4 基于結(jié)構(gòu)化特征融合的主動(dòng)表觀模型匹配過(guò)程

2.2 形狀相關(guān)局部特征描述

傳統(tǒng)的主動(dòng)表觀模型中的全局紋理是對(duì)整個(gè)人臉區(qū)域紋理信息的描述，而人臉局部特征主要是對(duì)點(diǎn)分布模型中每個(gè)特征點(diǎn)周?chē)募y理特征進(jìn)行描述。因?yàn)辄c(diǎn)分布模型中每個(gè)特征點(diǎn)都具有特殊的語(yǔ)義信息，所以以特征點(diǎn)為中心的局部特征算子也都具有一定的代表性。在提取形狀相關(guān)局部紋理特征時(shí)，以每個(gè)人臉特征點(diǎn)為中心，提取一小塊區(qū)域的紋理特征信息，如圖5所示，然后將所有特征點(diǎn)附近的局部特征組合起來(lái)，作為當(dāng)前人臉圖像的局部特征。具體見(jiàn)2.1節(jié)。

圖5 提取人臉特征點(diǎn)附近局部特征的示意圖

文中使用了3種不同的局部特征算子：歸一化的紋理信息、局部二值特征和HOG。其中，歸一化的紋理信息是對(duì)每一小塊的紋理信息進(jìn)行歸一化處理，，其中h是該塊區(qū)域的像素點(diǎn)灰度值，μ和σ分別是該區(qū)域內(nèi)所有像素點(diǎn)灰度值的均值和方差。局部二值模式（Local Binary Pattern，LBP）特征是過(guò)閾值來(lái)標(biāo)記中心點(diǎn)像素與其鄰域像素之間的差別，若周?chē)袼刂荡笥谥行南袼刂?，則該像素點(diǎn)的位置被標(biāo)記為1，否則為0，以此建立該區(qū)域的局部特征。方向梯度直方圖（Histogram of Oriented Gradient，HOG）特征要將將圖片分成若干個(gè)“細(xì)胞”，計(jì)算局部區(qū)域內(nèi)每個(gè)像素點(diǎn)梯度值和梯度方向，最后將“細(xì)胞”每一個(gè)像素點(diǎn)的梯度方向加權(quán)投影到直方圖中進(jìn)行統(tǒng)計(jì)。

3 實(shí)驗(yàn)結(jié)果和分析

文中在XM2VTS[15]和BioID[16]人臉數(shù)據(jù)庫(kù)上對(duì)新算法進(jìn)行了測(cè)試。其中，BioID有1 520張人臉圖像，每張人臉有20個(gè)特征點(diǎn)；XM2VTS有2 360張人臉圖像，每張人臉圖像有68個(gè)特征點(diǎn)。在實(shí)驗(yàn)過(guò)程中，每個(gè)數(shù)據(jù)庫(kù)被隨機(jī)平均分為兩部分，一半進(jìn)行訓(xùn)練，另一半進(jìn)行測(cè)試。重復(fù)上述步驟5次，并使用平均值作為測(cè)試結(jié)果。在測(cè)試集中，用于衡量人臉特征點(diǎn)定位精度的指標(biāo)設(shè)置為真實(shí)人臉特征點(diǎn)和模型匹配得到的特征點(diǎn)之間的歐式距離：

其中，Xi=（xi，yi）T是模型最終匹配到的特征點(diǎn)的位置，Xj=（xj，yj）T是該特征點(diǎn)的標(biāo)準(zhǔn)位置。計(jì)算測(cè)試集中全部測(cè)試實(shí)例特征點(diǎn)歐式距離的均值，作為評(píng)判模型匹配精度的一個(gè)標(biāo)準(zhǔn)。

首先，在XM2VTS數(shù)據(jù)庫(kù)上對(duì)傳統(tǒng)的主動(dòng)表觀模型和結(jié)構(gòu)化特征融合的主動(dòng)表觀模型進(jìn)行測(cè)試。本實(shí)驗(yàn)將測(cè)試3種局部特征，具體見(jiàn)2.2節(jié)。對(duì)每一個(gè)局部特征描述子，本實(shí)驗(yàn)又設(shè)置了11*11、15*15、19*19 3個(gè)不同的大小的局部特征，以比較不同尺寸的局部特征對(duì)結(jié)構(gòu)化特征的主動(dòng)表觀模型匹配精度的影響。

表1 XM2VTS人臉數(shù)據(jù)庫(kù)

如表1所示，結(jié)構(gòu)化特征融合的主動(dòng)表觀模型，不管是HOG特征、LBP特征還是歸一化的局部紋理信息都比較顯著的提高了主動(dòng)表觀模型的匹配精度，相比而言，HOG特征的結(jié)果最為理想。而就具體的一種局部特征而言，其局部特征尺寸大小也會(huì)影響到最終的匹配結(jié)果。不同的局部特征，其能達(dá)到最佳的匹配結(jié)果的尺寸可能會(huì)有差別，但總體來(lái)看局部特征尺寸越大，自然會(huì)包含更多的信息，但其中的干擾信息也會(huì)增加，每個(gè)特征點(diǎn)局部特征的代表性會(huì)被相應(yīng)的弱化。下面所有的實(shí)驗(yàn)，都將采取15*15的局部特征。

圖6 結(jié)構(gòu)化特征融合的主動(dòng)表觀模型測(cè)試結(jié)果誤差分布圖

圖6是結(jié)構(gòu)化特征融合的主動(dòng)表觀模型測(cè)試結(jié)果誤差分布圖，這里的誤差就是真實(shí)人臉特征點(diǎn)和模型匹配得到的特征點(diǎn)之間的歐式距離。圖5的橫坐標(biāo)是誤差大小，縱坐標(biāo)是誤差分布情況。結(jié)構(gòu)化特征的融合對(duì)主動(dòng)表觀模型提高是顯而易見(jiàn)的。將

局部特征和全局紋理信息相結(jié)合，為主動(dòng)表觀模型增加了特征點(diǎn)附近更多的細(xì)節(jié)信息，提高了其對(duì)人臉特征點(diǎn)的定位能力。在3個(gè)局部特征算子中，HOG特征的結(jié)果是最理想的。

最后，在BioID數(shù)據(jù)庫(kù)上的對(duì)融入了不同局部特征的結(jié)構(gòu)化特征融合主動(dòng)表觀模型進(jìn)行測(cè)試，如表2所示。BioID數(shù)據(jù)庫(kù)上測(cè)試的結(jié)果和XM2VTS數(shù)據(jù)庫(kù)上的結(jié)果是一致的。將局部特征與全局紋理信息相結(jié)合，提高了模型的匹配能力。對(duì)比不同的局部特征，HOG特征的匹配效果是最好的。

表2 BioID數(shù)據(jù)庫(kù)

4 結(jié) 論

通過(guò)將以HOG特征為代表的局部特征算子與全局紋理模型相結(jié)合，極大的提高了主動(dòng)表觀模型的表現(xiàn)能力，增強(qiáng)了模型對(duì)于特征點(diǎn)定位的準(zhǔn)確度。這其中，局部特征算子對(duì)光照、姿態(tài)、人臉上的遮蓋物等干擾信息，表現(xiàn)出來(lái)了極強(qiáng)的魯棒性。而不同的局部特征算子又有不同的特點(diǎn)。針對(duì)不同的研究目標(biāo)，如何更加有效的使用局部特征算子，將它們各自的優(yōu)勢(shì)最大化，是可以繼續(xù)去探究的。

[1]楊武俊.基于神經(jīng)網(wǎng)絡(luò)的人臉圖像識(shí)別算法[J].網(wǎng)絡(luò)安全技術(shù)與應(yīng)用，2016（1）:98.

[2]廖延娜，馬超.基于稀疏表示的人臉識(shí)別系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].電子設(shè)計(jì)工程，2016（17）:153-155.

[3]Kittler J，Huber P，F(xiàn)eng Z H，et al.3D morphable face models and their applications[C]//International Conference on Articulated Motion and Deformable Objects，2016:185-206.

[4]施華，黃昶.一種改進(jìn)的基于ASM模型的人臉跟蹤算法[J].信息技術(shù)，2015（7）:88-89.

[5]王長(zhǎng)元，徐順等.主動(dòng)表觀模型在人臉特征提取中的應(yīng)用[J].電子測(cè)試，2014（3X）:31-32.

[6]Tzimiropoulos G，Pantic M.Fast algorithms for fitting active appearance models to unconstrained images[J].International Journal of Computer Vision，2016:1-17.

[7]鹿宏青，李錦濤.基于主動(dòng)表觀模型的人臉特征點(diǎn)自動(dòng)標(biāo)定[J].電子技術(shù)與軟件工程，2016（1）:110-110.

[8]Xiong X，De la Torre F.Supervised descent method and its applications to face alignment[C]//IEEE conference on computer vision and pattern recognition，2013:532-539.

[9]Feng Z H，Hu G，Kittler J，et al.Cascaded collaborative regression for robust facial landmark detection trained using a mixture of synthetic and realimageswith dynamicweighting[J].IEEE Transactions on Image Processing，2015，24（11）:3425-3440.

[10]黃忠，胡敏，劉娟.基于AAM-SIFT特征描述的兩級(jí)SVM人臉表情識(shí)別[J].計(jì)算機(jī)工程與應(yīng)用，2016，52（3）:178-183.

[11]Zhang Z，Luo P，Loy C C，et al.Facial landmark detection by deep multi- task learning[C]//European Conference on Computer Vision.2014:94-108.

[12]梅蓉蓉，吳小俊，馮振華.基于狀態(tài)估計(jì)的張量分解人臉識(shí)別方法[J].計(jì)算機(jī)工程與應(yīng)用，2011，47（24）:143-145.

[13]劉明珠，武琪，李昌，等.基于2DDPCA的人臉識(shí)別算法[J].電視技術(shù)，2016，40（1）:122-126.

[14]胡敏，程天梅，王曉華，等.融合全局和局部特征的人臉識(shí)別[J].電子測(cè)量與儀器學(xué)報(bào)，2013，27（9）:817-822.

[15]Kumari J，Rajesh R.Facial expression recognition usinghistogramoforientedgradients[C]//International Conference on Recent Advances in Mathematics，Statistics and Computer Science.2016.

[16]Martins P，Henriques J，Rui C，et al.Bayesian constrained local models revisited.[J]. IEEE Transactionson Pattern Analysis& Machine Intelligence，2016:1-1.

[17]梅蓉蓉，吳小俊，馮振華.改進(jìn)的動(dòng)態(tài)模糊神經(jīng)網(wǎng)絡(luò)及其在人臉識(shí)別中的應(yīng)用[J].計(jì)算機(jī)應(yīng)用與軟件，2012，44（1）:465-469.

[18]Aurenhammer F，Klein R，Lee D T.Voronoi diagrams and delaunay triangulations[J].2013，19（3）:348.

[19]黃飛，譚守標(biāo)等.基于改進(jìn)主動(dòng)表觀模型算法的人臉特征定位[J].計(jì)算機(jī)工程與應(yīng)用，2015，51（16）:204-209.