CPEF：一種用于人臉識(shí)別的圖像擇優(yōu)方法

王　迪， 陳岳林， 蔡曉東， 甘凱今

(桂林電子科技大學(xué) 機(jī)械工程學(xué)院，廣西 桂林 541004)

?

CPEF：一種用于人臉識(shí)別的圖像擇優(yōu)方法

王迪， 陳岳林， 蔡曉東， 甘凱今

(桂林電子科技大學(xué) 機(jī)械工程學(xué)院，廣西 桂林 541004)

針對(duì)人臉識(shí)別的輸入圖像信息量高低不均的問題，提出了一種多參數(shù)圖像擇優(yōu)的評(píng)分機(jī)制CPEF主要有三點(diǎn)貢獻(xiàn)：第一點(diǎn)是提出了一種新穎的基于主動(dòng)形狀模型(ASM)定位的人臉?biāo)叫D(zhuǎn)程度評(píng)估方法；第二點(diǎn)是采用遞歸的方式計(jì)算權(quán)重；第三點(diǎn)是提出了一組參數(shù)定量地描述了圖像擇優(yōu)方法。過程如下：首先，計(jì)算圖像質(zhì)量；其次基于二分類器判斷人眼是否處于睜開狀態(tài)；然后以顏色直方圖信息判定人是否處于張嘴狀態(tài)；最后，綜合水平旋轉(zhuǎn)程度及其他參數(shù)，配合權(quán)重，給出評(píng)分。在FERET人臉庫(kù)上的實(shí)驗(yàn)結(jié)果證明，CPEF有效地將人臉圖像按照人主觀感受做出排名，準(zhǔn)確率高達(dá)92%。并且按得分高低排序采用Gabor配合SVM做人臉識(shí)別對(duì)比測(cè)試，對(duì)比實(shí)驗(yàn)證明，經(jīng)CPEF處理后的圖像在人臉識(shí)別中的準(zhǔn)確率顯著提升。

ASM； CPEF； 旋轉(zhuǎn)； 遞歸

人臉識(shí)別是模式識(shí)別領(lǐng)域中活躍的研究方向之一，傳統(tǒng)流程是在一段大約10 s左右的視頻中，獲取單個(gè)人物的一組人臉圖像，將它們帶入后期的人臉識(shí)別階段。而人臉識(shí)別大量采用特征提取的方法，所以圖像的信息量高低會(huì)影響識(shí)別效果。目前該領(lǐng)域主要研究的是圖像自身質(zhì)量，諸如客觀質(zhì)量評(píng)價(jià)中的全參考型、部分參考型、無參考型等。這些只是作為圖像擇優(yōu)的一部分，對(duì)于信息量以及是否便于特征提取沒有做考慮。

本文提出CPEF，它是在獲取圖像客觀參數(shù)的基礎(chǔ)上，采用遞歸給出權(quán)重，作出符合人主觀感受的評(píng)分。具體過程為：首先，基于ASM[1]定位計(jì)算人臉?biāo)叫D(zhuǎn)程度；其次，計(jì)算圖像的LS值[2]以及輪廓[3]數(shù)量評(píng)估圖像質(zhì)量；然后使用haar[4]配合adaboost[5]定位人眼，基于HOG[6]配合SVM[7]訓(xùn)練出的二分類器判斷人眼是否處于睜開狀態(tài)；接下來ASM定位人嘴，以顏色直方圖信息判定人是否處于張嘴狀態(tài)；最后，綜合以上參數(shù)，配上遞歸得到的權(quán)重，計(jì)算最終評(píng)分。CPEF的框架如圖1所示。

圖1　CPEF框架圖

1　一種新穎的人臉?biāo)叫D(zhuǎn)程度評(píng)估方法

人臉?biāo)叫D(zhuǎn)程度是圖像擇優(yōu)的一個(gè)重要參數(shù)，旋轉(zhuǎn)程度過大，會(huì)丟失很多人臉上的有用信息，在之后的人臉識(shí)別階段，會(huì)有很多特征無法進(jìn)行匹配。因此，旋轉(zhuǎn)程度的評(píng)定至關(guān)重要。本文提出一種新穎有效的基于ASM定位的人臉?biāo)叫D(zhuǎn)程度評(píng)估方法。

1.1ASM定位三處關(guān)鍵點(diǎn)

ASM要定位準(zhǔn)確，后續(xù)工作都是建立在ASM定位到的三點(diǎn)上進(jìn)行的。ASM是基于統(tǒng)計(jì)學(xué)習(xí)模型[8]的特征點(diǎn)提取方法。包括train和test兩部分，即形狀建模與形狀匹配，其中建模部分在本文研究前期已經(jīng)完成，如圖2所示，一張人臉上標(biāo)定了76個(gè)特征點(diǎn)。

圖2　ASM人臉形狀建模圖

本書需要定位圖2中第38點(diǎn)和第39點(diǎn)作為雙眼中心點(diǎn)，以及第52點(diǎn)作為鼻尖點(diǎn)，之后就是通過計(jì)算這三個(gè)點(diǎn)之間角度來衡量人臉?biāo)叫D(zhuǎn)程度。

1.2計(jì)算水平旋轉(zhuǎn)程度

通過定位到的雙眼中心點(diǎn)以及鼻尖點(diǎn)，三點(diǎn)連線后得到人臉上的一個(gè)倒三角形，如圖3所示。

圖3　人臉旋轉(zhuǎn)角度對(duì)比

2　基于實(shí)驗(yàn)的遞歸式參數(shù)權(quán)重確定

判斷一張人臉圖像上可用信息量的多少，唯一的標(biāo)準(zhǔn)就是，該方法獲得的客觀質(zhì)量評(píng)價(jià)結(jié)果與人的主觀感受是否一致。

2.1人主觀評(píng)定準(zhǔn)則

本文在使用CPEF之前，首先明確人對(duì)于圖像的主觀評(píng)定準(zhǔn)則，在此基礎(chǔ)上反復(fù)做遞歸測(cè)試獲得權(quán)重值。如圖4所示給出各參數(shù)重要性優(yōu)先級(jí)。

圖4　參數(shù)優(yōu)先級(jí)

人臉旋轉(zhuǎn)程度重要性要高于其他參數(shù)，一旦失效，其他特征無法準(zhǔn)確提取，如圖5所示。

圖5　水平旋轉(zhuǎn)程度過大導(dǎo)致ASM定位不準(zhǔn)

圖5中，同一個(gè)人目標(biāo)人物，左圖中人臉較正，ASM定位準(zhǔn)確，右圖中人臉旋轉(zhuǎn)大于20°，ASM可能會(huì)定位錯(cuò)誤。

2.2遞歸實(shí)驗(yàn)獲取權(quán)重

首先視各參數(shù)權(quán)重初始值相同{0.25，0.25，0.25，0.25}，每次實(shí)驗(yàn)都將FERET數(shù)據(jù)庫(kù)中200組人按照當(dāng)前權(quán)重值計(jì)算得分，測(cè)試結(jié)束后，用主觀感受去對(duì)實(shí)驗(yàn)結(jié)果作出評(píng)價(jià)，獲得一個(gè)準(zhǔn)確率。而評(píng)分失敗的人臉要給出兩個(gè)指標(biāo)，即導(dǎo)致評(píng)分失敗的原因中，哪一項(xiàng)參數(shù)權(quán)重高出最多，哪一項(xiàng)參數(shù)權(quán)重低出最多。

樣本總數(shù)：total_num

失敗個(gè)數(shù)：fail_num

權(quán)重高的參數(shù)：high_max，對(duì)應(yīng)的個(gè)數(shù)：high_num

權(quán)重低的參數(shù)：low_max，對(duì)應(yīng)的個(gè)數(shù)：low_num

評(píng)分準(zhǔn)確率：rate

遞歸流程如下所示：

While(rate>0.01)

帶入FERET做測(cè)試；

forj=0，…，total_num

對(duì)圖像評(píng)分，排序；

end；

統(tǒng)計(jì)fail_num；

計(jì)算rate，high_num，low_num；

end；

多次遞歸之后準(zhǔn)確率趨于平穩(wěn)，遞歸前后準(zhǔn)確率相差1%以內(nèi)。此時(shí)準(zhǔn)確率高達(dá)92%。CPEF評(píng)分公式為

(1)

3　基于一組參數(shù)定量的描述圖像擇優(yōu)的方法

3.1人臉圖像LS值與輪廓數(shù)量評(píng)估圖像質(zhì)量

圖像擇優(yōu)，首先就要考慮圖像質(zhì)量，包括人臉上清晰程度以及輪廓數(shù)量的多少。

3.1.1計(jì)算LS值

本文采用了拉普拉斯算子計(jì)算LS值評(píng)估圖像的清晰度，計(jì)算公式為

(2)

一個(gè)M×N大小的圖像，其中，g(i，j)表示圖像在(i，j)點(diǎn)的像素值，LS值越大，說明圖像輪廓越清晰，圖像質(zhì)量越好。

3.1.2輪廓數(shù)量

通過圖像具有的輪廓數(shù)量進(jìn)行擇優(yōu)，即輪廓越多的人臉，它所含的信息量越大。因此，本文使用cvContours獲取每張人臉圖像輪廓，輪廓數(shù)量越多，圖像質(zhì)量越高。

3.2睜眼和閉嘴狀態(tài)的判定

人臉表情會(huì)影響人臉特征信息的提取，為人臉識(shí)別帶來一定困難，而表情的變化常常表現(xiàn)在人眼和人嘴的狀態(tài)上，本章采用訓(xùn)練的方式判斷人是否處于睜眼閉嘴的狀態(tài)。

3.2.1人眼檢測(cè)和判定

采用haar配合adaboost檢測(cè)人眼，計(jì)算人眼的HOG特征，并帶入SVM訓(xùn)練二分類器，判斷是睜眼還是閉眼狀態(tài)。

3.2.2人嘴檢測(cè)和判定

如圖6所示，左側(cè)是ASM定位到的76個(gè)特征點(diǎn)標(biāo)號(hào)，本文取從第66點(diǎn)起，逆時(shí)針經(jīng)第67、68、69、70點(diǎn)最終至第71點(diǎn)所圍成的近似矩形框。

圖6　ASM定位人嘴中心

圖6中，右側(cè)上圖為ASM檢測(cè)出的效果圖，右側(cè)下圖為定位到的人嘴位置，通過大量實(shí)驗(yàn)可獲悉，水平旋轉(zhuǎn)20°范圍內(nèi)的人臉都可以由ASM模板精準(zhǔn)定位到人嘴位置。

把第66點(diǎn)至第71點(diǎn)所圍成區(qū)域圖像轉(zhuǎn)化為灰度圖，白色區(qū)域大于一定面積判定為露齒，即視為張嘴，如圖7所示。

圖7　張嘴閉嘴顏色直方圖信息對(duì)比

圖7中對(duì)比出張嘴狀態(tài)下的人嘴附近顏色直方圖在高灰度值區(qū)域分布較廣。這種直接的判定方法準(zhǔn)確、簡(jiǎn)單、有效。

本章是對(duì)人臉是否處于睜眼閉嘴狀態(tài)的判斷，映射了該人臉是否存在表情變化。下面給出實(shí)驗(yàn)過程和結(jié)論。

4 實(shí)驗(yàn)及結(jié)果分析

4.1實(shí)驗(yàn)?zāi)繕?biāo)及過程

本文實(shí)驗(yàn)分為兩個(gè)階段，第一階段是測(cè)試CPEF評(píng)

分準(zhǔn)確率，第二階段是測(cè)試CPEF的評(píng)分效果提升人臉識(shí)別準(zhǔn)確率的程度。

第一階段，實(shí)驗(yàn)采用FERET數(shù)據(jù)庫(kù)，內(nèi)涵200人，每個(gè)人有7張圖像。之所以采用FERET人臉庫(kù)做測(cè)試，原因如下：1)包括水平旋轉(zhuǎn)、睜眼閉眼、張嘴閉嘴、明暗對(duì)比等多種狀態(tài)下的人臉圖像，CPEF采用的各項(xiàng)參數(shù)在FERET數(shù)據(jù)庫(kù)中都有體現(xiàn)。2)圖像的清晰度滿足了人臉特征提取的要求。3)近似于實(shí)際環(huán)境下的人臉檢測(cè)效果，在室內(nèi)實(shí)際環(huán)境下有可推廣性。本文提出的CPEF致力于應(yīng)用在室內(nèi)環(huán)境下，在反復(fù)遞歸測(cè)試之后，排序準(zhǔn)確率趨于平穩(wěn)，即遞歸前后準(zhǔn)確率在1%之內(nèi)，實(shí)驗(yàn)停止。CPEF的計(jì)算流程如圖8所示。

圖8　CPEF計(jì)算流程圖

第二階段，是對(duì)CPEF評(píng)分后的人臉圖像做識(shí)別，目的是證明得分高的人臉圖像識(shí)別率高于得分低的人臉圖像。實(shí)驗(yàn)采用FERET人臉庫(kù)做測(cè)試，共200人，每人有7張不同狀態(tài)圖像(圖9)，經(jīng)過CPEF評(píng)分后，每個(gè)人的這7張圖像按得分由高到低排序，如圖8所示，得分越高，排名越靠前。FERET人臉重新組合，每個(gè)人排名序號(hào)相同的人臉組成一個(gè)集合，排名序號(hào)為i的人臉集合為fi，則FERET可由7個(gè)集合構(gòu)成。F={f1,f2,f3,f4,f5,f6,f7}，fi=每個(gè)人排名第i的人臉共計(jì)200張。i越大，對(duì)應(yīng)的集合中的人臉圖像得分越高，即得分排序?yàn)镾corefi>Scoref2>Scoref3>Scoref4>Scoref5>Scoref6>Scoref7，每次將一個(gè)集合作為識(shí)別輸入圖像。每張圖像提取Gabor特征[9]，其中Gabor濾波器有5個(gè)尺度8個(gè)方向，共計(jì)40個(gè)。將濾波后的圖像降采樣，像素值按序排成一個(gè)行向量帶入SVM訓(xùn)練分類器，一個(gè)集合中有200張人臉即分為200類，輸入測(cè)試圖像，SVM中的predict函數(shù)會(huì)給出一個(gè)歸類標(biāo)簽號(hào)，這個(gè)標(biāo)簽號(hào)就對(duì)應(yīng)了測(cè)試圖像識(shí)別到的樣本序號(hào)。測(cè)試圖像共計(jì)200張，作為每個(gè)集合的測(cè)試數(shù)據(jù)，序號(hào)和數(shù)量保持不變。每個(gè)集合最終會(huì)得到一個(gè)識(shí)別準(zhǔn)確率，比較7個(gè)集合的準(zhǔn)確率如圖10所示，其中CPEF處理后得分最高的人臉集合f1的識(shí)別準(zhǔn)確率高達(dá)94%，而得分最低的集合f7識(shí)別準(zhǔn)確率僅為62%。

圖9　FERET數(shù)據(jù)庫(kù)多組人臉圖像

圖10　不同得分級(jí)別的人臉圖像識(shí)別準(zhǔn)確率對(duì)比圖

4.2實(shí)驗(yàn)結(jié)論

經(jīng)CPEF計(jì)算后的一組人臉圖像按評(píng)分由高到低排序如圖11所示。

圖11　評(píng)分效果圖

圖11中從左向右是同一個(gè)人檢測(cè)到的7張人臉經(jīng)過CPEF得分從高到低排位的結(jié)果，符合人的主觀感受，其中水平旋轉(zhuǎn)程度低、睜眼、閉嘴、無顯著表情變化的人臉圖像得分最高，即左側(cè)第一張。

CPEF的評(píng)分準(zhǔn)確率如圖12所示，實(shí)驗(yàn)證明：CPEF可以有效地對(duì)人臉給出符合人主觀感受的評(píng)分，在FERET人臉庫(kù)中準(zhǔn)確率高達(dá)92%。

圖12　CPEF在FERET數(shù)據(jù)庫(kù)上的準(zhǔn)確率

CPEF評(píng)分后，按得分高低排序帶入做人臉識(shí)別，F(xiàn)ERET人臉庫(kù)F={f1,f2,f3,f4,f5,f6,f7}，fi=每個(gè)人排名第i的人臉共計(jì)200張，識(shí)別準(zhǔn)確率如圖10所示。

實(shí)驗(yàn)證明：CPEF評(píng)分越高的人臉圖像識(shí)別準(zhǔn)確率越高，F(xiàn)ERET數(shù)據(jù)庫(kù)中的人臉圖像近似于室內(nèi)環(huán)境下檢測(cè)到的人臉，識(shí)別率有如此高的提升，說明CPEF在室內(nèi)環(huán)境下有實(shí)際可推廣性。

5　結(jié)束語(yǔ)

本文采用CPEF對(duì)檢測(cè)到的人臉進(jìn)行評(píng)分供后期人臉識(shí)別使用，該方法：1)提出一個(gè)多參數(shù)模型，在FERET這個(gè)公共人臉庫(kù)中做遞歸測(cè)試，得到一組優(yōu)化的參數(shù)，使這個(gè)模型對(duì)人臉圖像擇優(yōu)準(zhǔn)確率達(dá)到92%以上。2)提出一種新穎的基于ASM的評(píng)估人臉?biāo)叫D(zhuǎn)程度的算法，在水平旋轉(zhuǎn)20°范圍內(nèi)有效。3)本文致力于在室內(nèi)環(huán)境下對(duì)檢測(cè)到的人臉進(jìn)行評(píng)分，對(duì)比識(shí)別準(zhǔn)確率的實(shí)驗(yàn)證明，CPEF在室內(nèi)實(shí)際環(huán)境下具有可推廣性。未來進(jìn)一步的改進(jìn)方向是對(duì)ASM定位側(cè)臉準(zhǔn)確性的提升，以及人臉表情多樣化的算法適應(yīng)性。

[1]COOTES T，TAYLOR C，COOPER D，et al.Active shape models-their training and application[J].Computer vision and image understanding，1995，61(1)：38-59.

[2]楊露，蘇秀琴，陸陶，等.基于Controurlet變換和形態(tài)學(xué)的圖像去噪方法[J].光電子，2008，19(11)：1558-1560.

[3]王映輝. 人臉識(shí)別——原理、方法與技術(shù)[M].北京：科學(xué)出版社，2010.

[4]劉曉克. 基于新Haar-like特征的多角度人臉檢測(cè)[J]. 計(jì)算機(jī)工程， 2009， 35(19)： 195-197.

[5]GUO B F，LAM K M，LIN K H，et al.Human face recognition based on spatially weighted Hausdorff distance[J].Pattern recognition letters，2003，24(3)：499-507.

[6]王慶軍，張汝波.基于Log-Gabor和正交等度規(guī)映射的人臉識(shí)別[J].計(jì)算機(jī)科學(xué)，2011，38(2)：274-276.

[7]肖政宏，基于PCA和GMM的圖像分類算法[J].計(jì)算機(jī)工程與設(shè)計(jì)，2007，11(27)：1951-1952.

[8]王晶，蘇光大.確定區(qū)域的人臉彩色傳遞[J].光電子，2010(1)：116-119.

[9]梁路宏，艾海舟，肖習(xí)攀.基于模板匹配與支持矢量機(jī)的人臉檢測(cè)[J].計(jì)算機(jī)學(xué)報(bào)，2002，25(1)：22-29.

王迪(1988— )，碩士生，主研智能視頻分析與模式識(shí)別；

陳岳林(1968— )，碩士生導(dǎo)師，主要研究方向?yàn)闄C(jī)制、機(jī)電等；

蔡曉東(1971— )，碩士生導(dǎo)師，主要研究方向?yàn)椴⑿谢瘓D像和視頻處理、模式識(shí)別與智能系統(tǒng)、基于云構(gòu)架的智能傳感器網(wǎng)絡(luò)；

甘凱今(1992— )，碩士生，主研智能視頻分析與模式識(shí)別。

責(zé)任編輯：閆雯雯

Evaluation method based on CPEF for face recognition

WANG Di，CHEN Yuelin，CAI Xiaodong，GAN Kaijin

(SchoolofInformationandCommunication，GuilinUniversityofElectronicTechnology，GuangxiGuilin541004，China)

A novel mechanism named CPEF(Composite Parameters for Evaluating Face images) for selecting an image to conduct the best result for face recognition applications from an image sequence is presented. Firstly， an method based on ASM positioning for the evaluationof image rotation is provided. Then a recursive scheme for parameters weighing is utilized. Finally， a composite parameter model is proposed to rate the appropriate degree of an image for face recognition. The experimental results show that the proposed method produces similar results to subjective evaluation and the accuracy is 92%. Furthermore，the effectiveness of this work is proved by face recognition applications using Gabor feature and SVM classifier.

ASM；CPEF；rotate；recursive function

TN911

ADOI：10.16280/j.videoe.2016.07.025

國(guó)家科技支撐計(jì)劃項(xiàng)目(2014BAK11B02)；2014年廣西科學(xué)研究與技術(shù)開發(fā)計(jì)劃項(xiàng)目(桂科攻14122007-5)

2015-09-10

文獻(xiàn)引用格式：王迪， 陳岳林， 蔡曉東，等. CPEF：一種用于人臉識(shí)別的圖像擇優(yōu)方法[J].電視技術(shù)，2016，40(7)：113-117.

WANG D， CHEN Y L， CAI X D，et al. Evaluation method based on CPEF for face recognition [J].Video engineering，2016，40(7)：113-117.