基于篩選評(píng)估準(zhǔn)則的非正面人臉合成方法

肖志濤，伊 靚，李月龍，張 芳，耿 磊，吳 駿

（1.天津工業(yè)大學(xué)電子與信息工程學(xué)院，天津 300387；2.天津工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與軟件學(xué)院，天津 300387）

基于篩選評(píng)估準(zhǔn)則的非正面人臉合成方法

肖志濤1，伊 靚1，李月龍2，張 芳1，耿 磊1，吳 駿1

（1.天津工業(yè)大學(xué)電子與信息工程學(xué)院，天津 300387；2.天津工業(yè)大學(xué)計(jì)算機(jī)科學(xué)與軟件學(xué)院，天津 300387）

針對(duì)傳統(tǒng)方法合成的正面人臉圖像中信息丟失和變形的問題，提出了一種基于篩選評(píng)估準(zhǔn)則的非正面人臉圖像合成方法.人臉篩選評(píng)估準(zhǔn)則融合了臉部對(duì)稱性、正臉差異水平和人臉?biāo)脚まD(zhuǎn)角度3方面信息，其中人臉?biāo)脚まD(zhuǎn)角度利用細(xì)節(jié)上的眼部信息來(lái)評(píng)價(jià)人臉的正面水平，而臉部對(duì)稱性和正臉差異水平分別對(duì)人臉的左右和垂直方向進(jìn)行整體評(píng)價(jià)，綜合這三方面信息可有效地排除低質(zhì)量側(cè)臉圖像對(duì)合成正臉圖像的干擾.首先進(jìn)行標(biāo)記點(diǎn)檢測(cè)跟蹤，然后基于此對(duì)同一人的多幅側(cè)臉圖像進(jìn)行篩選，最后進(jìn)行插值運(yùn)算合成正面人臉，并在FERET圖像庫(kù)中對(duì)該方法進(jìn)行實(shí)驗(yàn)驗(yàn)證.結(jié)果表明：通過本文篩選準(zhǔn)則可有效濾除合成中低質(zhì)量、強(qiáng)干擾的側(cè)臉圖像，可降低姿態(tài)問題對(duì)人臉識(shí)別精度的干擾，最終合成精確逼近真實(shí)正面人臉的合成圖像.

非正面人臉合成；篩選評(píng)估準(zhǔn)則；人臉識(shí)別

隨著科學(xué)技術(shù)的不斷發(fā)展，人們對(duì)于人臉識(shí)別技術(shù)的期望越來(lái)越高，姿態(tài)多樣性這個(gè)困擾人臉識(shí)別研究的主要難題也日漸為學(xué)術(shù)界所重視.能將非正面人臉矯正為正面人臉的圖像合成技術(shù)已成為模式識(shí)別等方向的主要研究熱點(diǎn)[1].目前合成方法主要分為基于三維模型的方法和基于二維模型的方法[2].基于三維模型的人臉合成方法主要利用圖形學(xué)和幾何變換的方法將三維圖像投影還原成二維圖像.Blanz等[3]利用大量三維人臉數(shù)據(jù)的樣本構(gòu)建三維可變模型，該模型將二維人臉圖像進(jìn)行匹配，獲取人臉三維的外形和紋理上的參數(shù)，最后合成正面人臉圖像，該方法的合成結(jié)果逼近真實(shí)情況，但其數(shù)據(jù)量較大，訓(xùn)練和優(yōu)化過程十分耗時(shí).Ramnath等[4]建立了一個(gè)由三相機(jī)標(biāo)定構(gòu)建的三維形狀模型，該方法可以實(shí)現(xiàn)更好的視角匹配魯棒性；Liebelt等[5]提出了由深度相機(jī)獲取的深度信息來(lái)表示三維形狀的方法，該方法具有較好的匹配性能.但是上述兩篇文獻(xiàn)中只有側(cè)臉圖像合成正臉圖像的二維形狀，而無(wú)法實(shí)現(xiàn)正臉紋理的合成.基于二維圖像的正面人臉合成方法無(wú)須建立三維模型，因而在實(shí)際中操作簡(jiǎn)單，運(yùn)算速度快，因此近年來(lái)被廣泛應(yīng)用.Chai等[6]提出了局部線性回歸的方法，將圖像劃分為許多重疊的、大小相等的矩形塊，這種方法合成的圖像自然、平滑，而且較接近真實(shí)值，但這種矩形分塊的方法需要去除臉頰的紋理來(lái)保持對(duì)應(yīng)紋理塊的一致性，因此合成后的正臉圖像中僅包含人臉正面中心區(qū)域.Kim等[7]提出了子空間回歸方法，與文獻(xiàn)[6]中提到的局部線性回歸方法不同的是，對(duì)圖像經(jīng)主成分分析（principal component analysis，PCA）降維后的數(shù)據(jù)做線性回歸，大大地提高了線性回歸的效率，但是由于這是一種全局的回歸方法，因此其合成圖像的效果不如局部線性回歸的方法.Alba-Castro等[8]提出了對(duì)稱輔助正臉合成算法（symmetry-aided frontal view synthesis，SFVS），是一種以點(diǎn)分布模型（point distribution model，PDM）和正面人臉對(duì)稱性為基礎(chǔ)的合成方法，但該方法會(huì)造成人臉不自然，對(duì)稱之后的人臉特征（例如痣、疤痕等）會(huì)存在丟失或者多余的情況.杜志軍等[9]提出基于主動(dòng)形狀模型（active shape models，ASM）的人臉合成方法，通過研究側(cè)臉和正臉之間的映射關(guān)系來(lái)合成正面人臉，該方法計(jì)算速度快，定位精度高.但是，伴隨著視頻監(jiān)控系統(tǒng)的普及，待處理的非正臉圖像的數(shù)目增長(zhǎng)得越來(lái)越快，因此從視頻中采集的圖像有可能存在姿態(tài)變化較大、臉部信息嚴(yán)重缺損或者側(cè)臉圖像發(fā)生畸變等現(xiàn)象.這些圖像可能會(huì)導(dǎo)致合成的正臉圖像信息大量缺失，對(duì)人臉識(shí)別造成干擾.針對(duì)上述問題，本文提出了一種基于篩選評(píng)估準(zhǔn)則的人臉合成方法.其中評(píng)估準(zhǔn)則包括人臉?biāo)脚まD(zhuǎn)角度、臉部對(duì)稱性和正臉差異水平，實(shí)現(xiàn)對(duì)人臉的細(xì)節(jié)方面以及左右、上下方向的整體方面的評(píng)估.本文方法具體分為3部分：①采用ASM算法對(duì)輸入的人臉圖像進(jìn)行檢測(cè)定位，確定人臉的精確位置；②本文提出一種對(duì)低質(zhì)量的側(cè)臉圖像進(jìn)行篩選的方法，縮小了合成后的正臉與標(biāo)準(zhǔn)圖像間的差異，同時(shí)保證得到的正臉圖像自然并接近真實(shí)人臉；③利用Delaunay三角剖分方法，并依據(jù)紋理映射關(guān)系，對(duì)轉(zhuǎn)正的正臉中信息缺失的部分進(jìn)行插值運(yùn)算，最終合成正面人臉圖像.本文提出的方法可有效地排除低質(zhì)量側(cè)臉圖像的干擾，進(jìn)而有效地合成逼真的正面人臉圖像，提升了人臉識(shí)別的精度.

1 人臉標(biāo)記點(diǎn)定位

本文方法是以人臉輪廓標(biāo)記點(diǎn)為基礎(chǔ)的，輪廓標(biāo)記點(diǎn)定位是計(jì)算機(jī)視覺經(jīng)典研究問題，目前已有眾多成熟的方法.人臉特征點(diǎn)定位是為了準(zhǔn)確描述人臉輪廓，尋找有用的關(guān)鍵點(diǎn)，為后面的篩選準(zhǔn)則和正則化提供精確的特征信息.本文選用Cootes等[10]提出的ASM算法.ASM計(jì)算快速，標(biāo)記點(diǎn)定位精度高，可以局限整體外形模型，且對(duì)遮擋、姿態(tài)和光照變化有一定的魯棒性，可以準(zhǔn)確定位側(cè)臉圖像的主要輪廓.定位算法主要分為3步：

（1）通過對(duì)人臉的訓(xùn)練集中大批訓(xùn)練樣本的外形實(shí)例進(jìn)行統(tǒng)計(jì)，選用Procrustes Analysis方法[11]對(duì)所有外形進(jìn)行對(duì)齊.

（2）對(duì)對(duì)齊后的外形做PCA分析，構(gòu)造可以反映目標(biāo)物體外形變化規(guī)律的外形統(tǒng)計(jì)模型，其模型公式為：

（3）定位側(cè)面人臉的標(biāo)記點(diǎn)，首先采用局部紋理模型在標(biāo)記點(diǎn)周圍進(jìn)行搜索，接著利用外形模型對(duì)標(biāo)記點(diǎn)集合進(jìn)行外形限制，并在二者之間進(jìn)行反復(fù)迭代，最后收斂至標(biāo)準(zhǔn)外形，完成標(biāo)記點(diǎn)定位.人臉輪廓標(biāo)記點(diǎn)的結(jié)果如圖1所示.

圖1 人臉標(biāo)記點(diǎn)定位結(jié)果Fig.1 Location results of facial marking points

2 側(cè)面人臉圖像的篩選

在視頻中可能會(huì)采集到姿態(tài)變化較大或者不符合人臉定位的非正臉圖像，這些偏轉(zhuǎn)角度大的人臉圖像存在嚴(yán)重的自遮擋，無(wú)法實(shí)現(xiàn)正臉圖像合成.除此之外，如圖2所示，每幅圖從直方圖、局部二值模式（local binary pattern，LBP）[12]進(jìn)行比較，可以看出正側(cè)臉之間也存在較大的差異.因此選取偏離正面人臉姿態(tài)較小的人臉圖像作為待合成的側(cè)臉圖像具有極為重要的現(xiàn)實(shí)意義.本文提出細(xì)節(jié)與整體相結(jié)合的正面人臉?biāo)皆u(píng)價(jià)準(zhǔn)則，該準(zhǔn)則融合了人臉?biāo)脚まD(zhuǎn)角度、臉部對(duì)稱性和正臉差異水平3部分，可以兼顧細(xì)節(jié)和整體性特征進(jìn)行判斷，多方面評(píng)價(jià)人臉的正面水平，從而很好地排除低質(zhì)量側(cè)臉圖像對(duì)合成的正臉圖像的干擾.本節(jié)將具體介紹該準(zhǔn)則，并在測(cè)試集中檢驗(yàn)各個(gè)準(zhǔn)則的效果.

圖2 一個(gè)人不同圖像及其直方圖和LBPFig.2 Different images of same person and its histogram，LBP

2.1 人臉?biāo)脚まD(zhuǎn)角度

測(cè)量人臉?biāo)脚まD(zhuǎn)角度的目的是評(píng)估水平方向扭轉(zhuǎn)的程度，人臉?biāo)脚まD(zhuǎn)角度實(shí)現(xiàn)了對(duì)側(cè)面人臉細(xì)節(jié)方面的評(píng)價(jià).根據(jù)人臉標(biāo)記點(diǎn)定位的結(jié)果，從中選取4個(gè)標(biāo)記點(diǎn)，分別是人臉的最外2標(biāo)記點(diǎn)a、b和眼睛的尾部標(biāo)記點(diǎn)c、d，如圖3所示.

圖3 側(cè)面人臉標(biāo)記點(diǎn)選取結(jié)果Fig.3 Selected results of non-frontal face marking points

計(jì)算眼睛尾部標(biāo)記點(diǎn)和最近的最外一點(diǎn)的距離，根據(jù)比例換算可以計(jì)算出偏離正臉的水平扭轉(zhuǎn)角度.設(shè)l1為a、c之間的距離，l2為b、d之間的距離，m為人臉圖像的序號(hào)，水平扭轉(zhuǎn)角度R(m)計(jì)算的表達(dá)式為：

在公式（2）中，當(dāng)l1＞l2時(shí)，側(cè)臉人臉的水平扭轉(zhuǎn)角度的結(jié)果為負(fù)，側(cè)臉為向右扭轉(zhuǎn)；相反，人臉扭轉(zhuǎn)角度結(jié)果為正，側(cè)臉為向左扭轉(zhuǎn).針對(duì)圖4所示圖像，計(jì)算人臉?biāo)脚まD(zhuǎn)角度，結(jié)果如表1所示.

圖4 人臉扭轉(zhuǎn)角度Fig.4 Facial torsion angle

表1 人臉扭轉(zhuǎn)角度計(jì)算結(jié)果Tab.1 Calculated results of facial torsion angle

隨機(jī)選取實(shí)驗(yàn)樣本進(jìn)行實(shí)驗(yàn)，其結(jié)果與理論結(jié)果的誤差在±3°之間，所得結(jié)果沒有明顯的偏差.由此說明，公式（2）可以準(zhǔn)確地計(jì)算出人臉?biāo)脚まD(zhuǎn)角度.

2.2 臉部對(duì)稱性

測(cè)量水平扭轉(zhuǎn)角度是為了估計(jì)水平方向的扭轉(zhuǎn)程度，而臉部的表情變化會(huì)影響上述的測(cè)量結(jié)果.因此本文在評(píng)價(jià)準(zhǔn)則中加入臉部對(duì)稱性，實(shí)現(xiàn)人臉?biāo)椒较虻恼w評(píng)價(jià).該準(zhǔn)則根據(jù)眼睛的中心線對(duì)I(m)進(jìn)行左右劃分，設(shè)和分別是人臉圖像I(m)的左邊和右邊區(qū)域.為了量化人臉的對(duì)稱性，采用歐式距離計(jì)算與中相應(yīng)像素間的差異，其表達(dá)式為

圖5 人臉對(duì)稱性的差異值結(jié)果Fig.5 Differences results in facial symmetry

2.3 正臉差異水平

以上兩個(gè)測(cè)量標(biāo)準(zhǔn)可以適用于水平方向扭轉(zhuǎn)的測(cè)量.然而如果人臉是垂直方向進(jìn)行扭轉(zhuǎn)，那么采用上述兩個(gè)測(cè)量標(biāo)準(zhǔn)評(píng)估側(cè)臉的扭轉(zhuǎn)程度時(shí)就會(huì)出現(xiàn)錯(cuò)誤.針對(duì)該問題，本文給出了人臉垂直方向的整體評(píng)價(jià).首先，每一幅側(cè)臉圖像采用ASM算法合成對(duì)應(yīng)的正臉圖像；然后，采用歐式距離計(jì)算側(cè)臉與對(duì)應(yīng)的正臉之間的像素差值，表征正臉差異水平，如圖6所示；最后使用正臉差異水平來(lái)評(píng)價(jià)人臉垂直方向的扭轉(zhuǎn)程度.

圖6 正臉差異水平的計(jì)算結(jié)果Fig.6 Calculation results of facial value of difference

由圖6可以看出，垂直方向扭轉(zhuǎn)角度越小，對(duì)應(yīng)的正臉越接近逼真的正面人臉，正臉差異水平值越小.對(duì)同一人的多幅側(cè)臉的正臉差異水平值進(jìn)行大小排序，正臉差異水平值越小，作為待合成的輸入源圖像的概率越高.

2.4 篩選準(zhǔn)則

基于上述3個(gè)方面，本文提出側(cè)臉篩選評(píng)估準(zhǔn)則來(lái)選出待合成的輸入源圖像.盡管有不同的測(cè)量結(jié)果，但是3個(gè)方面是互相聯(lián)系和互相控制的.通過利用3個(gè)獨(dú)立質(zhì)量評(píng)價(jià)指標(biāo)結(jié)果的加權(quán)來(lái)獲得每個(gè)人臉圖像I(m)的整體質(zhì)量評(píng)價(jià)值其表達(dá)式為：

式中：m為人臉圖像的序號(hào)；R(m)為第m幅圖像水平扭轉(zhuǎn)角度的弧度值；Rmax和Rmin分別表示全部R(m)中的最大值和最小值；Qa值的范圍為[0，1]，Qa隨扭轉(zhuǎn)角度R(m)變大而減小.

式中：S(m)為左右區(qū)域之間的差異值；Smax和Smin分別表示全部S(m)中的最大值和最小值；值的范圍為[0，1]，S(m)越大，評(píng)價(jià)指標(biāo)越小.

為了實(shí)現(xiàn)3種質(zhì)量評(píng)價(jià)指標(biāo)的最佳合成，使用文獻(xiàn)[13]中的學(xué)習(xí)方法來(lái)確定其評(píng)價(jià)因素：首先在訓(xùn)練集中對(duì)參數(shù)進(jìn)行初始設(shè)定，然后在一定范圍內(nèi)將參數(shù)進(jìn)行循環(huán)變化，直至結(jié)果盡可能與目標(biāo)結(jié)果相近，記錄下最終參數(shù)，最后用于實(shí)際情況中.由于評(píng)價(jià)因素λa、λs、λc的取值范圍為[0，1]，因此，初始設(shè)定λa=0，λs= 0，λc=1，步長(zhǎng)大小為0.02，對(duì)λa=0、λs=0進(jìn)行循環(huán)增加且同時(shí)滿足λc=1-λa-λs，監(jiān)測(cè)圖像誤差的計(jì)算結(jié)果，最終選擇最小圖像誤差來(lái)確定.隨機(jī)選取實(shí)驗(yàn)樣本中100個(gè)人的4幅側(cè)臉圖，當(dāng)影響因素取值為λa= 0.4，λs=0.4，λc=0.2時(shí)，篩選出來(lái)的人臉圖像和預(yù)期待合成輸入源圖像一致，因此根據(jù)上述因素值對(duì)其余樣本圖像進(jìn)行篩選可以得到合成效果好的側(cè)臉圖像.

圖7 篩選Qall的計(jì)算結(jié)果Fig.7 Calculation results of Qallvalue

3 人臉正則化

人臉正則化是基于側(cè)臉圖像的像素信息來(lái)實(shí)現(xiàn)正臉圖像的紋理填充，最終得到完整的正面圖像.首先，對(duì)ASM得到的人臉均值形狀和篩選后待合成的側(cè)臉圖像形狀分別進(jìn)行Delaunay三角剖分，其中人臉均值形狀是第2節(jié)中所述的訓(xùn)練集的人臉均值形狀其結(jié)果如圖8所示.

圖8 人臉圖像Delaunay三角剖分結(jié)果Fig.8 Delaunay triangulation results of facial images

然后，基于三角剖分分成若干三角形的集合，三角形內(nèi)部對(duì)應(yīng)點(diǎn)如圖9所示，可以看出，三角形的紋理映射關(guān)系在像素點(diǎn)上一一對(duì)應(yīng).

設(shè) p1，p2，p3的3個(gè)坐標(biāo)分別為（x1，y1），（x2，y2），（x3，y3），紋理映射關(guān)系為

圖9 三角形內(nèi)部對(duì)應(yīng)點(diǎn)Fig.9 Corresponding points inside triangle

式中：p1，p2，p3分別為側(cè)面人臉通過Delaunay三角剖分后其中一個(gè)三角形的頂點(diǎn)；p（x，y）為其三角形中的任意一點(diǎn).

三角形的每個(gè)像素點(diǎn)都對(duì)應(yīng)一組參數(shù)值（α，β，γ），而且在三角形內(nèi)部的點(diǎn)都符合前提：0≤α，β，γ≤1.由式（8）得到參數(shù)（α，β，γ），并利用該參數(shù)得到點(diǎn)p在正臉圖像的對(duì)應(yīng)三角形中的對(duì)應(yīng)點(diǎn)p′（x′，y′）：

本文在借鑒CDP項(xiàng)目分類標(biāo)準(zhǔn)的基礎(chǔ)上，參考環(huán)保部公布的 《上市公司環(huán)境信息披露指南》，并結(jié)合樣本公司碳信息披露的實(shí)際情況，建立了涵蓋戰(zhàn)略規(guī)劃、治理架構(gòu)、風(fēng)險(xiǎn)或機(jī)遇識(shí)別、碳排放核算四大類的上市公司碳信息披露評(píng)價(jià)體系。在碳信息披露評(píng)價(jià)體系的框架下，運(yùn)用Python軟件實(shí)現(xiàn)對(duì)樣本公司所披露文件的內(nèi)容爬取與文本分析，最后通過算法匯總企業(yè)碳信息披露所獲得分。碳信息披露評(píng)價(jià)體系見表1。

最終，通過上述紋理關(guān)系進(jìn)行插值來(lái)獲得正臉圖像，如圖10所示.

圖10 側(cè)面人臉正則化的結(jié)果圖Fig.10 Resulting figures of non-frontal face regularization

通過人臉的三角化，創(chuàng)建平均正面人臉和側(cè)面人臉之間紋理的對(duì)應(yīng)關(guān)系，由圖10可以看出，本文方法的人臉正則化結(jié)果真實(shí)逼近標(biāo)準(zhǔn)正面人臉.

4 實(shí)驗(yàn)結(jié)果與分析

本文實(shí)驗(yàn)是在FERET人臉數(shù)據(jù)的一個(gè)子集上進(jìn)行的，其中包括200個(gè)人，每個(gè)人有5幅姿態(tài)不同的圖像，分別為ba（+0°），bd（+25°），be（+15°），bf（-15°）和bg（-25°）.隨機(jī)抽取100人作為圖像訓(xùn)練集，用于ASM定位以及人臉均值形狀的確定，其余100人的圖像測(cè)試集用來(lái)定性和定量評(píng)估本文方法.

4.1 合成正臉圖像方法的比較

對(duì)于正則化后的正臉集，本文進(jìn)行加權(quán)平均合成正臉來(lái)評(píng)價(jià)篩選評(píng)估準(zhǔn)則.將本文方法合成的正臉圖像分別與對(duì)應(yīng)的標(biāo)準(zhǔn)正臉圖像、ASM合成的圖像[9]、SFVS合成的圖像[8]進(jìn)行比較，結(jié)果如圖11所示.

圖11 合成的正面人臉結(jié)果比較Fig.11 Comparison results of the synthetic frontal face

由圖11可以看出，在每組圖像中，SFVS算法合成的圖像與標(biāo)準(zhǔn)正臉有比較大的差異，而且在一定程度上改變了人臉的身份特征；ASM合成的圖像在細(xì)節(jié)特征上有著明顯的圖像信息缺失；本文合成的正臉圖像與標(biāo)準(zhǔn)正臉圖像更為接近.因此保留姿態(tài)較小的側(cè)臉圖像可以有效地降低姿態(tài)問題對(duì)合成的影響.

4.2 定量實(shí)驗(yàn)

為了進(jìn)一步評(píng)價(jià)合成效果，本文通過定量實(shí)驗(yàn)來(lái)評(píng)估該方法，運(yùn)算時(shí)間、圖像保真度和相似度3個(gè)方面對(duì)本文方法及其他合成方法性能進(jìn)行評(píng)價(jià)，采用均方差來(lái)描述圖像的保真程度，同時(shí)通過計(jì)算兩幅圖像的直方圖歸一化的相似系數(shù)來(lái)評(píng)價(jià)合成結(jié)果與標(biāo)準(zhǔn)正臉之間的相似度，結(jié)果如表2所示.

表2 合成圖像的定量評(píng)價(jià)Tab.2 Quantitative evaluation of synthetic images

由表2可以看出，本文方法與ASM的運(yùn)算時(shí)間接近，且本文方法的圖像保真度以及相似度皆優(yōu)于其他方法.

圖12所示為累計(jì)匹配分?jǐn)?shù)（cumulative match score，CMS）[14]形式呈現(xiàn)的識(shí)別結(jié)果.本文采用庫(kù)中100個(gè)不同人臉圖像，圖中橫坐標(biāo)為結(jié)果圖與標(biāo)準(zhǔn)圖之間的相似度等級(jí)，縱坐標(biāo)則用相應(yīng)等級(jí)的匹配圖像個(gè)數(shù)的累計(jì)百分比來(lái)評(píng)價(jià)人臉識(shí)別結(jié)果.曲線越高且上升速度越快，則人臉識(shí)別效果越好.

由圖12可以看出，本文方法的曲線上升速度最快且最早到達(dá)“1”，因此采用本文方法合成得到的正臉圖像可以大大提高人臉識(shí)別的精度.

圖12 合成正面人臉圖像在人臉識(shí)別中的表現(xiàn)Fig.12 Performance of synthetic frontal face images in face recognition

5 結(jié)束語(yǔ)

本文提出了一種基于側(cè)臉篩選評(píng)估準(zhǔn)則的非正面人臉圖像合成方法.該方法首先通過篩選的方式選出有利于合成正面人臉的源信息，從而有效減小在正面人臉合成下進(jìn)行扭曲變換的幅度，使合成圖像更加自然，逼近真實(shí).本文提出的篩選評(píng)估準(zhǔn)則，綜合了人臉?biāo)脚まD(zhuǎn)角度、臉部對(duì)稱性和正臉差異水平，從細(xì)節(jié)到整體全方位評(píng)價(jià)源信息的正面水平，有助于篩選出最接近正面人臉的信息，從而有效提升合成圖像的真實(shí)水平.

[1] 李月龍，封舉富.基于最小扭曲變換的正面人臉圖像合成[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2001，23（6）：1085-1090.

[2] 趙林，高新波，田春娜.正面人臉圖像合成方法綜述[J].中國(guó)圖象圖形學(xué)報(bào)，2013，18（1）：1-10.

[3] BLANZ V，VETER T.Face recognition based on fitting a 3D morphable model[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2003，25（9）：1063-1074.

[4]RAMNATH K，KOTERBA S，XIAO J.Multi-view AAM fitting and construction[J].International Journal of Computer Vision，2008，76（2）：183-204.

[5] LIEBELT J，XIAO J，YANG J.Robust AAM fitting by fusion of images and disparity data[C]//2006 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.New York：IEEE Press，2006：2483-2490.

[6] CHAI X，SHAN S，CHEN X.Locally linear regression for pose-invariant face recognition[J].IEEE Transactions on Image Processing，2007，16（7）：1716-1725.

[7]KIM M，ZHANG Z，TORRE F.Subspace regression：Predicting a subspace from one sample[EB/OL].[2012-05-02].http：//www.humansensing.cs.cmu.edu/projects/mikim.html.

[8]GONZáLEZ-JIMéNEZ D，ALBA-CASTRO J L.Symmetryaided frontal view synthesis for pose-robust face recognition[C]// IEEE International Conference on Acoustics，Speech and Signal Processing（ICASSP）.Hawaii：IEEE Press，2007：237-240.

[9] 杜志軍，王陽(yáng)生.利用主動(dòng)外觀模型合成動(dòng)態(tài)人臉表情[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2009，21（11）：1590-1594.

[10]COOTES T，TAYLOR C，COOPER D.Active shape modelstheir training and application[J].Computer Vision Image Understanding，1995，61（1）：38-59.

[11]ZOLTOWSKI M D，STAVRINIDES D.Sensor array signal processing via a procrustes rotations based eigenanalysis of the ESPRIT data pencil[J].IEEE Transactions on Acoustics，Speech and Signal Processing，1989，37（6）：832-861.

[12]王瑋，黃非非.使用多尺度LBP特征描述與識(shí)別人臉[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2009，21（11）：1590-1594.

[13]JAIN A，NANDAKUMAR K，ROSS A.Score normalization in multimodal biometric systems[J].Pattern Recognition，2005，38（12）：2270-2285.

[14]PHILLIPS P J，MOON H，RIZVI S.The FERET evaluation methodology for face-recognition algorithms[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22（10）：1090-1104.

Non-frontal face image synthesis method based on source screening criteria

XIAO Zhi-tao1，YI Jing1，LI Yue-long2，ZHANG Fang1，GENG Lei1，WU Jun1
（1.School of Electronics and Information Engineering，Tianjin Polytechnic University，Tianjin 300387，China；2.School of Computer Science and Software Engineering，Tianjin Polytechnic University，Tianjin 300387，China）

To solve the problem of information missing and deformation of the traditional synthesized frontal face image，a non-frontal face image synthesis method based on source screening criteria is proposed.The source screening criteria combines the facial symmetry，the frontal face image differences level and the horizontal rotating angle. The horizontal rotating angle uses the details of the eye information to assess the level of the front face.The leftto-right and vertical direction is separately assessed according to the facial symmetry and the frontal face image differences level.Combining these three aspects can availably exclude interference of low-quality non-frontal face image in synthesizing the frontal face.Firstly，marking points are detected and tracked.Then，multi-view face images of same person are screened to obtain the high-quality，low-interference non-frontal face images as the best synthetic input source images.Finally，frontal face images are synthesized by calculated interpolation. Experimental findings on the FERET databases demonstrate that the source screening criteria can availably screen out low-quality，strong-interference non-frontal face images and reduce the impact of pose questions on the precision of face recognition algorithm effectively.The synthesized frontal view face can approximate the ground truth frontal view face.

non-frontal face image synthesis；source screening criteria；face recognition

TP391

A

1671－024X（2015）02－0069－06

2014-12-15

國(guó)家自然科學(xué)基金資助項(xiàng)目（61302127，11326198）；天津市高等學(xué)?？茖W(xué)發(fā)展基金計(jì)劃項(xiàng)目（20120805）

肖志濤（1971—），男，教授，博士生導(dǎo)師，研究方向?yàn)閳D像處理與模式識(shí)別.E-mail：xiaozhitao@tjpu.edu.cn.