基于流形結(jié)構(gòu)的人臉民族特征研究

王存睿 張慶靈 段曉東 王元剛 李澤東

人臉作為重要的視覺信息在人與人交互中傳遞大量信息.很多系統(tǒng)已經(jīng)能夠準確的識別人臉的年齡、表情和性別等信息[1?5],人臉的人種、民族在人類學和計算視覺具有重要的實用價值.隨著日益頻繁的國際和地區(qū)往來,在安保、公共安全、犯罪識別、海關簽證、邊境口岸都具有廣泛的應用價值[6?8].同時,相關研究會促進各種人臉分析識別系統(tǒng)對于不同人種和民族的技術公平性,使得系統(tǒng)具有更好的適用性,避免出現(xiàn)一些系統(tǒng)只適于部分族群而產(chǎn)生的技術“歧視”[8].如何利用計算機技術深入分析和挖掘人臉的群體特征及其規(guī)律,對推進和深化人臉識別技術和人類學研究也同樣具有重要意義.

人種是指人類學用膚色、頭發(fā)、身體結(jié)構(gòu)等差異加以區(qū)分的人群.民族是指在特定地理區(qū)域和遺傳因素形成的具有特定文化和語言的人群共同體.人臉的這些群體特征是人臉視覺認知中先于年齡、性別和表情識別的最重要的人臉信息之一.神經(jīng)科學研究表明,人臉的人種特征是人臉最先識別的特征.如圖1所示,在80～120ms首先識別人臉的人種屬性,接下來在150ms識別人臉年齡和性別等特征進行認知[9].體質(zhì)人類學也對人臉的人種和民族特征進行了大量研究,采集大量不同人種和民族數(shù)據(jù)通過人體測量學對人臉幾何特征進行統(tǒng)計分析[10?11].體質(zhì)人類學對人臉長度、角度等進行測量構(gòu)建相應的指標體系,這些指標體系支撐了體質(zhì)人類學的發(fā)展.隨著機器視覺和人臉分析技術不斷發(fā)展,進一步完善體質(zhì)人類學對提高民族特征指標體系具有有效性,通過結(jié)合數(shù)據(jù)構(gòu)建科學的指標體系對體質(zhì)人類學研究具有重要科學意義.Bledsoe[12]最早利用面部幾何特征之間的距離和比率,分析了白種人的面部特征;Kanade[13]對眼角、嘴巴和下巴等面部特征之間幾何關系,在一個自建的20個白種人數(shù)據(jù)庫上進行了分析;Brunelli等[14]通過47個樣本的白人數(shù)據(jù)庫,研究了人臉部件幾何結(jié)構(gòu)(例如鼻子長度、嘴巴寬度和下巴形狀等)之間的匹配關系,研究表明,通過人臉的幾何特征可以有效地判別和分析人臉的民族特征.此外,人臉的族群特征由于相互融合,同一人臉可以包含多個人種或民族的特征,這也給人臉的族群特征分析帶來了一定的困難.同一人種的不同民族人臉面部特征研究與不同人種的面部特征研究不同,不同人種人臉膚色和體貌特征之間差異較大,同一人種包含多個民族,同一民族人臉差異要小于人種之間的差異[15].1991年Lindsay等發(fā)現(xiàn)對同人種面孔的記憶力比對不同人種的要好[16],這主要由于日常接觸同族人群較多,因此人們對本民族人臉認知要快于異族人群.但目前機器視覺領域中,人臉民族特征相關研究主要集中于不同人種的人臉特征差異研究,而對于同人種內(nèi)的不同民族研究較少.中國屬于亞裔黃種人,人口占全世界20%,是一個統(tǒng)一的多民族國家,由于受地域、生活方式和遺傳等因素的影響形成了56個民族,并分布于我國橫跨的5個時區(qū)之中[17],如何更好地利用計算機技術科學揭示和研究中國不同民族面部具有重要的科學意義.

圖1 人臉識別過程中的屬性識別順序[6]Fig.1 The cognitive order of face recognition[6]

流形學習(Manifoldlearning)可從高維采樣的數(shù)據(jù)空間中恢復低維的流形結(jié)構(gòu),找到高維空間中的低維流形,并求出相關映射.流形分析不僅可以實現(xiàn)高維數(shù)據(jù)降維,還可以可視化分析數(shù)據(jù)本質(zhì)和內(nèi)在規(guī)律[18].2010年Seung和Lee在Science發(fā)表的“認知的流形模式”探討了人類視覺感知機制,證實了人類視覺神經(jīng)系統(tǒng)可以捕獲這種非線性流形結(jié)構(gòu)的能力,提出視覺感知的流形假說[19].當識別人臉圖像由于光照變化,表情、年齡、姿態(tài)和視覺方向產(chǎn)生變化,人類視覺的高維空間中會產(chǎn)生一個由光照、表情、年齡和姿態(tài)等變量控制的低維流形;但對于人臉民族特征是否在不同個體存在由族群特征控制的低維流形還有待進行研究.2015年文獻[20]指出,人臉族群或民族特征的流形相關工作還未展開.而對于中國不同民族的人臉特征,本文作者[21?24]早期建立了中國多民族人臉數(shù)據(jù)庫,并利用人臉圖像特征對部分民族的人臉特征進行了前期研究,研究表明中國的不同民族面部特征間也存在多樣性.人臉民族特征的流形結(jié)構(gòu)研究需要建立多民族數(shù)據(jù)庫.本文將通過構(gòu)建多民族人臉數(shù)據(jù)對中國人臉面部民族特征的內(nèi)在規(guī)律進行研究,對比體質(zhì)人類學人臉面部特征的測量指標,進而研究人臉民族特征.

1 相關工作

流形學習分析人臉數(shù)據(jù)在高維空間中的低維流形是人臉識別和分析研究的熱點之一.流形學習對數(shù)據(jù)進行結(jié)構(gòu)學習,產(chǎn)生可靠的嵌入投影,將數(shù)據(jù)投射到低維的子空間表示,去除冗余信息,找到更為緊湊的本質(zhì)特征表示方法.傳統(tǒng)的流形線性子空間算法有主成分分析(Principal component analysis,PCA)[25]、線性判別分析(Linear discriminant analysis,LDA)[26]、獨立成分分析(Independent component correlation algorithm,ICA)[27]、二維主成分分析(Two-dimensional principal component analysis,2DPCA)[28]、二維線性判別分析(Two-dimensional linear discriminant analysis, 2DLDA)[29]等.Tenenbaum等提出兩種流形學習算法,局部線性嵌入(Locally linear embedding, LLE)和等距映射 (Isometric feature mapping, Isomap)[30],針對LLE方法矩陣分解的不穩(wěn)定和對噪聲敏感等缺點,拉普拉斯特征映射(Laplacian eigenmaps,LE)[31]理論于2003年被Belkin團隊提出,該方法是在譜分析理論的基礎上發(fā)展起來的.由于LLE和LE等非線性降維方法沒有顯式地給出映射關系,只能得到訓練樣本的低維嵌入,難以獲得新樣本點的低維投影,于是He等給出了局部保持投影(Locality preserving projection,LPP)[32?33]的概念,它是LE的線性化推廣.因為LLE和LE具有一樣的不足,He團隊又針對LLE進行改進,這才有了近鄰保持嵌入(Neighborhood preserving embedding,NPE)[34].詹德川等[35]在Isomap的基礎上引入了集成學習方法,利用坐標相關性來度量可視化效果.何力等[36]提出了從放大因子和延伸方向兩個角度出發(fā)來討論維數(shù)約簡過程中樣本點改變前與新形成的對應關系.曾憲華等[37]2007年提出了基于人腦增殖學習原理的動態(tài)增殖流行學習算法. Chen等[38]在LPP的基礎上進行二維推廣,提出一種二維局部保持投影(Two-dimensional neighborhood preserving embedding,2DLPP)算法,直接在二維矩陣上從行方向執(zhí)行維數(shù)約簡操作.2011年,張大明等[39]把NPE拓展到二維,即二維近鄰保持嵌入(Two-dimensional neighborhood preserving embedding,2DNPE)算法,解決了NPE可能遭遇奇異值的問題.

流形學習不僅可作為人臉識別的特征分析方法,還被用于人臉年齡和表情的語義分布結(jié)構(gòu)內(nèi)在規(guī)律研究[40?43],在人臉的年齡流形研究中,Guo等在2008年對人臉年齡流形結(jié)構(gòu)進行研究[43],實驗表明不同年齡呈現(xiàn)流形結(jié)構(gòu),如圖2(a)所示,在0～45歲人臉呈現(xiàn)均勻的流形分布,60歲以上樣本流形結(jié)構(gòu)分布較為混雜;在人臉的面部表情流形研究中,文獻[42]在Frey人臉表情庫[44]上執(zhí)行Isomap,中性表情、高興的正表情和不高興的負表情依次在個體流形呈現(xiàn)如圖2(b)的低維空間結(jié)構(gòu)不同個體的人臉表情圖像會形成不同的表情流形.續(xù)爽等在圖嵌入的框架下分析人臉表情子空間,將分散于高維圖像空間中的6個個體表情流形都統(tǒng)一到低維子空間內(nèi)的一個流形上,如圖2(c)所示,證實了來自不同個體的表情數(shù)據(jù)按表情的語義流形分布[45].

中國人類學學者已經(jīng)通過人體測量學對我國不同民族進行了面部特征研究,進而分析各民族及族群的起源、進化和融合過程[46?47].隨著數(shù)據(jù)采集設備不斷發(fā)展,以人臉的二維和三維形狀分析為基礎的形態(tài)測量學或人體測量學[48]及幾何形態(tài)測量學[49]應運而生,一些難以量化的非線性測量指標,例如不規(guī)則形狀的角度、曲度、面積都可以通過相關采集設備進行計算獲得相應數(shù)據(jù).利用人臉特征點定位可以準確獲得人臉各種幾何特征數(shù)據(jù),基于人臉圖像和三維模型的人臉幾何形態(tài)測量學成為分析人臉的重要途徑之一[50].本文構(gòu)建了中國分布不同區(qū)域的三個民族的人臉數(shù)據(jù)集,在此基礎上,結(jié)合人類學研究文獻對廣西壯族、吉林朝鮮族和新疆維吾爾族體質(zhì)的面部特征研究總結(jié)出20個常用人臉面部幾何特征,如圖3所示.通過這20個人臉幾何特征分析不同民族的低維流形空間結(jié)構(gòu).這20個人臉幾何特征包括面寬(x1)、下頜寬(x2)、形態(tài)面高(x3)、額頭高(x4)、容貌面高(x5)、鼻寬(x6)、嘴寬(x7)、兩眼外寬(x8)、眼裂寬(x9)、鼻高(x10)、兩眼內(nèi)寬(x11)、下臉高(x12)、眉周長(x13)、眼周長(x14)、鼻周長(x15)、嘴周長(x16)眉面積(x17)、眼面積(x18)、鼻面積(x19)、嘴面積(x20).

圖3 人類學采用的人臉長度特征Fig.3 Facial length attribute in anthropology

人臉特征數(shù)據(jù)集表示為{x1,x2,···,xn},每一張人臉圖像的幾何特征數(shù)據(jù)可以表示為xi∈RD,D代表每個圖像的特征數(shù)量.假設{x1,x2,···,xn}實際是一種d維的流形結(jié)構(gòu)M嵌入到RD空間中,其中(d?D),那么,就有可能找到一組新的低維數(shù)據(jù){y1,y2,···,yn}來表示這組人臉幾何特征數(shù)據(jù)集,其中yi∈RD.如圖4所示,其中深色代表朝鮮族,中淺色代表維吾爾族,淺色代表壯族.本文將人臉數(shù)據(jù)庫中的3個民族按性別分為2組,圖4(a)為男性組,圖4(b)為女性組,分散于Laplacian[51]和LPP[52]流形結(jié)構(gòu).

如圖4所示,在體質(zhì)人類學指標體系下,3個民族數(shù)據(jù)集Laplacian拉普拉斯和LPP流形空間數(shù)據(jù)分布混雜在一起,不同民族數(shù)據(jù)樣本沒有形成各自民族語義的子流形結(jié)構(gòu).主要由于體質(zhì)人類學測量指標在主要人臉的器官及各個器官相對位置定義的幾何特征維度較低,沒有有效刻畫民族的人臉幾何特征,這些指標特征沒有能夠描述不同民族群體人臉特征差異性.因此未形成相應的民族語義子流形.課題組前期在人類學指標體系下對我國幾個少數(shù)民族進行研究,利用AFS概念語義化在人類學指標體系下抽取人臉語義特征進行分析研究,也發(fā)現(xiàn)體質(zhì)人類學指標對于民族屬性識別率較低.因此本文主要探索以下兩個問題:1)中國各民族人臉特征是否存在按民族語義分布的子流形結(jié)構(gòu).2)人臉中的哪些幾何特征能夠刻畫人臉的民族屬性.

本文將利用中國3個民族人臉數(shù)據(jù)特征研究不同民族語義流形結(jié)構(gòu).

2 多民族人臉數(shù)據(jù)集

本文為研究中國各民族的人臉特征,根據(jù)區(qū)域分布選取3個民族建立數(shù)據(jù)集.如表1所示,中國百萬以上人口的民族及其地理位置,選取位于東北、西北和南部的3個民族進行分析,主要由于位于較遠不同地域的民族區(qū)分度較大,同一區(qū)域內(nèi)的民族可能會由于人口流動造成數(shù)據(jù)區(qū)分度較小.

表1 3個民族人口數(shù)量和比例[53]Table 1 The demographical comparison of the three ethnic groups[53]

本文采集了我國分布較遠的3個民族,位于廣西的壯族、新疆的維吾爾族和吉林的朝鮮族作為數(shù)據(jù)集[54].

圖4 壯族(淺色)、維吾爾族(中淺色)、朝鮮族(深色)男女流形結(jié)構(gòu)Fig.4 Male and female manifold structure of three ethnies(Zhuang,Uygur,Korean)

每個民族采集1http://zs.dlnu.edu.cn/minzu300face.rar00人,其中男、女各50人,從高校各民族本科生采集,采集對象年齡集中于18～22歲,可以降低年齡因素對民族特征的影響.

為了準確采集中國多民族人臉數(shù)據(jù)庫.實驗室采用如圖5所示的籃箱系統(tǒng)和多機位相機對人臉進行采集.圖6為采集的3個民族人臉數(shù)據(jù)部分樣本[54].本文公開采集的具有民族標記和人臉特征點的數(shù)據(jù)集為其他領域相關研究提供數(shù)據(jù)1http://zs.dlnu.edu.cn/minzu300face.rar.

圖5 人臉數(shù)據(jù)采集環(huán)境Fig.5 The environment and setup for facial image collection

3 人臉特征點定位及相似度計算

人臉幾何形態(tài)特征作為體質(zhì)人類學分析民族特征的測量體系,主要研究基礎是基于顱面的測量.其他指標,例如膚色紋理和顏色等易于受外界環(huán)境變化影響.此外,基于圖像的人臉民族幾何特征與人體測量學既有聯(lián)系又有區(qū)別.人類學建立于對于顱面幾何特征精確測量,而基于圖像的人臉的特征點之間的像素點距離進行計算,不是實測的幾何特征,需要進行歸一化,而角度和比例特征不隨人臉圖像大小變化影響,具有較好穩(wěn)定性.要測量長度、角度或者比例特征依賴于對人臉重要特征點的精確定位算法.

圖6 三個民族正面人臉數(shù)據(jù)集Fig.6 The samples of facial images from three ethnics

本文采用Stasm算法對人臉進行標注[55].主要由于Stasm標注特征點相對較少,這樣生成的其他幾何特征相對規(guī)模較小.如圖7所示,共77個特征點以及特征點標定的位置.

圖7 本文采用人臉特征點及定位Fig.7 Facial landmark detection in this paper

4 人臉高維幾何特征篩選

人臉包含高維的幾何特征.人臉特征維度圖示如圖8所示.一張480像素×640像素的人臉包含像素特征30.72萬個,但由77個特征點會生成2926個長度特征、21萬余個角度特征、410萬個比例特征和組成.比例特征遠遠高于人臉的像素特征.

圖8 人臉特征維度示意圖Fig.8 Feature dimension compansion of common facial attributes

設人臉特征點集合為F=[l1,l2,···,ln]T,N=77,其中長度特征為d(li,lj)=‖li?lj‖2,角度特征為

比例指數(shù)為

其中,?li,lj,la,lb∈{l1,l2,···,ln}.

由于人臉結(jié)構(gòu)基本上為左右對稱,因此幾何特征存在大量冗余特征.本文采用LE和LLE流形算法,對未篩選冗余特征的2926維的長度數(shù)據(jù)集進行流形分析,如圖9所示.

從圖9可以看出,直接采用人臉全部長度特征進行流形分析,不同民族樣本流形分布混雜在一起,沒有形成各自民族的子流形結(jié)構(gòu),主要由于人臉的相對左右對稱存在大量冗余特征,因此需要從高維的特征中篩選掉冗余特征.考慮到特征之間的相關性和冗余性,本文利用基于空間搜索的最大相關最小冗余(Minimal redundancy maximal relevance, mRMR)算法[56?57]對幾何特征進行篩選.mRMR算法使用互信息衡量特征的相關性與冗余度,并使用信息差和信息熵兩個代價函數(shù)尋找特征子集,其基本思想是基于互信息的最大統(tǒng)計依賴準則來獲得較好的特征.mRMR算法中最大相關和最小冗余定義為

其中,F為人臉幾何特征,c為樣本民族屬性類別,I(fr,c)表示特征fr與類別c之間的互信息,I(fr,f0)表示特征fr與特征f0之間的相互信息.

給定兩個隨機變量x和y,設它們的概率密度分別為p(x),p(y)和p(x,y),則它們之間的互信息定義為

mRMR算法利用下式作為評價函數(shù)進行特征子集的選擇

由于人臉幾何特征數(shù)據(jù)維度較高,傳統(tǒng)數(shù)據(jù)庫只適用于特征維度較低的數(shù)據(jù)集.本文采用mongoDB數(shù)據(jù)庫,將維度較高的角度與比例特征數(shù)據(jù)進行存儲.實驗中,為了提高算法效率將219450個角度特征切分22個獨立數(shù)據(jù)集分別利用mRMR進行篩選,每個數(shù)據(jù)集包含角度特征9975個;將 4279275個比例特征分為455個獨立的數(shù)據(jù)集,每個數(shù)據(jù)集包含比例特征9405個,如表2所示篩選的幾何特征.

圖9 高維人臉長度特征流形分布Fig.9 Facial face length feature manifold distribution

表2 篩選的幾何特征Table 2 The selected geometric features

長度特征在mRMR特征權重值score≥0條件下,篩選出195個距離特征;在角度數(shù)據(jù)集分割為22個獨立的子數(shù)據(jù)集,從每個子數(shù)據(jù)集特征權重score＞0.23的特征,共篩選出1535個角度特征,合并1535個角度特征形成新數(shù)據(jù)集繼續(xù)進行篩選, mRMR權重score≥0條件下,篩選出250個角度特征;在455個的比例子數(shù)據(jù)集,本文利用mRMR分別對每個子數(shù)據(jù)集根據(jù)權重score≥0.23的標準共篩選出7124個比例特征,再利用篩選出的7124個比例特征形成新數(shù)據(jù)集繼續(xù)進行計算,最終在權重score≥0條件下,篩選出500個比例特征.

根據(jù)圖10中的多民族人臉流行分析流程,本文從mRMR對人臉特征篩選特征中構(gòu)建3個民族人臉長度數(shù)據(jù)集、角度數(shù)據(jù)集和比例數(shù)據(jù)集,進而利用流形分析方法對不同數(shù)據(jù)集的樣本空間結(jié)構(gòu)進行可視化,并驗證在該特征指標下是否不同民族人臉在空間中存在民族語義的子流形結(jié)構(gòu),進而用分類器驗證篩選后特征的有效性.

5 不同幾何特征下的人臉流形分析

本節(jié)對長度、角度及比例特征類別下的5個不同特征集合的數(shù)據(jù)集進行流形分析,觀察和研究不同特征指標體系下的人臉民族的樣本空間流形結(jié)構(gòu).

圖10 多民族人臉流形分析流程Fig.10 The schema of multi-ethnic facialmanifold analysis

5.1 多民族人臉長度特征流形分析

人臉幾何長度一直是體質(zhì)人類學分析民族和族群的重要指標,77個特征點包含2926個長度特征.圖4的實驗數(shù)據(jù)表明,在體質(zhì)人類學的人臉幾何測量指標中,不同族群樣本集中在低維空間子流形結(jié)構(gòu).由于其中含有冗余的長度特征,因此本文利用mRMR篩選出195個特征長度,構(gòu)建包含3個民族人臉數(shù)據(jù)樣本的數(shù)據(jù)集.

從2926個特征中篩選出來的195個幾何長度特征,按權重進行排序.本文將每個長度的特征權重根據(jù)Score分為5部分:[0.15,0.452),[0.10,0.15), [0.05,0.10),[0.01,0.05),(0,0.05),將前4個不同權重范圍的長度特征區(qū)域在表3進行顯示,并與人類學的指標進行對比,其中字體加粗的鼻寬、鼻高、唇厚、口裂寬存在于篩選出的195個長度特征之中.

為了更為直觀分析影響這些通過mRMR篩選的人臉幾何長度的語義特征,本文將4個權重范圍特征在人臉進行可視化.一類權重用19個距離特征點表示,二類權重用37個距離特征點表示,三類權重用63個距離特征點表示,四類權重用65個距離特征點表示,如圖11所示.通過4個不同權重區(qū)間的長度可以觀察到,如圖11(a)和圖11(b)所示,眉毛、眼睛和鼻子組成的T形區(qū)域的長度特征與人臉的民族特征語義相關性較強.特征描述從T形區(qū)域延伸到嘴部區(qū)域.主要表現(xiàn)在上唇和下唇的長寬相關性較強,這與人類學常用指標一致.

表3 mRMR篩選的4個權重范圍的長度特征Table 3 The selected distance-based features by mRMR

圖11 不同權重的人臉長度幾何特征Fig.11 The demonstration of 4 types of distance-based features

從圖11和表3可以看出,1)篩選出的權重較高,人臉長度特征與人體測量學對民族研究指標略有不同.其中人體測量學只有4個指標與mRMR算法得到的長度指標相同,其余指標沒有包含在195個篩選特征集合中;2)與民族相關的人臉特征主要集中于眉眼區(qū)域和鼻翼區(qū)域,以及眉、眼睛和鼻部三者之間的距離長度;3)臉型與民族特征相關性較差,除臉型周圍的特征點集合中除臉部標記耳部特征點被作為與眉部被選取外,表明臉型的顴骨周圍特征點及長度都沒有被選取;4)鼻頭部的精細長度與民族特征相關性較強,在權重3的范圍內(nèi),鼻部區(qū)域的各種長度特征被更為精細的刻畫,而這鼻頭部的各種幾何特征度量一致被研究忽視;5)除傳統(tǒng)人類學的鼻寬和額高,在權重4的范圍內(nèi),嘴部區(qū)域與民族特征相關性較強,主要表現(xiàn)在上唇和下唇的長寬相關性較強,這與人類學常用指標一致.

通過mRMR從2926個特征篩選195個長度特征,本文對篩選后的數(shù)據(jù)集進行流形學習.如圖12所示,采用LE拉普拉斯和LLE對數(shù)據(jù)進行流形分布可視化.其中深色代表朝鮮族,中淺色代表維吾爾族,淺色代表壯族,都能在空間內(nèi)形成與民族語義相關的子流形結(jié)構(gòu)分布.

按民族語義分布的子流形結(jié)構(gòu)表明,3個民族人臉數(shù)據(jù)集樣本在長度篩選后的特征指標中能夠形成各自相對獨立的子流形分布結(jié)構(gòu).也驗證了篩選后長度特征的有效性,這些特征長度可以一定程度刻畫不同民族的差異性.

5.2 多民族人臉角度特征流形分析

人臉角度特征點也是人臉幾何特征之一.例如內(nèi)外眼角角度表示眼睛的形狀,耳際點與下顎角度可以一定程度表示人臉長度比例等.人臉的角度特征不僅可以表示人臉單個部件器官內(nèi)部的角度,還可以表達人臉不同器官部件之間關系.在人臉77個特征點共包含219450個角度特征.采用mRMR篩選多民族人臉數(shù)據(jù)集的角度間的相關性和冗余性,并構(gòu)建特征數(shù)據(jù)集進行流形分析.本文利用篩選后的角度特征通過角點和特征區(qū)域?qū)?個權重角度的角點及其相關點集進行描述,如表4所示,并對其中特征區(qū)域進行說明.

為進一步刻畫不同權重角度特征,找出能區(qū)分人臉民族屬性的角度特征,本文對不同權重角度特征進行可視化,如圖13所示.從這些角度特征中選取出250個權重較高的角度特征,每個角度特征可用上述距離特征(邊)之間的夾角表示,并根據(jù)權重大小分為4個不同權重范圍的角度特征.三角著色的“熱區(qū)”是該區(qū)域角度都是權重較高的角度特征.

圖13和表4表明,權重較高與民族特征相關的人臉角度特征主要是眉、眼、鼻三者之間的布局關系,人臉局部角度特征集中于眼睛開裂角度和鼻翼角度.分析結(jié)論與人臉的長度特征計算出的民族特征顯著區(qū)域基本一致.

圖12 篩選長度特征數(shù)據(jù)集的流形結(jié)構(gòu)Fig.12 The illustration of ethnic manifold structure based on selected features

圖13 不同權重的人臉角度幾何特征Fig.13 The demonstration of 4 types of angular features

表4 mRMR篩選的4個權重范圍的角度特征Table 4 The selected angle features by mRMR

本文采用傳統(tǒng)的PCA和LDA對角度進行流形分析.PCA是1986年Jolliあe提出的線性降維技術.線性判別式分析LDA,也叫做Fisher線性判別. FLD由Belhumeur于1996年引入人工智能領域,其基本思想是將高維的樣本投影到最佳鑒別矢量空間,從而可以達到抽取分類信息、壓縮特征空間維數(shù)的效果.

采用PCA和LDA對多民族人臉角度分析結(jié)果如圖14所示,角度的3個主分量張成到3維空間進行顯示.3個民族的人臉數(shù)據(jù)在篩選后的民族語義描述下分布清晰,各個民族人臉角度主分量形成了按民族語義的流形結(jié)構(gòu).其中也可以發(fā)現(xiàn)不同民族之間也存在模糊性的樣本,這也表明人臉的民族屬性具有一定的模糊隸屬關系.

5.3 多民族人臉幾何指數(shù)特征(比例特征)分析

人類學采用指數(shù)特征對人臉進行描述.人體測量中的指數(shù)是兩種測量絕對值之間的百分比關系.由于指數(shù)反映的是人體形態(tài)上的某種比例關系,與絕對值特征相比,能夠較好排除因個體差異帶來的比較誤差,因此,在人類學群體間的比較研究中具有更為重要的意義.不同民族的各種人臉指數(shù)特征同各種絕對測量一樣,也存在著相當大的變異范圍.人類學家根據(jù)指數(shù)的變異范圍,將指數(shù)區(qū)分為若干等級進行研究比較[58?59].

圖14 角度主分量的數(shù)據(jù)流形分布Fig.14 The principal component distribution of angular features

體質(zhì)人類學關于人臉研究定義了18個比例指數(shù)特征,其中15個在正面人臉,其他3個在顱側(cè)面.正面15個指數(shù)特征如表5所示.

表5 體質(zhì)人類學定義的15個正臉指數(shù)Table 5 The 15 Physical anthropological de fi nition of 15 frontal face index

本文首先利用這15個體質(zhì)人類學定義的指數(shù)比例特征構(gòu)建數(shù)據(jù)集,驗證這些指標能否表達不同民族的人臉差異,因此通過Laplacian和Isomap對數(shù)據(jù)進行流形分析,流形分布如圖15所示.

圖15表明,體質(zhì)人類學比例指數(shù)的流形分布按各民族語義形成了一定程度子流形結(jié)構(gòu),例如女性的Laplacian流形分布中的深色朝鮮族和淺色的壯族形成了較為完整的流形結(jié)構(gòu),而男性的維吾爾和壯族較難區(qū)分.在Isomap流形結(jié)構(gòu)中,男性和女性的流形分布形成了類簇,但是深色朝鮮族與中淺色維吾爾族數(shù)據(jù)混雜在一起,沒有形成明顯邊界的類簇.需要指出,人體測量學定義了15個正臉指數(shù)特征,而一張包含77個特征點的人臉共包括4279275個指數(shù)特征.

本文采用mRMR對人臉比例特征進行權重分析,從427萬多個比例特征中找出能夠區(qū)分民族屬性的比例特征.因為數(shù)據(jù)維度較高,將數(shù)據(jù)高維指數(shù)特征按維度分為455個獨立的子數(shù)據(jù)集,利用mRMR對每個子數(shù)據(jù)集根據(jù)score≥0.23的標準共篩選出7124個比例特征,再利用篩選出的7124個比例特征形成新數(shù)據(jù)集合并進行計算,最終在權重score≥0條件下,篩選出500個比例特征.

如圖16所示,根據(jù)權重大小將部分權重較高的比例特征分為4個不同權重范圍的比例特征刻畫在人臉上.每個圖的同一顏色代表一對長度組成的比例指數(shù)特征.

從圖16可以看出,眼裂寬度、眉眼距離、鼻翼長度、鼻翼與眼內(nèi)角距離以及鼻翼與眉毛距離等在每類權重特征中都出現(xiàn),額寬、眼睛到嘴部距離出現(xiàn)頻率也較高,說明這些特征對區(qū)分民族有重要作用.為提供詳細的人臉指數(shù)特征說明,本文給出了權重較高的15個指數(shù)特征,如表6所示.

本文利用篩選的500個指數(shù)特征構(gòu)建數(shù)據(jù)集進行流形分析.采用PCA、LDA、LE和LPP方法比例進行維數(shù)約減流形分析,如圖17所示.可視的三維流形空間中3個民族的人臉比例數(shù)據(jù)分布清晰,各個民族的比例特征同樣可以形成各自的聚類簇.采用拉普拉斯和LPP方法對數(shù)據(jù)進行流形分布可視化后,呈現(xiàn)了與民族語義相關的子流形結(jié)構(gòu)分布,其中深色代表朝鮮族,中淺色代表維吾爾族,淺色代表壯族.

5.4 多民族人臉幾何混合特征流形分析

人臉包含長度、角度、指數(shù)(比例)特征,這些特征都可以形成各自對民族幾何特征語義描述.為探究三類特征中哪一類特征更重要,本文將三類特征混合形成數(shù)據(jù)集進行分析.

圖15 壯族(淺色)、維吾爾族(中淺色)、朝鮮族(深色)男女流形結(jié)構(gòu)Fig.15 The male and female manifold structure of the Zhuang(light),Uygur(middle light)and Korean(dark)

圖16 不同權重的人臉比例特征Fig.16 The demonstration of types of ratio-features

將250個長度特征、500個角度特征和500個人臉比例特征進行混合,利用mRMR篩選了51個score＞0的特征.其中長度、角度和比例特征的占比分別為0%,14.6%,85.4%.總結(jié)了區(qū)分民族特征的重要指標51個,如表7所示.給出了類型(角度或指數(shù)比例)、權重值及其詳細的人臉特征點計算公式.

圖17 比例特征在低維空間分布圖Fig.17 The distribution of ratio-features in low dimensional space

表6 不同權重的比例特征Table 6 The index features with diあerent weight

從表7可以看出,1)人臉長度特征對于民族特征影響較小,這與我們的認知相符.例如,各民族未成年的人臉與成年人臉雖然長度特征相差較大,但人可以很快識別其族群,可見人臉的長度特征對于人臉的民族特征影響較小;2)指數(shù)(比例)特征占比遠大于角度特征,數(shù)量比為5.8倍.本文對表7中的角度和比例特征中的頂點和邊按頻度進行統(tǒng)計,并標記其在人臉的區(qū)域位置,得到如表8所示邊和點的支持度.

從表8可以看出,最為頻繁出現(xiàn)的是眼裂和鼻翼相關信息,如圖18所示.其中鼻部和眼部特征點占比64%,加上眉部占比超過85%.說明在中國三個民族數(shù)據(jù)樣本中,區(qū)分度較大區(qū)位為鼻部和眼部信息,這些部位反映了更多的民族特征信息.

由于混合特征中比例特征占比較高,本文得出如圖19所示的混合特征下的流形結(jié)構(gòu),可見其分布與指數(shù)特征數(shù)據(jù)集基本一致,但更為清晰.這個研究表明人臉比例屬性是描述人臉民族特征的重要指標,長度和角度對于人臉民族的特征語義表述權重較小,但融入一些比例無法描述的角度特征可以讓人臉民族刻畫的更為準確.

表7 長度、角度篩選出的51個人臉幾何特征Table 7 The selected 51 geometric features from distance-based and angular attributes

5.5 實驗分析

采用分類器對篩選的數(shù)據(jù)集進行分析,主要利用不同分類器通過對人臉的族群判別的各種分類指標來驗證篩選出的不同人臉幾何特征的有效性.將采集到的維吾爾族、壯族和朝鮮族的人臉圖像,經(jīng)過圖像預處理、特征點定位、幾何特征計算、特征選擇等步驟,最終建立傳統(tǒng)20個長度特征(A數(shù)據(jù)集),篩選的195個幾何長度特征(B數(shù)據(jù)集)、250個幾何角度特征(C數(shù)據(jù)集)、250個比例指數(shù)特征(D數(shù)據(jù)集)和有三種特征篩選出的51個混合特征數(shù)據(jù)集(E數(shù)據(jù)集)共5個數(shù)據(jù)集,將每個測試結(jié)果按性別指標較好的前兩項粗體標注.其中交叉驗證為10折,取各指標在交叉驗證中的平均值.未驗證性別對民族特征的有效性,每個數(shù)據(jù)集按性別拆分為兩個數(shù)據(jù)集,采用不同的模式分類方法對其進行分類與預測,進而驗證特征的有效性.類別為3個民族標記,維吾爾族、壯族和朝鮮族.

表8 混合指標中的特征邊與點的頻繁項集Table 8 The frequent itemsets of the characteristic edge and point in the mixed attributes

圖18 指標中特征點在面部分布比例圖Fig.18 The distribution of landmarks from diあerent facial area

實驗硬件環(huán)境:Intel(R)Core(TM)i7-4770 CPU,8GB內(nèi)存;軟件環(huán)境:操作系統(tǒng)Win7;實驗工具:Weka version 3.6[60].

圖19 比例特征在低維空間分布圖Fig.19 The distribution of ratio-features in low dimensional space

為便于比較各模型的性能,定義TP Rate、FP Rate、查準率 (Precision)、查全率 (Recall)、FMeasure、AUC(Area under curve)等[61]指標匯總信息.對于多分類問題,計算指標值時,假設Y={y1,y2,···,yn}是數(shù)據(jù)集的類標號集合,首先需將多分類問題分解成k個二分類問題,為每一個類y1∈y創(chuàng)建二類分類器,其中所有屬于yi的樣本都被看作正類,而其他樣本被看作負類.TP代表被分類模型正確預測的正樣本數(shù),FN代表分類模型錯誤預測為負類的正樣本數(shù),FP代表被分類模型錯誤預測為正類的負樣本數(shù),TN代表被分類模型正確預測的負樣本數(shù).分類器的分類效果越好,它所對應的TP值就越高,FP越低.

式(7)表示正確分類正樣本的比例.

式(8)代表錯誤分類負樣本的比例.

式(9)代表被判定為正確分類的正類樣本數(shù)占所有被正類的樣本數(shù)的比例.

式(10)代表被正確分類的正類樣本數(shù)占所有被判定為正類的樣本數(shù)的比例.

AUC被定義為ROC曲線下的面積,也可以認為是ROC曲線下面積占單位面積的比例,AUC的取值范圍在0.5～1之間.AUC更大的分類器效果更好.F-Measure又稱為F-Score,是一種統(tǒng)計量,常用于評價模型的好壞.

首先采用J48分類算法進行實驗[62],設置剪枝的閾值0.25,實驗結(jié)果如表9所示,混合特征數(shù)據(jù)集分類器指標高于其他數(shù)據(jù)集;其次不同民族男性和女性的角度特征數(shù)據(jù)集分類效果高于比例特征數(shù)據(jù),長度特征數(shù)據(jù)集指標較差.

表9 J48交叉驗證學習后結(jié)果指標Table 9 J48 cross validation results afterfeature learning

決策樹J48提供的規(guī)則集可以更好理解人臉的民族特征語義描述.本文從不同數(shù)據(jù)集J48決策樹中抽取其識別率最高的決策樹,如圖20所示.

從不同類型特征的決策樹可以得到:長度數(shù)據(jù)集決策樹為4層9條規(guī)則,角度數(shù)據(jù)集為3層5條規(guī)則,指數(shù)比例數(shù)據(jù)集有3層4條規(guī)則.可見角度數(shù)據(jù)集和比例數(shù)據(jù)集的決策樹信息表達較優(yōu),層數(shù)均為3.從規(guī)則條數(shù)看,比例數(shù)據(jù)規(guī)則條數(shù)最為精簡,而且比例指數(shù)數(shù)據(jù)集僅依靠4條分類規(guī)則就可以得到高于其他特征數(shù)據(jù)集的交叉驗證的平均準確率.可見人臉的比例特征數(shù)據(jù)可以更好地對人臉特征進行描述.

本文利用Naive Bayes進行分類實驗[63],如表10所示,其中Naive Bayes采用K2搜索算法,估計方法采用Simple estimator,男女混合特征數(shù)據(jù)集指標結(jié)果最好,男性比例特征數(shù)據(jù)集分類指標相對較好,女性角度數(shù)據(jù)集分類指標優(yōu)于比例特征數(shù)據(jù)集結(jié)果.

表11為Naive Bayes算法分類實驗[64]結(jié)果,混合指標數(shù)據(jù)集各個指標在不同性別均最好,男性比例特征數(shù)據(jù)集分類指標與角度數(shù)據(jù)集分類指標基本相當,女性數(shù)據(jù)集比例特征數(shù)據(jù)集分類指標高于角度數(shù)據(jù)集.

表12為RBFNetwork分類實驗結(jié)果[65],其中隨機種子數(shù)為1、最低標準偏差為0.1,混合指標數(shù)據(jù)集各個指標在不同性別均最好,男性比例特征數(shù)據(jù)集分類指標相對較好,女性角度數(shù)據(jù)集在5項指標除AUC外其他指標好于比例特征數(shù)據(jù)集.

表10 Naive Bayes實驗結(jié)果Table 10 Naive Bayes experimental results

圖20 不同指標下的民族判別決策樹Fig.20 Ethnic classi fi cation decision trees with diあerent indicators

表13和表14是SVM的兩種不同實現(xiàn)算法分類結(jié)果.表13采用Weka的LibSVM類庫分類實驗[66],其中分類類型C-SVC,核函數(shù)類型e?r|u?v|2,核函數(shù)中的degree=3,核函數(shù)中的coef0=0,cachesize=40MB.不同男性的混合特征數(shù)據(jù)集與比例數(shù)據(jù)集分類指標基本相同,女性混合特征要優(yōu)于比例特征數(shù)據(jù)集.

表11 Bayes network實驗結(jié)果Table 11 Bayes network experimental results

表12 RBF network實驗結(jié)果Table 12 RBF network experimental results

表13 SVM中LibSVM實驗結(jié)果Table 13 SVM in LibSVM experimental results

同時本文還采用了Weka中的獨立的SMO(Sequential minimal optimization)[67]算法進行分類實驗,SMO算法是一種用于解決SVM訓練過程中所產(chǎn)生優(yōu)化問題的算法.在SMO算法中,核函數(shù)為多項式函數(shù).

從表14可以看出男性的混合特征數(shù)據(jù)集和比例特征數(shù)據(jù)集分類指標相同,女性混合特征數(shù)據(jù)集略微優(yōu)于比例特征數(shù)據(jù)集.

為觀察不同數(shù)據(jù)集對特征數(shù)量的影響,本文將特征屬性按mRMR計算的權重score進行排序,依次遞增特征數(shù)量,分析不同算法與特征個數(shù)的變化曲線,如圖21所示.

表14 SVM中SMO實驗結(jié)果Table 14 SVM in SMO experimental results

表15 不同分類算法的平均準確率(%)及方差Table 15 The average accuracy(%)and variance of diあerent classi fi cation algorithms

圖21 不同類型特征增量下的準確率變化曲線Fig.21 The recongnition rates comparison based on diあerent types of features

從圖21可以看出,比例特征數(shù)據(jù)集的增量特征準確率變化曲線較為平緩.各個分類算法比例特征數(shù)據(jù)集抖動相對長度和角度變化較小.這也說明,人臉幾何特征中的比例特征能夠更好幫助區(qū)分人臉的族群特征.

本文對比不同算法在不同數(shù)據(jù)集的交叉驗證的平均準確率及方差,如表15所示.混合特征數(shù)據(jù)其平均準確率高于其他數(shù)據(jù)集,方差也在較小范圍波動.表明混合特征可以更加準確有效地作為人臉民族特征分析的指標.

6 結(jié)論

本文利用流形學習分析研究中國三個民族人臉幾何特征,分析分布規(guī)律和結(jié)構(gòu).首先從體質(zhì)人類學采用的測量指標入手,驗證了傳統(tǒng)經(jīng)驗構(gòu)建的低維幾何描述難以形成按不同民族語義特征描述的子流形結(jié)構(gòu).為了進一步研究人臉幾何特征是否存在按民族語義分布的子流形結(jié)構(gòu),本文擴充了人臉幾何特征維度,并利用mRMR算法對人臉中的冗余幾何特征進行篩選,在降維后的長度、角度和比例特征中分析不同民族人臉特征的流形結(jié)構(gòu),實驗結(jié)果表明,民族人臉數(shù)據(jù)在子空間內(nèi)可按民族語義形成流形結(jié)構(gòu),且采用該指標體系可以有效地對不同民族人臉進行分類和識別.

本文的主要工作包括:1)通過實驗驗證了人臉特征具有按民族語義分布的流形結(jié)構(gòu);2)提出了一種篩選和分析不同民族人臉幾何特征差異的算法框架;3)提出了一套豐富和補充體質(zhì)人類學指標的人臉民族幾何特征測量指標集合.

本文研究得到以下人臉民族特征的數(shù)據(jù)結(jié)論: 1)人臉的比例特征相比于長度和角度是較為重要的人臉民族特征描述指標;2)嘴部和臉型對于人臉民族特征影響較小;3)眼部、鼻部和眉部區(qū)域?qū)τ谌四樏褡逄卣饔绊戄^大,占85%權重;4)鼻翼和眉眼距是最為重要的人臉民族語義指標.

此外,本文提出的多民族人臉特征分析和篩選及流形分析方法可以對其他不同民族人臉特征研究進行推廣.人臉民族特征分析和體質(zhì)人類學者可以根據(jù)這種方法來深入分析不同民族之間的差異特征,并可以擴充數(shù)據(jù)集,研究不同民族樣本數(shù)據(jù)集下人臉幾何特征的流形結(jié)構(gòu)分布.

1 Calder A J,Rhodes G,Johnson M,Haxby J.The Oxford Handbook of Face Perception.Oxford:Oxford University Press,2011.

2 Bruce V,Young A.Understanding face recognition.British Journal of Psychology,1986,77(3):305?327

3 Su Lian-Cheng,Zhu Feng.Design of a novel omnidirectional stereo vision system.Acta Automatica Sinica,2006,32(1): 67?72 (蘇連成,朱楓.一種新的全向立體視覺系統(tǒng)的設計.自動化學報, 2006,32(1):67?72)

4 O′Toole A J,Roark D A,Abdi H.Recognizing moving faces: a psychological and neural synthesis.Trends in Cognitive Sciences,2002,6(6):261?266

5 Eberhardt J L,Dasgupta N,Banaszynski T L.Believing is seeing:the eあects of racial labels and implicit beliefs on face perception.Personality and Social Psychology Bulletin, 2003,29(3):360?370

6 Kumar N,Berg A,Belhumeur P N,Nayar S.Describable visual attributes for face veri fi cation and image search.IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011,33(10):1962?1977

7 Demirkus M,Garg K,Guler S.Automated person categorization for video surveillance using soft biometrics.In:Proceedings of the 2010 SPIE 7667,biometric technology for human identi fi cation VII.Orlando,Florida,USA:SPIE,2010. Article No.76670P

8 Senior A,Pankanti S,Hampapur A,Brown L,Tian Y L, Ekin A,Connell J,Shu C F,Lu M.Enabling video privacy through computer vision.IEEE Security and Privacy,2005, 3(3):50?57

9 Ito T A,Bartholow B D.The neural correlates of race.Trends in Cognitive Sciences,2009,13(12):524?531

10 Zhang Ji-Zong.The Research of Chinese Physical Anthropology.Beijing:Science Press,2010.

(張繼宗.中國體質(zhì)人類學研究.北京:科學出版社,2010.)

11 Xi Huan-Jiu.Physical Anthropology.Beijing:Intellectual Property Publish House,2012.

(席煥久.體質(zhì)人類學.北京:知識產(chǎn)權出版社,2012.)

12 Bledsoe W W.Man-Machine Facial Recognition.Panoramic Research Inc.Palo Alto,CA,Report PRI:22,1966.

13 Kanade T.Picture Processing System by Computer Complex and Recognition of Human Faces[Ph.D.dissertation]. Kyoto University,Japan,1973

14 Brunelli R,Poggio T.Face recognition:features versus templates.IEEE Transactions on Pattern Analysis and Machine Intelligence,1993,15(10):1042?1052

15 Malpass R S,Kravitz J.Recognition for faces of own and other race.Journal of Personality and Social Psychology, 1969,13(4):330?334

16 Lindsay D S,Jack P C,Christian M A.Other-race face perception.Journal of Applied Psychology,1991,76(4):587?589

17 Li Z,Duan X,Zhang Q,Wang C R,Wang Y G,Liu W Q. Multi-ethnic facial features extraction based on axiomatic fuzzy set theory.Neurocomputing,2017,242:161?177

18 Hadid A,Pietik¨ainen M.Demographic classi fi cation from face videos using manifold learning.Neurocomputing,2013, 100:197?205

19 Seung H S,Lee D D.The manifold ways of perception.Science,2000,290(5500):2268?2269

20 Fu S Y,He H B,Hou Z G.Learning race from face:a survey.IEEE Transactions on Pattern Analysis and Machine Intelligence,2014,36(12):2483?2509

21 Duan X D,Wang C R,Liu X D,Li Z J,Wu J,Zhang H L. Ethnic features extraction and recognition of human faces. In:Proceedings of the 2nd International Conference on Advanced Computer Control(ICACC).Shenyang,China: IEEE,2010.125?130

22 Duan Xiao-Dong,Wang Cun-Rui,Liu Xiang-Dong,Liu Hui. Minorities features extraction and recognition of human faces.Computer Science,2010,37(8):276?279,301

(段曉東,王存睿,劉向東,劉慧.人臉的民族特征抽取及其識別.計算機科學,2010,37(8):276?279,301)

23 Li Z D,Duan X D,Zhang Q L.A novel survey based on multiethnic facial semantic web.TELKOMNIKA,2013,11(9): 5076?5083

24 Duan Xiao-Dong,Li Ze-Dong,Wang Cun-Rui,Zhang Qing-Ling,Liu Xiao-Dong.Multi-ethnic face semantic description and mining method based on AFS.Chinese Journal of Computer,2016,39(7):1435?1449

(段曉東,李澤東,王存睿,張慶靈,劉曉東.基于AFS的多民族人臉語義描述與挖掘方法研究.計算機學報,2016,39(7):1435?1449)

25 Turk M,Pentland A.Eigenfaces for recognition.Journal of Cognitive Neuroscience,1991,3(1):71?86

26 Belhumeur P N,Hespanha J P,Kriegman D J.Eigenfaces vs. fi sherfaces:recognition using class speci fi c linear projection.IEEE Transactions on Pattern Analysis and Machine Intelligence,1997,19(7):711?720

27 Bartlett M S,Movellan J R,Sejnowski T J.Face recognition by independent component analysis.IEEE Transactions on Neural Networks,2002,13(6):1450?1464

28 Yang J,Zhang D,Frangi A F,Yang J Y.Two-dimensional PCA:a new approach to appearance-based face representation and recognition.IEEE Transactions on Pattern Analysis and Machine Intelligence,2004,26(1):131?137

29 Li M,Yuan B Z.2D-LDA:a statistical linear discriminant analysis for image matrix.Pattern Recognition Letters, 2005,26(5):527?532

30 Tenenbaum J B,de Silva V,Langford J C.A global geometric framework for nonlinear dimensionality reduction.Science,2000,290(5500):2319?2323

31 Belkin M,Niyogi P.Laplacian eigenmaps for dimensionality reduction and data representation.Neural Computation, 2003,15(6):1373?1396

32 He X F,Niyogi X.Locality preserving projections.Neural Information Processing Systems,2004,16(4):153?160

33 He X F,Yan S C,Hu Y X,Niyogi P,Zhang H J.Face recognition using Laplacianfaces.IEEE Transactions on Pattern Analysis and Machine Intelligence,2005,27(3):328?340

34 He X F,Cai D,Yan S C,Zhang H J.Neighborhood preserving embedding.In:Proceedings of the 10th IEEE International Conference on Computer Vision.Beijing,China: IEEE,2005,2:1208?1213

35 Zhan De-Chuan,Zhou Zhi-Hua.Ensemble-based manifold learning for visualization.Journal of Computer Research and Development,2005,42(9):1533?1537

(詹德川,周志華.基于集成的流形學習可視化.計算機研究與發(fā)展, 2005,42(9):1533?1537)

36 He Li,Zhang Jun-Ping,Zhou Zhi-Hua.Investigating manifold learning algorithms based on magni fi cation factors and principal spread directions.Chinese Journal of Computers, 2005,28(12):2000?2009

(何力,張軍平,周志華.基于放大因子和延伸方向研究流形學習算法.計算機學報,2005,28(12):2000?2009)

37 Zeng Xian-Hua,Luo Si-Wei.A dynamically incremental manifold learning algorithm.Journal of Computer Research and Development,2007,44(9):1462?1468

(曾憲華,羅四維.動態(tài)增殖流形學習算法.計算機研究與發(fā)展, 2007,44(9):1462?1468)

38 Chen S B,Zhao H F,Kong M,Luo B.2D-LPP:a twodimensional extension of locality preserving projections.Neurocomputing,2007,70(4?6):912?921

39 Zhang Da-Ming,Fu Mao-Sheng,Luo Bin.Image recognition with two-dimensional neighbourhood preserving embedding.Pattern Recognition and Arti fi cial Intelligence,2011,24(6): 810?815

(張大明,符茂勝,羅斌.基于二維近鄰保持嵌入的圖像識別.模式識別與人工智能,2011,24(6):810?815)

40 Li Z D,Zhang Q L,Duan X D,Wang C R,Shi Y.New semantic descriptor construction for facial expression recognition based on axiomatic fuzzy set.Multimedia Tools and Applications,2017,1:1?31

41 Roweis S T,Saul L K.Nonlinear dimensionality reduction by locally linear embedding.Science,2000,290(5500):2323?2326

42 Li Z D,Zhang Q L,Duan X D,Wei W.Semantic knowledge based on fuzzy system for describing facial expression.In: Proceedings of the 2017 Chinese Control Conference.2017: 9865?9870

43 Guo G D,Fu Y,Dyer C R,Huang T S.Image-based human age estimation by manifold learning and locally adjusted robust regression.IEEE Transactions on Image Processing, 2008,17(7):1178?1188

44 Yan S C,Xu D,Zhang B Y,Zhang H J.Graph embedding: a general framework for dimensionality reduction.In:Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition.San Diego,CA, USA:IEEE,2005,2:830?837

45 Xu Shuang,Jia Yun-De.Facial expression manifold based on expression similarity.Journal of Software,2009,20(8): 2191?2198

(續(xù)爽,賈云得.基于表情相似性的人臉表情流形.軟件學報,2009, 20(8):2191?2198)

46 Li Xiao-Lin.Analysis of Morphous Characteristics of Facial Reconstruction and the Five Organs in Chinese South Five National Minorities Crowd[Master dissertation],Chongqing Medical University,China,2008

(李小林.中國南方五個少數(shù)民族人群面部五官形態(tài)特征研究[碩士學位論文],重慶醫(yī)科大學,中國,2008)

47 Zhao Ming,Wen Jian-Jun,Zhao Xia,Sun Yan-Yan.An analysis on measuring data of face in 169 young students of Tibetan,Mongolian,Tu,Huis,and Han nationality.Journal of Qinghai Medical College,1995,16(3):7?8

(趙明,文建軍,趙霞,孫嬿嬿.藏、蒙、土、回、漢五民族青年面部測量數(shù)據(jù)分析.青海醫(yī)學院學報,1995,16(3):7?8)

48 Xi Huan-Jiu,Chen Zhao.Anthropometric Methods(Second edition).Beijing:Science Press,2010.

(席煥久,陳昭.人體測量方法.第2版.北京:科學出版社,2010.)

49 Wang X,Liu X,Zhang L.A rapid fuzzy rule clustering method based on granular computing.Applied Soft Computing,2014,24(C):534?542

50 Heo J,Savvides M.Gender and ethnicity speci fi c generic elastic models from a single 2D image for novel 2D pose face synthesis and recognition.IEEE Transactions on Pattern Analysis and Machine Intelligence,2012,34(12):2341?2350

51 Feng Ding-Cheng,Chen Feng,Xu Wen-Li.Detecting local manifold structure for unsupervised feature selection.Acta Automatica Sinica,2014,40(10):2253?2261

52 Wang Chao-Yun,Jiang Gang-Yi,Yu Mei,Chen Fen.Manifold feature similarity based perceptual image quality assessment.Acta Automatica Sinica,2016,42(7):1113?1124

(王朝云,蔣剛毅,郁梅,陳芬.基于流形特征相似度的感知圖像質(zhì)量評價.自動化學報,2016,42(7):1113?1124)

53 Huang D,Shan C,Ardabilian M,Wang Y,Chen L.Local binary patterns and its application to facial image analysis:a survey.IEEE Transactions on Systems,Man,and Cybernetics,Part C:Applications and Reviews.2011,41:765?781

54 Wang Y G,Duan X D,Liu X D,Wang C R,Li Z D.Semantic description method for face features of larger Chinese ethnic groups based on improved WM method.Neurocomputing, 2016,175:515?528

55 Milborrow S,Nicolls F.Active shape models with SIFT descriptors and MARS.In:Proceedings of the 2014 International Conference on Computer Vision Theory and Applications(VISAPP).Lisbon,Portugal:IEEE,2014.380?387

56 Ding C,Peng H C.Minimum redundancy feature selection from microarray gene expression data.Journal of Bioinformatics and Computational Biology,2005,3(2):185?205

57 Peng H C,Long F H,Ding C.Feature selection based on mutual information criteria of max-dependency,max-relevance, and min-redundancy.IEEE Transactions on Pattern Analysis and Machine Intelligence,2005,27(8):1226?1238

58 Hong Quan,Chen Song-Can,Ni Xue-Lei.Sub-pattern canonical correlation analysis with application in face recognition.Acta Automatica Sinica,2008,34(1):21?30

(洪泉,陳松燦,倪雪蕾.子模式典型相關分析及其在人臉識別中的應用.自動化學報,2008,34(1):21?30)

59 Gao Quan-Xue,Pan Quan,Liang Yan,Zhang Hong-Cai, Cheng Yong-Mei.Face recognition based on expressive features.Acta Automatica Sinica,2006,32(3):386?392

(高全學,潘泉,梁彥,張洪才,程詠梅.基于描述特征的人臉識別研究.自動化學報,2006,32(3):386?392)

60 Bouckaert R R,Frank E,Hall M A,Holmes G,Pfahringer B,Reutemann P,Witten I H.WEKA-experiences with a java open-source project.The Journal of Machine Learning Research,2010,11:2533?2541

61 Han J W,Kamber M,Pei J.Data Mining:Concepts and Techniques(Third edition).Amsterdam:Elsevier,2011.

62 Quinlan J R.C4.5:Programs for Machine Learning.San Mateo,CA,USA:Morgan Kaufmann Publishers,1993.

63 Zhang M L,Pe?na J M,Robles V.Feature selection for multilabel naive Bayes classi fi cation.Information Sciences,2009, 179(19):3218?3229

64 Gopnik A,Glymour C,Sobel D M,Schulz L E,Kushnir T, Danks D.A theory of causal learning in children:causal maps and Bayes nets.Psychological Review,2004,111(1): 3?32

65 Kokshenev I,Braga A P.A multi-objective approach to RBF network learning.Neurocomputing,2008,71(7?9):1203?1209

66 Joachims T.Making Large Scale SVM Learning Practical [Ph.D.dissertation].Universit¨at Dortmund,Germany,1999

67 Keerthi S S,Shevade S K,Bhattacharyya C,Murthy K R K. Improvements to Platt′s SMO algorithm for SVM classi fi er design.Neural Computation,2001,13(3):637?649