基于多特征決策級(jí)融合的表情識(shí)別方法

黃 忠，胡 敏，劉 娟

（1.安慶師范學(xué)院物理與電氣工程學(xué)院，安徽 安慶 246011；2.合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院，合肥 230009）

基于多特征決策級(jí)融合的表情識(shí)別方法

黃 忠1，2，胡 敏2，劉 娟1

（1.安慶師范學(xué)院物理與電氣工程學(xué)院，安徽 安慶 246011；2.合肥工業(yè)大學(xué)計(jì)算機(jī)與信息學(xué)院，合肥 230009）

為實(shí)現(xiàn)多源特征的優(yōu)勢(shì)互補(bǔ)并融合多分類器的決策結(jié)果，提出一種改進(jìn)的多特征表情識(shí)別方法。利用鏈碼編碼刻畫表情形狀特征并構(gòu)建形變特征描述面部幾何變化，構(gòu)造Gabor特征融合圖以表征表情局部紋理細(xì)節(jié)。采用支持向量機(jī)分類器分別獲取3類特征的類別后驗(yàn)概率并在決策級(jí)實(shí)現(xiàn)多分類器的融合。在有監(jiān)督學(xué)習(xí)下提出一種基于粒子群算法的權(quán)重尋優(yōu)策略求解最優(yōu)融合權(quán)重。Cohn-Kanade表情庫上的實(shí)驗(yàn)結(jié)果表明，該方法在平均識(shí)別率和魯棒性方面均優(yōu)于單分類器識(shí)別方法，與現(xiàn)有的多分類器融合方法相比，權(quán)重尋優(yōu)策略在識(shí)別率和可靠性方面更優(yōu)。

決策級(jí)融合；主動(dòng)形狀模型；鏈碼；形狀特征；形變特征；Gabor紋理特征；粒子群尋優(yōu)

DO I：10.3969/j.issn.1000-3428.2015.10.032

1 概述

人臉表情是表達(dá)內(nèi)心情感與協(xié)調(diào)人際關(guān)系的重要途徑［1］。人們一方面提取描述能力強(qiáng)、魯棒性好、維數(shù)低的表情特征，如局部二值模式（Local Binary Pattern，LBP）、Gabor小波變換、主動(dòng)形狀模型（Active Shape Model，ASM）等；另一方面設(shè)計(jì)穩(wěn)定性好的分類器將表情歸類到預(yù)先定義的類別中，如最近鄰、反向傳播（Back Propagation，BP）神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)等［2］。然而，各類表情特征及分類方法

具有不同的優(yōu)勢(shì)及局限性，如何構(gòu)建多源互補(bǔ)的特征并探索多分類融合策略已成為表情識(shí)別領(lǐng)域新的研究熱點(diǎn)［3］。

目前，表情識(shí)別方法主要有基于幾何特征和基于紋理特征2類［2］。基于幾何特征方法一般通過跟蹤人臉顯著區(qū)域（如眉毛、眼睛和嘴巴等）的特征點(diǎn)以反映面部表情的運(yùn)動(dòng)幅度及趨勢(shì)，具有維數(shù)低、光照變化不敏感等優(yōu)點(diǎn)，但其局部細(xì)節(jié)描述能力弱［4］?；诩y理特征方法則是根據(jù)像素灰度值進(jìn)行建模，包含大量的表情信息且提取過程相對(duì)穩(wěn)定，但提取出的特征維數(shù)較高且易受光照影響［5-6］。近年來，研究者開始在特征級(jí)和決策級(jí)方面探討多特征融合的表情識(shí)別方法。特征級(jí)融合是將不同類型的特征按照一定的規(guī)則融合成一個(gè)整體并將數(shù)據(jù)降維后的主成分特征輸入一級(jí)或多級(jí)分類器進(jìn)行分類。如文獻(xiàn)［4］將特征點(diǎn)矢量與紋理形變參數(shù)進(jìn)行融合；文獻(xiàn)［2］融合多特征并采用極大似然估計(jì)實(shí)現(xiàn)自然表情分類。由于融合特征關(guān)聯(lián)信息強(qiáng)、維數(shù)高，這種方式分類性能不穩(wěn)定；同時(shí)特征分類前的主成分分析或數(shù)據(jù)降維也增加了特征級(jí)融合方式的復(fù)雜度。與特征級(jí)融合不同，決策級(jí)融合則是通過分類器獲取各特征關(guān)于類別的后驗(yàn)概率，并按照一定策略融合各類別度量信息以達(dá)到更精確的分類效果。如文獻(xiàn)［7］以各分類器正確率為權(quán)重系數(shù)的加權(quán)投票法；文獻(xiàn)［8］根據(jù)后驗(yàn)概率及閾值的自適應(yīng)投票法；文獻(xiàn)［9］以模糊密度反映分類器識(shí)別性能的模糊積分方法；文獻(xiàn)［10］以混淆矩陣衡量分類器可信度的決策模板法；文獻(xiàn)［11］利用多分類器差異的登普斯特-謝弗（Dempster-Shafer，D-S）證據(jù)理論方法。這些基于先驗(yàn)知識(shí)的融合方法，能夠有效提高各類別表情識(shí)別率，但在適應(yīng)性及魯棒性方面有待進(jìn)一步提高。同時(shí)，為了進(jìn)一步提高多分類器識(shí)別效率，研究者引入優(yōu)化算法以探求最佳融合策略，如文獻(xiàn)［12］以貪心算法實(shí)現(xiàn)分類器選擇和集成，文獻(xiàn)［13］以人工魚群算法實(shí)現(xiàn)多分類器動(dòng)態(tài)選擇及融合。然而，隨著分類器數(shù)量的增多，急劇增長(zhǎng)的分類器組合雖為尋找最優(yōu)多分類器融合方式提供了可能，但也為求解融合策略的優(yōu)化算法提出更高要求。

為了實(shí)現(xiàn)多源特征的優(yōu)勢(shì)互補(bǔ)，并考慮各分類器識(shí)別性能差異，本文提出一種基于多特征決策級(jí)融合的表情識(shí)別方法，該方法一方面通過ASM定位與人臉表情密切相關(guān)的特征點(diǎn)，并提取表情形狀及形變特征以描述面部幾何變化，另一方面構(gòu)造Gabor特征融合圖以表征局部細(xì)節(jié)。在SVM分類器分別獲取各特征后驗(yàn)概率基礎(chǔ)上實(shí)現(xiàn)多分類器決策級(jí)融合，并在監(jiān)督學(xué)習(xí)下采用粒子群優(yōu)化算法求解最優(yōu)融合權(quán)重。

2 表情幾何及紋理特征提取

2.1 表情幾何特征提取

人臉表情可看成是表情區(qū)域形狀及幅度的改變，幾何特征是描述區(qū)域發(fā)生形變的最直接方式［2］。本文采用 ASM模型［14］定位與表情相關(guān)的 n（n= 68）個(gè)特征點(diǎn)，如圖1所示。

圖1 面部特征點(diǎn)標(biāo)注順序

n個(gè)特征點(diǎn)構(gòu)成的形狀向量S可表示為：

其中，（χi，yi）為第i個(gè)特征點(diǎn)經(jīng)過Procrustes分析產(chǎn)生的歸一化位置坐標(biāo)。通過ASM獲取n個(gè)特征點(diǎn)位置坐標(biāo)后，幾何特征可以通過任意兩特征點(diǎn)間的距離構(gòu)建，但這種方式將產(chǎn)生n（n-1）/2維的特征向量。由于維數(shù)過高，并且特征分量中存在較大冗余，其描述效果并不理想。為了有效反映表情幾何信息并減少特征維數(shù)，本文根據(jù)這些點(diǎn)的拓?fù)潢P(guān)系構(gòu)建形狀和形變2類幾何特征。

2.1.1 基于鏈碼編碼的形狀特征提取

文獻(xiàn)［2］認(rèn)為，人們可以通過人臉區(qū)域如眉毛、眼睛、嘴等的形狀差異來區(qū)分表情。而鏈碼編碼作為一種形狀描述方法廣泛用于圖像中線條、曲線等形狀描述［15］。它將平面若干特征點(diǎn)按照一定順序組成一個(gè)封閉區(qū)域，并對(duì)區(qū)域的邊界線段傾斜角進(jìn)行鏈碼編碼。圖2顯示了邊界線段A→B→C→D→E→F→A八向鏈碼編碼表示（107543）。

圖2 8向鏈碼方向編號(hào)及鏈碼編碼表示

考慮8向不足以描述人臉表情形狀差異，本文采用36向鏈碼編碼方式提取各表情區(qū)域形狀特征。

設(shè)表情區(qū)域上的某一特征點(diǎn)為 Pi（χi，yi），與其組成邊界線段下一特征點(diǎn)為 Pi+1（χi+1，yi+1），可由式（2）計(jì)算Pi的鏈碼值li：

其中，θ為Pi與 Pi+1兩特征點(diǎn)組成的邊界線段與水平線的夾角；·」為向下取整。若某一包含m個(gè)特征點(diǎn)的表情區(qū)域，其幾何形狀特征可由這些特征點(diǎn)的鏈碼值表示。而人臉包含嘴巴、眼睛、眉毛等若干表情區(qū)域，因此根據(jù)表情區(qū)域?qū)SM算法定位的n個(gè)特征點(diǎn)劃分成P（P=7）組，各組特征點(diǎn)及數(shù)目如表1所示。組合 P組鏈碼值以表示表情幾何形狀特征SF：

其中，向量Li=（li1，li2，…，limi）為第i個(gè)表情區(qū)域的鏈碼編碼表示；lij為第i個(gè)表情區(qū)域第j個(gè)特征點(diǎn)的鏈碼值；mi為第i個(gè)表情區(qū)域的特征點(diǎn)數(shù)目。

表1 各表情區(qū)域特征點(diǎn)

2.1.2 基于拓?fù)浣Y(jié)構(gòu)的形變特征構(gòu)建

鏈碼編碼描述的形狀特征能反映表情區(qū)域邊緣特征點(diǎn)的拓?fù)湫畔?，但?duì)表情區(qū)域的收縮程度、幅度大小等形變信息不能有效表征。本文進(jìn)一步構(gòu)建表情區(qū)域內(nèi)不相鄰特征點(diǎn)以及表情區(qū)域間特征點(diǎn)的幾何信息，提取的q（q=8）個(gè)形變特征如下：

（1）左眉的彎度：

（2）右眉的彎度：

（3）左眼的閉合度：

（4）右眼的閉合度：

（5）外唇的閉合度：

（6）鼻尖到上唇的距離：

（7）左嘴角上提幅度：

（8）右嘴角上提幅度：

其中，line（a，b）和dis（a，b）分別表示a，b兩點(diǎn)間形成的線段和歐式距離。度量的形變特征不僅描述了表情區(qū)域的閉合度、收縮程度等，還考慮了不同區(qū)域間相互影響呈現(xiàn)出的形變信息。組合 q個(gè)度量距離以表示表情幾何形變特征DF：

2.2 表情紋理特征提取

提取的形狀及形變特征能有效表征面部運(yùn)動(dòng)導(dǎo)致的幾何變化，但其局部表情細(xì)節(jié)如褶皺等表現(xiàn)不佳。相關(guān)文獻(xiàn)表明［2，5］，Gabor小波變換提取的多尺度多方向的紋理特征具有較強(qiáng)的局部細(xì)節(jié)描述能力。為了提取表情局部紋理信息并降低Gabor特征維數(shù)，本文結(jié)合研究者前期工作［16］，將Gabor提取的5尺度 8方向特征在同一尺度上進(jìn)行梯度融合，Gabor融合后的表情紋理特征TF可表示為：

3 多特征決策級(jí)融合

提取表情3類特征后，下一步需要將3類特征輸入分類器進(jìn)行訓(xùn)練和識(shí)別?？紤]不同特征計(jì)算方法、幅度數(shù)量級(jí)存在較大差異，并在分類中作用不盡相同，本文將SVM獲取的3類特征的后驗(yàn)概率在決策級(jí)進(jìn)行加權(quán)融合，并將權(quán)重求解過程轉(zhuǎn)化為粒子群優(yōu)化算法的全局尋優(yōu)，其整體流程如圖3所示。

圖3 基于決策級(jí)融合的多特征表情識(shí)別方法流程

3.1 多分類器決策級(jí)融合

首先為表情圖像χ的3類特征SF，DF，TF分別建立K（K=3）個(gè)SVM分類器｛Ek｝Kk=1，并利用Sigmoid函數(shù)將SVM輸出結(jié)果擬合為目標(biāo)類別的后驗(yàn)概率［10］。記Pr（ct|χ，Ek）為第k個(gè)分類器將表情圖像χ識(shí)別為ct類的概率，其中｛ct｝Mt=1表示M（M= 7）類表情，分別為中性、高興、厭惡、生氣、害怕、傷心、驚訝。因此，表情圖像χ關(guān)于K個(gè)分類器的決策矩陣可表示為：

其中：

然后融合各分類器決策信息并通過不同決策權(quán)重方式以獲得優(yōu)于單個(gè)分類器的決策性能。融合后的決策信息可表示為：

其中，wkt表示第k個(gè)分類器關(guān)于ct類表情的權(quán)重，

3.2 基于粒子群優(yōu)化的權(quán)重求解

為了獲得更優(yōu)的權(quán)重系數(shù)，本文在有監(jiān)督學(xué)習(xí)下將最優(yōu)權(quán)重求解過程轉(zhuǎn)化為式（9）目標(biāo)函數(shù)最大化：

其中，cχi和分別表示第i個(gè)樣本表情類別真值和按照式（8）獲得的估計(jì)值；N表示訓(xùn)練樣本數(shù)目，w=（w11，w21，…，wK1，…，wkt，…，w1M，…，wKM）為需要優(yōu)化的D（D=K×M）維權(quán)重，而目標(biāo)函數(shù)|J（w）表示以w為融合權(quán)值系數(shù)的分類器正確率，期待尋找最優(yōu)的w使得|J（w）最大化。然而，目標(biāo)式（9）屬于高維非線性問題，并且其ΔJ（w）/Δwkt不易表達(dá)?；谔荻葘?yōu)的局部?jī)?yōu)化方法如最速下降法、牛頓法等雖然收斂速度較快、計(jì)算精度高，但因缺乏梯度信息而不能有效求解。而一些全局優(yōu)化算法如遺傳算法、模擬退火算法、進(jìn)化算法等，一方面受限于各自機(jī)理和單一結(jié)構(gòu)，難以實(shí)現(xiàn)高維復(fù)雜函數(shù)的高效優(yōu)化；另一方面存在參數(shù)設(shè)置多、實(shí)現(xiàn)復(fù)雜、優(yōu)化時(shí)間長(zhǎng)等問題，難以滿足實(shí)時(shí)應(yīng)用場(chǎng)合。粒子群優(yōu)化算法通過粒子間的競(jìng)爭(zhēng)和協(xié)作尋找全局最優(yōu)點(diǎn)，可以在梯度信息缺失下求解復(fù)雜優(yōu)化問題［17］，已廣泛應(yīng)用于求解空間函數(shù)和單目標(biāo)優(yōu)化。因其算法收斂速度快、參數(shù)設(shè)置少、全局搜索能力強(qiáng)、實(shí)現(xiàn)方便，本文采用粒子群優(yōu)化算法尋找權(quán)重系數(shù)w的最優(yōu)解，其權(quán)重求解過程描述如下：

輸出 最優(yōu)權(quán)重系數(shù)w

（2）粒子更新：在［0，1］之間隨機(jī)產(chǎn)生加速權(quán)重系數(shù)r1，r2，并按式（11）更新粒子速度及位置。

（3）粒子歸一化：每個(gè)粒子根據(jù)表情類別分段歸一化。

（4）粒子全局尋優(yōu)：以式（9）作為適應(yīng)度函數(shù)評(píng)價(jià)各粒子的性能優(yōu)劣，并根據(jù)適應(yīng)值的大小更新各粒子最優(yōu)位置pj（1≤j≤S）以及粒子群中最優(yōu)粒子

位置g，同時(shí)更新當(dāng)前最佳識(shí)別率r，即：

（5）如果q＞Q或r＞η，結(jié)束；否則q←q+1，轉(zhuǎn)步驟（2）。

4 實(shí)驗(yàn)結(jié)果及分析

為了說明本文提取的3類特征以及多分類器融合策略的有效性，在較為復(fù)雜的CK（Cohn-Kanade）表情庫上對(duì)提出的方法進(jìn)行了性能評(píng)測(cè)；同時(shí)為了說明粒子群權(quán)重尋優(yōu)策略的優(yōu)點(diǎn)，本文還將其與其它權(quán)重策略在識(shí)別率方面進(jìn)行比較。實(shí)驗(yàn)中，本文方法的參數(shù)設(shè)置如下：以徑向基核作為SVM的決策函數(shù)并采用Sigmoid函數(shù)輸出各類別的后驗(yàn)概率，粒子數(shù)目S= 3 000，粒子慣性權(quán)重α=0.5，加速常數(shù)β1=β2=2，最大迭代次數(shù)Q=1 000，識(shí)別率閾值η=95%。

4.1 本文方法的識(shí)別率分析

CK表情庫包含100多位測(cè)試者的表情序列，每個(gè)表情序列從中性開始并結(jié)束于峰值表情，同時(shí)具有膚色、人種、光照、頭部剛性運(yùn)動(dòng)等的變化。為了說明本文提取的幾何和紋理特征的分類特性以及多分類器融合的優(yōu)點(diǎn)，隨機(jī)選擇50位測(cè)試者的7類表情作為訓(xùn)練集、在余下測(cè)試者中隨機(jī)選擇30位7類表情圖像作為測(cè)試集，并比較基于幾何特征的單分類器方法（SF+DF+SVM）、基于紋理特征的單分類器方法［16］（TF+SVM）以及本文方法的識(shí)別結(jié)果。10次實(shí)驗(yàn)的平均識(shí)別率如圖4所示。

圖4 不同特征分類性能比較

由幾何特征構(gòu)造的單分類器方法對(duì)面部運(yùn)動(dòng)較劇烈的表情如高興、驚訝，識(shí)別率較高，而對(duì)面部形變較小的表情如中性、傷心等，識(shí)別率較低。這與不同表情的運(yùn)動(dòng)幅度有關(guān)，幅度大的表情由于幾何特征更具區(qū)分性，其識(shí)別率相對(duì)較高。與幾何特征方法不同，基于紋理特征構(gòu)建的單分類器方法更關(guān)注表情局部細(xì)節(jié)描述能力，其各類表情識(shí)別率相對(duì)均衡并具有略高的平均識(shí)別率。而本文方法將3類特征的類別后驗(yàn)概率在決策級(jí)融合，不僅在各表情類別上保持較高識(shí)別率，而且在平均識(shí)別率和均衡性方面也具有較好優(yōu)勢(shì)。這說明本文多分類器融合策略能夠充分利用多源特征的互補(bǔ)信息并有效融合各分類器的決策信息。

表2進(jìn)一步反映了本文方法關(guān)于7類表情分類效果。本文方法雖然對(duì)一些五官變化不明顯的表情如傷心、厭惡等，以及不易區(qū)分的表情如厭惡與害怕、生氣與害怕等，誤判率較高，但每類表情的識(shí)別率均超過90%（見粗體），并且類間錯(cuò)誤率不超過2.5%。最大類間錯(cuò)誤率出現(xiàn)在傷心與中性（2.4%）、害怕與生氣之間（2.2%）。這與這些表情幾何特征不顯著而局部紋理特征又具較高相似性有關(guān)。

表2 本文方法各類別表情識(shí)別率 %

4.2 不同方法的性能比較

為了說明本文方法的性能，在Windows7系統(tǒng)（Intel@CoreTMDUO CPU E7400@2.80 GHz，內(nèi)存4 GB）及VS2010+OpenCV平臺(tái)上，與經(jīng)典的表情識(shí)別方法進(jìn)行時(shí)間性能和分類正確率評(píng)測(cè)。在這些方法中，幾何特征由ASM定位的68個(gè)特征點(diǎn)位置坐標(biāo)表示，LBP卷積矩陣設(shè)為3×3，Gabor濾波器采用5尺度、8方向，直方圖按照8×8分塊統(tǒng)計(jì)。各方法特征維數(shù)及時(shí)間性能如表3所示，分類性能如圖5所示。

表3 不同方法性能比較

圖5 不種方法分類性能比較

在時(shí)間性能上，本文方法不及LBP方法和幾何特征方法；但由于降低了Gabor特征維數(shù)和計(jì)算復(fù)雜度，本文方法優(yōu)于傳統(tǒng)Gabor方法。而在分類性能上，本文方法通過提取表情幾何及紋理特征并采用多分類器決策級(jí)融合，各類別識(shí)別率及平均識(shí)別率均高于其他方法。

4.3 不同權(quán)重求解策略比較

為了說明本文基于粒子群權(quán)重尋優(yōu)策略的有效性，在SVM獲取表情類別后驗(yàn)概率后，將其與其他4種權(quán)重計(jì)算策略進(jìn)行比較：（1）先驗(yàn)識(shí)別率策略［7］；（2）最大后驗(yàn)概率策略：將各分類器后驗(yàn)概率作為比較對(duì)象并將最大者對(duì)應(yīng)的類別判決為最終類別；（3）自適應(yīng)權(quán)重投票策略［8］；（4）可信度策略［10］。以10次實(shí)驗(yàn)的平均識(shí)別率作為各種求解策略的性能評(píng)價(jià)，如圖6所示。

圖6 不同權(quán)重求解策略識(shí)別率比較

由圖6可知，本文方法不僅具有較高識(shí)別率，而且對(duì)各表情類別保持較好魯棒性，尤其是傷心、害怕、厭惡等難以區(qū)分的表情。在分類器融合策略中，最大后驗(yàn)概率和先驗(yàn)識(shí)別率策略由于只考慮各分類器總體識(shí)別率，其識(shí)別率不及其他方法。而與以先驗(yàn)知識(shí)的權(quán)重計(jì)算策略相比，如自適應(yīng)權(quán)重投票、可信度策略，本文方法在有監(jiān)督學(xué)習(xí)下最大化后驗(yàn)概率并采用粒子群權(quán)重尋優(yōu)策略更具優(yōu)點(diǎn)。

5 結(jié)束語

本文分別提取鏈碼編碼表征的形狀特征、特征點(diǎn)拓?fù)潢P(guān)系構(gòu)建的形變特征以及梯度Gabor描述的紋理特征以從不同角度描述表情信息，同時(shí)采用SVM獲取各類特征的后驗(yàn)概率并在決策級(jí)實(shí)現(xiàn)多分類器融合。為了求解最優(yōu)融合權(quán)重，在有監(jiān)督學(xué)習(xí)下提出粒子群權(quán)重尋優(yōu)策略并將最優(yōu)權(quán)重求解過程轉(zhuǎn)化適應(yīng)度目標(biāo)函數(shù)最大化。在CK表情庫上的評(píng)測(cè)結(jié)果表明，提取的3類特征能充分表達(dá)表情信息并具有較好的分類互補(bǔ)性，其多分類器融合后的識(shí)別率也高于基于幾何特征或紋理特征的單分類器方法。而不同權(quán)重求解策略的比較結(jié)果表明，本文提出的粒子群權(quán)重尋優(yōu)策略具有較低的分類錯(cuò)誤率并具有較好的魯棒性。由于需要提取多源特征并進(jìn)行分類器權(quán)重尋優(yōu)，本文方法時(shí)間性能不及基于單特征構(gòu)建的分類器方法，因此如何將并行處理技術(shù)引入到表情多特征提取及融合是下一步的工作。

［1］ Rizwan A K.Framework for Reliable，Real-time Facial Expression Recognition for Low Resolution Images［J］. Pattern Recognition Letters，2013，34（10）：1159-1168.

［2］ Wan Shaohua.Spontaneous Facial Expression Recognition：A Robust Metric Learning Approach［J］.Pattern Recognition，2014，47（5）：1859-1868.

［3］ 梁紹一，韓德強(qiáng)，韓崇昭.一種基于幾何關(guān)系的多分類器差異性度量及其在多分類器系統(tǒng)構(gòu)造中的應(yīng)用［J］.自動(dòng)化學(xué)報(bào)，2014，40（3）：449-458.

［4］ 易積政，毛 峽，Mitsuru L.基于特征點(diǎn)矢量與紋理形變能量參數(shù)融合的人臉表情識(shí)別［J］.電子與信息學(xué)報(bào)，2013，35（10）：2403-2410.

［5］ 劉帥師，田彥濤，萬 川.基于Gabor多方向特征融合與分塊直方圖的人臉表情識(shí)別方法［J］.自動(dòng)化學(xué)報(bào)，2011，37（12）：1455-1463.

［6］ 胡 敏，許艷俠.自適應(yīng)加權(quán)完全局部二值模式的表情識(shí)別［J］.中國(guó)圖象圖形學(xué)報(bào)，2013，18（10）：1279-1284.

［7］ 鄧 楠，徐正光.基于稀疏表征多分類器融合的遮擋人臉識(shí)別［J］.計(jì)算機(jī)應(yīng)用研究，2013，30（6）：1914-1916.

［8］ 朱旭鋒，馬彩文.基于多不變量和多分類器融合的飛機(jī)識(shí)別［J］.儀器儀表學(xué)報(bào)，2011，32（7）：1621-1627.

［9］ 張 娟，詹永照.基于 Gabor小波和稀疏表示的人臉表情識(shí)別［J］.計(jì)算機(jī)工程，2012，38（6）：207-212.

［10］ 李鑫濱，陳云強(qiáng)，張淑清，等.基于LS-SVM多分類器融合決策的混合故障診斷算法［J］.振動(dòng)與沖擊，2013，32（19）：159-164，182.

［11］ 楊 藝，韓德強(qiáng)，韓崇昭.一種基于證據(jù)距離的多分類器差異性度量［J］.航空學(xué)報(bào)，2012，33（6）：1093-1099.

［12］ 林煜明.面向用戶觀點(diǎn)分析的多分類器集成和優(yōu)化技術(shù)［J］.計(jì)算機(jī)學(xué)報(bào)，2013，36（8）：1650-1658.

［13］ 羅 彬，邵培基，夏國(guó)恩.基于多分類器動(dòng)態(tài)選擇與成本敏感優(yōu)化集成的電信客戶流失預(yù)測(cè)研究［J］.管理學(xué)報(bào)，2012，9（9）：1373-1381.

［14］ Kotsia I，Pitas I.Facial Expression Recognition in Image Sequences Using Geometric Deformation Features and Support Vector Machines［J］.IEEE Transactions on Image Processing，2007，16（1）：172-187.

［15］ 趙麗科，宋偉東.Freeman鏈碼優(yōu)先級(jí)直線提取算法研究［J］.武漢大學(xué)學(xué)報(bào)：信息科學(xué)版，2014，39（1）：42-46.

［16］ 胡 敏，朱 弘，王曉華，等.基于梯度Gabor直方圖特征的表情識(shí)別方法［J］.計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2013，12（25）：1856-1861.

［17］ 徐從東，陳 春.一種自適應(yīng)動(dòng)態(tài)控制參數(shù)的粒子群優(yōu)化算法［J］.計(jì)算機(jī)工程，2013，39（10）：203-207.

［18］ Liu Haibin，Zhang Guobao.Multiple Features Extraction and Coordination Using Gabor Wavelet Transformation and Fisher Faces with Application to Facial Expression Recognition［C］//Proceedings of CCPR’10.Chongqing，China：［s.n.］，2010：1-5.

［19］ Gu Wenfei，Xiang Cheng，Venkatesh Y V，et al.Facial Expression Recognition Using Radial Encoding of Local Gabor Features and Classifier Synthesis［J］.Pattern Recognition，2012，45（1）：80-91.

編輯 索書志

Facial Expression Recognition Method Based on Multi-feature Decision-level Fusion

HUANG Zhong1，2，HU Min2，LIU Juan1
（1.School of Physics and Electronic Engineering，Anqing Normal University，Anqing 246011，China；2.School of Computer and Information，Hefei University of Technology，Hefei230009，China）

In order to perform advantages of complementary multisource features and fuse decision results of multiple classifiers，a multi-feature facial expression recognition method based on decision-level fusion is proposed.Shape Feature（SF）of expression is attained by chain code and deformation feature is built to depict facial geometric changes. Meanwhile，Gabor feature fusion diagram is applied to describe local texture details of facial expression.The posterior probability of three kinds of features，which is obtained by Support Vector Machine（SVM）classifier respectively，is constructed for multiple classifiers fusion in decision-level.In order to solve the optimal fusion weights，a weight optimization strategy based on Particle Swarm Optimization（PSO）under the condition of supervised learning is put forward.Experimental results on Cohn-Kanade database show that the proposed method has better performance for average recognition rate and robustness than single classifier recognition method.Compared with existed multiple classifiers fusion methods，the weight optimization strategy has advantages in term s of recognition rate and reliability.

decision-level fusion；Active Shape Model（ASM）；chain code；Shape Feature（SF）；Deformation Feature（DF）；Gabor Texture Feature（TF）；Particle Swarm Optimization（PSO）

黃 忠，胡 敏，劉 娟.基于多特征決策級(jí)融合的表情識(shí)別方法［J］.計(jì)算機(jī)工程，2015，41（10）：171-176.

英文引用格式：Huang Zhong，Hu Min，Liu Juan.Facial Expression Recognition Method Based on Multi-feature Decision-level Fusion［J］.Computer Engineering，2015，41（10）：171-176.

1000-3428（2015）10-0171-06

A

TP18

國(guó)家自然科學(xué)基金資助項(xiàng)目（61300119）；國(guó)家自然科學(xué)基金資助重點(diǎn)項(xiàng)目（61432004）。

黃 忠（1981-），男，講師、博士研究生，主研方向：人臉識(shí)別，情感計(jì)算；胡 敏，教授、博士；劉 娟，講師、碩士。

2014-10-24

2014-12-01E-mail：huangzhong-200512@163.com