一種融合多特征的笑臉?lè)诸惙椒?/h1>
2011-11-20 09:08:54陳俊
陳 俊
(1.華南理工大學(xué)電子與信息學(xué)院, 廣東廣州 510640； 2.華南師范大學(xué)南海學(xué)院信息工程與技術(shù)系，廣東佛山 528225)
一種融合多特征的笑臉?lè)诸惙椒?/p>
陳 俊1,2*
(1.華南理工大學(xué)電子與信息學(xué)院, 廣東廣州 510640； 2.華南師范大學(xué)南海學(xué)院信息工程與技術(shù)系，廣東佛山 528225)
探討了一個(gè)能夠代表真實(shí)環(huán)境的數(shù)據(jù)集GENKI,構(gòu)建笑臉?lè)诸愊到y(tǒng),并采用支持向量機(jī)結(jié)合GentleBoost作為分類器.討論了數(shù)據(jù)預(yù)處理、Gabor特征提取、PHOG特征提取和局部二值模式特征提取，給出了GENKI數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果并進(jìn)行討論，表明了該方法的有效性.
笑臉?lè)诸悾?Gabor濾波器組； 金字塔分割； 梯度方向直方圖； 局部二值模式； 支持向量機(jī)
人臉表情作為一種自然的交互方式,在人與人之間傳遞著喜怒哀樂(lè)等豐富的情感,在人機(jī)交互領(lǐng)域以及自動(dòng)人臉表情識(shí)別領(lǐng)域引起了普遍關(guān)注[1-2].卡內(nèi)基-梅隆大學(xué)構(gòu)建了專門的人臉表情數(shù)據(jù)庫(kù)CMU-PIE,有代表性的人臉表情數(shù)據(jù)庫(kù)還有Cohn-Kanade[3].為了實(shí)現(xiàn)智能的人機(jī)交互,針對(duì)這些數(shù)據(jù)集合上復(fù)雜多變的光照條件、對(duì)象姿態(tài)、研究對(duì)象的表情變化以及個(gè)體表情差異開(kāi)展了研究[4]；2009年3月,SONY發(fā)布的一款數(shù)碼相機(jī)W120,已經(jīng)實(shí)現(xiàn)笑臉識(shí)別功能,體現(xiàn)了當(dāng)今產(chǎn)業(yè)界對(duì)于表情分類識(shí)別的重視.笑臉表情作為人臉表情的一個(gè)子集受到關(guān)注.
人臉特征提取方法分為局部方法和全局方法.有代表性的局部方法有圖像Gabor特征提取和LBP特征提取.其中,圖像Gabor特征[5]模仿了人類的部分視覺(jué)過(guò)程,很好地捕捉到圖像的空間位置、朝向選擇以及空間尺度等視覺(jué)特征；有代表性的全局方法有主成分分析(以下簡(jiǎn)稱PCA)和線性判別分析(以下簡(jiǎn)稱LDA)[6-7].1996年,OJALA等[8]在紋理分類中首次引入LBP特征.2002年,OJALA等[9]將基本LBP特征引入到人臉圖像描述,提取光照無(wú)關(guān)特征.大多數(shù)紋理分類都假定或隱含著這樣的假設(shè),即未知樣品與訓(xùn)練樣本在空間尺度、方向和灰度特性方面是相似的.真實(shí)環(huán)境中,圖像紋理的光照條件、空間尺度和旋轉(zhuǎn)角度都是在一定范圍內(nèi)不可避免,且在實(shí)際設(shè)計(jì)分類器當(dāng)中必須考慮的因素[10].
為了解決對(duì)真實(shí)環(huán)境盡量近似的問(wèn)題,本文首次提出在新的數(shù)據(jù)集GENKI[10]上構(gòu)建融合Gabor特征、PHOG特征和PLBP特征的笑臉?lè)诸惼?給出了該分類器的詳細(xì)設(shè)計(jì),包括：(1)數(shù)據(jù)預(yù)處理；(2)Gabor特征提取,PHOG特征提取和局部二值模式特征提?。?3)支持向量機(jī)結(jié)合GentleBoost的笑臉?lè)诸悪C(jī)器學(xué)習(xí)算法和詳細(xì)實(shí)驗(yàn)內(nèi)容及討論.
1 特征提取
1.1Gabor特征提取
研究人類大腦皮層簡(jiǎn)單細(xì)胞的反射區(qū)后發(fā)現(xiàn),二維Gabor小波具有與之相同的特性[5],而且與傅立葉變換相比較,Gabor能夠在時(shí)域和頻域中兼顧對(duì)信號(hào)分析的分辨率要求,Gabor小波(濾波器)定義如下：二維Gabor函數(shù)可看成二維帶通濾波器,由二維Gaussian函數(shù)對(duì)平面波進(jìn)行調(diào)制而成[6],其公式表達(dá)為：
(1)
圖1 Gabor濾波器組的實(shí)值模板,8個(gè)朝向,5個(gè)尺度
Figure 1 Gabor filter bank magnitude masks,5 scales,8 directions
1.2PHOG特征提取
HOG(Histogram of Oriented Gradient,梯度方向直方圖)的基本思想是歸一化后的N×M像素圖像的各個(gè)像素點(diǎn)的梯度幅值在某種意義上反映了圖像的邊緣及其尖銳程度,而梯度方向反映了各個(gè)點(diǎn)的邊緣方向[7].兩者結(jié)合表征了完整的紋理信息.
對(duì)于圖像的每一個(gè)像素,本文采用下列2個(gè)3×3的Sobel算子計(jì)算梯度幅值J和梯度方向Θ:
(2)
PHOG特征描述了邊緣的空間分布.PHOG是對(duì)圖像進(jìn)行分割以后再對(duì)子圖像進(jìn)行HOG特征的提取,過(guò)程如圖2所示.具體的PHOG特征提取分4個(gè)步驟.
步驟1:對(duì)圖像進(jìn)行若干層級(jí)的金字塔分割.
步驟2:提取圖像的邊緣輪廓用于描述形狀.這里采用Canny邊緣檢測(cè)算法.
步驟3:每一級(jí)金字塔子圖像的局部形狀由一個(gè)梯度方向直方圖(Histogram of Oriented Gradient, HOG)描述.其中邊緣方向的梯度計(jì)算方法如下：高斯平滑情況下,首先,使用上述3×3的Sobel算子與預(yù)處理后的64×48像素圖像卷積,得到每個(gè)像素點(diǎn)的梯度方向Θ和梯度幅值J；然后,圖像域[0,360]被量化成5×8=40個(gè)方向,針對(duì)每個(gè)方向的角度范圍,統(tǒng)計(jì)梯度方向Θ處于該范圍的像素點(diǎn)的個(gè)數(shù)；并以各個(gè)像素點(diǎn)梯度幅值J的大小作為權(quán)重計(jì)算每個(gè)像素點(diǎn)的貢獻(xiàn)；表示在特征向量直方圖中,某個(gè)柱子的高度代表該柱子對(duì)應(yīng)方向角度范圍內(nèi)所有像素點(diǎn)貢獻(xiàn)的總和.
圖2 PHOG特征提取過(guò)程
1.3金字塔局部二值模式(PLBP)特征提取
金字塔局部二值模式(PLBP)是對(duì)圖像進(jìn)行金字塔分割的基礎(chǔ)上,提取局部二值特征方法的簡(jiǎn)稱.局部二值模式是由OJALA等[8]在1996年引入到模式識(shí)別領(lǐng)域.
1.3.1 基本LBP特征
LBP特征的基本形式是一個(gè)像素鄰域大小為3×3的二進(jìn)制算子,計(jì)算步驟如圖3所示.
步驟1:將圖3(a)所示的某3×3鄰域的周圍8個(gè)像素點(diǎn)的灰度值(記為g0,g1,…,g7)分別與中心像素點(diǎn)的值gc比較大小,對(duì)該鄰域進(jìn)行二值化.若某像素點(diǎn)的灰度值gi>gc(i=0,1,…,7),則將其置為1,否則置為0,如圖3(b)所示.
步驟2:得到3×3鄰域二值化后8個(gè)像素點(diǎn)的灰度值(圖3(c)).將其和權(quán)值矩陣相應(yīng)的值對(duì)應(yīng)相乘,結(jié)果如圖3(d)所示.
步驟3:對(duì)3×3鄰域的8個(gè)灰度值求和(圖3(d)),得到的十進(jìn)制數(shù)就為該3×3鄰域的LBP特征值.如圖3(a)所示的3×3鄰域的LBP特征值為120,二進(jìn)制模式值為011110002(按順時(shí)針).
圖3 基本LBP特征
1.3.2 擴(kuò)展LBP特征
基本LBP特征的思想是提取樣本點(diǎn)周圍的像素值,并按照樣本點(diǎn)灰度值進(jìn)行二值化[8].OJALA等[9]在此基礎(chǔ)上對(duì)像素鄰域范圍進(jìn)行了擴(kuò)展,使得LBP特征在以樣本點(diǎn)為圓心、R為半徑的圓周上等間隔地采樣,設(shè)采樣個(gè)數(shù)為P.常見(jiàn)的R和P參數(shù)如圖4所示. 則樣本點(diǎn)R鄰域的LBP特征計(jì)算公式為：
(3)
圖4 擴(kuò)展LBP特征
1.3.3 旋轉(zhuǎn)無(wú)關(guān)LBP特征
為了處理實(shí)際應(yīng)用當(dāng)中紋理旋轉(zhuǎn)而導(dǎo)致的LBP特征變化,OJALA等[9]實(shí)現(xiàn)了具有旋轉(zhuǎn)不變性的LBP特征(記為L(zhǎng)BPri,上標(biāo)ri表示旋轉(zhuǎn)不變).通過(guò)將擴(kuò)展的LBP特征的二進(jìn)制值進(jìn)行循環(huán)移位,實(shí)現(xiàn)旋轉(zhuǎn)不變的LBP特征.計(jì)算公式為：
(4)
其中ROR(z,k)表示對(duì)P位二進(jìn)制數(shù)z進(jìn)行向右循環(huán)移位k次(|k|
表1 旋轉(zhuǎn)無(wú)關(guān)LBP特征Table 1 Rotation invariant LBP features
2 實(shí)驗(yàn)準(zhǔn)備
2.1預(yù)處理
GENKI數(shù)據(jù)庫(kù)包含從互聯(lián)網(wǎng)收集的各種條件下的照片11 160張,包括戶外和戶內(nèi),以及不同年齡、不同性別等.首先剔除無(wú)法甄別是否存在人臉區(qū)域的圖像,再對(duì)符合檢測(cè)要求的數(shù)據(jù)進(jìn)行預(yù)處理,以消除由于光照、尺度縮放或平移所帶來(lái)的影響,得到規(guī)模為64×48像素的圖像.過(guò)程如圖6(a)所示.為進(jìn)行測(cè)試,對(duì)數(shù)據(jù)集(GENKI)進(jìn)行了手工標(biāo)定(分為大笑、微笑和不笑),得到標(biāo)記為大笑、微笑2種類別. 預(yù)處理過(guò)程如圖5所示.
圖5 人臉表情樣本圖像預(yù)處理流程圖
Figure 5 Flowchart of face expression image preprocessing
2.2特征選擇與分類器設(shè)計(jì)
比較2種學(xué)習(xí)算法——GentleBoost和支持向量機(jī).支持向量機(jī)SVM算法基于統(tǒng)計(jì)學(xué)習(xí)理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則,在解決高維模式識(shí)別中表現(xiàn)出許多特有的優(yōu)勢(shì)；GentleBoost的執(zhí)行情況是每個(gè)基本模塊包含從濾波器組中選擇的一個(gè)濾波器,以及一個(gè)非線性調(diào)諧函數(shù),用非參數(shù)回歸計(jì)算.GentleBoost輸出的是給定觀測(cè)圖像分類標(biāo)簽的對(duì)數(shù)似然率估計(jì).在實(shí)驗(yàn)中,所有GentleBoost分類器均迭代500次.將兩者進(jìn)行結(jié)合訓(xùn)練時(shí),GentleBoost僅用于特征選擇并將獲得的候選特征用于后續(xù)支持向量機(jī)的訓(xùn)練.
3 結(jié)果與分析
從GENKI[10]實(shí)驗(yàn)數(shù)據(jù)集中選擇1 202張笑臉表情圖像,分為2類：微笑和大笑.最終得到了524張微笑樣本和678張大笑樣本.為進(jìn)行微笑和大笑二分類,對(duì)于訓(xùn)練集合,從524張微笑圖像中隨機(jī)選432張樣本,從678張大笑圖像中隨機(jī)選568張樣本.其余的樣本用于測(cè)試.
3.1Gabor特征與PHOG特征比較
本實(shí)驗(yàn)所提取特征包括以下3種：第1種是Gabor特征,即原始圖像與5個(gè)尺度和8個(gè)方向的Gabor濾波器組進(jìn)行卷積作為特征向量；第2種是PHOG特征,即金字塔分割得到的所有子圖像的HOG特征向量串聯(lián)作為特征向量；第3種是混合特征,即PHOG+Gabor,Gabor+PLBP,PHOG+PLBP,以及Gabor+PHOG+PLBP.
表2 6種特征提取方法的SVM分類結(jié)果比較
Table 2 Comparing results of 6 feature extraction schemes for SVM
%
表3 6種特征提取方法的GentleBoost分類結(jié)果比較Table 3 Comparing results of 6 feature extraction schemes for GentleBoost %
由表2和表3可知,由PHOG進(jìn)行特征提取方法取得了媲美Gabor特征所生產(chǎn)的效果.特別是PHOG只使用SVM分類器時(shí),表現(xiàn)優(yōu)于Gabor濾波器.使用GentleBoost時(shí)Gabor特征表現(xiàn)優(yōu)于PHOG特征.GentleBoost結(jié)合SVM針對(duì)融合后的PHOG和Gabor特征進(jìn)行學(xué)習(xí)，獲得的效果最好.
3.2Gabor特征與PHOG特征融合
Gabor特征與PHOG特征融合特征(以下簡(jiǎn)記為Gabor+PHOG特征),即將兩者進(jìn)行串接得到新的向量作為特征向量.串接方法如下：假定X={x1,x2,…，xs}是A(可以是Gabor或PHOG或LBP)特征向量；Y={y1,y2,…,yt}是B(可以是Gabor或PHOG或LBP)特征向量,其中s和t分別表示X和Y的特征維數(shù).得到新的特征向量Z如下：
Z={X∪Y}={x1,x2,…,xs,y1,y2,…,yt}.
(5)
3.3Gabor特征、PHOG特征以及PLBP特征融合
本實(shí)驗(yàn)所提取特征包括:第1種提取Gabor特征再提取PLBP特征(記為Gabor+PLBP)；第2種提取PHOG特征再提取PLBP特征(記為PHOG+PLBP)；第3種提取Gabor特征再提取PLBP+PHOG特征(記為Gabor+PHOG+PLBP).其中,所有特征均按式(5)串接.PLBP算法如上文.
表4 6種特征提取方法的GentleBoost+SVM分類結(jié)果比較Table 4 Comparing results of 6 feature extraction schemes for GentleBoost+SVM %
圖6 本文特征提取方法結(jié)果比較
由表4可知,局部二值模式特征對(duì)局部幾何結(jié)構(gòu)旋轉(zhuǎn)或單調(diào)像素灰度值變化有良好的穩(wěn)定性,保持并提高了分類識(shí)別性能.原因在于能夠提取對(duì)旋轉(zhuǎn)、局部灰度單調(diào)變化魯棒的分類信息,一定程度上減少了對(duì)特定分類任務(wù)有影響的人臉姿態(tài)變化、光照變化等因素的影響.
由圖6可知,融合特征在低維時(shí)仍然保持著較高的識(shí)別率,隨著訓(xùn)練迭代次數(shù)的增加,識(shí)別率上升,在迭代次數(shù)為500次附近時(shí),獲得最佳識(shí)別率.大于500次時(shí),PHOG特征比Gabor特征獲得了更高的識(shí)別率,融合維特征在訓(xùn)練迭代900次時(shí)識(shí)別率為86.087%,相對(duì)于500次迭代獲得的最高識(shí)別率并無(wú)明顯變化.對(duì)于實(shí)際應(yīng)用來(lái)說(shuō),迭代次數(shù)選擇500能夠在較短時(shí)間內(nèi)獲得較好的分類識(shí)別率.證明了融合特征具有優(yōu)越分類能力.并且能夠在相對(duì)較短的訓(xùn)練時(shí)間內(nèi)獲得最佳分類識(shí)別率.
3.4取得分類識(shí)別率相應(yīng)的時(shí)間代價(jià)
實(shí)驗(yàn)硬件平臺(tái)使用奔騰4臺(tái)式機(jī),CPU頻率1.7 GHz,迭代次數(shù)與對(duì)應(yīng)的消耗時(shí)間(采用最小刻度為千分之一秒(ms)的秒表人工計(jì)時(shí))關(guān)系如表5所示.
表5 迭代次數(shù)與消耗時(shí)間關(guān)系Table 5 Relationship between iterations and time consuming
從表5可看到,除掉大約200 ms的必要系統(tǒng)準(zhǔn)備和人工反應(yīng)時(shí)間,迭代次數(shù)與笑臉?lè)诸惖南臅r(shí)間呈正比例關(guān)系,平均迭代消耗時(shí)間為325 ms/100次迭代,平均消耗時(shí)間約為1 810 ms.擬合曲線是一條近似直線.
3.5Gabor+PHOG+PLBP特征與公開(kāi)發(fā)表特征提取方法的比較
將Gabor+PHOG+PLBP特征分別與公開(kāi)發(fā)表的PCA特征、LDA特征提取方法[6-7]在GENKI數(shù)據(jù)集上比較重新計(jì)算的分類識(shí)別率,對(duì)于訓(xùn)練集合,從524張微笑圖像中隨機(jī)選432張樣本,從678張大笑圖像中隨機(jī)選568張樣本.其余的樣本用于測(cè)試.分類算法沿用上述的SVM和GentleBoost.結(jié)果如表6～表8所示.
表6 3種特征提取方法的SVM分類結(jié)果比較
Table 6 Comparing results of 3 feature extraction schemes for SVM %
表7 3種特征提取方法的GentleBoost分類結(jié)果比較
Table 7 Comparing results of 3 feature extraction schemes for GentleBoost %
表8 3種特征提取方法的GentleBoost+SVM分類結(jié)果比較
Table 8 Comparing results of 3 feature extraction schemes for GentleBoost+SVM %
從表6～表8可以看出,SVM、GentleBoost和SVM+GentleBoost分類算法在GENKI數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果皆優(yōu)于PCA特征提取方法和LDA特征提取方法在GENKI數(shù)據(jù)集上的結(jié)果.證明了本文方法的有效性.
4 結(jié)論
本文將Gabor特征、PHOG特征和旋轉(zhuǎn)無(wú)關(guān)LBP特征融合后引入到笑臉?lè)诸?構(gòu)造了一個(gè)對(duì)光照變化和局部幾何結(jié)構(gòu)的旋轉(zhuǎn)變化魯棒的笑臉?lè)诸愊到y(tǒng).Gabor特征是一種高效的多尺度分解方法,模仿了人類大腦皮層簡(jiǎn)單細(xì)胞的反射區(qū)的立即響應(yīng)視覺(jué)過(guò)程；PHOG特征的引入解決了LBP算子對(duì)局部幾何結(jié)構(gòu)的紋理邊緣和方向變化不敏感的問(wèn)題,最后采用GentleBoost和SVM分類方法對(duì)3種特征對(duì)應(yīng)的識(shí)別性能進(jìn)行測(cè)試.本文研究的主要結(jié)果有：
(1)GENKI數(shù)據(jù)庫(kù)包括戶外和戶內(nèi),以及不同年齡、不同性別,也包括平面內(nèi)、外人臉的旋轉(zhuǎn)和不同姿態(tài)的圖像,在一定程度上能夠代表真實(shí)環(huán)境下采集的數(shù)據(jù).
(2)將Gabor特征和PHOG特征進(jìn)行了融合,比單獨(dú)運(yùn)用這2種特征之一,提高了分類識(shí)別率；采用GentleBoost進(jìn)行特征選擇結(jié)合SVM來(lái)訓(xùn)練分類器,在提取同一特征情況下,結(jié)果優(yōu)于單獨(dú)采用GentleBoost訓(xùn)練或SVM訓(xùn)練.提取不同特征情況下,2種特征分類方式：(PHOG+Gabor)+(GentalBoost+SVM),(Gabor+PHOG+PLBP)+(GentalBoost+SVM)分類識(shí)別率最高,分別為86.147%,86.197%.
(3)經(jīng)過(guò)PLBP特征的融合,由于減少和消除了高維特征中可能存在的光照、旋轉(zhuǎn)變化等阻礙特定分類任務(wù)的因素,很好地保持甚至提高了分類能力；同時(shí),對(duì)于預(yù)處理過(guò)程中的圖像配準(zhǔn)[11],人臉定位和直方圖均衡的精度要求也大大降低.同樣迭代次數(shù)下,GENKI數(shù)據(jù)庫(kù)中單一特征和融合特征最大分類識(shí)別率差距為：86.197%-82.588%=3.609%.
(4)在GENKI數(shù)據(jù)集上使用SVM、GentleBoost、SVM+GentleBoost算法,本文特征提取方法大幅優(yōu)于傳統(tǒng)的PCA特征提取方法和LDA特征提取方法,體現(xiàn)了融合特征的有效性.
(5)人工計(jì)算時(shí)間消耗雖然有一定誤差,但反映了本算法消耗時(shí)間與迭代次數(shù)呈現(xiàn)正比例的規(guī)律,在容易獲得的PC機(jī)平臺(tái)上,揭示了算法迭代過(guò)程改進(jìn)的指導(dǎo)方向,以提高效率.
上述結(jié)果揭示了融合特征在真實(shí)環(huán)境中對(duì)特定表情分類任務(wù)的潛力；同時(shí),由于局部特征的表示均為向量模式,PHOG和PLBP特征在圖像預(yù)處理和金字塔圖像分割方面的統(tǒng)一性,以及PHOG和PLBP各自對(duì)于邊緣方向梯度變化以及光照、旋轉(zhuǎn)變化的穩(wěn)定性和互補(bǔ)性,給予了提取融合特征的可能性,提高了分類識(shí)別準(zhǔn)確率.未來(lái)將進(jìn)一步研究真實(shí)環(huán)境中對(duì)光照、旋轉(zhuǎn)、尺度和平移等場(chǎng)景幾何變換和表情變換各種因素魯棒的表情分類系統(tǒng).
[1] FASEL B，LUETTIN J.Automatic facial expression analysis: a survey[J].Pattern Recognition,2003,36(1):259-275.
[2] ZENG Z, PANTIC M, ROISMAN G, et al.A survey of affect recognition methods: Audio, visual, and spontaneous expressions[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2008,31(1):39-58.
[3] KANADE T, TIAN Y,COHN J.Comprehensive database for facial expression analysis[C]∥Proceedings of the 4th IEEE Int’l Conf Automatic Face and Gesture Recognition. Grenoble France:IEEE Computer Society, 2000:46-53.
[4] SIM T, BAKER S,BSAT M.The CMU pose, illumination, and expression database[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2003,25(12):1615-1618.
[5] LEE T.Image representation using 2D Gabor wavelets[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1996,18(10):959-971.
[6] COHN J，SCHMIDT K.The timing of facial motion in posed and spontaneous smiles[J].International Journal of Wavelets, Multiresolution and Information Processing,2004,2(2):121-132.
[7] DALAL N, TRIGGS B, RHONE A I, et al.Histograms of oriented gradients for human detection[C]∥IEEE Conf on Computer Vision and Pattern Recognition.San Diego, CA, USA:IEEE Computer Society,2005:886-893.
[8] OJALA T, PIETIKINEN M,HARWOOD D.A comparative study of texture measures with classification based on feature distribution[J].Pattern Recognition,1996,29(1):51-59.
[9] OJALA T, PIETIKINEN M.Multiresolution Gray-scale and rotation invariant texture classification with local binary patterns[J].IEEE Transaction on Pattern Analysis and Machine Intelligence,2002,24(7):971-987.
[10] WHITEHILL J, LITTLEWORT G, FASEL I, et al.Toward practical smile detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2009,31(11):2106-2111.
[11] 肖化.基于Talairach坐標(biāo)系統(tǒng)的腦圖譜配準(zhǔn)算法的實(shí)現(xiàn)[J].華南師范大學(xué)學(xué)報(bào)：自然科學(xué)版,2008(1):34-39.
XIAO hua.Implementation of brain atlas registration based on talairach coordinate system[J].Journal of South China Normal University：Natural Science Edition,2008(1):34-39.
Keywords： smile classification； Gabor filters bank； pyramid segmentation； histogram of oriented gradient； local binary pattern； support vector machine
【責(zé)任編輯 莊曉瓊】
AFUSIONMETHODOFMULTIPLEFEATURESFORCLASSIFICATIONOFSMILEEXPRESSION
CHEN Jun1,2
(1.School of Electrical and Information Engineering, South China University of Technology, Guangzhou 510640, China； 2. Department of information Engineering & Technique，Nanhai College，South China Normal Univercity，F(xiàn)oshan,Guangdong 528225，China)
A smile expression classification system on data sets of GENKI is built which can represent real-world environments, and the support vector machine and GentleBoost algorithm are used as tools to learn. The followings are introduced: data preprocessing, Gabor features extraction, PHOG features extraction, and local binary pattern features extraction. The experiment results and detailed analysis of these results based on the GENKI dataset shows the effectiveness of the method.
2010-09-07
*通訊作者，jun.cb@mail.scut.edu.cn
1000-5463(2011)02-0049-07
TP391.41
A
猜你喜歡
基于類圖像處理與向量化的大數(shù)據(jù)腳本攻擊智能檢測(cè)計(jì)算機(jī)工程(2020年3期)2020-03-19 12:24:50 基于真耳分析的助聽(tīng)器配戴者言語(yǔ)可懂度指數(shù)與言語(yǔ)識(shí)別率的關(guān)系中國(guó)聽(tīng)力語(yǔ)言康復(fù)科學(xué)雜志(2019年3期)2019-06-24 09:51:20 基于Daubechies(dbN)的飛行器音頻特征提取電子制作(2018年19期)2018-11-14 02:37:08 提升高速公路MTC二次抓拍車牌識(shí)別率方案研究中國(guó)交通信息化(2018年3期)2018-06-13 03:27:58 基于canvas的前端數(shù)據(jù)加密電腦知識(shí)與技術(shù)(2018年35期)2018-02-27 13:29:44 Bagging RCSP腦電特征提取算法自動(dòng)化學(xué)報(bào)(2017年11期)2017-04-04 02:52:58 基于逐像素點(diǎn)深度卷積網(wǎng)絡(luò)分割模型的上皮和間質(zhì)組織分割自動(dòng)化學(xué)報(bào)(2017年11期)2017-04-04 02:52:44 高速公路機(jī)電日常維護(hù)中車牌識(shí)別率分析系統(tǒng)的應(yīng)用中國(guó)交通信息化(2016年2期)2016-06-06 07:28:02 基于MED和循環(huán)域解調(diào)的多故障特征提取噪聲與振動(dòng)控制(2015年4期)2015-01-01 07:08:21 基于Node-Cell結(jié)構(gòu)的HEVC幀內(nèi)編碼電視技術(shù)(2014年11期)2014-12-02 02:43:28
陳 俊
(1.華南理工大學(xué)電子與信息學(xué)院, 廣東廣州 510640； 2.華南師范大學(xué)南海學(xué)院信息工程與技術(shù)系，廣東佛山 528225)
一種融合多特征的笑臉?lè)诸惙椒?/p>
陳 俊1,2*
(1.華南理工大學(xué)電子與信息學(xué)院, 廣東廣州 510640； 2.華南師范大學(xué)南海學(xué)院信息工程與技術(shù)系，廣東佛山 528225)
探討了一個(gè)能夠代表真實(shí)環(huán)境的數(shù)據(jù)集GENKI,構(gòu)建笑臉?lè)诸愊到y(tǒng),并采用支持向量機(jī)結(jié)合GentleBoost作為分類器.討論了數(shù)據(jù)預(yù)處理、Gabor特征提取、PHOG特征提取和局部二值模式特征提取，給出了GENKI數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果并進(jìn)行討論，表明了該方法的有效性.
笑臉?lè)诸悾?Gabor濾波器組； 金字塔分割； 梯度方向直方圖； 局部二值模式； 支持向量機(jī)
人臉表情作為一種自然的交互方式,在人與人之間傳遞著喜怒哀樂(lè)等豐富的情感,在人機(jī)交互領(lǐng)域以及自動(dòng)人臉表情識(shí)別領(lǐng)域引起了普遍關(guān)注[1-2].卡內(nèi)基-梅隆大學(xué)構(gòu)建了專門的人臉表情數(shù)據(jù)庫(kù)CMU-PIE,有代表性的人臉表情數(shù)據(jù)庫(kù)還有Cohn-Kanade[3].為了實(shí)現(xiàn)智能的人機(jī)交互,針對(duì)這些數(shù)據(jù)集合上復(fù)雜多變的光照條件、對(duì)象姿態(tài)、研究對(duì)象的表情變化以及個(gè)體表情差異開(kāi)展了研究[4]；2009年3月,SONY發(fā)布的一款數(shù)碼相機(jī)W120,已經(jīng)實(shí)現(xiàn)笑臉識(shí)別功能,體現(xiàn)了當(dāng)今產(chǎn)業(yè)界對(duì)于表情分類識(shí)別的重視.笑臉表情作為人臉表情的一個(gè)子集受到關(guān)注.
人臉特征提取方法分為局部方法和全局方法.有代表性的局部方法有圖像Gabor特征提取和LBP特征提取.其中,圖像Gabor特征[5]模仿了人類的部分視覺(jué)過(guò)程,很好地捕捉到圖像的空間位置、朝向選擇以及空間尺度等視覺(jué)特征；有代表性的全局方法有主成分分析(以下簡(jiǎn)稱PCA)和線性判別分析(以下簡(jiǎn)稱LDA)[6-7].1996年,OJALA等[8]在紋理分類中首次引入LBP特征.2002年,OJALA等[9]將基本LBP特征引入到人臉圖像描述,提取光照無(wú)關(guān)特征.大多數(shù)紋理分類都假定或隱含著這樣的假設(shè),即未知樣品與訓(xùn)練樣本在空間尺度、方向和灰度特性方面是相似的.真實(shí)環(huán)境中,圖像紋理的光照條件、空間尺度和旋轉(zhuǎn)角度都是在一定范圍內(nèi)不可避免,且在實(shí)際設(shè)計(jì)分類器當(dāng)中必須考慮的因素[10].
為了解決對(duì)真實(shí)環(huán)境盡量近似的問(wèn)題,本文首次提出在新的數(shù)據(jù)集GENKI[10]上構(gòu)建融合Gabor特征、PHOG特征和PLBP特征的笑臉?lè)诸惼?給出了該分類器的詳細(xì)設(shè)計(jì),包括：(1)數(shù)據(jù)預(yù)處理；(2)Gabor特征提取,PHOG特征提取和局部二值模式特征提?。?3)支持向量機(jī)結(jié)合GentleBoost的笑臉?lè)诸悪C(jī)器學(xué)習(xí)算法和詳細(xì)實(shí)驗(yàn)內(nèi)容及討論.
1 特征提取
1.1Gabor特征提取
研究人類大腦皮層簡(jiǎn)單細(xì)胞的反射區(qū)后發(fā)現(xiàn),二維Gabor小波具有與之相同的特性[5],而且與傅立葉變換相比較,Gabor能夠在時(shí)域和頻域中兼顧對(duì)信號(hào)分析的分辨率要求,Gabor小波(濾波器)定義如下：二維Gabor函數(shù)可看成二維帶通濾波器,由二維Gaussian函數(shù)對(duì)平面波進(jìn)行調(diào)制而成[6],其公式表達(dá)為：
(1)
圖1 Gabor濾波器組的實(shí)值模板,8個(gè)朝向,5個(gè)尺度
Figure 1 Gabor filter bank magnitude masks,5 scales,8 directions
1.2PHOG特征提取
HOG(Histogram of Oriented Gradient,梯度方向直方圖)的基本思想是歸一化后的N×M像素圖像的各個(gè)像素點(diǎn)的梯度幅值在某種意義上反映了圖像的邊緣及其尖銳程度,而梯度方向反映了各個(gè)點(diǎn)的邊緣方向[7].兩者結(jié)合表征了完整的紋理信息.
對(duì)于圖像的每一個(gè)像素,本文采用下列2個(gè)3×3的Sobel算子計(jì)算梯度幅值J和梯度方向Θ:
(2)
PHOG特征描述了邊緣的空間分布.PHOG是對(duì)圖像進(jìn)行分割以后再對(duì)子圖像進(jìn)行HOG特征的提取,過(guò)程如圖2所示.具體的PHOG特征提取分4個(gè)步驟.
步驟1:對(duì)圖像進(jìn)行若干層級(jí)的金字塔分割.
步驟2:提取圖像的邊緣輪廓用于描述形狀.這里采用Canny邊緣檢測(cè)算法.
步驟3:每一級(jí)金字塔子圖像的局部形狀由一個(gè)梯度方向直方圖(Histogram of Oriented Gradient, HOG)描述.其中邊緣方向的梯度計(jì)算方法如下：高斯平滑情況下,首先,使用上述3×3的Sobel算子與預(yù)處理后的64×48像素圖像卷積,得到每個(gè)像素點(diǎn)的梯度方向Θ和梯度幅值J；然后,圖像域[0,360]被量化成5×8=40個(gè)方向,針對(duì)每個(gè)方向的角度范圍,統(tǒng)計(jì)梯度方向Θ處于該范圍的像素點(diǎn)的個(gè)數(shù)；并以各個(gè)像素點(diǎn)梯度幅值J的大小作為權(quán)重計(jì)算每個(gè)像素點(diǎn)的貢獻(xiàn)；表示在特征向量直方圖中,某個(gè)柱子的高度代表該柱子對(duì)應(yīng)方向角度范圍內(nèi)所有像素點(diǎn)貢獻(xiàn)的總和.
圖2 PHOG特征提取過(guò)程
1.3金字塔局部二值模式(PLBP)特征提取
金字塔局部二值模式(PLBP)是對(duì)圖像進(jìn)行金字塔分割的基礎(chǔ)上,提取局部二值特征方法的簡(jiǎn)稱.局部二值模式是由OJALA等[8]在1996年引入到模式識(shí)別領(lǐng)域.
1.3.1 基本LBP特征
LBP特征的基本形式是一個(gè)像素鄰域大小為3×3的二進(jìn)制算子,計(jì)算步驟如圖3所示.
步驟1:將圖3(a)所示的某3×3鄰域的周圍8個(gè)像素點(diǎn)的灰度值(記為g0,g1,…,g7)分別與中心像素點(diǎn)的值gc比較大小,對(duì)該鄰域進(jìn)行二值化.若某像素點(diǎn)的灰度值gi>gc(i=0,1,…,7),則將其置為1,否則置為0,如圖3(b)所示.
步驟2:得到3×3鄰域二值化后8個(gè)像素點(diǎn)的灰度值(圖3(c)).將其和權(quán)值矩陣相應(yīng)的值對(duì)應(yīng)相乘,結(jié)果如圖3(d)所示.
步驟3:對(duì)3×3鄰域的8個(gè)灰度值求和(圖3(d)),得到的十進(jìn)制數(shù)就為該3×3鄰域的LBP特征值.如圖3(a)所示的3×3鄰域的LBP特征值為120,二進(jìn)制模式值為011110002(按順時(shí)針).
圖3 基本LBP特征
1.3.2 擴(kuò)展LBP特征
基本LBP特征的思想是提取樣本點(diǎn)周圍的像素值,并按照樣本點(diǎn)灰度值進(jìn)行二值化[8].OJALA等[9]在此基礎(chǔ)上對(duì)像素鄰域范圍進(jìn)行了擴(kuò)展,使得LBP特征在以樣本點(diǎn)為圓心、R為半徑的圓周上等間隔地采樣,設(shè)采樣個(gè)數(shù)為P.常見(jiàn)的R和P參數(shù)如圖4所示. 則樣本點(diǎn)R鄰域的LBP特征計(jì)算公式為：
(3)
圖4 擴(kuò)展LBP特征
1.3.3 旋轉(zhuǎn)無(wú)關(guān)LBP特征
為了處理實(shí)際應(yīng)用當(dāng)中紋理旋轉(zhuǎn)而導(dǎo)致的LBP特征變化,OJALA等[9]實(shí)現(xiàn)了具有旋轉(zhuǎn)不變性的LBP特征(記為L(zhǎng)BPri,上標(biāo)ri表示旋轉(zhuǎn)不變).通過(guò)將擴(kuò)展的LBP特征的二進(jìn)制值進(jìn)行循環(huán)移位,實(shí)現(xiàn)旋轉(zhuǎn)不變的LBP特征.計(jì)算公式為：
(4)
其中ROR(z,k)表示對(duì)P位二進(jìn)制數(shù)z進(jìn)行向右循環(huán)移位k次(|k| 表1 旋轉(zhuǎn)無(wú)關(guān)LBP特征Table 1 Rotation invariant LBP features 2.1預(yù)處理 GENKI數(shù)據(jù)庫(kù)包含從互聯(lián)網(wǎng)收集的各種條件下的照片11 160張,包括戶外和戶內(nèi),以及不同年齡、不同性別等.首先剔除無(wú)法甄別是否存在人臉區(qū)域的圖像,再對(duì)符合檢測(cè)要求的數(shù)據(jù)進(jìn)行預(yù)處理,以消除由于光照、尺度縮放或平移所帶來(lái)的影響,得到規(guī)模為64×48像素的圖像.過(guò)程如圖6(a)所示.為進(jìn)行測(cè)試,對(duì)數(shù)據(jù)集(GENKI)進(jìn)行了手工標(biāo)定(分為大笑、微笑和不笑),得到標(biāo)記為大笑、微笑2種類別. 預(yù)處理過(guò)程如圖5所示. 圖5 人臉表情樣本圖像預(yù)處理流程圖 Figure 5 Flowchart of face expression image preprocessing 2.2特征選擇與分類器設(shè)計(jì) 比較2種學(xué)習(xí)算法——GentleBoost和支持向量機(jī).支持向量機(jī)SVM算法基于統(tǒng)計(jì)學(xué)習(xí)理論和結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則,在解決高維模式識(shí)別中表現(xiàn)出許多特有的優(yōu)勢(shì)；GentleBoost的執(zhí)行情況是每個(gè)基本模塊包含從濾波器組中選擇的一個(gè)濾波器,以及一個(gè)非線性調(diào)諧函數(shù),用非參數(shù)回歸計(jì)算.GentleBoost輸出的是給定觀測(cè)圖像分類標(biāo)簽的對(duì)數(shù)似然率估計(jì).在實(shí)驗(yàn)中,所有GentleBoost分類器均迭代500次.將兩者進(jìn)行結(jié)合訓(xùn)練時(shí),GentleBoost僅用于特征選擇并將獲得的候選特征用于后續(xù)支持向量機(jī)的訓(xùn)練. 從GENKI[10]實(shí)驗(yàn)數(shù)據(jù)集中選擇1 202張笑臉表情圖像,分為2類：微笑和大笑.最終得到了524張微笑樣本和678張大笑樣本.為進(jìn)行微笑和大笑二分類,對(duì)于訓(xùn)練集合,從524張微笑圖像中隨機(jī)選432張樣本,從678張大笑圖像中隨機(jī)選568張樣本.其余的樣本用于測(cè)試. 3.1Gabor特征與PHOG特征比較 本實(shí)驗(yàn)所提取特征包括以下3種：第1種是Gabor特征,即原始圖像與5個(gè)尺度和8個(gè)方向的Gabor濾波器組進(jìn)行卷積作為特征向量；第2種是PHOG特征,即金字塔分割得到的所有子圖像的HOG特征向量串聯(lián)作為特征向量；第3種是混合特征,即PHOG+Gabor,Gabor+PLBP,PHOG+PLBP,以及Gabor+PHOG+PLBP. 表2 6種特征提取方法的SVM分類結(jié)果比較 Table 2 Comparing results of 6 feature extraction schemes for SVM % 表3 6種特征提取方法的GentleBoost分類結(jié)果比較Table 3 Comparing results of 6 feature extraction schemes for GentleBoost % 由表2和表3可知,由PHOG進(jìn)行特征提取方法取得了媲美Gabor特征所生產(chǎn)的效果.特別是PHOG只使用SVM分類器時(shí),表現(xiàn)優(yōu)于Gabor濾波器.使用GentleBoost時(shí)Gabor特征表現(xiàn)優(yōu)于PHOG特征.GentleBoost結(jié)合SVM針對(duì)融合后的PHOG和Gabor特征進(jìn)行學(xué)習(xí)，獲得的效果最好. 3.2Gabor特征與PHOG特征融合 Gabor特征與PHOG特征融合特征(以下簡(jiǎn)記為Gabor+PHOG特征),即將兩者進(jìn)行串接得到新的向量作為特征向量.串接方法如下：假定X={x1,x2,…，xs}是A(可以是Gabor或PHOG或LBP)特征向量；Y={y1,y2,…,yt}是B(可以是Gabor或PHOG或LBP)特征向量,其中s和t分別表示X和Y的特征維數(shù).得到新的特征向量Z如下： Z={X∪Y}={x1,x2,…,xs,y1,y2,…,yt}. (5) 3.3Gabor特征、PHOG特征以及PLBP特征融合 本實(shí)驗(yàn)所提取特征包括:第1種提取Gabor特征再提取PLBP特征(記為Gabor+PLBP)；第2種提取PHOG特征再提取PLBP特征(記為PHOG+PLBP)；第3種提取Gabor特征再提取PLBP+PHOG特征(記為Gabor+PHOG+PLBP).其中,所有特征均按式(5)串接.PLBP算法如上文. 表4 6種特征提取方法的GentleBoost+SVM分類結(jié)果比較Table 4 Comparing results of 6 feature extraction schemes for GentleBoost+SVM % 圖6 本文特征提取方法結(jié)果比較 由表4可知,局部二值模式特征對(duì)局部幾何結(jié)構(gòu)旋轉(zhuǎn)或單調(diào)像素灰度值變化有良好的穩(wěn)定性,保持并提高了分類識(shí)別性能.原因在于能夠提取對(duì)旋轉(zhuǎn)、局部灰度單調(diào)變化魯棒的分類信息,一定程度上減少了對(duì)特定分類任務(wù)有影響的人臉姿態(tài)變化、光照變化等因素的影響. 由圖6可知,融合特征在低維時(shí)仍然保持著較高的識(shí)別率,隨著訓(xùn)練迭代次數(shù)的增加,識(shí)別率上升,在迭代次數(shù)為500次附近時(shí),獲得最佳識(shí)別率.大于500次時(shí),PHOG特征比Gabor特征獲得了更高的識(shí)別率,融合維特征在訓(xùn)練迭代900次時(shí)識(shí)別率為86.087%,相對(duì)于500次迭代獲得的最高識(shí)別率并無(wú)明顯變化.對(duì)于實(shí)際應(yīng)用來(lái)說(shuō),迭代次數(shù)選擇500能夠在較短時(shí)間內(nèi)獲得較好的分類識(shí)別率.證明了融合特征具有優(yōu)越分類能力.并且能夠在相對(duì)較短的訓(xùn)練時(shí)間內(nèi)獲得最佳分類識(shí)別率. 3.4取得分類識(shí)別率相應(yīng)的時(shí)間代價(jià) 實(shí)驗(yàn)硬件平臺(tái)使用奔騰4臺(tái)式機(jī),CPU頻率1.7 GHz,迭代次數(shù)與對(duì)應(yīng)的消耗時(shí)間(采用最小刻度為千分之一秒(ms)的秒表人工計(jì)時(shí))關(guān)系如表5所示. 表5 迭代次數(shù)與消耗時(shí)間關(guān)系Table 5 Relationship between iterations and time consuming 從表5可看到,除掉大約200 ms的必要系統(tǒng)準(zhǔn)備和人工反應(yīng)時(shí)間,迭代次數(shù)與笑臉?lè)诸惖南臅r(shí)間呈正比例關(guān)系,平均迭代消耗時(shí)間為325 ms/100次迭代,平均消耗時(shí)間約為1 810 ms.擬合曲線是一條近似直線. 3.5Gabor+PHOG+PLBP特征與公開(kāi)發(fā)表特征提取方法的比較 將Gabor+PHOG+PLBP特征分別與公開(kāi)發(fā)表的PCA特征、LDA特征提取方法[6-7]在GENKI數(shù)據(jù)集上比較重新計(jì)算的分類識(shí)別率,對(duì)于訓(xùn)練集合,從524張微笑圖像中隨機(jī)選432張樣本,從678張大笑圖像中隨機(jī)選568張樣本.其余的樣本用于測(cè)試.分類算法沿用上述的SVM和GentleBoost.結(jié)果如表6～表8所示. 表6 3種特征提取方法的SVM分類結(jié)果比較 Table 6 Comparing results of 3 feature extraction schemes for SVM % 表7 3種特征提取方法的GentleBoost分類結(jié)果比較 Table 7 Comparing results of 3 feature extraction schemes for GentleBoost % 表8 3種特征提取方法的GentleBoost+SVM分類結(jié)果比較 Table 8 Comparing results of 3 feature extraction schemes for GentleBoost+SVM % 從表6～表8可以看出,SVM、GentleBoost和SVM+GentleBoost分類算法在GENKI數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果皆優(yōu)于PCA特征提取方法和LDA特征提取方法在GENKI數(shù)據(jù)集上的結(jié)果.證明了本文方法的有效性. 本文將Gabor特征、PHOG特征和旋轉(zhuǎn)無(wú)關(guān)LBP特征融合后引入到笑臉?lè)诸?構(gòu)造了一個(gè)對(duì)光照變化和局部幾何結(jié)構(gòu)的旋轉(zhuǎn)變化魯棒的笑臉?lè)诸愊到y(tǒng).Gabor特征是一種高效的多尺度分解方法,模仿了人類大腦皮層簡(jiǎn)單細(xì)胞的反射區(qū)的立即響應(yīng)視覺(jué)過(guò)程；PHOG特征的引入解決了LBP算子對(duì)局部幾何結(jié)構(gòu)的紋理邊緣和方向變化不敏感的問(wèn)題,最后采用GentleBoost和SVM分類方法對(duì)3種特征對(duì)應(yīng)的識(shí)別性能進(jìn)行測(cè)試.本文研究的主要結(jié)果有： (1)GENKI數(shù)據(jù)庫(kù)包括戶外和戶內(nèi),以及不同年齡、不同性別,也包括平面內(nèi)、外人臉的旋轉(zhuǎn)和不同姿態(tài)的圖像,在一定程度上能夠代表真實(shí)環(huán)境下采集的數(shù)據(jù). (2)將Gabor特征和PHOG特征進(jìn)行了融合,比單獨(dú)運(yùn)用這2種特征之一,提高了分類識(shí)別率；采用GentleBoost進(jìn)行特征選擇結(jié)合SVM來(lái)訓(xùn)練分類器,在提取同一特征情況下,結(jié)果優(yōu)于單獨(dú)采用GentleBoost訓(xùn)練或SVM訓(xùn)練.提取不同特征情況下,2種特征分類方式：(PHOG+Gabor)+(GentalBoost+SVM),(Gabor+PHOG+PLBP)+(GentalBoost+SVM)分類識(shí)別率最高,分別為86.147%,86.197%. (3)經(jīng)過(guò)PLBP特征的融合,由于減少和消除了高維特征中可能存在的光照、旋轉(zhuǎn)變化等阻礙特定分類任務(wù)的因素,很好地保持甚至提高了分類能力；同時(shí),對(duì)于預(yù)處理過(guò)程中的圖像配準(zhǔn)[11],人臉定位和直方圖均衡的精度要求也大大降低.同樣迭代次數(shù)下,GENKI數(shù)據(jù)庫(kù)中單一特征和融合特征最大分類識(shí)別率差距為：86.197%-82.588%=3.609%. (4)在GENKI數(shù)據(jù)集上使用SVM、GentleBoost、SVM+GentleBoost算法,本文特征提取方法大幅優(yōu)于傳統(tǒng)的PCA特征提取方法和LDA特征提取方法,體現(xiàn)了融合特征的有效性. (5)人工計(jì)算時(shí)間消耗雖然有一定誤差,但反映了本算法消耗時(shí)間與迭代次數(shù)呈現(xiàn)正比例的規(guī)律,在容易獲得的PC機(jī)平臺(tái)上,揭示了算法迭代過(guò)程改進(jìn)的指導(dǎo)方向,以提高效率. 上述結(jié)果揭示了融合特征在真實(shí)環(huán)境中對(duì)特定表情分類任務(wù)的潛力；同時(shí),由于局部特征的表示均為向量模式,PHOG和PLBP特征在圖像預(yù)處理和金字塔圖像分割方面的統(tǒng)一性,以及PHOG和PLBP各自對(duì)于邊緣方向梯度變化以及光照、旋轉(zhuǎn)變化的穩(wěn)定性和互補(bǔ)性,給予了提取融合特征的可能性,提高了分類識(shí)別準(zhǔn)確率.未來(lái)將進(jìn)一步研究真實(shí)環(huán)境中對(duì)光照、旋轉(zhuǎn)、尺度和平移等場(chǎng)景幾何變換和表情變換各種因素魯棒的表情分類系統(tǒng). [1] FASEL B，LUETTIN J.Automatic facial expression analysis: a survey[J].Pattern Recognition,2003,36(1):259-275. [2] ZENG Z, PANTIC M, ROISMAN G, et al.A survey of affect recognition methods: Audio, visual, and spontaneous expressions[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2008,31(1):39-58. [3] KANADE T, TIAN Y,COHN J.Comprehensive database for facial expression analysis[C]∥Proceedings of the 4th IEEE Int’l Conf Automatic Face and Gesture Recognition. Grenoble France:IEEE Computer Society, 2000:46-53. [4] SIM T, BAKER S,BSAT M.The CMU pose, illumination, and expression database[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2003,25(12):1615-1618. [5] LEE T.Image representation using 2D Gabor wavelets[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,1996,18(10):959-971. [6] COHN J，SCHMIDT K.The timing of facial motion in posed and spontaneous smiles[J].International Journal of Wavelets, Multiresolution and Information Processing,2004,2(2):121-132. [7] DALAL N, TRIGGS B, RHONE A I, et al.Histograms of oriented gradients for human detection[C]∥IEEE Conf on Computer Vision and Pattern Recognition.San Diego, CA, USA:IEEE Computer Society,2005:886-893. [8] OJALA T, PIETIKINEN M,HARWOOD D.A comparative study of texture measures with classification based on feature distribution[J].Pattern Recognition,1996,29(1):51-59. [9] OJALA T, PIETIKINEN M.Multiresolution Gray-scale and rotation invariant texture classification with local binary patterns[J].IEEE Transaction on Pattern Analysis and Machine Intelligence,2002,24(7):971-987. [10] WHITEHILL J, LITTLEWORT G, FASEL I, et al.Toward practical smile detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2009,31(11):2106-2111. [11] 肖化.基于Talairach坐標(biāo)系統(tǒng)的腦圖譜配準(zhǔn)算法的實(shí)現(xiàn)[J].華南師范大學(xué)學(xué)報(bào)：自然科學(xué)版,2008(1):34-39. XIAO hua.Implementation of brain atlas registration based on talairach coordinate system[J].Journal of South China Normal University：Natural Science Edition,2008(1):34-39. Keywords： smile classification； Gabor filters bank； pyramid segmentation； histogram of oriented gradient； local binary pattern； support vector machine 【責(zé)任編輯 莊曉瓊】 AFUSIONMETHODOFMULTIPLEFEATURESFORCLASSIFICATIONOFSMILEEXPRESSION CHEN Jun1,2 (1.School of Electrical and Information Engineering, South China University of Technology, Guangzhou 510640, China； 2. Department of information Engineering & Technique，Nanhai College，South China Normal Univercity，F(xiàn)oshan,Guangdong 528225，China) A smile expression classification system on data sets of GENKI is built which can represent real-world environments, and the support vector machine and GentleBoost algorithm are used as tools to learn. The followings are introduced: data preprocessing, Gabor features extraction, PHOG features extraction, and local binary pattern features extraction. The experiment results and detailed analysis of these results based on the GENKI dataset shows the effectiveness of the method. 2010-09-07 *通訊作者，jun.cb@mail.scut.edu.cn 1000-5463(2011)02-0049-07 TP391.41 A2 實(shí)驗(yàn)準(zhǔn)備
3 結(jié)果與分析
4 結(jié)論
猜你喜歡
計(jì)算機(jī)工程(2020年3期)2020-03-19 12:24:50
中國(guó)聽(tīng)力語(yǔ)言康復(fù)科學(xué)雜志(2019年3期)2019-06-24 09:51:20
電子制作(2018年19期)2018-11-14 02:37:08
中國(guó)交通信息化(2018年3期)2018-06-13 03:27:58
電腦知識(shí)與技術(shù)(2018年35期)2018-02-27 13:29:44
自動(dòng)化學(xué)報(bào)(2017年11期)2017-04-04 02:52:58
自動(dòng)化學(xué)報(bào)(2017年11期)2017-04-04 02:52:44
中國(guó)交通信息化(2016年2期)2016-06-06 07:28:02
噪聲與振動(dòng)控制(2015年4期)2015-01-01 07:08:21
電視技術(shù)(2014年11期)2014-12-02 02:43:28
