基于自動(dòng)提取特征點(diǎn)的三維人臉表情識別

岳雷， 沈庭芝

(北京理工大學(xué) 信息與電子學(xué)院， 北京 100081)

?

基于自動(dòng)提取特征點(diǎn)的三維人臉表情識別

岳雷， 沈庭芝

(北京理工大學(xué) 信息與電子學(xué)院， 北京 100081)

為實(shí)現(xiàn)完全自動(dòng)的人臉表情識別，提出一種基于自動(dòng)提取三維及二維特征點(diǎn)的三維人臉表情識別算法. 該算法采用在三維點(diǎn)云、深度圖像以及三維點(diǎn)云對應(yīng)的二維特征圖像上分別自動(dòng)獲得特定特征點(diǎn)，并將非點(diǎn)云上獲得的特征點(diǎn)映射回三維點(diǎn)云以獲得全部需用特征點(diǎn)的方法. 基于這些自動(dòng)獲取的特征點(diǎn)得到三維歐氏距離組成25維特征向量以待分類. 通過運(yùn)用支持向量機(jī)作為分類器，取得了平均87.1%的6種基本表情的分類結(jié)果，其中驚訝、開心表情的分類結(jié)果分別達(dá)到了92.3%和91.7%.

三維表情識別；三維特征點(diǎn)；三維歐氏距離；支持向量機(jī)

人臉表情所傳遞的信息在人與人的日常交流中占據(jù)著異常重要的地位. Mehrabian[1]提到，表情在人們的日常溝通中扮演著最重要的角色：大約55%有效的溝通需要借助于表情，38%通過語調(diào)表達(dá)，而只有7%才是所說的語言. 同時(shí)，人臉表情識別亦是人工智能的一個(gè)重要分支和應(yīng)用，是實(shí)現(xiàn)很多應(yīng)用的基礎(chǔ)，例如人機(jī)交互和對于人類行為的社會(huì)學(xué)分析.

對于人類表情的研究可以追溯到1872年達(dá)爾文發(fā)表的文章：人類和動(dòng)物情感的表達(dá)[2]. 在該文中達(dá)爾文指出任何國籍和種族的人類都使用相同的表情來表達(dá)同樣的情感. 基于此，Paul Ekman[3]提出了6種基本表情，即：氣憤、厭惡、恐懼、高興、沮喪和吃驚. 此后，Ekman又和Friesen[4]共同提出了被廣泛運(yùn)用的人臉運(yùn)動(dòng)單元編碼系統(tǒng)(facial action unit coding system， FACS). 現(xiàn)今，F(xiàn)ACS已經(jīng)成為了系統(tǒng)的分析和表征人臉表情的標(biāo)準(zhǔn)，并廣泛運(yùn)用于心理學(xué)分析和動(dòng)畫制作領(lǐng)域. FACS共定義了46個(gè)不同的運(yùn)動(dòng)單元(AU).

通過運(yùn)用不同運(yùn)動(dòng)單元(AU)的組合，編碼員可以手動(dòng)編輯幾乎所有人類可以做出的表情. 雖然FACS在表征人類表情上非常有效，但是在視頻或者連續(xù)三維點(diǎn)云序列中逐幀手動(dòng)標(biāo)注AU組合卻是既費(fèi)時(shí)又費(fèi)力的工作，而且無法做到自動(dòng)的對于表情的識別.

從20世紀(jì)80年代開始，很多學(xué)者發(fā)表文章致力于自動(dòng)人臉表情識別的研究. 但是絕大部分的工作都是基于二維圖像或者圖像序列(視頻)的研究， 直到3D-BUFE[5]數(shù)據(jù)庫的公開發(fā)布. 基于此數(shù)據(jù)庫，學(xué)者們已經(jīng)發(fā)表了大量的文章，其中一些也取得了十分理想的表情分類結(jié)果，例如Hao Tang等[6]在文章中提到的結(jié)果. 但是，Tang等使用了數(shù)據(jù)庫中手動(dòng)標(biāo)注的83個(gè)特征點(diǎn)中的23個(gè)來提取特征，無法做到自動(dòng)的表情分類.

故本文提出了基于自動(dòng)提取人臉特征點(diǎn)的表情分類識別算法，其中12個(gè)特征點(diǎn)從三維點(diǎn)云及其對應(yīng)的深度圖像上自動(dòng)獲得；由于數(shù)據(jù)庫點(diǎn)云分辨率和特征提取難度等原因，另外8個(gè)特征點(diǎn)由數(shù)據(jù)庫中對應(yīng)于點(diǎn)云的二維特征圖像獲得并映射回三維點(diǎn)云.

1 特征點(diǎn)自動(dòng)提取

人臉表情識別是人工智能的一個(gè)重要分支和應(yīng)用，需實(shí)現(xiàn)完全自動(dòng)識別. 而目前一些用于表情識別的特征點(diǎn)卻難于在三維點(diǎn)云上自動(dòng)獲取. 故采用在三維點(diǎn)云、深度圖像以及三維點(diǎn)云對應(yīng)的二維特征圖像上分別自動(dòng)獲得20個(gè)特征點(diǎn)，并將非點(diǎn)云上獲得的特征點(diǎn)映射回三維點(diǎn)云以獲得全部需用特征點(diǎn)的方法，并基于這些自動(dòng)獲取的特征點(diǎn)得到25維歐氏距離作為特征向量使用支持向量機(jī)(SVM)進(jìn)行分類. 算法流程圖如圖1所示.

需要提取的20個(gè)特征點(diǎn)如圖2所示，其中鼻尖、鼻翼端點(diǎn)、嘴角、上下嘴唇、下巴、左右眼角等12個(gè)特征點(diǎn)由三維點(diǎn)云及其對應(yīng)的深度圖像獲得；眉毛端點(diǎn)和上下眼皮中點(diǎn)等8個(gè)點(diǎn)由二維特征圖像中獲得.

1.1 三維特征點(diǎn)的提取

1.1.1 鼻尖點(diǎn)

通過一個(gè)連續(xù)的過程來獲得三維點(diǎn)云上的12個(gè)特征點(diǎn). 首先是鼻尖，由于3D-BUFE數(shù)據(jù)庫中的人臉三維點(diǎn)云都有嚴(yán)格的坐標(biāo)限定，即采集實(shí)驗(yàn)者人臉點(diǎn)云時(shí)人臉與正對的三維攝像機(jī)連線并指向攝像機(jī)方向?yàn)閆軸正方向，與其垂直平面為X軸、Y軸所在二維平面，并且水平方向?yàn)閄軸，向右為X軸正方向，豎直向上為Y軸正方向. 坐標(biāo)軸定義如圖3所示(點(diǎn)云上的坐標(biāo)原點(diǎn)并不一定在圖示處). 故由人臉解剖學(xué)可知，人臉正面最高點(diǎn)，即Z軸數(shù)值最大點(diǎn)即為大體鼻尖坐標(biāo). 出于準(zhǔn)確性考慮，提取Z軸坐標(biāo)最大點(diǎn)及其鄰接各點(diǎn)的三維坐標(biāo)，取平均以獲取更加準(zhǔn)確的鼻尖三維坐標(biāo).

1.1.2 鼻翼端點(diǎn)

提取鼻翼兩側(cè)定義鼻子寬度的兩個(gè)點(diǎn). 這兩個(gè)點(diǎn)是在一個(gè)以鼻尖為中心的42 mm×50 mm的矩形內(nèi)搜索得來. 選擇這個(gè)大小的搜索區(qū)域是基于Farkas[7]在著作中提到的關(guān)于成年男性鼻子高度和寬度的均值和標(biāo)準(zhǔn)差而確定的. 成年男性的鼻子寬度(μ=35 mm，σ=2.5 mm)和高度(μ=53mm，σ=3.4 mm)比成年女性都要大，故選取了以上數(shù)值為搜索區(qū)域. 在這個(gè)搜索區(qū)域中使用Laplacian of Gaussian邊緣檢測算法在點(diǎn)云對應(yīng)的深度圖像(range image)上提取鼻子邊緣. 由于鼻子相對人臉曲面比較突兀，故可以非常準(zhǔn)確地在深度上提取鼻子邊緣. 并由鼻尖點(diǎn)坐標(biāo)向左右水平方向搜索鼻子邊緣最遠(yuǎn)點(diǎn)即為左右鼻翼點(diǎn)，如圖4所示.

1.1.3 內(nèi)眼角點(diǎn)和外眼角點(diǎn)

對于內(nèi)眼角點(diǎn)和外眼角點(diǎn)，通過定位Peak of Gaussian Curvature來確定. 首先確定內(nèi)眼角點(diǎn)的搜索區(qū)域. 使用已經(jīng)取得的鼻尖、鼻翼點(diǎn)以及頭部最高點(diǎn)(此點(diǎn)即為每個(gè)人臉三維點(diǎn)云Y值最大點(diǎn)，也是直立人臉最上方點(diǎn))，借助這些特征點(diǎn)以及Farkas[8]關(guān)于普通成年人面部比例的理論：對于一個(gè)普通成年人，其內(nèi)眼角到鼻尖的豎直距離大約是頭頂?shù)奖羌庳Q直距離的0.380 3倍，而兩個(gè)內(nèi)眼角之間的距離與兩個(gè)鼻翼點(diǎn)之間的距離大約相同. 基于以上特征點(diǎn)和理論確定搜索區(qū)域如下：搜索區(qū)域上邊界為(prny+0.380 3×1.5×|prny-vy|)，下邊界為(prny+0.380 3×0.33×|prny-vy|)，其中prny為鼻尖的Y坐標(biāo)，vy為三維點(diǎn)云最高點(diǎn)的Y坐標(biāo). 兩個(gè)內(nèi)眼角的水平搜索邊界分別是鼻尖X軸坐標(biāo)prnx以及(alx，left+0.5×|alx，left-alx，right|)和(alx，left-0.5×|alx，left-alx，right|)，其中alx，left為左鼻翼點(diǎn)X軸坐標(biāo)，alx，right為右鼻翼點(diǎn)X軸坐標(biāo). 兩內(nèi)眼角點(diǎn)的搜索區(qū)域及Gaussian Curvature幅度如圖5(a)5(b)所示. 在此區(qū)域內(nèi)的Peak of Gaussian Curvature點(diǎn)坐標(biāo)即為內(nèi)眼角點(diǎn)坐標(biāo). 外眼角點(diǎn)的提取類似于內(nèi)眼角點(diǎn)，搜索區(qū)域上下邊界與內(nèi)眼角點(diǎn)相同，左外眼角點(diǎn)搜索右邊界與左內(nèi)眼角點(diǎn)搜索左邊界相同，左邊界為左內(nèi)眼角點(diǎn)搜索左邊界左移兩內(nèi)眼角點(diǎn)之間水平距離. 右外眼角點(diǎn)搜索邊界與左外眼角點(diǎn)搜索邊界類似，此處不再贅述.

1.1.4 上下嘴唇邊緣中點(diǎn)及下巴點(diǎn)

由3D-BUFE數(shù)據(jù)庫中各三維點(diǎn)云坐標(biāo)系定義及人體解剖學(xué)可知，自鼻尖以下人臉側(cè)面輪廓線坐標(biāo)的Z軸高度將先降低，后升高至最高區(qū)域極值點(diǎn)，即上嘴唇中心點(diǎn)；再降低后升高至區(qū)域極值點(diǎn)，即下嘴唇中心點(diǎn)；之后第3次下降并第3次升高至區(qū)域極值點(diǎn)，即為下巴點(diǎn). 故經(jīng)過數(shù)據(jù)庫中每個(gè)點(diǎn)云上自動(dòng)獲取的鼻尖點(diǎn)做平行于(y，z)平面的面，并取其與人臉曲面相交線鼻尖點(diǎn)下面一段作為搜索曲線. 首先對此曲線進(jìn)行平滑處理，去除小范圍內(nèi)曲線升降所引起的噪聲污染，并依上文提到的選取3個(gè)Z軸坐標(biāo)區(qū)域極值點(diǎn)作為上下唇邊緣中點(diǎn)以及下巴點(diǎn)，如圖6所示.

1.1.5 嘴角點(diǎn)

通過對鼻子以下人臉Curvature(曲率)的測量，嘴角點(diǎn)具有高幅度的正Mean Curvature(平均曲率)，如圖7所示，故選取此區(qū)域平均曲率的正極值點(diǎn)作為嘴角點(diǎn). 左右嘴角點(diǎn)的搜索區(qū)域如下：搜索區(qū)域上邊界為鼻尖點(diǎn)與上唇中點(diǎn)連線中點(diǎn)坐標(biāo)，下邊界為下唇中點(diǎn)與下巴點(diǎn)連線中點(diǎn)坐標(biāo). 左嘴角點(diǎn)搜索區(qū)域?yàn)樽蟊且睃c(diǎn)橫坐標(biāo)alx，left與(alx，left+0.7×|alx，left-alx，right|)之間，右嘴角點(diǎn)搜索區(qū)域?yàn)橛冶且睃c(diǎn)橫坐標(biāo)alx，right與(alx，left-0.7|alx，left-alx，right|)之間.

1.2 二維特征圖像上特征點(diǎn)的提取

由于3D-BUFE數(shù)據(jù)庫中點(diǎn)云的分辨率以及特征點(diǎn)提取難度等問題，選擇在每個(gè)人臉點(diǎn)云所對應(yīng)的二維特征圖像(2D feature image)上自動(dòng)檢測左右眼上下眼皮中心點(diǎn)以及左右眉毛內(nèi)外邊界點(diǎn)等8個(gè)特征點(diǎn). 由于三維點(diǎn)云及其對應(yīng)的二維特征圖像是由同一套立體攝影系統(tǒng)同時(shí)采集，有非常精確的坐標(biāo)對應(yīng)關(guān)系，故可以將二維圖像上自動(dòng)獲取的特征點(diǎn)映射回三維點(diǎn)云，并將其與上一節(jié)提到的自動(dòng)獲取的其他12個(gè)特征點(diǎn)一起提取三維歐氏距離向量作為特征進(jìn)行分類.

1.2.1 左右眼上下眼皮中心點(diǎn)

運(yùn)用嚴(yán)超等[9]提到的水平和豎直方向投影直方圖以確定眼睛區(qū)域以及使用鏈表來定位眼皮曲線的方法，首先確定出眼睛在二維圖像上的大體方位即眼睛區(qū)域. 然后，使用二次微分算子計(jì)算眼睛區(qū)域的灰度梯度，此過程中包括平滑去噪、計(jì)算梯度以及二值化再次去噪，如此得到眼睛區(qū)域的二值圖像. 之后由二次微分后的圖像搜索出上眼皮曲線. 步驟如下：確定起始點(diǎn)與終點(diǎn)，以右眼為例，選取由三維點(diǎn)云映射過來的右眼外眼角點(diǎn)為起始點(diǎn)，右眼內(nèi)眼角點(diǎn)為終點(diǎn)；使用文獻(xiàn)[7]中所提出的鏈表的方法從起始點(diǎn)開始搜索上眼皮邊緣并終止與右眼外眼角點(diǎn)，選取曲線上橫坐標(biāo)為起始點(diǎn)與終點(diǎn)橫軸坐標(biāo)中點(diǎn)處的點(diǎn)作為上眼皮點(diǎn)，如圖8所示. 其余右眼下眼皮點(diǎn)與左眼上下眼皮點(diǎn)以相似方法取得.

1.2.2 左右眉毛內(nèi)外邊界點(diǎn)

最后是左右眉毛的內(nèi)邊緣點(diǎn)以及外邊緣點(diǎn)的檢測. 首先確定搜索區(qū)域，左右眉毛的搜索下邊界分別為上一步中檢測到的左右上眼皮點(diǎn)的縱坐標(biāo)上移10像素；上邊界為下邊界向上搜索1.5倍眼睛內(nèi)角點(diǎn)和眼睛外角點(diǎn)橫坐標(biāo)差值(1.5(|exx-enx|)，其中exx為外眼角點(diǎn)橫坐標(biāo)；enx為內(nèi)眼角點(diǎn)橫坐標(biāo))，即眼睛寬度. 左邊眉毛的右邊界點(diǎn)為左右兩眼內(nèi)角點(diǎn)橫坐標(biāo)的中點(diǎn)，此邊界亦為右邊眉毛的左邊界點(diǎn). 而左邊眉毛的左邊界點(diǎn)為其右邊界點(diǎn)向左搜索2倍的眼睛寬度(2(|exx-enx|))；同理，右邊眉毛的右邊界點(diǎn)為其左邊界點(diǎn)向右搜索2倍的眼睛寬度(2(|exx-enx|)). 確定搜索區(qū)域后，分別對左右眉毛區(qū)域進(jìn)行邊緣檢測，并取檢測到的眉毛邊緣的左右邊界點(diǎn)為所需眉毛內(nèi)外邊界點(diǎn)，如圖9所示.

2 特征向量

由上一節(jié)自動(dòng)獲取的20個(gè)特征點(diǎn)，選取25個(gè)點(diǎn)與點(diǎn)之間的三維歐氏距離組成25維向量作為特征，如表1所示.

表1 25個(gè)三維歐氏特征距離

之所以選擇距離向量作為特征，是因其具有FACS的類似特性，如FACS中的一號Action Unit(AU)：Inner Brow Raiser，就可以表征為眉毛內(nèi)邊界點(diǎn)和內(nèi)眼角點(diǎn)之間距離的變化(表1中特征5，6)；第12號AU∶Lip Corner Puller，可以表征為嘴角點(diǎn)與鼻翼點(diǎn)和外眼角點(diǎn)之間距離的變化(表1中特征17，18等). 類似做不同表情時(shí)，上下嘴唇終點(diǎn)之間距離，嘴唇中點(diǎn)以及鼻尖、下巴點(diǎn)之間的距離也會(huì)做出相應(yīng)改變. 此外，為了精確起見，把從每個(gè)不同實(shí)驗(yàn)對象的6個(gè)不同表情點(diǎn)云上所提取的特征向量對該實(shí)驗(yàn)對象中性表情所提取特征向量做歸一化，得到最終用于分類的25維特征向量.

3 實(shí)驗(yàn)結(jié)果及對比

使用紐約州立大學(xué)賓漢姆頓分校的3D-BUFE數(shù)據(jù)庫[5]進(jìn)行實(shí)驗(yàn). 該數(shù)據(jù)庫涵蓋了100個(gè)實(shí)驗(yàn)對象的臉部掃描點(diǎn)云，包括賓漢姆頓大學(xué)和美國州立大學(xué)各院系的本科生、研究生和教職員工(比如心理學(xué)、藝術(shù)專業(yè)、計(jì)算機(jī)科學(xué)、電子工程和機(jī)械工程)，但大部分的實(shí)驗(yàn)對象是心理學(xué)專業(yè)的本科生. 此數(shù)據(jù)庫中包含了60%的女性和40%的男性，他們分別來自不同的人種，包括白種人、非洲裔、東亞裔、中東裔和南美拉丁裔等. 每個(gè)實(shí)驗(yàn)對象都在三維掃描系統(tǒng)前表現(xiàn)出7種不同表情：氣憤、厭惡、恐懼、高興、沮喪、吃驚以及中性表情(即什么表情都不做)，如圖10所示. 除了中性表情，其他表情都有4個(gè)三維掃描，依次表征表情從起始到最高點(diǎn). 因此，每個(gè)實(shí)驗(yàn)對象對應(yīng)著25個(gè)三維點(diǎn)云，該數(shù)據(jù)庫一共包括2 500個(gè)三維表情掃描數(shù)據(jù)和各個(gè)點(diǎn)云對應(yīng)的二維特征圖像. 隨機(jī)選取80個(gè)實(shí)驗(yàn)對象作為訓(xùn)練集，另外的20個(gè)對象作為驗(yàn)證集，如此重復(fù)10次，以10次結(jié)果的平均值為最終的分類實(shí)驗(yàn)結(jié)果.

獲得數(shù)據(jù)庫中每個(gè)三維點(diǎn)云所對應(yīng)的25維特征向量后，使用支持向量機(jī)(SVM)[10]作為分類器，并使用臺灣大學(xué)林智仁對支持向量機(jī)的實(shí)現(xiàn)LIBSVM[11]進(jìn)行實(shí)驗(yàn). 實(shí)驗(yàn)結(jié)果及與Hao Tang[6]和Jun Wang等[12]的實(shí)驗(yàn)結(jié)果對比如表2所示. Hao Tang等在文章中使用了數(shù)據(jù)庫提供的83個(gè)手動(dòng)標(biāo)注特征點(diǎn)中的23個(gè)特征點(diǎn)提取24個(gè)三維歐氏距離作為特征向量，并使用了Nearest Neighbor，Na?ve Bayes與LDA等3個(gè)分類器分別進(jìn)行分類，其中Na?ve Bayes的平均分類結(jié)果最優(yōu)，也選擇這個(gè)分類器的分類結(jié)果作為比較. Jun Wang等使用了基于基礎(chǔ)曲率(peak， ridge， saddle， hill， flat， ravine， pit)為特征的特征提取算法. hill可以進(jìn)一步被分為convex hill， concave hill， saddle hill 和 slope hill；saddle hill又可以進(jìn)一步被分解為concave saddle hill和convex saddle hill；而saddle可被分解為ridge saddle和ravine saddle，因此一共12種基礎(chǔ)曲率. 他們根據(jù)人臉不同區(qū)域這些基礎(chǔ)曲率的分布規(guī)律作為特征實(shí)行分類. 這兩篇文章中，Hao Tang等的文章需要手動(dòng)標(biāo)注的特征點(diǎn)，故不是完全自動(dòng)的識別算法，而Jun Wang等文章中使用的基礎(chǔ)曲率是自動(dòng)計(jì)算得來.

由表2的對比結(jié)果可看出自動(dòng)人臉表情識別算法幾乎在每一種表情的分類結(jié)果上都比Jun Wang等的自動(dòng)分類結(jié)果優(yōu)異；而對比Hao Tang等的非自動(dòng)分類結(jié)果，實(shí)驗(yàn)結(jié)果也在厭惡、恐懼、高興以及沮喪等表情的分類結(jié)果占優(yōu).

表2 本文實(shí)驗(yàn)結(jié)果與Hao Tang等和Jun Wang等實(shí)驗(yàn)結(jié)果的比較

Tab.2 Our experiments results and comparison with Jun Wang and Hao Tang’s proposal

識別率對比識別率/%生氣厭惡恐懼高興沮喪吃驚本文88.790.178.691.781.492.3JunWang80.080.475.095.080.490.8HaoTang91.790.075.890.880.097.5

4 結(jié) 論

提出了一種自動(dòng)檢測3D+2D特征點(diǎn)，并根據(jù)這些特征點(diǎn)獲得三維歐氏距離向量作為特征向量的人臉表情識別算法，并獲得了優(yōu)異的表情分類識別結(jié)果. 但是仍有不盡如人意的地方，比如由于表情點(diǎn)云分辨率以及相關(guān)的技術(shù)限制，尚無法在點(diǎn)云中自動(dòng)獲取全部特征點(diǎn)，而需要借助于每個(gè)點(diǎn)云所對應(yīng)的深度圖像及二維特征圖像. 下一步將嘗試其他不同算法以求在三維點(diǎn)云上獲得所有需要特征點(diǎn)，以擺脫二維圖像的束縛. 其次，F(xiàn)ACS的AU組合是現(xiàn)今普遍認(rèn)為最準(zhǔn)確的表情描述，但是由于AU數(shù)量眾多，重要的就有46個(gè)之多. 而各個(gè)表情又是由這些AU中的某個(gè)或某幾個(gè)組合而來，所以檢測難度巨大. 一個(gè)受過專業(yè)訓(xùn)練的人員需要花費(fèi)大量的時(shí)間才能人工標(biāo)注各個(gè)表情的AU組合. 故計(jì)算機(jī)自動(dòng)識別各個(gè)AU組合的難度可想而知. 雖然有難度，但由于此6種表情所需要的AU數(shù)量不多，并且可以由一些自動(dòng)檢測特征點(diǎn)的移動(dòng)向量來表征，所以下一步的工作將集中在AU檢測上，希望得到更加精確的自動(dòng)表情分類結(jié)果.

[1] Mehrabian A. Communication without words[J]. Psychology Today， 1968，2(4):53-56．

[2] Darwin C. The expression of the emotions in man and animals[M]. New York: Philosophical Library， 1872．

[3] Ekman P. Universals and cultural differences in facial expressions of emotion[J]. Nebraska Symposium on Motivation， 1971，19:207-282．

[4] Ekman P， Friesen W. Facial action coding system: a technique for the measurement of facial movement[M]. Palo Alto: Consulting Psychologists Press， 1978．

[5] Yin L， Wei X， Sun Y， et al. A 3D facial expression database for facial behavior research[C]∥Proceedings of International Conference on Automatic Face and Gesture Recognition. Southampton， UK: [s.n.]， 2006:211-216.

[6] Hao T， Huang T. 3D facial expression recognition based on automatically selected features[C]∥Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. Anchorage， Alaska， USA: [s.n.], 2008:1-8.

[7] Farkas L.Anthropometry of the head and face[M]. New York: Raven Press， 1994．

[8] Farkas L.Anthropometric facial proportions in medicine[M]. [S.l.]: Thomas Books， 1987．

[9] 嚴(yán)超，蘇廣大.人臉特征的定位與提取[J].中國圖像圖形學(xué)報(bào)，1998，3(5):375-380．

Yan Chao， Su Guangda. Facial feature location and extraction from front-view images[J]. Journal of Image and Graphics， 1998，3(5):375-380. (in Chinese)

[10] Cortes C， Vapnik V. Support-vector networks[J]. Machine Learning， 1995，20:273-297.

[11] Chang C， Lin C. LIBSVM: a library for support vector machines[J]. ACM Transactions on Intelligent Systems and Technology， 2011，27(2):1-27．

[12] Wang J， Yin L， Wei X. 3D facial expression recognition based on primitive surface feature distribution[C]∥Proceedings of IEEE Conference on Computer Vision and Pattern Recognition. New York: [s.n.]， 2006:1399-1406．

(責(zé)任編輯：劉芳)

3D Expression Recognition Based on Automatically Detected Facial Points

YUE Lei， SHEN Ting-zhi

(School of Information and Electronics， Beijing Institute of Technology， Beijing 100081， China)

In order to deal with automatic facial expression recognition task, a 3D facial expression recognition algorithm was proposed based on automatically detected fiducial points from 3D mesh models, range images and the corresponding 2D feature images. First, the fiducial points were automatically detected on the 3D mesh models, range images and the corresponding 2D feature images. And some fiducial points got from non-mesh models were mapped back to 3D mesh models to get full fiducial points. Then, Euclidian distances between these fiducial points were extracted as feature to feed the SVM classifier. Compared with two state-of-the-art algorithms, the classification results show that the fully automatic algorithm can achieve highly competitive classification rate. The average recognition rate was 87.1%, especially the recognition rate for surprise and happiness expression were 92.3% and 91.7% respectively.

3D expression recognition; 3D fiducial point; 3D Euclidian distance; support vector machine

2014-03-05

國家自然科學(xué)基金資助項(xiàng)目(60772066)

岳雷(1983—)，男，博士，E-mail:napoylei@163.com.

TP 37

A

1001-0645(2016)05-0508-06

10.15918/j.tbit1001-0645.2016.05.013