仿人面部表情機(jī)器人研究進(jìn)展

張國(guó)亮， 王展妮， 王田, 吳昊

(華僑大學(xué) 計(jì)算機(jī)學(xué)院， 福建 廈門 361021)

仿人面部表情機(jī)器人研究進(jìn)展

張國(guó)亮， 王展妮， 王田, 吳昊

(華僑大學(xué) 計(jì)算機(jī)學(xué)院， 福建 廈門 361021)

首先,梳理近年來(lái)國(guó)內(nèi)外這一領(lǐng)域的發(fā)展現(xiàn)狀，并從心理學(xué)維度空間角度探討了表情機(jī)器人的情感建模方法.其次，從機(jī)構(gòu)設(shè)計(jì)、人臉表情的計(jì)算模型、表情特征的提取與分類的識(shí)別等多個(gè)方面，對(duì)表情機(jī)器人研究中的關(guān)鍵技術(shù)展開綜述.最后，在綜述分析的基礎(chǔ)上，對(duì)表情機(jī)器人研究現(xiàn)狀及其未來(lái)發(fā)展進(jìn)行系統(tǒng)的評(píng)價(jià)，給出今后發(fā)展的4個(gè)方向.

仿人機(jī)器人； 表情機(jī)器人； 面部表情； 面部動(dòng)作編碼； 心理學(xué).

工業(yè)機(jī)器人在制造業(yè)中的快速發(fā)展為機(jī)器人進(jìn)入民用服務(wù)領(lǐng)域提供了良好的契機(jī).與傳統(tǒng)的固定工位、固定工序和固定操作場(chǎng)景的工業(yè)機(jī)器人不同，服務(wù)機(jī)器人對(duì)于交互性、智能性和自主性的要求更高.在服務(wù)機(jī)器人領(lǐng)域中，仿人面部表情機(jī)器人因其人機(jī)交互友好、學(xué)科交叉融合度大等特點(diǎn)，成為當(dāng)前這一研究領(lǐng)域中的熱點(diǎn)問(wèn)題.表情機(jī)器人的研究不僅涉及到信息傳感、控制等自然學(xué)科，而且還需要考慮其內(nèi)在的情感及情緒等心理變化.因此，本文從表情機(jī)器人的心理學(xué)建模、物理建模和計(jì)算模型等多個(gè)角度，詳細(xì)闡述了該領(lǐng)域的相關(guān)理論與技術(shù)，展望了未來(lái)的發(fā)展方向.

1 國(guó)內(nèi)外表情機(jī)器人研究現(xiàn)狀

目前，對(duì)具有仿人面部表情機(jī)器人的研究主要集中在歐美、日本的大學(xué)及研究機(jī)構(gòu)[1-2]，近年來(lái)，國(guó)外具有代表性的仿人面部表情機(jī)器人的概括，如圖1所示.

圖1 國(guó)外面部表情機(jī)器人研究進(jìn)展

20世紀(jì)90年代，美國(guó)麻省理工學(xué)院人工智能實(shí)驗(yàn)室的辛西婭·布雷齊爾博士等研發(fā)了嬰兒機(jī)器人Kismet.它是較早的具有面部表情的仿人機(jī)器人，能以類似嬰兒的行為方式表達(dá)出Ekman定義的喜、怒、哀、樂(lè)等6種基本情感狀態(tài).日本早稻田大學(xué)開發(fā)的WE-3RV的情感機(jī)器人將6種基本情感擴(kuò)充到9種，并建立了具有外界刺激的三維情感空間模型.東京理工大學(xué)開發(fā)的SAYA機(jī)器人較早采用了人工肌肉輔助運(yùn)動(dòng)機(jī)構(gòu)，從而產(chǎn)生面部表情.SAYA女性的外觀使得其具有較好的親和力，現(xiàn)已嘗試應(yīng)用于指揮交通、授課及售貨等日常生活領(lǐng)域.英國(guó)赫特福德大學(xué)的設(shè)計(jì)Nao機(jī)器人，具有1歲嬰兒的情感及行為學(xué)習(xí)模式.機(jī)器人在與人類的接觸過(guò)程中，通過(guò)觀察身邊人的表情、動(dòng)作來(lái)分析人們的情感變化，從而與人建立雙向情感聯(lián)系.日本大阪大學(xué)智能機(jī)器人教授Hiroshi相繼研究了ReplieeQ1，ReplieeQ2和GeminoidTMF等女性仿人機(jī)器人.其中，GeminoidTMF以日本新聞女主播藤井雅子為原型，動(dòng)作表情與真人極其相似，使人即便在近處也很難分辨真?zhèn)?

國(guó)內(nèi)仿人表情機(jī)器人研究工作起始于哈爾濱工業(yè)大學(xué)吳偉國(guó)教授領(lǐng)導(dǎo)的團(tuán)隊(duì)，2004年,該項(xiàng)目組在國(guó)內(nèi)首次研制了能夠表達(dá)8種基本表情的H&Frobot-I，隨后又相繼研究了具有面部動(dòng)作協(xié)調(diào)、口形與語(yǔ)音識(shí)別協(xié)調(diào)功能的H&Frobot-II和H&Frobot-III[3].北京科技大學(xué)王志良教授[4-5]等較早地對(duì)表情機(jī)器人的人工情感、多信息融合交互等方面展開研究，設(shè)計(jì)了具有人機(jī)共同注意、動(dòng)態(tài)情緒調(diào)節(jié)的仿人機(jī)器人頭部.2010年，上海大學(xué)的柯顯信等[6]基于AT89S52單片機(jī)和7個(gè)舵機(jī)，設(shè)計(jì)并實(shí)現(xiàn)了具有11個(gè)自由度的結(jié)構(gòu)相對(duì)簡(jiǎn)單的SHFR-1表情機(jī)器人.除此之外，“百智星”幼教機(jī)器人及“童童”3機(jī)器人也是近年來(lái)國(guó)內(nèi)研發(fā)的具有代表性的表情機(jī)器人.國(guó)內(nèi)面部表情機(jī)器人,如圖2所示.

(a) H&F機(jī)器人 (b) 北科大仿人頭部 (c) SHFR-1 (d) 百智星幼教機(jī)器人 (e)童童機(jī)器人

2 仿人機(jī)器人表情的心理學(xué)模型

外在的刺激可以由傳感器獲取，但內(nèi)在的情感及心理活動(dòng)的變化卻屬于心理學(xué)范疇.因此，建立與表情機(jī)器人相適應(yīng)的情感模型是實(shí)現(xiàn)預(yù)期表情的理論基礎(chǔ).在心理學(xué)研究領(lǐng)域，對(duì)于情感的研究非常廣泛，常用的方法主要有基本情感論、維度空間理論、認(rèn)知情感論、個(gè)性化和情緒化情感論等.其中，維度空間理論由于便于將復(fù)雜的情感多維量化，在情感機(jī)器人建模領(lǐng)域中受到了廣泛的關(guān)注，目前多數(shù)的具有情感模型的表情機(jī)器人都采用了類似的理論模型.

維度空間論認(rèn)為，人的所有情感分布在由若干維度構(gòu)成的某一空間中，不同情感之間不是獨(dú)立的，而是連續(xù)可漸變的.最早提出情感可進(jìn)行維度量化的是實(shí)驗(yàn)心理學(xué)奠基人Wundt，他利用愉快-不愉快、緊張-松弛、興奮-沉靜3個(gè)維度來(lái)表示情感.美國(guó)心理學(xué)家Schlosberg提出了與Wundt的方法類似的倒立圓錐情感空間.Schlosberg認(rèn)為，任何的情感都可以在橢圓錐上找到自己合適的位置，Schlosberg的橢圓錐是西方心理學(xué)提出的第一個(gè)具有維度情感量化表的情感模型.Plutchik[7]發(fā)展了Schlosberg的模型理論，他利用因素分析法假設(shè)了情感之間存在著3個(gè)基本特征：強(qiáng)度、相似性和兩極性.Plutchik認(rèn)為原始的情感是從進(jìn)化過(guò)程中分化出來(lái)的，居于頂端最強(qiáng)烈，沿著扇形面向下，越靠近底端情感越微弱[8].同一扇面上越臨近,情感性質(zhì)上越接近，互為對(duì)角的兩個(gè)扇形中的情感則是相互對(duì)立的，距離越遠(yuǎn)，差異越大.Plutchik情感模型具有典型的多維量表的模型結(jié)構(gòu)，在表情機(jī)器人等應(yīng)用領(lǐng)域得到深入的研究，如MIT的Kismet表情機(jī)器人就采用了與Plutchik情感模型類似的模型結(jié)構(gòu).將Plutchik的扇形空間轉(zhuǎn)換為對(duì)立性和外界刺激程度二維平面，而將強(qiáng)度轉(zhuǎn)換為對(duì)外界刺激程度的反應(yīng).除Plutchik的倒立圓錐模型，由Russell等提出的PAD維度觀測(cè)模型也是目前心理學(xué)界公認(rèn)的一種普適的三維情感模型.國(guó)內(nèi)毛峽等[9-10]研究的表情機(jī)器人及仿生代理中都采用了相似的模型.

3 仿人表情機(jī)器人的關(guān)鍵技術(shù)

3.1 表情機(jī)器人機(jī)構(gòu)設(shè)計(jì)

表情機(jī)器人的頭部機(jī)構(gòu)是表情交互的物理載體，良好的機(jī)構(gòu)設(shè)計(jì)是實(shí)現(xiàn)表情自然交互的前提條件.人類的臉部不僅運(yùn)動(dòng)器官眾多，而且器官運(yùn)動(dòng)幅度的細(xì)微瞬間變化都可能表達(dá)不同的情感.因此，為達(dá)到表情正常輸出，表情頭部機(jī)構(gòu)的設(shè)計(jì)不僅需要從生物學(xué)的角度模仿，還需要對(duì)整個(gè)系統(tǒng)綜合考慮，在滿足機(jī)構(gòu)的運(yùn)動(dòng)學(xué)、動(dòng)力學(xué)、控制能力、驅(qū)動(dòng)系統(tǒng)和傳感器需求的前提下，機(jī)構(gòu)設(shè)計(jì)一般至少需要滿足以下兩點(diǎn)要求.

1) 外觀上與人類頭部外形、大小、樣貌相似，給人以親切感和可信任感.人的面部器官包括眼睛、鼻子、眉毛、嘴巴和下顎等.在這些器官中，眼睛是人類最為重要的面部器官.然而，對(duì)于人類的表情，僅僅依靠人眼是無(wú)法獨(dú)立表達(dá)情感的，眼部表情動(dòng)作一般需要結(jié)合眼球、眼瞼和眉毛一起來(lái)表達(dá).眼球具有上、下、左、右共4個(gè)自由度(DOF)，每一個(gè)眼睛包含上、下兩個(gè)眼瞼，其設(shè)計(jì)難點(diǎn)在于眼球運(yùn)動(dòng)與眼瞼運(yùn)動(dòng)可能存在空間干涉，且由于下眼瞼運(yùn)動(dòng)幅度較小，多數(shù)研究從簡(jiǎn)化機(jī)構(gòu)設(shè)計(jì)角度，只做了一側(cè)眼瞼，但考慮到眼瞼睜開的幅度對(duì)表情有很大影響，雙側(cè)眼瞼運(yùn)動(dòng)的設(shè)計(jì)能夠表達(dá)更豐富的情感.眉毛和嘴部涉及的表情變化非常靈活，目前已出現(xiàn)有1,2,4,8等不同自由度的眉毛，而嘴部運(yùn)動(dòng)的變化更加豐富，不僅包含平面的運(yùn)動(dòng)，還涉及了空間運(yùn)動(dòng).因此，在表情機(jī)器人設(shè)計(jì)中，從2～6個(gè)自由度的形式均有出現(xiàn).下頜和頸部的承載力度最大，通常需要選擇載荷較大的電機(jī)加以控制.

2) 在機(jī)構(gòu)設(shè)計(jì)中，需要針對(duì)表情機(jī)器人的應(yīng)用形式，整體考慮空間的布局和自由度的分配，為驅(qū)動(dòng)和傳感器預(yù)留足夠的空間.在表情機(jī)器人中，為使每個(gè)器官運(yùn)動(dòng)的幅度與人類相近，需要把大量傳感器和驅(qū)動(dòng)裝置裝入頭部中，這就需要在有限空間完成復(fù)雜機(jī)構(gòu)設(shè)計(jì)，整個(gè)系統(tǒng)具有運(yùn)動(dòng)空間狹窄、運(yùn)動(dòng)范圍小的特點(diǎn).針對(duì)這種特殊的應(yīng)用需求，國(guó)內(nèi)外學(xué)者在機(jī)構(gòu)設(shè)計(jì)方面提出了大量可行的研究方案，如德國(guó)Kaiserslautern大學(xué)的ROMAN機(jī)器人利用8個(gè)金屬板支撐骨架，依靠10個(gè)舵機(jī)推拉線控制硅膠面皮，實(shí)現(xiàn)表情動(dòng)作，并加入1個(gè)大扭矩輸出舵機(jī)控制下頜動(dòng)作，實(shí)現(xiàn) 6種基本表情.日本東京通信研究實(shí)驗(yàn)室設(shè)計(jì)了15個(gè)自由度的Infanoid，其突出特點(diǎn)是在眼部加了5個(gè)DOF，眼球能在正負(fù)45°范圍內(nèi)掃視.日本早稻田大學(xué)WE-4R機(jī)器人共有25個(gè)DOF，其設(shè)計(jì)也非常重視眼部和眉部的運(yùn)動(dòng)，眼球的俯仰運(yùn)動(dòng)與眼瞼的開合能夠聯(lián)動(dòng).WE-4R與其他表情機(jī)器人最大不同之處是運(yùn)用藍(lán)色和綠色的發(fā)光板來(lái)表達(dá)臉頰面色，面色并將其與眉毛、嘴唇、下頜和聲音一起來(lái)表達(dá)情感.美國(guó)漢森公司研發(fā)的“愛(ài)因斯坦”是近年來(lái)具有最復(fù)雜機(jī)構(gòu)的機(jī)器人表情頭，它能夠?qū)崿F(xiàn)31個(gè)自由度，可表達(dá)28個(gè)臉部表情.國(guó)內(nèi)北京科技大學(xué)的李娜等[11]設(shè)計(jì)了11個(gè)DOF的表情頭，眼球、眼瞼、眉毛、頸部和下顎的自由度分別為4，2，2，2，1.哈工大的“H&F”系列機(jī)器人共有12個(gè)自由度，面部表情的驅(qū)動(dòng)裝置采用了電機(jī)與繩索相結(jié)合的驅(qū)動(dòng)方式，而眼睛機(jī)構(gòu)采用線傳動(dòng).

3.2 人臉表情的計(jì)算模型

人類的面部表情非常豐富，臉部細(xì)小的微變可能表達(dá)完全不同的情感.據(jù)統(tǒng)計(jì)，人臉約可產(chǎn)生1萬(wàn)種表情，而其中的3 000種是具有情感意義的.因此，為使表情機(jī)器人正確表達(dá)情感，需要對(duì)這些表情進(jìn)行編碼、統(tǒng)計(jì)，從而使其在不同的情境做出合適的表情，其中具有代表性的表情編碼系統(tǒng)包括：面部動(dòng)作編碼系統(tǒng)(facial action coding system,FACS)、情感面部動(dòng)作編碼系統(tǒng)(emotional facial action coding system,EMFACS)、最大判別面部運(yùn)動(dòng)編碼系統(tǒng)(maximally discriminative facial movement coding system,MAX)、MPEG-4三維人臉動(dòng)畫標(biāo)準(zhǔn)和面部表情編碼系統(tǒng)(facial expression coding system,FACES)[12]等.

FACS是美國(guó)心理學(xué)教授保羅·艾克曼于20世紀(jì)70年代末提出的，F(xiàn)ACS根據(jù)解剖學(xué)定義了44個(gè)運(yùn)動(dòng)單元，及運(yùn)動(dòng)描述符來(lái)描述面部運(yùn)動(dòng)，每個(gè)運(yùn)動(dòng)單元具有不同的位置和強(qiáng)度.FACS是迄今為最為詳盡、最為精細(xì)的面部測(cè)量系統(tǒng)，很多后續(xù)的方法都是以它作為基礎(chǔ)展開的，例如，2002年，Ekman在FACS系統(tǒng)的基礎(chǔ)上，定義了6種基本表情及33種不同的表情傾向，確定了改進(jìn)的簡(jiǎn)化FACS系統(tǒng).EMFACS則是將情感相關(guān)的面部運(yùn)動(dòng)與原始的FACS結(jié)合，對(duì)面部表情重新進(jìn)行編碼.MAX系統(tǒng)由Izard提出，該系統(tǒng)提供一個(gè)有效和可靠的系統(tǒng)測(cè)量嬰兒和兒童的面部行為中的情感信號(hào).MPEG-4三維人臉動(dòng)畫標(biāo)準(zhǔn)利用人臉定義參數(shù)(facial definition parameter，F(xiàn)DP)描述特定人臉紋理形狀模型與通用人臉模型之間的差別，利用人臉動(dòng)畫參數(shù)(facial animation parameter，F(xiàn)AP)描述特定人臉表情與中性表情的變化關(guān)系.MPEG-4中共定義了68個(gè)FAP，每個(gè)FAP分別定義人臉某一小區(qū)域的運(yùn)動(dòng).在FAP基礎(chǔ)上，MPEG-4還利用了FAP之間的空間關(guān)系，定義了人臉動(dòng)畫參數(shù)單元(facial animation parameter unit，F(xiàn)APU)，及其84個(gè)特征點(diǎn)，用于校準(zhǔn)人臉和產(chǎn)生人臉動(dòng)畫.美國(guó)加利福尼亞大學(xué)的Kring等提出的FACES提供了表情的頻率、強(qiáng)度、誘惑力和持續(xù)時(shí)間等信息，能對(duì)分布在情感維度模型上的表情進(jìn)行度量，并且所需時(shí)間較短.FACS考慮了身體位置的移動(dòng)、手部的遮擋、眼睛、講話、面部抽搐等對(duì)表情的影響，增強(qiáng)了系統(tǒng)的可靠性.

3.3 人臉表情識(shí)別技術(shù)

人臉表情識(shí)別是表情機(jī)器人應(yīng)用的關(guān)鍵支撐技術(shù).雖然近年來(lái)人臉檢測(cè)技術(shù)已逐漸成熟，但與之密切相關(guān)的表情分析識(shí)別方法仍有許多難點(diǎn)有待克服，而表情數(shù)據(jù)庫(kù)的建立、人臉特征的檢測(cè)、分類的識(shí)別是其核心的研究?jī)?nèi)容.

3.3.1 人臉表情庫(kù) 目前人臉表情數(shù)據(jù)庫(kù)大致分為3類.第一類是以6種基本情感為基礎(chǔ)，直接建立具有不同情感的表情庫(kù)，例如馬里蘭大學(xué)人臉表情庫(kù)[13]，包含40種不同文化和種族的測(cè)試者6種基本情感的人臉表情庫(kù).荷蘭代爾夫特理工大學(xué)MMI人臉表情數(shù)據(jù)庫(kù)包含50名測(cè)試者的6種基本情感，共500個(gè)靜態(tài)圖像和2 000個(gè)視頻.德國(guó)慕尼黑理工大學(xué)FG-NET數(shù)據(jù)庫(kù)包含18名測(cè)試者的6種基本情感表情和中性表情的序列.伊朗謝里夫理工大學(xué)DML-SUT人臉表情數(shù)據(jù)庫(kù)包含10名被試者6種情感表情和中性表情的可見(jiàn)光和紅外視頻序列.五邑大學(xué)建立了包含6名男性和5名女性的6種基本情感表情和中性表情的CED-WYU人臉表情庫(kù)[14].中國(guó)科技大學(xué)的建立了包含6種基本情感的可見(jiàn)光和紅外人臉表情圖像庫(kù)USTC-NVIE[15].第二類是以FACS是編碼為基礎(chǔ)，建立基于量化數(shù)據(jù)的細(xì)微表情庫(kù).例如，卡內(nèi)基梅隆大學(xué)機(jī)器人研究所建立的包含單一運(yùn)動(dòng)單元和復(fù)合運(yùn)動(dòng)單元共23種表情人臉表情數(shù)據(jù)庫(kù)CK+.第3類是針對(duì)較大人臉表情姿態(tài)變化的三維表情數(shù)據(jù)庫(kù).如紐約州立大學(xué)賓漢姆頓分校建立了BU-3DFE庫(kù)[16]，包含100名不同種族被試者6種基本情感表情和中性表情的三維信息.英國(guó)中央蘭開夏大學(xué)建立的ADSIP3-D動(dòng)態(tài)人臉表情數(shù)據(jù)庫(kù)包含10名被試者的害怕、嫌惡、生氣、高興、驚訝、悲傷和疼痛7種表情，并分為輕微、一般和極度3種強(qiáng)度[17].

除了以上3種典型表情庫(kù)之外，混合型表情數(shù)據(jù)庫(kù)也受到學(xué)者的關(guān)注，如北京航空航天大學(xué)建立的共包含18種單一表情、3種混合表情和4種復(fù)雜表情的BHU數(shù)據(jù)庫(kù)[18].中科院計(jì)算技術(shù)研究所人臉數(shù)據(jù)庫(kù)建立了具有姿勢(shì)、表情、飾品、光照、背景、距離和時(shí)間7種不同環(huán)境類別的人臉表情庫(kù)CAS-PEAL[19]，其特殊性是考慮了環(huán)境因素的影響.

3.3.2 表情特征提取與分類識(shí)別 人的面部表情涉及了大量復(fù)雜的肌肉運(yùn)動(dòng)變化，在考慮特征選擇及分類模型時(shí)，必須考慮柔性形變對(duì)于識(shí)別性能的影響.因此，中性表情臉的差異化形變特征選取是表情分析識(shí)別領(lǐng)域最常采用的特征提取方法.常采用的方法有活動(dòng)外觀輪廓、點(diǎn)分布模型、Gabor圖像變換和采用主成分分析方法(PCA)等.

表情的分類器模型是建立在特征選擇的基礎(chǔ)之上的，主要包括隱馬爾科夫模型法、神經(jīng)網(wǎng)絡(luò)法、時(shí)空運(yùn)動(dòng)能量模板法、支持向量機(jī)、Adaboost、基于規(guī)則推理的方法、PCA等.如胡敏等[20]提出了一種基于梯度 Gabor直方圖的人臉表情特征識(shí)別方法.蔣斌[21]在判別分量分析算法的基礎(chǔ)上，提出了針對(duì)人臉表情識(shí)別的局部判別分量分析算法.希臘雅典國(guó)家技術(shù)大學(xué)Caridakis等[22]提出了對(duì)用戶和上下文自適應(yīng)的神經(jīng)網(wǎng)絡(luò)方法進(jìn)行表情識(shí)別的方法.北航大學(xué)的Wang等[23]引入流行學(xué)習(xí)中較為成熟的LLE代替AAM中的PCA方法描述面部運(yùn)動(dòng)，在減小圖像殘差的基礎(chǔ)上，實(shí)現(xiàn)了面部較大變化的識(shí)別.

4 未來(lái)展望

表情機(jī)器人集成了人工智能、認(rèn)知科學(xué)、信息科學(xué)等多學(xué)科的研究成果，近年來(lái)取得了較快的發(fā)展，但距離完全自然的人機(jī)交互還有一段距離，其研究仍然面臨許多挑戰(zhàn)性課題，從目前的研究狀況來(lái)看，以下3個(gè)方向?qū)⑹墙窈蟀l(fā)展的趨勢(shì).

4.1 特殊材料的應(yīng)用

從近年來(lái)已面世的表情機(jī)器人來(lái)看，頭部機(jī)械結(jié)構(gòu)雖然較為復(fù)雜，但在機(jī)構(gòu)設(shè)計(jì)方面基本已經(jīng)成熟，并無(wú)太多實(shí)質(zhì)性的研究進(jìn)展.與之對(duì)比，表情機(jī)器人的外觀和內(nèi)部傳感領(lǐng)域卻碩果頗豐，其突出代表是漢森公司發(fā)明的人造皮膚和東京理工大學(xué)研制的氣動(dòng)人工肌肉.近十年來(lái)，漢森公司在人造皮膚領(lǐng)域取得了令人驚嘆的成就，他們利用人造橡膠和泡沫混合物制造的人造皮膚外觀仿真度極高，不僅可完整地模仿、表達(dá)人類的28種面部表情，且面部會(huì)隨著年齡的變化而出現(xiàn)皺紋.東京理工大學(xué)研究的人工肌肉當(dāng)被充氣和吸氣時(shí)，可以像人的肌肉一樣伸縮，這種氣動(dòng)結(jié)構(gòu)的肌肉組織具有質(zhì)量小、運(yùn)動(dòng)平滑、動(dòng)力強(qiáng)勁等特點(diǎn)，適合較大幅度的表情運(yùn)動(dòng).

4.2 特殊情境下的表情識(shí)別研究

傳統(tǒng)的表情分析、識(shí)別針對(duì)的是人類的正常狀態(tài)，而特殊情境包括環(huán)境存在遮擋、被識(shí)別者本身受到某種外界因素干擾，如疲勞和疼痛等.魯棒化識(shí)別和細(xì)微化識(shí)別是這一類特殊應(yīng)用必須面對(duì)的課題.與魯棒性識(shí)別相比，表情的細(xì)微化識(shí)別難度更大，目前，主要有概率模型和強(qiáng)度模型兩種方法.由于人臉細(xì)微化表情在運(yùn)動(dòng)速度、幅度和時(shí)間上特殊性，目前的研究方法僅能對(duì)特定細(xì)微表情建模分析，很難對(duì)有意為之的偽表情和不經(jīng)意流露出的微表情進(jìn)行識(shí)別.因此，如何提高細(xì)微化表情的自動(dòng)識(shí)別的準(zhǔn)確性和魯棒性，將是今后研究者深入思考的內(nèi)容.

4.3 多信息、多方法的融合應(yīng)用

考慮到表情建模，尤其是細(xì)微表情變化度量的復(fù)雜性，多信息、多方法的融合受到學(xué)者的廣泛關(guān)注，這一策略包含兩方面內(nèi)容：一是方法策略間的融合；二是通過(guò)方法間的互補(bǔ)性來(lái)提高復(fù)雜表情的識(shí)別效率.Zhao等[24]提出了結(jié)合模糊核分類和支持向量機(jī)的面部復(fù)雜表情識(shí)別方法；Littlewort等[25]結(jié)合Adaboost和SVM建立了自發(fā)疼痛表情識(shí)別系統(tǒng)；為提高痛苦表情識(shí)別的準(zhǔn)確率，張偉等[26]提出基于監(jiān)督保局投影與多核線性混合支持向量機(jī)的識(shí)別方法.

5 結(jié)束語(yǔ)

類人表情機(jī)器人研究涉及心理學(xué)、認(rèn)知科學(xué)、計(jì)算機(jī)智能、自動(dòng)控制、機(jī)械設(shè)計(jì)等多領(lǐng)域知識(shí)，具有典型的多學(xué)科交叉特征.文中系統(tǒng)分析了該領(lǐng)域國(guó)內(nèi)外研究工作的最新進(jìn)展，并從心理學(xué)理論模型和應(yīng)用關(guān)鍵技術(shù)兩個(gè)方向詳細(xì)闡述了當(dāng)前亟需解決的問(wèn)題，展望了表情機(jī)器人未來(lái)的發(fā)展方向.

[1] HIRTH J,BRAUN T,BERNS K.Emotion based control architecture for robotics applications[C]∥Proceedings of IEEE International Conference on Robotics and Automation (ICRA).Italy：IEEE Press,2007:2150-2155.

[2] HIRTH J,BRAUN T,ERNS K.Emotion based control architecture for robotics applications[C]∥Proceedings of 30th Annual German Conference on Artificial Intelligence.Osnabrück:IEEE Press,2007:464-467.

[3] 吳偉國(guó),宋策,孟慶梅.仿人頭像機(jī)器人“H&F Robot-III”語(yǔ)音及口型系統(tǒng)研制與實(shí)驗(yàn)[J].機(jī)械設(shè)計(jì),2008,25(1):15-20.

[4] 王巍,王志良,鄭思怡,等.一類具有相同結(jié)構(gòu)的表情機(jī)器人共同注意方法[J].機(jī)器人,2012,34(3):265-274.

[5] 劉欣,謝侖,楊文祥,等.表情機(jī)器人的動(dòng)態(tài)情緒調(diào)節(jié)過(guò)程研究[J].控制理論與應(yīng)用，2011,28(7):936-947.

[6] 柯顯信,唐文彬,陳玉亮,等.仿人面部表情機(jī)器人的控制系統(tǒng)設(shè)計(jì)[J].上海大學(xué)學(xué)報(bào)(自然科學(xué)版),2011,17(1):79-84.

[7] PLUTCHIK R.Emotion: A psychoevolutionary synthesis [M].New York:Harper & Row Publishers,1980:30-52.

[8] RUSSELL S J,SUBRAMANIAN D.Provable bounded-optimal agents[J].Journal of Artificial Intelligence Research,1995,2(1):575-609.

[9] MAO Xia,XUE Yuli,CHENG Leelun,et al.Harmonious Graphics Generating Based on the 1/fFunction Theory[J].Chaos, Solitons and Fractals,2007,32(2):521-525.

[10] 包海燕.智能仿生代理的情感建模方法研究[D].北京：北京航空航天大學(xué),2010:45.

[11] 李娜,陳工,王志良.表情機(jī)器人設(shè)計(jì)與實(shí)現(xiàn)[J].機(jī)器人技術(shù),2007,23(12):231-234.

[12] KRING A M,SHOAN D M.The facial expression coding system(FACES), development, validation, and utility[J].Psychological Assessment,2007,19(2):210-224.

[13] BLACK M J,YACOB Y.Recognizing facial expressions in image sequences using local parameterized models of image motion [J].International Journal of Computer Vision,1997,25(1):23-48.

[14] 朱明旱,李樹濤,葉華.基于稀疏表示的遮擋人臉表情識(shí)別方法[J].模式識(shí)別與人工智能,2014,27(8):708-712.

[15] WANG Sangfei,LIU Zhilei,Lyu Siliang,et al.A natural visible and infrared expression database for expression recognition and emotion inference[J].IEEE Transactions on Multimedia,2010,12(7):682-691.

[16] RABIEE H R.DML-SUT facial expression database[EB/OL]. [2011-03-10]. http://fedb.dml.ir.

[17] FROWD C D,MATUSZEWSKI B J,SHARK L K,et al.Towards a comprehensive 3D dynamic facial expression database[C]∥Proceedings of the 9th WSEAS International Conference on Multimedia, Internet & Video Technologies.Hungary:IEEE Press.2009:113-119.

[18] 薛麗麗,毛峽,張帆.BHU人臉表情數(shù)據(jù)庫(kù)的設(shè)計(jì)與實(shí)現(xiàn)[J].北京航空航天大學(xué)學(xué)報(bào),2007,33(2):224-228.

[19] GAO Wen,CAO Bo,SHAN Shiguang,et al.The CAS-PEAL large-scale Chinese face database and base-line evaluations[J].IEEE Transactions on Systems,2008,38(1):149-161

[20] 胡敏,朱弘,王曉華,等.基于梯度Gabor直方圖特征的表情識(shí)別方法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2013,25(12):1856-1862.

[21] 蔣斌,賈克斌.局部判別分量分析算法[J].電子學(xué)報(bào),2014,42(1):155-159.

[22] CARIDAKIS G,KARPUZIS K,KOLLIAS S.User and context adaptive neural networks for emotion recognition[J].Neurocomputing,2008,71(13/14/15):2553-2562.

[23] WANG Xiaokan,MAO Xia,Caleanu C D.Nonlinear shape texture manifold learning[J].IEICE Transactions on Information and Systems,2010,E93-D(7):2016-2019.

[24] ZHAO Hui,WANG Zhiliang,MEN Jihui.Facial complex expression recognition based on fuzzy kernel clustering and support vector machines[C]∥Proceedings of 3rd International Conference on Natural Computation.Haikou:Natural Computation,2007:562-566.

[25] LITTLEWORT G C,BARTLETT M S,LEE K.Faces of pain: Automated measurement of spontaneous facial expressions of genuine and posed pain[C]∥Proceedings of the 9th International Conference on Multimodal Interfaces.Haikou:ACM,2007:15-21.

[26] 張偉,黃煒,夏利民,等.基于SLPP與MKSVM的痛苦表情識(shí)別[J].計(jì)算機(jī)工程,2013,39(12):196-199.

(責(zé)任編輯： 陳志賢 英文審校： 吳逢鐵)

Develpment of Humanoid Facial Expression Robot

ZHANG Guoliang, WANG Zhangni, WANG Tian, WU Hao

(College of Computer Science and Technology, Huaqiao University, Xiamen 361021, China)

In this paper, the development status of this field has been investigated recently and the method of expression robot modeling has been explored for expression robot. Firstly the key technologies of expression robot are surveyed in detail, such as mechanism design, expression computation model, expression feature extraction and classification and so on. Furthermore, the research status and future development of facial expression robot are evaluated based on the survey analysis and four directions of future development are presented.

humanoid; expression robot; facial expression; facial action coding； psychology

1000-5013(2015)06-0626-06

10.11830/ISSN.1000-5013.2015.06.0626

2015-06-25

張國(guó)亮(1978-)，男，講師，博士，主要從事機(jī)器人視覺(jué)伺服、機(jī)器人遙操作的研究.E-mail:zhangguoliang@hqu.edu.cn.

國(guó)家自然科學(xué)基金資助項(xiàng)目(61202299); 福建省自然科學(xué)基金資助項(xiàng)目(2013J050901); 華僑大學(xué)高層次人才科研啟動(dòng)項(xiàng)目(11BS107)

TP 391.4

A