普通話雙模態(tài)情感語(yǔ)音數(shù)據(jù)庫(kù)的設(shè)計(jì)與評(píng)價(jià)

任國(guó)鳳 張雪英 李東 閆建政

摘 要： 針對(duì)包含發(fā)音動(dòng)作參數(shù)和情感語(yǔ)音的雙模態(tài)漢語(yǔ)普通話數(shù)據(jù)庫(kù)非常匱乏的問(wèn)題，設(shè)計(jì)包含中性、高興、憤怒及悲傷4種情感的普通話語(yǔ)音庫(kù)。該語(yǔ)音庫(kù)由10名被試錄制的1 440段音頻及發(fā)音動(dòng)作數(shù)據(jù)組成，文本長(zhǎng)度有雙音節(jié)詞和句子兩種類型。為了確保該數(shù)據(jù)庫(kù)的有效性，邀請(qǐng)普通話較好、聽(tīng)力正常的10名評(píng)價(jià)者組成評(píng)價(jià)小組，對(duì)數(shù)據(jù)庫(kù)內(nèi)所有音頻文件進(jìn)行評(píng)價(jià)。根據(jù)評(píng)價(jià)小組評(píng)價(jià)結(jié)果結(jié)合發(fā)音動(dòng)作數(shù)據(jù)的穩(wěn)定性進(jìn)行篩選，得到語(yǔ)音質(zhì)量較好、發(fā)音動(dòng)作參數(shù)穩(wěn)定的雙模態(tài)情感語(yǔ)音數(shù)據(jù)庫(kù)。該數(shù)據(jù)庫(kù)可用于開(kāi)展情感語(yǔ)音的發(fā)音動(dòng)作研究，進(jìn)而單獨(dú)或聯(lián)合作為情感語(yǔ)音識(shí)別算法的樣本數(shù)據(jù)，對(duì)情感語(yǔ)音識(shí)別率的提高具有積極的作用。

關(guān)鍵詞： 數(shù)據(jù)庫(kù)； 情感語(yǔ)音； 發(fā)音動(dòng)作參數(shù)； 漢語(yǔ)普通話； 信號(hào)處理； 普通話語(yǔ)音庫(kù)

中圖分類號(hào)： TN912.3?34 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2018）14?0182?05

Design and evaluation of Mandarin bi?modal emotion speech database

REN Guofeng1，2， ZHANG Xueying1， LI Dong1， YAN Jianzheng1

（1. School of Information Engineering， Taiyuan University of Technology， Taiyuan 030600， China；

2. Department of Electronics， Xinzhou Teachers University， Xinzhou 034000， China）

Abstract： In allusion to the problem of lack of bi?modal Chinese Mandarin database containing pronunciation action parameters and emotional speech， a Mandarin speech corpus that includes four emotions of neutrality， happiness， anger and sadness is designed. The speech corpus is composed of 1 440 segments of audio and pronunciation action data recorded by 10 subjects， and the textual length includes bi?syllable word and sentence. To ensure the validity of the database， 10 evaluators with good Mandarin and normal hearing are invited to constitute the evaluation group， so as to evaluate all the audio files in the database. According to the evaluation results of the evaluation group and in combination with the stability of pronunciation action data， the audio files are screened to obtain the bi?modal emotion speech database with good audio quality and stable pronunciation action parameters. The database can be used to conduct the pronunciation action research of emotional speech， and solely or jointly taken as the sample data of the emotional speech recognition algorithm， which has a positive function for improvement of the emotional speech recognition rate.

Keywords： database； emotional speech； pronunciation action parameter； Chinese Mandarin； signal processing； Mandarin speech corpus

0 引 言

情感語(yǔ)音由于包含了豐富的情感信息，在人們?nèi)粘＝涣髦衅鹬浅Ｖ匾淖饔?，因而?duì)其開(kāi)展研究有助于進(jìn)一步了解人們交流時(shí)的心理狀態(tài)[1?2]。同時(shí)，伴隨著人機(jī)交互智能技術(shù)的快速發(fā)展，情感識(shí)別能力作為度量人機(jī)交互智能化水平的重要依據(jù)，受到眾多研究者的青睞。而情感語(yǔ)音識(shí)別的研究離不開(kāi)優(yōu)質(zhì)的情感語(yǔ)音數(shù)據(jù)庫(kù)的支撐。由于情感認(rèn)知的復(fù)雜性、數(shù)據(jù)采集的困難性、錄制標(biāo)準(zhǔn)的不統(tǒng)一性、情感分類目的和方法的差異性等，導(dǎo)致目前大多數(shù)研究機(jī)構(gòu)都是按照各自的科研需求建立相應(yīng)的情感語(yǔ)音數(shù)據(jù)庫(kù)，而無(wú)法構(gòu)建相對(duì)統(tǒng)一的情感語(yǔ)音庫(kù)[3?4]。目前，情感語(yǔ)音領(lǐng)域內(nèi)存在的情感語(yǔ)音庫(kù)類型較多，按照激發(fā)情感的類別可分為表演型、引導(dǎo)型和自然型[5]。情感的智能交互要求機(jī)器具有接近人類的語(yǔ)音情感識(shí)別和表達(dá)能力。為了實(shí)現(xiàn)該目標(biāo)，建立一個(gè)真實(shí)自然并且擁有完整情感標(biāo)注信息的優(yōu)質(zhì)情感語(yǔ)音數(shù)據(jù)庫(kù)是十分重要的。

然而，人機(jī)交互智能的迅猛發(fā)展對(duì)情感語(yǔ)音的識(shí)別能力提出了更高的要求，單一的靠語(yǔ)音作為樣本數(shù)據(jù)已不能滿足情感識(shí)別的需要。所以越來(lái)越多的人將表情、腦電及口腔運(yùn)動(dòng)數(shù)據(jù)采集來(lái)進(jìn)行情感識(shí)別[6]，通過(guò)增加數(shù)據(jù)的維度以提高識(shí)別率。在此方面，美國(guó)南加州大學(xué)的情感語(yǔ)音小組利用超聲波[7]、核磁共振[8]及EMA數(shù)據(jù)采集儀等與語(yǔ)音同步采集了舌、唇、咽喉等不易準(zhǔn)確觀察的發(fā)音器官的運(yùn)動(dòng)[9]，并對(duì)其分析發(fā)現(xiàn)，不同情感下舌部的運(yùn)動(dòng)狀態(tài)明顯不同[10]。同時(shí)，Kim對(duì)英語(yǔ)發(fā)音中的情感與唇部運(yùn)動(dòng)比較發(fā)現(xiàn)，唇孔徑的大小也可以作為特征來(lái)觀察情感變化[11]。我國(guó)的中科院先進(jìn)技術(shù)研究院和中國(guó)科技大學(xué)也對(duì)EMA數(shù)據(jù)進(jìn)行了提取和分析，但他們的研究集中于可視語(yǔ)音合成及聾啞人康復(fù)訓(xùn)練等。近幾年，天津大學(xué)及清華大學(xué)的團(tuán)隊(duì)開(kāi)始了情感語(yǔ)音與EMA數(shù)據(jù)的結(jié)合研究，但是依然沒(méi)有成熟有效的EMA數(shù)據(jù)與語(yǔ)音同步結(jié)合的漢語(yǔ)普通話雙模態(tài)情感語(yǔ)音數(shù)據(jù)庫(kù)[12]?；诖?，本文旨在設(shè)計(jì)包含中性、高興、悲傷和憤怒四種情感的普通話情感語(yǔ)音雙模態(tài)數(shù)據(jù)庫(kù)。

1 雙模態(tài)情感語(yǔ)音數(shù)據(jù)庫(kù)的整體設(shè)計(jì)

1.1 文本素材及被試選擇

由于受到發(fā)音器官的隱蔽性及語(yǔ)音錄制環(huán)境的限制，要想獲取完全自然的情感語(yǔ)音及相應(yīng)的發(fā)音器官運(yùn)動(dòng)信息是幾乎不可能的。一般情況下，人們都選擇在特定的環(huán)境下由外界引導(dǎo)而完成錄制。本文所設(shè)計(jì)的數(shù)據(jù)庫(kù)采用場(chǎng)景冥想式方法進(jìn)行設(shè)計(jì)，由被試根據(jù)文本提示假想特定的語(yǔ)境醞釀相應(yīng)情感并表達(dá)出來(lái)[13]。

1.1.1 文本素材的選擇

為了情感的表現(xiàn)不失公允，本文中所選擇的文本語(yǔ)料均為中性語(yǔ)義，不帶有明顯的情感傾向。具體的文本內(nèi)容如表1所示。

1.1.2 被試的選擇

本文中被試選擇遵循以下原則：

1） 年齡在20～40歲之間；

2） 漢語(yǔ)普通話等級(jí)在二級(jí)乙等以上；

3） 未接受過(guò)牙齒矯正及修復(fù)等口腔手術(shù)；

4） 未接受過(guò)正式的語(yǔ)言表演訓(xùn)練。

因而，本數(shù)據(jù)庫(kù)共選擇5名男性、5名女性作為被試。所有被試均為籍貫為中國(guó)北方的在校研究生，且普通話等級(jí)為二級(jí)乙等以上。

1.2 采集方案的設(shè)計(jì)

1.2.1 實(shí)驗(yàn)環(huán)境

本文設(shè)計(jì)的數(shù)據(jù)庫(kù)需要同步獲得語(yǔ)義清晰的語(yǔ)音和誤差很小的各發(fā)音器官動(dòng)作數(shù)據(jù)。錄制過(guò)程中以德國(guó)Carstens公司生產(chǎn)的三維電磁發(fā)音儀：AG501為主要采集儀器，同步采集語(yǔ)音和發(fā)音動(dòng)作數(shù)據(jù)。為確保AG501工作穩(wěn)定且不受外界電磁場(chǎng)干擾，所有錄制均在室溫25 ℃左右且遠(yuǎn)離金屬材質(zhì)的環(huán)境中。錄制過(guò)程中，使用外置麥克風(fēng)采集語(yǔ)音、AG501配套傳感器采集發(fā)音動(dòng)作數(shù)據(jù)、投影儀遠(yuǎn)距離投影以避免被試在錄音過(guò)程中頭部運(yùn)動(dòng)太頻繁。完整的硬件連接方法如圖1所示。

1.2.2 AG501

AG501是由德國(guó)Carstens公司生產(chǎn)的一款三維電磁發(fā)音動(dòng)作采集儀。該儀器擁有24路采樣率為48 kHz的發(fā)音動(dòng)作數(shù)據(jù)采集通道、一路采樣率為1 250 Hz的音頻信號(hào)采集通道[14]。發(fā)音動(dòng)作由黏貼在發(fā)音器官各部位的傳感器采集，音頻數(shù)據(jù)由專用麥克風(fēng)采集。發(fā)音動(dòng)作數(shù)據(jù)和音頻數(shù)據(jù)可以實(shí)現(xiàn)自動(dòng)同步。具體的儀器圖如圖2所示。

由于被試間的個(gè)體差異及在錄制過(guò)程中被試的頭部不可避免地會(huì)發(fā)生旋轉(zhuǎn)等動(dòng)作，僅依靠磁場(chǎng)下的笛卡爾坐標(biāo)系的三維坐標(biāo)值判斷發(fā)音器官運(yùn)動(dòng)是不準(zhǔn)確的，因此在錄制過(guò)程中需要對(duì)頭部進(jìn)行校準(zhǔn)。本研究中，為了更好地進(jìn)行頭部校準(zhǔn)，傳感器的黏貼工作分兩步完成。

1.2.3 錄制流程

搭建好錄制系統(tǒng)后，具體的錄制流程如下：

1） 錄制前的準(zhǔn)備工作。打開(kāi)AG501電源讓其預(yù)熱15 min以上。在此期間，對(duì)被試進(jìn)行簡(jiǎn)單培訓(xùn)。同被試簽訂知情同意書(shū)，并幫助被試熟悉錄制流程及文本語(yǔ)料。同時(shí)，確保被試未佩戴任何金屬類飾物。

2） 頭部校準(zhǔn)。將傳感器黏貼在左右乳凸、鼻梁和圖3所示的咬合面矯正板上。讓被試坐在指定位置上，口中含著咬合面矯正板并將矯正板的凸起部位卡在上切牙內(nèi)側(cè)。由AG501采集各傳感器運(yùn)動(dòng)數(shù)據(jù)并生成頭部旋轉(zhuǎn)矩陣，進(jìn)而按該旋轉(zhuǎn)矩陣對(duì)原始數(shù)據(jù)進(jìn)行頭部旋轉(zhuǎn)使得圖3中所示凸起為坐標(biāo)原點(diǎn)、OL和OR在y軸上并以原點(diǎn)對(duì)稱、OC在x軸上，三個(gè)參考點(diǎn)的z坐標(biāo)均為零。

3） 黏貼剩余傳感器。在完成頭部校準(zhǔn)后，其余的傳感器將分別被黏貼到上下唇、左右嘴角和舌尖、舌中和舌根。具體的黏貼位置如圖4所示。為了得到理想的動(dòng)作數(shù)據(jù)，舌尖的傳感器黏貼于距生理舌尖1 cm處，舌根位置的傳感器在被試能承受的范圍內(nèi)盡量往舌根部黏貼，而舌中位置傳感器位于舌尖和舌根位置傳感器的中間點(diǎn)上，它距兩個(gè)傳感器的距離不得小于1 cm。

4） 錄制語(yǔ)音。被試按照投影屏幕提示文本信息，依次表達(dá)中性、高興、憤怒和悲傷4種情感，每種情感重復(fù)表達(dá)3次。這樣，雙音節(jié)詞一共錄制600條（10名被試×5條文本×4種情感×3次重復(fù)），句子一共錄制 840條（10名被試×7條文本×4種情感×3次重復(fù)）。

2 雙模態(tài)情感語(yǔ)音庫(kù)的預(yù)處理

本設(shè)計(jì)中用到的發(fā)音動(dòng)作采集儀：AG501可得到采樣頻率為1 250 Hz的語(yǔ)音信號(hào)。為濾除外界噪聲，選擇截止頻率為1 300 Hz巴特沃斯低通濾波器進(jìn)行濾波。同時(shí)，對(duì)語(yǔ)音信號(hào)和發(fā)音動(dòng)作數(shù)據(jù)文件進(jìn)行統(tǒng)一命名并編號(hào)，該文件名具體格式為“編號(hào)?語(yǔ)料類型?情感類型?重復(fù)次數(shù)?被試”。其中，編號(hào)取值范圍為1～1 440，語(yǔ)料類型為j（表征句子）和s（表征雙音節(jié)詞），情感類型為a（表征憤怒）、h（表征開(kāi)心）、n（表征中性）和s（表征傷心），重復(fù)次數(shù)取值范圍為1～3，被試取值分別為f1～f5及m1～m5。

3 雙模態(tài)情感語(yǔ)音庫(kù)的評(píng)價(jià)及篩選

3.1 語(yǔ)音信號(hào)的評(píng)價(jià)

人的情感表達(dá)具有很高的主觀性，表演者所表達(dá)的情感強(qiáng)度和別人所感受到的情感強(qiáng)度很難完全一致。同時(shí)，參與本語(yǔ)料庫(kù)錄制的被試均未接受過(guò)語(yǔ)言表演訓(xùn)練，缺乏情感表演的經(jīng)驗(yàn)。為了研究者能從他們的語(yǔ)料中得到比較客觀的情感數(shù)據(jù)，需要有一個(gè)統(tǒng)一的評(píng)價(jià)方法對(duì)其進(jìn)行評(píng)價(jià)。本文中選擇普通話標(biāo)準(zhǔn)、聽(tīng)力很好的5位男性和5位女性成立語(yǔ)料評(píng)價(jià)小組，每一位評(píng)價(jià)組成員需從被評(píng)語(yǔ)音的清晰度和情感表現(xiàn)度兩方面獨(dú)立打分。打分過(guò)程按照李斯特量表法進(jìn)行[15]，具體評(píng)分規(guī)則如表2所示。

其中，語(yǔ)音清晰度評(píng)價(jià)時(shí)不區(qū)分被試希望表達(dá)的情感類型，而情感表現(xiàn)度的主觀評(píng)價(jià)需將文件事先按照被試希望表達(dá)情感類型進(jìn)行分類，再由評(píng)價(jià)小組成員對(duì)同一情感類型下的語(yǔ)料逐一進(jìn)行聽(tīng)測(cè)。同時(shí)，中性語(yǔ)料無(wú)需進(jìn)行情感表現(xiàn)度聽(tīng)測(cè)。

通過(guò)評(píng)價(jià)小組成員對(duì)語(yǔ)音材料的獨(dú)立評(píng)價(jià)，得到10名評(píng)價(jià)者的評(píng)分結(jié)果。令[Ui]表示語(yǔ)料的平均語(yǔ)音清晰度，[Di]表示語(yǔ)料的平均情感表現(xiàn)度。其中[i]表示語(yǔ)音材料的編號(hào)，N表示評(píng)價(jià)小組成員總?cè)藬?shù)，這里N=10，j表示成員編號(hào)。則有：

[Ui=1Nj=1Nui，j， i=1～1 140； j=1～10] （1）

[Di=1Nj=1Ndi，j， i=1～1 140； j=1～10] （2）

其中，中性情感語(yǔ)料的情感表現(xiàn)度得分取5分。

根據(jù)得到的統(tǒng)計(jì)數(shù)據(jù)可對(duì)語(yǔ)音數(shù)據(jù)做統(tǒng)計(jì)評(píng)價(jià)以篩選出表現(xiàn)較好的語(yǔ)料用于情感語(yǔ)音識(shí)別等研究中。具體篩選閾值為語(yǔ)音清晰度得分不小于4.5分，且情感表現(xiàn)度得分不小于4.0分的語(yǔ)料被認(rèn)定為有效語(yǔ)料。

3.2 發(fā)音動(dòng)作數(shù)據(jù)的評(píng)價(jià)

RMSE（均方根誤差）是用來(lái)表征數(shù)據(jù)離散程度的一個(gè)重要指標(biāo)，它揭示了數(shù)據(jù)的穩(wěn)定程度。因而，在本數(shù)據(jù)庫(kù)評(píng)價(jià)過(guò)程中，選擇該參數(shù)作為發(fā)音動(dòng)作數(shù)據(jù)的評(píng)價(jià)參數(shù)。根據(jù)任一語(yǔ)料采集到的某一傳感器的發(fā)音動(dòng)作數(shù)據(jù)，可直接計(jì)算該參數(shù)。計(jì)算方法如下：

[RMSE=i=1nd2in] （3）

式中：[n]為某一語(yǔ)料發(fā)音動(dòng)作數(shù)據(jù)點(diǎn)的數(shù)量；[di]為任一數(shù)據(jù)點(diǎn)與均值點(diǎn)間的歐氏距離。

因此，式（3）可進(jìn)一步寫(xiě)為：

[RMSE=i=1n（xi-x）2+（yi-y）2+（zi-z）2n] （4）

一般情況下，RMSE值越小發(fā)音動(dòng)作數(shù)據(jù)越穩(wěn)定。本設(shè)計(jì)中，RMSE值小于10 mm的動(dòng)作數(shù)據(jù)被判定為穩(wěn)定數(shù)據(jù)。在數(shù)據(jù)篩選過(guò)程中，篩選掉大于10 mm的數(shù)據(jù)。

根據(jù)語(yǔ)音數(shù)據(jù)和發(fā)音動(dòng)作數(shù)據(jù)的雙重評(píng)價(jià)及篩選，本數(shù)據(jù)庫(kù)最終保留有403個(gè)雙音節(jié)詞及510條句子。具體情況如表3所示。

4 結(jié) 語(yǔ)

一個(gè)情感豐富、數(shù)據(jù)多樣的情感數(shù)據(jù)庫(kù)，對(duì)研究者進(jìn)行情感語(yǔ)音識(shí)別研究，并作為情感語(yǔ)音合成的訓(xùn)練測(cè)試平臺(tái)是非常重要的。本文中設(shè)計(jì)的結(jié)合發(fā)音動(dòng)作參數(shù)及語(yǔ)音兩類數(shù)據(jù)的情感語(yǔ)音數(shù)據(jù)庫(kù)，包含了雙音節(jié)詞和句子兩種類型文本，共計(jì)913多條語(yǔ)料。在一定程度上可為生理語(yǔ)音研究及情感語(yǔ)音的發(fā)音動(dòng)作研究等提供服務(wù)。進(jìn)而，該數(shù)據(jù)庫(kù)著重于幫助研究者針對(duì)漢語(yǔ)普通話的情感語(yǔ)音識(shí)別研究提供數(shù)據(jù)支撐。同時(shí)，本數(shù)據(jù)庫(kù)也可以單獨(dú)作為發(fā)音器官的運(yùn)動(dòng)研究或者普通發(fā)音人的情感研究，甚至可擴(kuò)展到普通話的情感語(yǔ)音合成研究領(lǐng)域中。

當(dāng)然，該數(shù)據(jù)庫(kù)也存在一定的不足之處。首先，文本內(nèi)容還可以進(jìn)一步豐富，從而提高數(shù)據(jù)庫(kù)的普適性；其次，傳感器數(shù)量不多，難以增加眼瞼等面部運(yùn)動(dòng)信號(hào)的采集以豐富情感數(shù)據(jù)。

參考文獻(xiàn)

[1] 韓文靜，李海峰，阮華斌，等.語(yǔ)音情感識(shí)別研究進(jìn)展綜述[J].軟件學(xué)報(bào)，2014，25（1）：37?50.

HAN Wenjing， LI Haifeng， RUAN Huabin， et al. Review on speech emotion recognition [J]. Journal of software， 2014， 25（1）： 37?50.

[2] 張雪英，孫穎，張衛(wèi)，等.語(yǔ)音情感識(shí)別的關(guān)鍵技術(shù)[J].太原理工大學(xué)學(xué)報(bào)，2015，46（6）：629?636.

ZHANG Xueying， SUN Ying， ZHANG Wei， et al. Key technologies in speech emotion recognition [J]. Journal of Taiyuan University of Technology， 2015， 46（6）： 629?636.

[3] 趙國(guó)朕，宋金晶，葛燕，等.基于生理大數(shù)據(jù)的情緒識(shí)別研究進(jìn)展[J].計(jì)算機(jī)研究與發(fā)展，2016，53（1）：80?92.

ZHAO Guozhen， SONG Jinjing， GE Yan， et al. Advances in emotion recognition based on physiological big data [J]. Journal of computer research and development， 2016， 53（1）： 80?92.

[4] 韓文靜，李海峰.情感語(yǔ)音數(shù)據(jù)庫(kù)綜述[J].智能計(jì)算機(jī)與應(yīng)用，2013，3（1）：5?7.

HAN Wenjing， LI Haifeng. A brief review on emotional speech databases [J]. Intelligent computer and applications， 2013， 3（1）： 5?7.

[5] 陳浩，師雪姣，肖智議，等.高表現(xiàn)力情感語(yǔ)料庫(kù)的設(shè)計(jì)[J].計(jì)算機(jī)與數(shù)字工程，2014，42（8）：1383?1385.

CHEN Hao， SHI Xuejiao， XIAO Zhiyi， et al. High performance emotional corpus [J]. Computer & digital engineering， 2014， 42（8）： 1383?1385.

[6] AN J， BERRY J J， JOHNSON M T. The electromagnetic articulography Mandarin accented English corpus of acoustic and 3D articulatory kinematic data [C]// Proceedings of IEEE International Conference on Acoustic， Speech and Signal Processing. Florence： IEEE， 2014： 7719?7723.

[7] NARAYANAN S， NAYAK K， LEE S， et al. An approach to real?time magnetic resonance imaging for speech production [J]. Journal of the Acoustical Society of America， 2004， 115（4）： 1771?1776.

[8] MATSUO K， PALMER J B. Kinematics linkage of the tongue， jaw， and hyroid during eating and speech [J]. Archives of oral biology， 2010， 55（4）： 325?331.

[9] LEE S， YILDRIM S， KAZEMZADEH A， et al. An articulatory study of emotional speech production [C]// Proceedings of 9th European Conference on Speech Communication and Technology. Lisbon： [s.n.]， 2005： 497?500.

[10] NEUFELD C， VAN L P. Tongue kinematics in palate relative coordinate spaces for electro?magnetic articulography [J]. Journal of the Acoustical Society of America， 2014， 135（1）： 352?361.

[11] KIM J， TOUTIOS A， LEE S， et al. A kinematic study of critical and non?critical articulators in emotional speech production [J]. Journal of the Acoustical Society of America， 2015， 137（3）： 1411?1429.

[12] WEI J， LIU J， FANG Q， et al. A novel method for constructing 3D geometric articulatory models [J]. Journal of signal processing systems， 2016， 82（2）： 295?302.

[13] 吳丹，林學(xué)訚.人臉表情視頻數(shù)據(jù)庫(kù)的設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)工程與應(yīng)用，2004（5）：177?180.

WU Dan， LIN Xueyin. The design and realization of a video database for facial expression analysis [J]. Computer engineering and applications， 2004（5）： 177?180.

[14] YUNUSOVA Y， GREEN J R， MEFFERD A. Accuracy assessment for AG500， electromagnetic articulograph [J]. Journal of speech language & hearing research， 2009， 52（2）： 547?555.

[15] 王寶軍，薛雨麗，于適寧，等.多模情感數(shù)據(jù)庫(kù)的設(shè)計(jì)與評(píng)價(jià)[J].中國(guó)科技論文，2016，11（2）：214?218.

WANG Baojun， XUE Yuli， YU Shining， et al. The design and evaluation of multimode affective database [J]. China sciencepaper， 2016， 11（2）： 214?218.