基于特定人的語音情感識別系統(tǒng)構(gòu)建

羅憲華,　徐海明

(1.中國人民公安大學教務(wù)處, 北京　100038; 2.中國人民公安大學警務(wù)信息工程學院, 北京　100038)

?

基于特定人的語音情感識別系統(tǒng)構(gòu)建

羅憲華1,徐海明2

(1.中國人民公安大學教務(wù)處, 北京100038; 2.中國人民公安大學警務(wù)信息工程學院, 北京100038)

摘要經(jīng)公安部門統(tǒng)計，重復(fù)性犯罪的人數(shù)呈上升趨勢。有些犯罪嫌疑人在接受民警審訊時表現(xiàn)得相對冷靜，這就使民警單憑感覺不能準確了解其心理、情感狀態(tài)。研究表明，人類語音中包含的情感特征是客觀的，可以真實地反映出緊張、焦慮等負面情感。因此，構(gòu)建了一個基于特定犯罪嫌疑人的語音情感識別系統(tǒng),先錄制若干特定犯罪嫌疑人的口供語音，通過人工聽取、標記，組成一個情感語音數(shù)據(jù)庫,然后為這些嫌疑人訓練語音情感模型,最后在嫌疑人接受審訊時，識別他們的情感。實驗結(jié)果表明，該系統(tǒng)具備較高的識別性能和廣泛的應(yīng)用前景，對案件的偵破起到較好的輔助作用。

關(guān)鍵詞語音情感識別； 支持向量機； 情感語音數(shù)據(jù)庫； 審訊

0引言

當今，人工智能技術(shù)飛速發(fā)展。諸如視頻圖像處理、音頻處理等技術(shù)都已經(jīng)廣泛應(yīng)用在日常的生活和工作之中。在警務(wù)工作中，音頻識別技術(shù)已經(jīng)成為偵破案件不可或缺的手段之一。然而“情感”這種只能通過人類感覺器官才能感受到的事物卻很難被計算機所處理，能夠“感知”人類情感的軟件系統(tǒng)也很難得到公眾的廣泛關(guān)注。在偵查案件的過程中，有些慣犯在接受民警審訊時表現(xiàn)得相對冷靜，使民警很難把握其心理、情感狀態(tài)。如果能夠掌握這些慣犯的情感特點，利用語音情感識別技術(shù)，建立一個有犯罪前科人員的語音情感模型庫，會對案件的偵破工作有所幫助。因此，越來越多的學者把眼光投向了語音情感識別。調(diào)研發(fā)現(xiàn)，人類語音信號中能夠?qū)η楦蟹诸惼鸬阶饔玫奶卣饕呀?jīng)多達200余種[1]。2011年， Eyben等人開發(fā)了一個針對語音情感特征提取的工具包[2]，為廣大研究者提供了便捷的工具；同年，Sanchez等人采用特征融合技術(shù)對負面情緒進行識別，取得了不錯的識別效果[3]。這些研究為語音情感識別提供了技術(shù)支持，并具備了一定的應(yīng)用前景[4-5]。

本文主要是將語音情感識別的成果應(yīng)用在公安行業(yè)，建立了一個基于特定犯罪嫌疑人的語音情感識別演示系統(tǒng)。選擇特定人進行研究的原因主要是考慮到一般案件中犯罪人員都是以個體形式出現(xiàn)，就好像公安部建立的DNA數(shù)據(jù)庫一樣，因此針對犯罪人員個體建立語音情感模型符合實際情況。該語音情感識別系統(tǒng)建立的具體步驟如下：

由于公安工作的特殊性，拿到第一手犯罪嫌疑人語音資料相當困難，因此選擇在公安院校內(nèi)部，挑選一些語言表演能力較好的學生模擬犯罪嫌疑人，錄制情感語音數(shù)據(jù)庫；

對每一位“犯罪嫌疑人”的情感語音進行訓練，建立對應(yīng)的情感模型，最終形成一個語音情感模型數(shù)據(jù)庫；

對某一位特定的“嫌疑人”，選取其對應(yīng)的情感模型，進行情感判斷。

為了與特定嫌疑人的語音情感識別結(jié)果進行對比，訓練了一個通用的情感模型，任何人都可以使用該模型進行非特定人的語音情感識別。

1語音情感識別系統(tǒng)的建立

1.1　情感語音數(shù)據(jù)庫的準備

首先，根據(jù)案件處理的一般特點，編寫了幾種不同類型的犯罪嫌疑人(包括殺人、盜竊、交通肇事、經(jīng)濟犯罪、販毒)接受審訊時的5類情景劇本，并進行演示。劇本中包含了嫌疑人最容易出現(xiàn)的5種情感類型：生氣、緊張、悲傷、害怕、中性。其中殺人刑事案件、經(jīng)濟案件、販毒案件劇本中包含緊張、中性、害怕3種情感；盜竊案件中包含緊張、中性、害怕、悲傷、生氣5種情感；交通肇事案件中包含緊張、害怕、悲傷、中性4種情感。為了保證數(shù)據(jù)庫的質(zhì)量，每類劇本錄制兩遍。角色扮演人員的表演水平直接決定了數(shù)據(jù)庫的質(zhì)量，因此，從公安院校挑選了相關(guān)專業(yè)語言表達能力較強的10位學生，共5男5女，給予他們一定的時間和空間醞釀情感，模擬上述5類劇本中犯罪嫌疑人接受審訊時的心理和情感狀態(tài)，進而表演上述劇本中的情景對話，錄制他們的情感語音。接著，對錄制的400句情感語音進行人工聽取，5人中只要有3人認為該語音的情感表述不明確就刪除該段語音。最后，為保留下來的語音進行了情感標注，形成了包含5類情感的374句情感語音數(shù)據(jù)庫。另外，為了訓練一個針對非特定人的語音情感模型，就需要一個相對較大的情感語音數(shù)據(jù)庫，我們使用了清華大學語音與語言國家重點實驗室錄制的EMR_DB數(shù)據(jù)庫[7]，該數(shù)據(jù)庫由4男4女錄制，其中包括5種情感類型，共1309個樣本。為檢測系統(tǒng)的實用性，就需要使用真實案件的音頻來對系統(tǒng)進行測試。我們用一段民事糾紛案件的現(xiàn)場音頻數(shù)據(jù)來檢測系統(tǒng)的識別性能。該案件的音頻文件經(jīng)過人工聽取、標注，共計242個樣本，包含生氣、中性、緊張3種情感。

1.2　語音情感模型的訓練

按照模式識別的一般方法，首先要做的工作就是特征提取。針對語音情感識別領(lǐng)域，能夠被使用的特征主要包括全局統(tǒng)計特征[6]和局部頻譜特征[7]。由于訓練數(shù)據(jù)有限，經(jīng)過調(diào)研發(fā)現(xiàn)，將基于高斯混合模型(GMM)超向量的支持向量機(SVM)應(yīng)用到語音情感識別系統(tǒng)中具有較好的識別效果[8]。下面介紹這種基于GMM-SVM情感模型的訓練步驟。首先，對訓練數(shù)據(jù)進行預(yù)處理，去除音頻首、尾的靜音幀；然后，對經(jīng)過預(yù)處理之后的音頻數(shù)據(jù)提取Mel-頻率倒譜系數(shù)(MFCC)特征；為了彌補單獨一句情感語音中訓練數(shù)據(jù)的不足，我們使用EMR_DB數(shù)據(jù)庫中的中性情感訓練一個通用背景模型(UBM)進行自適應(yīng)，得到GMM模型，進而產(chǎn)生GMM超向量；最后，將GMM超向量輸入SVM進行訓練，得到語音情感模型。整個訓練過程如圖1所示：

圖1　語音情感模型的訓練過程

經(jīng)過上述訓練過程，我們就得到了一個針對某一特定人的語音情感模型，將所有訓練得到的模型組成數(shù)據(jù)庫，就可以用于對這類特定人群的情感語音進行情感的分析判別。

1.3　語音情感識別過程

當訓練過程結(jié)束以后，就可以用產(chǎn)生的情感模型進行情感識別。針對特定人，我們要選擇與其對應(yīng)的情感模型，如果數(shù)據(jù)庫中沒有使用者的語音情感模型，需要識別數(shù)據(jù)庫以外人員的情感時，我們也訓練了一個通用的模型供其使用，但識別效果并不理想。識別的過程主要分為以下幾步：首先，錄制好特定說話人的情感語音，使用靜音檢測算法VAD[9](Voice Activity Detection)去除了該段音頻首、尾的靜音幀；然后，對預(yù)處理過的音頻測試數(shù)據(jù)提取MFCC特征；接著，利用訓練過程產(chǎn)生的UBM通過自適應(yīng)算法產(chǎn)生GMM模型；最后，將GMM中的均值向量(矩陣的每一行數(shù)據(jù))首位相連組成GMM超向量，使用該超向量和訓練過程產(chǎn)生的情感模型作為SVM的輸入數(shù)據(jù)進行識別，得到識別結(jié)果。系統(tǒng)的識別過程如圖2所示：

圖2　演示系統(tǒng)的識別過程

通過以上步驟，我們就可以完成模式識別最為關(guān)鍵的兩步：訓練過程和識別過程。

1.4　語音情感識別系統(tǒng)架構(gòu)簡介

本系統(tǒng)主要由訓練模塊和識別模塊組成，其他模塊作為輔助性模塊為兩大模塊處理、輸送數(shù)據(jù)。訓練模塊的作用是訓練針對特定人的語音情感模型。它包含了預(yù)處理模塊(VAD靜音檢測模塊)、特征提取模塊、GMM訓練模塊、自適應(yīng)模塊、超向量產(chǎn)生模塊，其中特征提取、GMM訓練、自適應(yīng)三個過程調(diào)用了HTK(Hidden Markov Model Toolkit)工具包，HTK是目前一款成熟的用于語音識別的工具包。識別模塊的作用是從該特定人的語音信號中分析出其中的情感信息。它調(diào)用了預(yù)處理模塊、特征提取模塊、自適應(yīng)模塊、超向量產(chǎn)生模塊、SVM識別模塊。音頻模塊是對錄制的音頻進行裝載、播放、保存和音量控制。標注模塊是對錄制好的語音文件進行情感標注。整個識別過程分為四個步驟：首先，錄制特定說話人各種情感的語音；然后，為錄制好的音頻進行人工標注，以.wav(采樣率為16K，非壓縮)的格式保存在指定目錄中；接著，利用上述步驟產(chǎn)生的樣本進行訓練，得到該特定人的情感模型；最后，利用該說話人的情感模型，通過識別模塊對他的情感語音進行識別，確定語音中包含的情感類型。系統(tǒng)的整個架構(gòu)如圖3所示：

2實驗設(shè)置和實驗結(jié)果

為客觀評價特定人語音情感識別的性能，我們選用在公安院校錄制的情感語音數(shù)據(jù)庫進行了測試，分別測試針對10位“嫌疑人”情感的識別效果，計算每種情感經(jīng)系統(tǒng)識別后的平均識別率，如表1所示。另外，我們選用從本市某區(qū)某派出所得到的民警處理小區(qū)遛狗驚嚇老人的民事糾紛案件的第一手音頻資料，用我們的系統(tǒng)進行測試，觀測對于真實案件該系統(tǒng)是否高效。我們將得到的音頻進行處理，人工聽取、標注。該數(shù)據(jù)庫包含生氣(154個樣本)、中性(41個樣本)、緊張(47個樣本)3種情感，共計242個樣本，識別結(jié)果如表2所示。

圖3　演示系統(tǒng)的整體框架

表1　特定嫌疑人每種情感的識別率

表2　針對真實的民事糾紛案件測試結(jié)果

由表1的結(jié)果，我們可以分析出在刑事案件中，一些重復(fù)性犯罪的嫌疑人雖然想盡力保持相對平靜的心理狀態(tài)(平均中性情感語音的識別率達到44.45%)，但緊張的識別率高達71.88%，足以看出嫌疑人心中的緊張情緒，另外男性在此類案件中比女性表現(xiàn)相對冷靜，心理防線相對堅固；在交通肇事案件中，由于案件的突發(fā)性，大多數(shù)嫌疑人都沒有心理準備，所以表現(xiàn)出的情感狀況最為真實，其中男性75%的緊張識別率和女性高達81.25%的害怕以及悲傷情感真實地反映了此類案件的性質(zhì)；在經(jīng)濟案件和販毒案件中，嫌疑人(尤其是女性)表現(xiàn)出驚人的平靜(中性情感識別率高達87.5%和75%)，說明此類案件的嫌疑人心理準備比較充分，其中販毒案件負性情感的平均識別率低于20%，說明系統(tǒng)對此類案件的輔助作用極其有限；治安案件最為復(fù)雜，一般嫌疑人包含的情感種類會很多，但此類案件多為民事糾紛，情感表現(xiàn)也相對真實，其中緊張和生氣的平均識別率達到68.75%和31.25%。

綜上所述，我們建立的針對特定犯罪嫌疑人語音情感識別系統(tǒng)的性能還是比較符合各類案件的一般特征，可以對偵破案件起到一定的輔助作用。我們用一起真實的案件音頻對系統(tǒng)進行的測試，表2顯示的是一起居民區(qū)內(nèi)遛狗驚嚇老人的民事糾紛，在調(diào)解過程中爭吵等負面情感較多，系統(tǒng)的識別結(jié)果也說明了這一點，由此可見利用該系統(tǒng)進行特定人的語音情感判斷是行之有效的。

3系統(tǒng)界面的簡要介紹

為了滿足對犯罪嫌疑人的語音情感判斷的需要，在windows平臺上開發(fā)了針對特定犯罪者的語音情感識別系統(tǒng)。該系統(tǒng)包含錄音、播放、標注、訓練、識別等多個模塊。首先通過音頻模塊錄制一個特定人的情感語音，然后通過標注模塊標記該語音的情感信息，接著通過訓練模塊產(chǎn)生該特定人的語音情感模型，最后通過識別模塊就可以利用先前產(chǎn)生的模型來識別說話人的情感狀態(tài)。為了保持系統(tǒng)的完整性，我們利用大量的情感語音數(shù)據(jù)訓練了一個通用模型，即任何說話人都可利用的情感模型，進行非特定人語音情感識別。系統(tǒng)的訓練部分和識別及語音控制部分分別如圖4和圖5所示。軟件中還有很多其他功能，此處不再贅述。

圖4　系統(tǒng)訓練部分

圖5　情感識別的結(jié)果顯示及音頻控制界面

4結(jié)語

本文根據(jù)案件處理的一般特點，對比公安部目前建立的DNA數(shù)據(jù)庫，提出了建立犯罪前科人員的語音情感數(shù)據(jù)庫的設(shè)想，并進行了實驗。重點介紹了一個針對特定嫌疑人語音情感識別的系統(tǒng)構(gòu)建過程。從語音情感數(shù)據(jù)庫的建立到確定使用基于GMM-SVM的訓練模型，再到實驗效果的分析，最終把系統(tǒng)建立起來。但其中還是存在一些問題：首先，我們錄制的情感語音數(shù)據(jù)庫規(guī)模較小，還不能反映一種普遍的狀況；其次，通過表演表現(xiàn)出來的情感語音和真實狀態(tài)下人產(chǎn)生的真實情感存在一定的差異，可能造成一定的誤差；再次，基于GMM-SVM的情感模型的識別效果還不能達到絕對的準確，目前只能起到輔助的作用。因此，今后的研究重點應(yīng)該放在對更多、更真實的情感語音，系統(tǒng)識別性能的研究上。另外還要對模型的創(chuàng)建進行深入研究，爭取得到識別性能更好、魯棒性更強的語音情感模型。

參考文獻

[1]周夕良.語音情感識別的發(fā)展與展望[J].信息技術(shù),2013,12(11):19-22.

[2]SCHULLER B, VALSTAR M, EYBNEN F, et al. AVEC 2011—The first international audio/visual emotion challenge[Z]∥ACII 2011:proceeding of the 2011 Affective Computing and Intelligent Interaction.Memphis:Berlin,Heidelberg:Spring-Verlag,2011:415-424.

[3]SANCHEZ M, VERGYRI D, FERRER L, et al. Using prosodic and spectral features in detecting depression in elderly males[C]∥INTERSPEECH 2001：12th Annual Conference of the International Speech Communication, Florence, Italy. USA,2001:3001-3004.

[4]NAKAGAWA S, WANG L, OHTSUKA S. Speaker identification and verification by combining mfcc and phase information[J]. IEEE Trans. on Audion, Speech, and Language Processing, 2012, 20(4):1085-1095.

[5]古亮. 基于家庭服務(wù)機器人的語音情感識別系統(tǒng)的設(shè)計與實現(xiàn)[D].天津：天津師范大學, 2013.

[6]陳煒亮，孫曉. 基于MFCCG—PCA的語音情感識別[J].北京大學學報：自然科學版，2014, 50(12):1-6.

[7]扈浩. 漢語語音情感識別研究[D].北京:清華大學計算機學院,2007.

[8]趙專政. 基于深度置信網(wǎng)絡(luò)的語音活性檢測算法的改進[J].計算機應(yīng)用，2014,34(S2):314-316.

(責任編輯于瑞華)

作者簡介羅憲華(1984—)， 男， 北京人， 實驗師。研究方向為模式識別。

中圖分類號D035.39