基于改進BP神經(jīng)網(wǎng)絡(luò)的負性情緒語音識別

劉忠鋒，何 亮

(1．中國石油伊拉克公司哈法亞項目，伊拉克阿瑪拉 62001；2．南京理工大學自動化學院，江蘇南京 210094)

基于改進BP神經(jīng)網(wǎng)絡(luò)的負性情緒語音識別

劉忠鋒1，何 亮2

(1．中國石油伊拉克公司哈法亞項目，伊拉克阿瑪拉 62001；2．南京理工大學自動化學院，江蘇南京 210094)

負性情緒對于臨床治療的效果有著巨大影響．語音是人類表達情緒的主要方式之一，通過語音識別患者的情緒狀態(tài)，可以幫助我們更簡便、更快捷地監(jiān)控病人的情緒，從而可以更快更有效地采取措施降低負面情緒帶來的不良影響．對一種改進BP神經(jīng)網(wǎng)絡(luò)進行了擴展，拓展了用于情感識別的語音特征向量的冗余度，采取主成分分析方法對語音特征向量進行降維處理，并對語音樣本進行去野點處理，從而使得該BP網(wǎng)絡(luò)同時具備了對于憤怒和悲傷兩種負性情緒的良好識別能力．

負性情緒；BP網(wǎng)絡(luò)；前向選擇算法；主成分分析；野點

作為人與人之間進行交流的主要媒介之一，語音不僅包含著語義的信息，還包含著情感的內(nèi)容，在情感計算中擁有極其重要的地位．語音中情感信息的自動提取與識別可以進一步加強人與計算機之間的交流，創(chuàng)造更為和諧的人機對話環(huán)境，從而為我們的生活提供更多的便利．

作為典型的情緒類別，負性情緒（比如憤怒、悲傷、抑郁等）在日常生產(chǎn)生活中所產(chǎn)生的影響不容忽視．研究表明[1]，長期負性情緒的影響會導致人的免疫功能下降、認知能力減弱．Evans等人認為[2]，缺少積極生活事件的個體更易于患上呼吸道感染．張作記等人的研究表明[3]，負性情緒會加速冠心病的發(fā)生與發(fā)展，并指出通過干預負性情緒可有效降低冠心病冠脈事件發(fā)生率．因此，引進計算機自動檢測有助于快捷有效地采取相應的措施，降低負性情緒帶來的不良影響，因而有著重要的臨床意義．

BP神經(jīng)網(wǎng)絡(luò)由于其非線性映射能力、較好的泛化能力、良好的對于復雜數(shù)據(jù)的分類能力以及結(jié)構(gòu)簡單等特點，在語音及情感識別中有著廣泛的應用①參見: Amir N. Classifying emotions in speech: a comparison of methods [C]. Proc. Eurospeech 2001, Scandinavia.．例如Nicholson等人用于情感識別的one-class-in-one模式[5]以及Razak等人提出的all-class-in-one模式②參見: Razak A A, Komiya R, Abidinm I Z. Comparison between fuzzy and NN method for speech emotion recognition [C]. Proc. of the 3rd International Conference on Information Technology and Applications, Washington DC: IEEE Computer Society, 2005: 297-302.等，其采用的基本結(jié)構(gòu)都是BP網(wǎng)絡(luò)．然而，由于BP網(wǎng)絡(luò)存在容易陷入局部最優(yōu)、初始值選取隨意性太強等問題，其識別率往往會出現(xiàn)振蕩現(xiàn)象，而且網(wǎng)絡(luò)的訓練次數(shù)在很大情況下影響了識別效果．針對這些缺點出現(xiàn)了不少改進算法，如動量BP算法（BPM）[6]、可變學習速率的BP算法（VLBP）[7]、Levenberg-Marquardt優(yōu)化BP算法[8]等，在一定程度上彌補了BP網(wǎng)絡(luò)的一些缺點．然而，由于情感識別的特殊性，上述改進算法的表現(xiàn)還是不夠理想，對此，我們針對一些情感現(xiàn)象進行分析，將生物進化所形成的情感中的“創(chuàng)新”機制引入到BP網(wǎng)絡(luò)中，并對悲傷情感進行了識別[9]．文獻[9]中提出的算法與傳統(tǒng)BP網(wǎng)絡(luò)及其改進算法相比，其識別率有了明顯的提升，并且受迭代次數(shù)即訓練次數(shù)的影響大大降低，然而，該文獻中的實驗存在著兩個局限性：首先，實驗采用的數(shù)據(jù)均來自女性；其次，僅對悲傷情感進行了分析．

本文采用離散情感模型[4]，進一步擴展了文獻[9]提出的改進BP網(wǎng)絡(luò)，并且同時針對憤怒與悲傷兩種典型的負性情感進行了特征分析與識別．

1 改進BP神經(jīng)網(wǎng)絡(luò)的簡單擴展

1.1 改進的BP網(wǎng)絡(luò)

在之前的工作中，我們對一些情感現(xiàn)象進行了簡要的分析，并從中得到啟發(fā)，提出了一種改進的BP神經(jīng)網(wǎng)絡(luò)[9]，在BP網(wǎng)絡(luò)的權(quán)值更新階段加入了“創(chuàng)新”的機制，該機制包含了如下內(nèi)容：

1）經(jīng)訓練更新后的權(quán)值會以一個很小的概率發(fā)生改變．

2）改變量不宜過大，并且應該隨著迭代次數(shù)的增加而減?。?/p>

3）對改變后的權(quán)值進行識別率的評價，如果此改變使得識別率提高，則它將得以保留．

引入該機制以后，我們發(fā)現(xiàn)網(wǎng)絡(luò)受迭代次數(shù)的影響大大減小，有效抑制了“過訓練”帶來的泛化能力的降低．并且有助于系統(tǒng)從局部最小中逃脫出來，從而達到識別率的提升，經(jīng)實驗驗證，使用該改進后的BP網(wǎng)絡(luò)與使用其他BP改進算法相比，對于悲傷情緒的識別能力獲得了很大的提升，并且識別率——迭代次數(shù)曲線也相對比較平緩．

1.2 BP神經(jīng)網(wǎng)絡(luò)的簡單擴展

首先，我們考慮對文獻[9]中提出的改進BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)進行簡單擴展，使之同時具有對兩種典型負性情感——憤怒與悲傷的識別能力．為此，我們采用與文獻[9]同樣的數(shù)據(jù)庫，將來自同樣5位女性的憤怒與悲傷的樣本輸入神經(jīng)網(wǎng)絡(luò)．為了進一步考察網(wǎng)絡(luò)的分類能力，在輸入樣本中我們混雜了其他情感的樣本作為干擾，然后把網(wǎng)絡(luò)的輸出結(jié)點調(diào)整為2個．得到的識別結(jié)果如表1所示．

表1 BP神經(jīng)網(wǎng)絡(luò)擴展后憤怒與悲傷的識別率比較

從表1可以看到，此時系統(tǒng)對于憤怒情感的識別率很低，只有22.35%，可見簡單修改文獻[9]中提出的BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)并不能達到對憤怒與悲傷兩種典型負性情感進行有效識別的目的．進一步的研究和分析表明，簡單擴展BP神經(jīng)網(wǎng)絡(luò)導致識別率較低的主要原因在于特征向量的選?。墨I[9]中選取了短時能量最小值，過零率最小值及均值，基音的最大、最小值及均值，有聲部分長度、第一共振峰的最小值和均值等組成9維特征向量，其中大部分特征對于悲傷情感的貢獻度較大，但對于區(qū)分憤怒和悲傷貢獻很小．顯而易見，解決此問題的一種途徑是增加特征向量的冗余度，為此我們采用了短時能量、過零率、基音頻率、前三個共振峰的最大值、最小值和均值，以及有聲部分的長度等組成特征向量，將特征向量的維數(shù)擴展到了19維．將這個19維的特征向量輸入到神經(jīng)網(wǎng)絡(luò)，得到識別結(jié)果如表2所示．

表2 采用19維特征向量時憤怒與悲傷的識別率比較

顯然，增加冗余后，雖然系統(tǒng)對于悲傷情感的識別率略有下降（7.89%），但是對于憤怒情感的識別率卻大幅提升了27.75%．

需要注意的是，簡單地增加特征向量的冗余度在提高對多種情感的聯(lián)合識別率的同時，并不能保證提高對于特定情感的識別率，因此擴展到19維特征向量后，系統(tǒng)對于悲傷情感的識別率反而有所下降．原因是不同的語音特征對不同情感識別的貢獻差別較大，文獻[9]中的9維特征向量主要是針對悲傷情感所選取，對于憤怒情感貢獻不夠大，造成憤怒情感的識別率較低；擴展的19維特征向量包含了對憤怒情感識別支持較大的語音特征，提高了對憤怒情感的識別率．然而，事物都是一分為二的，擴展的19維特征向量在提高憤怒情感識別率的同時，也因為為悲傷情感引入了更多的非典型特征，實際上降低了原來的9維特征向量對于悲傷情感的代表性，以及相應的對識別率的貢獻，因而造成悲傷情感識別率的下降．從這個角度來說，對于語音情感識別而言，特征向量維數(shù)不是越高越好，需要研究各種特征對情感識別的貢獻程度．

2 帶PCA的BP神經(jīng)網(wǎng)絡(luò)

顯然，在上面的改進BP神經(jīng)網(wǎng)絡(luò)擴展中，通過增廣特征維數(shù)，可以在未明顯惡化悲傷情感識別率的前提下有效提升憤怒情感的識別率．然而，高維特征的處理代價較大，并且有可能反而降低了某種情感的識別率．因此，需要研究的問題是：為保證兩種負性情緒的有效識別，如此高維的特征是否必要？各種特征對于最終識別的貢獻又是如何？

為解答上面的問題，我們對樣本中各種特征的分布情況進行分析．圖1列出了部分特征（最小過零率、第一共振峰的最小值和均值）在訓練樣本中的分布狀況，其中橫軸表示樣本，縱軸表示特征的取值．

圖1 最小過零率、第一共振峰最小值和均值的分布狀況

從圖1可見，在文獻[9]所采用的特征中，部分特征在兩種情感樣本中的分布密集，以至于很難根據(jù)這些特征區(qū)分出憤怒與悲傷兩種情感．因此，在進行識別之前，我們必須進行“特征降維”，即對擬采用的特征進行篩選，留下對識別貢獻較高的特征，剔除對識別過程產(chǎn)生干擾的特征．

目前常用的兩種特征降維方法是：前向選擇[10]以及主成分分析[11]．

2.1 前向選擇方法

前向選擇（FS）算法是一種應用非常廣泛的特征選擇算法．首先，F(xiàn)S算法通過一定的判別規(guī)則從所有特征中選取一個最佳特征初始化已選特征集，然后從余下的特征中按照同樣的原則選取一個特征添加到這個已選特征集中．如果添加了一個特征之后使得系統(tǒng)的識別率上升，則該特征被保留．如此往復，直到達到迭代次數(shù)或預設(shè)的已選特征個數(shù)為止．此時可以得到一組已經(jīng)篩選的特征，然后采用leave-one-out方法[10]，從特征集中一個一個地剔除特征．若某特征被剔除后使得系統(tǒng)的識別率下降，則該特征得以保留．

FS算法是一種精度較高的特征選擇算法，它既保持了系統(tǒng)的精度，又保證了特征集的精簡．但是它有著明顯的缺點，就是操作繁瑣，需處理的數(shù)據(jù)量非常大，且每選擇一個特征都需要經(jīng)過系統(tǒng)精度的驗證．這將導致大量的運算．

2.2 主成分分析

主成分分析（PCA）是一種數(shù)據(jù)分析技術(shù)，它通過構(gòu)造原數(shù)據(jù)集的協(xié)方差矩陣，然后求解使該協(xié)方差矩陣成為對角化矩陣的變換，找出原數(shù)據(jù)集中相關(guān)性比較小的一組數(shù)據(jù)，從而找到原數(shù)據(jù)中的“主要”成分．在具體操作上，可以通過求解原數(shù)據(jù)乘方矩陣的特征值與特征向量達到相同的效果．

值得注意的是，PCA的一些前提與假設(shè)，比如指數(shù)模型假設(shè)、大方差向量等具有較大重要性的假設(shè)等，使得PCA在應用時存在著一定的局限性，這些局限使得它在處理一些非線性、或者其他不符合其假設(shè)的對象時，必然會損失一定的精度．但是，對于情感這一本身界限不太明確的對象，使用PCA仍然有其用武之地．另外，與FS算法相比，PCA更加簡單、易操作，并且需處理的數(shù)據(jù)量遠遠小于前者．因此，本文在前面簡單擴展的基礎(chǔ)上，引入PCA算法，以期得到系統(tǒng)識別率的提升．

3 仿真實驗

為了驗證所提出的引入PCA改進BP神經(jīng)網(wǎng)絡(luò)對憤怒和悲傷情感的識別效果，我們采用柏林情感語音庫①參見: Berlin Database of Emotional Speech [EB/OL]. http://emodb.bilderbar.info/start.html.設(shè)計驗證試驗．實驗分為3個部分，第一個部分的實驗數(shù)據(jù)來自于5名年齡不同的女性演員，10種不同的語句，共137個樣本，樣本覆蓋了憤怒、悲傷、驚奇三種情感的數(shù)據(jù)．第二個部分的實驗數(shù)據(jù)來自于5名年齡不同的男性演員，10種不同的語句，共121個樣本，同樣覆蓋了憤怒、悲傷、驚奇三種情感的數(shù)據(jù)．第三個部分的實驗數(shù)據(jù)為前兩個部分數(shù)據(jù)的綜合．共258個樣本．

每個實驗分為以下兩個步驟：

1）簡單擴展．對于第一部分實驗，選取覆蓋三種情感的67個樣本作為訓練集，余下的70個作為測試集；對于第二部分實驗，選取覆蓋三種情感的60個樣本作為訓練集，余下的61個作為測試集；對于第三部分實驗，選取覆蓋三種情感的127個樣本作為訓練集，余下的131個作為測試集．實驗的結(jié)果取10次運行后的平均值，采用19維特征向量；

2）帶PCA的改進BP算法．首先對特征進行主成分分析，通過考察累積變量解釋程度可以得知為了達到目的需要選取多少主成分．圖2所示為悲傷情緒的變量解釋程度．

圖2 悲傷情緒的變量解釋程度

從圖中可以看出，選取特征數(shù)據(jù)的前10個主成分可以表示出原始數(shù)據(jù)的90%，因此在實驗中我們只需取前10個主成分即可．另外，通過觀察圖1，我們可以看到所采用的樣本中存在著一些遠遠偏離數(shù)據(jù)主要分布區(qū)域的“野點”，在訓練與識別的過程中，這些“野點”無疑會對系統(tǒng)的識別與判決造成影響，因此，在進行訓練與識別之前，應該將這些“野點”去掉．由于“野點”數(shù)量不大，因此可以采用手工方式從數(shù)據(jù)集中識別野點甚至剔除．但是，對于多種情感的識別而言，手工去野點比較繁復．

野點可以采用基于主成分分析和屬性距離和的算法進行檢測[13]，首先通過主成分分析提取出貢獻率滿足需要的主成分，同時利用PCA變換矩陣把原始數(shù)據(jù)集轉(zhuǎn)換到由主成分構(gòu)成的新的特征空間上，之后對轉(zhuǎn)換后的數(shù)據(jù)集用屬性距離和的方法對野點進行檢測．據(jù)此，我們對樣本做主成分分析及屬性距離和判別，去除野點，提取出對識別產(chǎn)生“主要”影響的樣本數(shù)據(jù)．

由此，產(chǎn)生的對于各部分實驗數(shù)據(jù)訓練集與測試集的劃分如下：

a）第一部分（女性樣本）：對女性的137個樣本進行去野點處理，提取出120個樣本，并從中隨機挑選60個數(shù)據(jù)作為訓練集，余下的60個數(shù)據(jù)作為測試集．

b）第二部分（男性樣本）：對男性的121個樣本進行去野點處理，提取出100個樣本，并從中隨機挑選50個數(shù)據(jù)作為訓練集，余下的50個數(shù)據(jù)作為測試集．

c）第三部分（混合樣本）：對男女混合的258個樣本進行去野點處理，提取出220個樣本，并從中隨機挑選110個數(shù)據(jù)作為訓練集，余下的110個數(shù)據(jù)作為測試集．

三部分實驗結(jié)果均取10次運行后的平均值，特征向量由前10個主成分組成．其結(jié)果及對比如表3所示．

從表3中可以看到，在三種情況下，采用PCA與不采用PCA相比，憤怒情緒的識別率都有了大幅的提升，尤其是對于男性樣本和混合樣本．使用PCA進行特征降維及去“野點”操作前，識別率不足20%，對于樣本只有三種情感類別的情況而言，這樣的識別率相當于系統(tǒng)對于憤怒情感毫無識別能力，因為它得到正確結(jié)果的概率比“猜”還低，可見采用PCA對于提升憤怒情緒的識別率有著極大的貢獻．但是，從表3中我們還可以看到，相對于憤怒情緒識別率的明顯提升，在輸入男性樣本和混合樣本的情況下，悲傷情緒的識別率略有下降，其中尤以男性樣本下降得最為顯著．產(chǎn)生此現(xiàn)象的一個主要原因是樣本容量不足．

表4列出了用于實驗的各種情感樣本在總體中的分布情況．

表3 實驗結(jié)果及比較

表4 各情感樣本的分布情況

可見無論在男性樣本還是女性樣本中，悲傷情緒樣本占有的比例都是很低的，在經(jīng)過了去“野點”處理后，其占有的比例就更少了，這將會導致該情感類別訓練不足，從而對于識別率造成極大的影響．

表5中列出了在男性和女性樣本中，采用去野點處理與不采用去野點處理時識別率的變化情況．

表5 野點對識別率的影響

由此可見，去野點處理對于樣本數(shù)較多的憤怒情緒而言，其識別率的提升情況是相當明顯的；但是對于樣本數(shù)很少的悲傷情緒來說，由于訓練不足，其識別率略有下降．

傳統(tǒng)的PCA算法存在較嚴重的魯棒性問題，因此樣本需要進行去野點處理，以消除或減弱野點的影響．然而，正如上面所觀察到的，去野點處理往往會影響情感的識別率．因此，有必要考慮采用魯棒PCA算法[14]，不對樣本進行去野點處理，而是在運行過程中自動地識別樣本集中的野點，通過迭代計算加以適當處理來排除對運算精度的影響．我們后續(xù)將繼續(xù)開展這方面的研究．

4 結(jié) 語

本文進一步擴展了先導研究中提出的用于負性情緒語音情感識別的改進BP神經(jīng)網(wǎng)絡(luò)，提出對網(wǎng)絡(luò)結(jié)構(gòu)和特征維數(shù)進行改變，并對特征向量和樣本空間進行主成分分析，使擴展后的網(wǎng)絡(luò)同時具有對悲傷和憤怒兩種負性情感的識別能力．

實驗比較結(jié)果表明，通過擴展特征向量的維數(shù)、提取特征向量的前10個主成分，并將這些數(shù)據(jù)經(jīng)去“野點”處理后作為訓練集和測試集，可以使改進的BP神經(jīng)網(wǎng)絡(luò)大大提升對于憤怒情感的識別率．

然而，由于實驗采用的數(shù)據(jù)庫受到客觀條件的制約，如情感語音庫的采集難度、權(quán)威性等，使得樣本的容量和質(zhì)量不盡人意，導致其對于悲傷情緒的識別率不夠理想．情感語音庫的建立是語音情感識別研究的重點和難點之一[12]，除了語音情感識別常用的柏林情感語音庫之外，目前缺乏廣為采用的其他較成熟的公共情感語音庫供研究．

另外，從實驗結(jié)果也可以看到，采用男性樣本與采用女性樣本的結(jié)果有著較大的區(qū)別，因此，提出的改進算法對于不同性別情緒識別的影響，還有待深入研究和進一步擴展．

[1] Dantzer R, Mormede P. Psychoneuroimmunology of stress [M]. Oxford, England: John Wiley & Sons, 1995: 47-67.

[2] Evans P D, Edgerton N. Life-events and mood as predictors of the common cold [J]. British Journal of Medical Psychology, 1991, 64: 35-44.

[3] 張作記, 王長謙, 崔立謙, 等. 負性情緒干預對冠心病心絞痛療效及冠脈事件發(fā)生率的影響[J]. 中國行為醫(yī)學科學, 1999, 8(3): 187-189.

[4] Murray L R, Arnott J L. Towards the simulation of emotion in synthetic speech: a review of the literature on human vocal emotion [J]. Journal of the Acoustical Society of America, 1993, 93(2): 1097-1108.

[5] Nicholson J, Takahashi K, Nakatsu R. Emotion recognition in speech using neural networks [J]. Neural Computing & Applications, 2000, 9(4): 290-296.

[6] Rumelhart D E, Hinton G E, Williams R J. Learning representations by back-propagating errors [J]. Nature, 1986, 323: 533-536.

[7] Hagan M T, Menhaj M B. Training feedforward networks with the marquardt algorithm [J]. IEEE Transactions on Neural Networks, 1994, 5(6): 989-993.

[8] Saini L M, Soni M K. Artificial neural network based peak load forecasting using levenberg-marquardt and quasi-newton methods [J]. IEE Proceedings-Generation, Transmission and Distribution, 2002, 149(5): 578-584.

[9] He L, Guo L, Li H. Emotion speech recognition under sadness conditions [J]. Advanced Materials Research, 2012, 488-489: 1329-1334.

[10] Lee C M, Narayanan S S. Toward detecting emotions in spoken dialogs [J]. IEEE Transactions on Speech and Audio Processing, 2005, 13(2): 293-303.

[11] 何國輝, 甘俊英. PCA類內(nèi)平均臉法在人臉識別中的應用研究[J]. 計算機應用研究, 2006, 23(3): 165-169.

[12] Ververidisa D, Kotropoulos C. Emotional speech recognition: resources, features and methods [J]. Speech Communication, 2006, 48(9): 1162-1181.

[13] 張忠平, 宋少英, 宋曉輝. 基于PCA及屬性距離和的孤立點檢測算法[J]. 計算機工程與應用, 2009, 45(17): 139-141.

[14] 王松, 夏紹瑋. 一種魯棒主成分分析(PCA)算法[J]. 系統(tǒng)工程理論與實踐, 1998, 18(1): 9-13.

Speech-oriented Negative Emotion Recognition Based on Improved BP Neural Networks

LIU Zhongfeng1, HE Liang2
(1. Halfaya Program Iraq Company, China National Oil and Gas Exploration and Development Corporation, Amarah, Iraq 62001; 2. School of Automation, Nanjing University of Science and Technology, Nanjing, China 210094)

This paper exposes that negative emotions inflicts deep impact on the effects of clinical care because speech is one of the major patterns for human beings to express emotions. We are helped to monitor the emotional states of patients faster and simplier by automatically detecting negative emotions from speech so as to take effective measures to lower the adverse effect brought by negative emotions. In addition, the paper also introduces and extends an improved back propagation (BP) network. The proposed approach expands the redundancy of the characteristic vector for emotion recognition, applies a Principal Component Analysis (PCA) algorithm to select the most influential voice attributes, and adopts a PCA-based method to reduce the effect of outliers in the sample sets. Simulation study shows that the proposed approach is capable to effectively recognize favorable recognition capability from both anger and sorrow emotions.

Negative Emotions; BP (Back Propagation) Netwoek; Forward Selection Algorithm; Principal Component Analysis (PCA); Outliers

TP183；TP391.42

A

1674-3563(2015)03-0017-08

10.3875/j.issn.1674-3563.2015.03.003 本文的PDF文件可以從xuebao.wzu.edu.cn獲得

(編輯：封毅)

2014-10-01

劉忠鋒(1972- )，男，北京人，工程師，學士，研究方向：情感計算及其應用