漢語(yǔ)語(yǔ)音情感識(shí)別中特征值的提取研究

馬承澤，王 薇

(1.長(zhǎng)春工業(yè)大學(xué) 基礎(chǔ)科學(xué)學(xué)院，長(zhǎng)春 130012;2.長(zhǎng)春大學(xué) 計(jì)算機(jī)科學(xué)技術(shù)學(xué)院，長(zhǎng)春 130022)

0 引言

人類(lèi)的語(yǔ)言除了包含文字信息以外，還含有人類(lèi)的情感和情緒等信息。即便是相同的一句話(huà)，由于說(shuō)話(huà)人的情感不同，其語(yǔ)義以及給聽(tīng)者的印象就會(huì)截然不同。所以，我們可以依據(jù)語(yǔ)音去識(shí)別說(shuō)話(huà)者的情感特征，典型的語(yǔ)音情感識(shí)別主要包含情感特征的提取及識(shí)別，其中情感特征提取方法的好壞直接關(guān)系到情感識(shí)別的準(zhǔn)確率，優(yōu)秀的情感特征提取算法應(yīng)該能實(shí)時(shí)、高效地反映情感狀態(tài)特征。

近年來(lái)，國(guó)內(nèi)外的學(xué)者對(duì)語(yǔ)音情感識(shí)別領(lǐng)域進(jìn)行了廣泛深入的研究，但其識(shí)別的準(zhǔn)確率和實(shí)用性都有待進(jìn)一步的提高，為了提高識(shí)別率和實(shí)用性，作者利用漢明窗輔助提取語(yǔ)音信號(hào)中的情感特征參數(shù)，采用自相關(guān)法分析計(jì)算出情感特征參數(shù)的基頻值。

1 語(yǔ)音資料庫(kù)的選取

語(yǔ)音資料庫(kù)是依照一定的語(yǔ)言學(xué)原則，采用隨機(jī)抽樣的方法，收集自然的連續(xù)語(yǔ)言文本或話(huà)語(yǔ)片段，而建成的具有一定容量的大型電子文庫(kù)。語(yǔ)音情感特征參數(shù)的提取必須依靠一個(gè)高質(zhì)量的情感語(yǔ)音數(shù)據(jù)庫(kù)來(lái)提供大量的實(shí)驗(yàn)和測(cè)試，本文采用的情感語(yǔ)音數(shù)據(jù)庫(kù)來(lái)源于北京航空航天大學(xué)電子信息工程學(xué)院毛峽教授課程組所建立的情感語(yǔ)音數(shù)據(jù)庫(kù)。

2 語(yǔ)音情感特征值的選擇和提取

在語(yǔ)音情感識(shí)別中主要使用的特征值有基頻(pitch)、共振峰頻率(formant)、能量(energy)、語(yǔ)速(speech rate)、單個(gè)音節(jié)的持續(xù)時(shí)間(duration)等，以及特征值的各種變化形式，如最大值、最小值、均值、變化率等。

本文主要是利用相關(guān)提取算法對(duì)憤怒、悲傷、高興、平靜四種感情進(jìn)行分類(lèi)，提取的情感特征值為基頻、共振峰頻率和能量。

情感語(yǔ)音特征值的提取過(guò)程，包含數(shù)字化預(yù)處理、加窗分幀以及情感特征值計(jì)算三個(gè)方面。

2.1 語(yǔ)音信號(hào)的數(shù)字化預(yù)處理

語(yǔ)音信號(hào)數(shù)字化是數(shù)字處理的前提，把輸入的語(yǔ)音信號(hào)做低通濾波，然后進(jìn)行A/D轉(zhuǎn)換。使用的低通濾波器的技術(shù)指標(biāo)是:通帶內(nèi)的波動(dòng)絕對(duì)值要小于1dB，通帶的帶寬3400Hz，在4000Hz處衰減14dB，4600Hz以上衰減32dB。

取樣之后對(duì)其信號(hào)進(jìn)行量化，然后計(jì)算量化誤差(量化后的信號(hào)值與原信號(hào)之間的差值)，使用10bit量化。

2.2 加窗分幀

語(yǔ)音信號(hào)的分析幀是利用一個(gè)長(zhǎng)度有限的窗函數(shù)來(lái)截取形成的，因此，對(duì)分析幀的處理就等同于對(duì)固定特征的持續(xù)語(yǔ)音的處理。窗函數(shù)把處理區(qū)域之外的點(diǎn)置零，這樣就獲得了當(dāng)前的語(yǔ)音幀。本文采用漢明窗對(duì)語(yǔ)音信息進(jìn)行加工處理，漢明窗函數(shù)即

其中，n為當(dāng)前幀序號(hào)，N為幀長(zhǎng)(窗寬)。

漢明窗函數(shù)采用的窗長(zhǎng)為23.22ms(256點(diǎn))，窗移10ms。即從當(dāng)前語(yǔ)音信號(hào)開(kāi)始每23.22ms做為一個(gè)分析幀，同時(shí)每相隔10ms取一個(gè)分析幀。這樣，原有的語(yǔ)音信號(hào)就被分成一幀一幀并且加過(guò)窗函數(shù)的短時(shí)信號(hào)，再把每一個(gè)短時(shí)信號(hào)看成平穩(wěn)的隨機(jī)信號(hào)。

2.3 情感特征值計(jì)算

經(jīng)過(guò)研究發(fā)現(xiàn)，基頻是語(yǔ)音情感識(shí)別中最重要的特征，其次是語(yǔ)音的能量、共振峰頻率等值。

2.3.1 基于自相關(guān)法(ACF)的基音頻率的提取

人類(lèi)發(fā)濁音時(shí)聲帶震動(dòng)所引起的周期運(yùn)動(dòng)的時(shí)間間隔稱(chēng)為基音周期。它是基因頻率F0的倒數(shù)。因?yàn)橹芷谛孕盘?hào)的自相關(guān)函數(shù)均會(huì)呈現(xiàn)出周期性一致的峰值，所以通過(guò)檢測(cè)自相關(guān)函數(shù)其峰值就能夠得到周期性信號(hào)的周期。得到基因周期后，求其倒數(shù)就是基因頻率。

由于共振峰對(duì)基因周期的影響，進(jìn)行自相關(guān)處理前，對(duì)語(yǔ)音信號(hào)進(jìn)行三電平中心削波處理，就可以簡(jiǎn)化特定目標(biāo)自相關(guān)函數(shù)的計(jì)算，同時(shí)又不降低音調(diào)檢測(cè)性能。

中心削波語(yǔ)音信號(hào)其實(shí)質(zhì)上是對(duì)語(yǔ)音信號(hào)作非線(xiàn)性處理:

為了音調(diào)周期的峰值在簡(jiǎn)化過(guò)程中不被削掉，電平cL選定68%。

利用自相關(guān)函數(shù)提取基音周期最重要的參數(shù)是時(shí)間，即為自相關(guān)函數(shù)峰值出現(xiàn)的位置，峰值本身的大小并不重要。所以，將削波后的波形無(wú)論其大小，均定義為±1，同時(shí)定義被削去的部分均為零，那么+1，-1，0這3個(gè)電平進(jìn)行自相關(guān)運(yùn)算就可以簡(jiǎn)單又快捷。削波函數(shù)如圖1所示，三電平削波過(guò)程如圖2所示。

圖1 三電平削波函數(shù)

圖2 三電平削波工作過(guò)程

三電平中心削波后，自相關(guān)函數(shù)的計(jì)算就比較簡(jiǎn)單了，如果以y(n)表示三電平中心削波后的輸出，那么其自相關(guān)函數(shù)即為

計(jì)算后，得到基音周期曲線(xiàn)，分析其基音周期軌跡，可以獲得基頻的方差、均值、動(dòng)態(tài)范圍以及最值等特征值，根據(jù)基頻曲線(xiàn)來(lái)計(jì)算其特征值，發(fā)現(xiàn)基音頻率對(duì)憤怒和平靜有比較明顯示的區(qū)分效果。

2.3.2 共振峰特征值提取

共振峰是反映聲道特性的主要參數(shù)。本文采用線(xiàn)性預(yù)測(cè)法(LPC)來(lái)提取共振峰特征值。線(xiàn)性預(yù)測(cè)所提供的優(yōu)良的語(yǔ)音信號(hào)模型參數(shù)，可以比較準(zhǔn)確地表達(dá)語(yǔ)音信號(hào)的幅度譜。通過(guò)對(duì)語(yǔ)音信號(hào)的LPC分析可以得到聲道響應(yīng)的全極模型H(z)的分量，既而獲得此分量的譜峰，就可以求出共振峰。第n幀語(yǔ)音信號(hào)xn(m)的p階線(xiàn)性預(yù)測(cè)值為:

圖3即是利用LPC方法提取共振峰特征時(shí)的對(duì)比圖。

圖3 語(yǔ)音信息線(xiàn)性預(yù)測(cè)前后對(duì)比圖

2.3.3 能量

語(yǔ)音信號(hào)的能量參數(shù)與情感的表達(dá)具有較強(qiáng)的相關(guān)性，因此對(duì)短時(shí)能量進(jìn)行分析，可以較好地區(qū)分語(yǔ)音清濁音的變化情況，從而可以達(dá)到區(qū)分不同語(yǔ)音情感的目的。短時(shí)能量定義為:

其中，漢明窗函數(shù)w(n)2的含義是一個(gè)沖激響應(yīng)為w(n)2的濾波器。本實(shí)驗(yàn)采用的窗長(zhǎng)保證了短時(shí)能量的明顯變化。利用短時(shí)能量進(jìn)行語(yǔ)音信息的分析，得到結(jié)果如圖4所示。

圖4 短時(shí)能量分析結(jié)果圖

3 結(jié)語(yǔ)

本文語(yǔ)音資料庫(kù)是來(lái)源于北京航空航天大學(xué)電子信息工程學(xué)院毛峽教授課程組所建立的情感語(yǔ)音數(shù)據(jù)庫(kù)，仿真實(shí)驗(yàn)環(huán)境為MATLAB7.0。選取的情感特征值為基音頻率、共振峰和能量特征。通過(guò)對(duì)整個(gè)語(yǔ)句基頻的均值、動(dòng)態(tài)范圍、最大值以及方差和均值的統(tǒng)計(jì)，發(fā)現(xiàn)基頻對(duì)憤怒和平靜有很好的區(qū)分效果。分析大量情感語(yǔ)音的能量信息得知，能量特征可有效地區(qū)分憤怒、高興與悲傷情感。同時(shí)，對(duì)大量情感語(yǔ)音信號(hào)的共振峰數(shù)據(jù)的統(tǒng)計(jì)分析得知，高興和憤怒的第一共振峰值比平靜情感值偏高，悲傷情感的第一共振峰值與平靜情感值相比有明顯的下降趨勢(shì)。

［1］王薇.MATLAB的循環(huán)向量化編程方法研究［J］.長(zhǎng)春大學(xué)學(xué)報(bào)，2010(2):57-59.

［2］蘆濤，王成儒，韓笑蕾.基于SVM的漢語(yǔ)語(yǔ)音情感識(shí)別研究［J］.電子測(cè)量技術(shù)，2007，30(3):20-21，56.

［3］林奕琳，韋崗，楊康才.語(yǔ)音情感識(shí)別的研究進(jìn)展［J］.電路與系統(tǒng)學(xué)報(bào)，2007，12(1):90-98.

［4］趙力.語(yǔ)音信號(hào)處理［M］.北京:機(jī)械工業(yè)出版社，2008.

［5］邊肇祺，張學(xué)工.模式識(shí)別［M］.2版.北京:清華大學(xué)出版社，2000.

［6］顧鴻虹.基于高斯混合模型的語(yǔ)音情感識(shí)別研究與實(shí)現(xiàn)［D］.天津:天津師范大學(xué)，2009.

［7］詹永照，曹鵬.語(yǔ)音情感特征提取和識(shí)別的研究與實(shí)現(xiàn)［J］.江蘇大學(xué)學(xué)報(bào)，2005，26(1):72-75.