面向語音情感識別的語譜圖特征提取算法

陶華偉 査 誠 梁瑞宇，2 張昕然 趙 力 王青云，2

(1東南大學(xué)水聲信號處理教育部重點實驗室，南京210096)

(2南京工程學(xué)院通信工程學(xué)院，南京211167)

語音作為最主要的交流手段之一，在新型的人機交互領(lǐng)域中備受關(guān)注.為了使人機交互系統(tǒng)和機器人的對話系統(tǒng)更加智能和完善，語音的情感分析變得越來越重要[1-2].此外，在一些長時間的、單調(diào)的、高強度的任務(wù)(如航天、航海等)中，相關(guān)人員常會產(chǎn)生某些負面情緒[3]，有效地識別這些負面情緒，有助于提高個體認知和工作效率，防患于未然.面對犯罪調(diào)查、智能協(xié)助等問題[4]，語音情感識別也能夠起到重要作用.因此，語音情感識別算法研究具有重要的實用意義.

針對語音情感識別問題，學(xué)者們從不同角度進行了研究，取得了許多有價值的成果[5-8].考慮到特征構(gòu)造及特征選擇對識別性能影響較大[9-10]，學(xué)者們對情感特征進行了細致的分析和研究，并提出了多種語音情感特征構(gòu)造方式.當(dāng)前語音情感特征主要包括韻律特征、頻域特征、音質(zhì)特征[11-12].語音信號頻域和時域中信號間的相關(guān)性在語音情感識別中起到了重要作用[13].但針對語音信號間相關(guān)性的研究，往往僅集中在頻域或時域中，將語音信號時頻兩域的相關(guān)性相結(jié)合的文獻則較少.語譜圖是一種語音能量時頻分布的可視化表達方式，其橫軸代表時間，縱軸代表頻率，連通了時頻兩域，將語譜圖的頻率點建模為圖像的像素點，便可利用圖像特征探討相鄰頻點間的聯(lián)系，為研究時頻兩域相關(guān)性提供了一種新的思路.

基于此，本文提出了一種面向語音情感識別的語譜圖特征提取算法.首先，提取情感語音的語譜圖;然后，將提取到的語譜圖進行歸一化處理，得到語譜圖灰度圖像;再次，利用Gabor小波計算不同方向、不同尺度語譜圖的Gabor圖譜，并利用局部二值模式抽取語譜圖Gabor圖譜的紋理信息;最后，將不同尺度、不同方向Gabor圖譜抽取到的LBP特征級聯(lián)，組成一種新的語音情感特征.在柏林庫(EMODB)和FAU AiBo庫上的實驗結(jié)果表明，基于本文提出的特征能夠較好地識別不同種類情感，此外，與現(xiàn)有聲學(xué)特征融合后還可有效地提升識別率.

1 語譜圖圖像特征提取算法

特征提取算法的具體步驟如下:① 對語音進行加窗分幀，提取語音的語譜圖;②計算語譜圖線性或?qū)?shù)歸一化幅度值，將語譜圖量化為0～255的灰度圖;③采用不同尺度、不同方向的Gabor小波計算語譜圖的Gabor圖譜;④ 計算不同尺度、不同方向Gabor圖譜的局部二值模式;⑤ 將不同尺度、不同方向下求得的局部二值模式特征級聯(lián)，構(gòu)成一種新的語音情感特征.算法流程如圖1所示.

圖1 特征提取算法流程圖

1.1 語譜圖灰度圖像表示

語譜圖的靜音段包含大量的非零數(shù)值，直接計算語譜圖的LBP特征會引入誤差.因此，需要對語譜圖進行預(yù)處理，得到歸一化的語譜圖灰度圖像.首先，對語音進行分幀、加窗及離散傅里葉變換處理，即

式中，s(n)為語音信號;X為s(n)的傅里葉系數(shù);N為窗長;ω(n)為漢明窗函數(shù).由此可得到s(n)的語譜圖

其次，采用線性和對數(shù)能量2種不同的方法生成語譜圖 LLinear(a，b)和 LLog(a，b)，即

式中，a∈{1，2，…，A}，b∈{1，2，…，B}為語譜圖像素的坐標(biāo)，其中A，B分別為語譜圖橫、縱坐標(biāo)的最大值.

然后，采用最大最小歸一化方法對語譜圖進行歸一化，得到歸一化語音圖譜，即

式中，L(a，b)為語譜圖;Lmax(a，b)，Lmin(a，b)分別為語譜圖灰度級中的最大值和最小值.

1.2 語譜圖的Gabor圖譜

Gabor小波可以凸顯相鄰灰度級間的變化.本文采用Gabor小波對語譜圖灰度圖進行處理.Gabor小波的核函數(shù)定義如下:

式中，μ表示Gabor的核方向;v表示核尺度;z表示像素點的空間坐標(biāo);σ表示高斯函數(shù)的半徑;kv

本文采用五尺度八方向的Gabor小波，其參數(shù)設(shè)置為:v∈{0，1，2，3，4}，μ∈{0，1，2，3，4，5，6，7}，σ=2π.通過將生成的Gabor小波與語譜圖灰度圖像進行卷積運算，可得到40張Gabor圖譜.

1.3 局部紋理特征

式中，gc為中心像素點的灰度值;gp為周邊鄰域像素點的值;P為選取周邊鄰域點的總個數(shù);R為鄰域半徑.假設(shè)gc點的坐標(biāo)為(0，0)，則gp的坐標(biāo)為(Rcos(2πp/P)，Rsin(2πp/P)).

對圖像上所有像素點進行LBP編碼，便可得到LBP編碼圖譜.LBP編碼圖譜直方圖的計算公式為

式中，T為LBP編碼后的最大灰度值.

研究發(fā)現(xiàn)，LBP圖譜中只有少部分的灰度級占主要作用，因此定義了如下的一致模式:

式中，U表示數(shù)值0/1變換次數(shù).該一致模式可將循環(huán)二值次數(shù)限制為U≤2.經(jīng)過一致模式處理后，一致模式LBP中包含P(P－1)+3個不同值.

本文中，采用一致模式LBP計算Gabor圖譜的紋理特征，基于第l個Gabor圖譜求得的LBP直方圖為 ql(l=1，2，…，40).將不同尺度、不同方向Gabor圖譜下的LBP直方圖級聯(lián)，便可得到特征Q={q1，q2，…，q40}.

2 分類識別

識別系統(tǒng)框圖如圖2所示.首先，將訓(xùn)練樣本庫中的語音進行預(yù)處理和特征提取，得到訓(xùn)練樣本特征矩陣Htrain;其次，利用訓(xùn)練樣本對矩陣Htrain進行訓(xùn)練，得到最優(yōu)分類器參數(shù);然后，將測試樣本進行預(yù)處理和特征提取，得到測試樣本矩陣Htest;最后，將測試樣本矩陣輸入分類器中，輸出識別結(jié)果.

圖2 語音情感識別系統(tǒng)

本文采用K近鄰算法、支持向量機(SVM)和Softmax分類器進行語音情感識別.K近鄰算法中取K=1，距離公式采用χ2統(tǒng)計距離公式，即

式中，cm，dm為特征中的元素;C，D為語音的情感特征，且其維數(shù)為M.SVM采用LIBSVM工具箱，核函數(shù)采用徑向基核.Softmax分類器中權(quán)重衰減項設(shè)為10－4，迭代次數(shù)設(shè)為200.

3 仿真實驗

3.1 實驗數(shù)據(jù)庫及實驗設(shè)計

為驗證算法的有效性，本文分別在柏林庫(EMO-DB)和FAU AiBo庫上進行仿真.

柏林庫由10個不同的人(5男5女)錄制而成，包含7種不同的情感，分別為平靜、害怕、厭惡、喜悅、討厭、悲傷、憤怒.算法選取其中494條語句構(gòu)成數(shù)據(jù)庫進行實驗.

FAU AiBo庫由2所學(xué)校51個年齡在10～13歲的兒童錄制而成，按照2009年情感挑戰(zhàn)賽標(biāo)準(zhǔn)將其分為5種不同情感，分別為A(angry，touchy，reprimanding)，E(emphatic)，N(neutral)，P(motherese，joyful)，R(rest).數(shù)據(jù)庫包含2 部分，其中ohm庫包含9 959條語句，mont包含8 257條語句.

所選用的實驗方案包含如下3種:

1)采用Leave one speaker out(LOSO)方案，即選取柏林庫中的9個人作為訓(xùn)練集，剩余的作為測試集;10個人輪流作測試集，將10次識別結(jié)果求平均，作為最終識別結(jié)果.

2)將柏林庫中編號為“03”，“08”，“09”，“10”，“11”的5個人的220條語音作為測試集，其余5人語音作為訓(xùn)練集.

3)FAU AiBo庫采用ohm庫作為訓(xùn)練集，mont作為測試集.

3.2 不同頻譜圖像比較實驗

下面基于3種實驗方案來驗證對數(shù)圖譜和線性圖譜對所提特征提取算法的影響.

表1為實驗方案1和方案3下所提的特征提取算法的識別結(jié)果.由表可知，在2個不同的數(shù)據(jù)庫上，線性圖譜的識別率略高于對數(shù)圖譜.對比3種不同的分類器，在柏林庫中，Softmax分類器可以取得最好的識別效果，識別率達到76.62%;在FAU AiBo庫上SVM分類器可以取得最好的識別效果，識別率達到65.04%.

表1 方案1和方案3下所提算法的特征識別率 %

為進一步驗證線性和對數(shù)2種圖譜特征提取算法的識別性能，依照實驗方案2，采用Softmax分類器進行識別，計算2種圖譜的分類混淆矩陣.圖3給出了2種圖譜的混淆矩陣.可以看出，2種圖譜對喜悅、憤怒情感的識別率較低，對厭惡、討厭、平靜、悲傷識別性能較好.線性、對數(shù)圖譜對7種情感識別率的平均值分別為78.00%和76.43%.

3種實驗方案結(jié)果表明，就本文算法而言，線性圖譜的識別性能略優(yōu)于對數(shù)圖譜.原因在于，語譜圖采用線性運算處理后，最大最小值幅值差距比對數(shù)語譜圖小;當(dāng)進行最大最小歸一化運算時，線性語譜圖量化間距比對數(shù)語譜圖小，在量化時能夠保留較多的細節(jié)信息.

3.3 不同特征比較實驗

圖3 混淆矩陣

文獻[14]提取了語音的基頻、過零率、能量、共振峰、持續(xù)時間、Mel頻率倒譜系數(shù)特征等408維特征，基本包含了現(xiàn)有情感識別常見的語音特征.表2為按照本文算法提取到的特征與文獻[14]特征的對比結(jié)果.由表可知，所提特征的識別率明顯優(yōu)于文獻[14]特征.在柏林庫上，所提特征的識別率較文獻[14]特征高出5%以上;在FAU AiBo庫，所提特征的識別率較文獻[14]特征最少提升3%.產(chǎn)生上述結(jié)果的原因在于:時長的變化是語音情感的一個重要特征，該特征在頻譜上表現(xiàn)為語音段和靜音段比例的變化;在歸一化語譜圖灰度圖像中，靜音段的灰度級基本相同，LBP編碼值為0，而非靜音段的灰度值差異較大，LBP編碼值發(fā)生了變化，故LBP算法可以表征靜音段和有聲段比例的變化;不同情感語音頻譜分布產(chǎn)生了較大變化，而LBP描述子通過計算中心頻點與周邊鄰域的關(guān)系，有效地表征了這一特征.因此，所提算法取得了更好的識別效果.

表2 方案1和方案2下不同算法的特征識別率 %

3.4 特征融合實驗

為進一步驗證所提算法的有效性，基于實驗方案2，將所提特征與文獻[14]的特征融合，進行語音情感識別，識別結(jié)果見圖4.由圖可知，在3種不同的分類器下，將所提特征與文獻[14]的特征進行融合后，可以有效地提高識別率，識別率至少比文獻[14]的特征提升了5%以上.特別地，在Softmax分類器下，融合特征識別率為80.46%.而采用文獻[14]的特征進行識別，識別率僅為68.64%.究其原因在于，所提算法與現(xiàn)有的聲學(xué)特征具有較好的融合性，有效地提升了系統(tǒng)識別性能.

圖4 不同特征識別率

4 結(jié)語

本文提出了一種面向語音情感識別的語譜圖特征提取算法.首先，對圖像進行處理，得到語譜圖灰度圖像;然后，采用Gabor小波提取語譜圖灰度圖像的Gabor圖譜，并采用LBP算法提取Gabor圖譜的紋理圖像信息;最后，將不同尺度、不同方向Gabor圖譜提取到的LBP特征進行級聯(lián)，作為一種新的語音情感特征進行情感識別.柏林庫和FAU AiBo庫上的實驗結(jié)果驗證了本文算法的有效性.

本文將語譜圖建模為灰度圖像，并利用LBP特征研究不同頻點間相關(guān)性對情感識別的影響，為研究情感識別提供一個新的思路.此外，當(dāng)前語音情感識別主流趨勢是采用多種不同特征融合進行情感識別，語譜圖圖像特征可以作為一類新的特征進一步增強情感語音識別系統(tǒng)的性能.

References)

[1] Attabi Y，Dumouchel P.Anchor models for emotion recognition from speech[J].IEEE Transactions on Affective Computing，2013，4(3):280-290.

[2] Ramakrishnan S，El Emary I M M.Speech emotion recognition approaches in human computer interaction[J].Telecommunication Systems，2013，52(3):1467-1478.

[3] Lee A K C，Larson E，Maddox R K，et al.Using neuroimaging to understand the cortical mechanisms of auditory selective attention[J].Hearing Research，2014，307:111-120.

[4] Minker W，Pittermann J，Pittermann A，et al.Challenges in speech-based human-computer interfaces[J].International Journal of Speech Technology，2007，10(2/3):109-119.

[5] Zhao X M，Zhang S Q，Lei B C.Robust emotion recognition in noisy speech via sparse representation[J].Neural Computing and Applications，2014，24(7/8):1539-1553.

[6] Huang C W，Chen G M，Yu H，et al.Speech emotion recognition under white noise[J].Archives of Acoustics，2013，38(4):457-463.

[7] Yan J J，Wang X L，Gu W Y，et al.Speech emotion recognition based on sparse representation[J].Archives of Acoustics，2013，38(4):465-470.

[8] Wu C H，Liang W B.Emotion recognition of affective speech based on multiple classifiers using acoustic-prosodic information and semantic labels[J].IEEE Transactions on Affective Computing，2011，2(1):10-21.

[9] Bozkurt E，Erzin E，Erdem C E，et al.Formant position based weighted spectral features for emotion recognition[J].Speech Communication，2011，53(9):1186-1197.

[10] Altun H，Polat G.Boosting selection of speech related features to improve performance of multi-class SVMs in emotion detection[J].Expert Systems with Applications，2009，36(4):8197-8203.

[11] Mencattini A，Martinelli E，Costantini G，et al.Speech emotion recognition using amplitude modulation parameters and a combined feature selection procedure[J].Knowledge-Based Systems，2014，63:68-81.

[12] El Ayadi M，Kamel M S，Karray F.Survey on speech emotion recognition:features，classification schemes，and databases[J].Pattern Recognition，2011，44(3):572-587.

[13] 韓文靜，李海峰，阮華斌，等.語音情感識別研究進展綜述[J].軟件學(xué)報，2014，25(1):37-50.Han Wenjing，Li Haifeng，Ruan Huabin，et al.Review on speech emotion recognition[J].Journal of Software，2014，25(1):37-50.(in Chinese)

[14] Xu X Z，Huang C W，Wu C，et al.Graph learning based speaker independent speech emotion recognition[J].Advanced in Electrical and Computer Engineering，2014，14(2):17-22.