基于多分類器融合的語(yǔ)音識(shí)別方法研究

孔 浩，楊 勇，王國(guó)胤

(重慶郵電大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)研究所，重慶 400065)

0 引言

語(yǔ)音識(shí)別是語(yǔ)音信號(hào)處理的一個(gè)重要研究方向，也是模式識(shí)別的一個(gè)分支，它涉及生理學(xué)、語(yǔ)言學(xué)、計(jì)算機(jī)科學(xué)、通信科學(xué)等諸多領(lǐng)域，是實(shí)現(xiàn)人機(jī)交互的重要手段。語(yǔ)音識(shí)別的系統(tǒng)實(shí)現(xiàn)通常包括預(yù)處理、特征提取、建立模板庫(kù)、以及分類器的設(shè)計(jì)等幾個(gè)步驟。計(jì)算機(jī)通過(guò)對(duì)音頻采集工具獲得的語(yǔ)音信息進(jìn)行分析，求取能夠反映語(yǔ)音本質(zhì)的一系列語(yǔ)音特征，最后使用分類器與訓(xùn)練模板進(jìn)行比對(duì)得出識(shí)別結(jié)果。顯然，在此過(guò)程中，分類器的設(shè)計(jì)是語(yǔ)音識(shí)別系統(tǒng)性能好壞的關(guān)鍵。目前用于語(yǔ)音識(shí)別的分類方法有:采用判別函數(shù)或準(zhǔn)則的方法;隱馬爾科夫(hidden merkovmodel，HMM)模型的方法;人工神經(jīng)網(wǎng)絡(luò)(artificial neural network，ANN)的方法;支持向量機(jī)(support vectormachine，SVM)的方法等。

從機(jī)器學(xué)習(xí)的角度看，各種學(xué)習(xí)器(分類器)由于自身的差異往往會(huì)導(dǎo)致不同的分類結(jié)果，其分類性能也不盡相同，而沒(méi)有一種分類算法能對(duì)所有的應(yīng)用都取得很好的結(jié)果。將多個(gè)分類器得到的分類信息進(jìn)行綜合處理，得出最終的分類結(jié)果，稱為多分類器融合［1］。由于分類器融合的方法可以綜合不同分類器的特點(diǎn)，從而避免了單一分類器可能存在片面性的問(wèn)題，因此，分類器的組合往往可以比單一分類器得到更好的結(jié)果。目前，多分類器融合的方法已經(jīng)廣泛應(yīng)用于機(jī)器學(xué)習(xí)、模式識(shí)別等領(lǐng)域。文獻(xiàn)［2］采用數(shù)據(jù)融合的方法對(duì)SVM進(jìn)行改進(jìn)，并成功地應(yīng)用于語(yǔ)音識(shí)別系統(tǒng)中，取得了較好的效果;文獻(xiàn)［3］將HMM和ANN 2種分類器組合，彌補(bǔ)了各自分類器的不足，從而提高了情感語(yǔ)音識(shí)別的分類效果;文獻(xiàn)［4］提出將一種基于分類高斯混合模型和神經(jīng)網(wǎng)絡(luò)融合用于說(shuō)話人識(shí)別，獲得較好的識(shí)別性能。

本文提出了一種基于多分類器融合的語(yǔ)音識(shí)別方法，利用加權(quán)評(píng)分的投票策略，對(duì)幾種分類器進(jìn)行融合，旨在綜合單一分類器的特點(diǎn)，獲得更好的識(shí)別效果。

1 語(yǔ)音特征提取與選擇

語(yǔ)音特征參數(shù)的提取是在對(duì)語(yǔ)音信息進(jìn)行分幀處理后，每幀特征參數(shù)構(gòu)成一個(gè)矢量序列，矢量序列經(jīng)過(guò)壓縮以后成為語(yǔ)音的模板。特征參數(shù)的選取對(duì)識(shí)別效果有很大的影響，它是語(yǔ)音識(shí)別系統(tǒng)成功與否的關(guān)鍵，它的好壞直接影響到語(yǔ)音識(shí)別的精度。

通過(guò)對(duì)語(yǔ)音信號(hào)的分析可以獲得語(yǔ)音識(shí)別所需要的語(yǔ)音特征。根據(jù)分析方法的不同可以將語(yǔ)音信號(hào)分析分為模型分析方法和非模型分析方法。模型分析方法是指根據(jù)語(yǔ)音信號(hào)產(chǎn)生的數(shù)學(xué)模型來(lái)分析和提取表征這些模型的特征參數(shù)，比如，共振峰特征估計(jì)、線性預(yù)測(cè)模型;而非模型分析法又包含了時(shí)域分析、頻域分析、倒譜域分析等。本文首先提取振幅能量，基音周期，共振峰，MFCC，LPCC這5種不同類別共29個(gè)特征參數(shù)的組合，如表1所示。

再利用基于Rough理論的屬性約簡(jiǎn)算法——基于條件熵的屬性約簡(jiǎn)算法(CEBARKNC)［5］對(duì)提取到的特征進(jìn)行約簡(jiǎn)，最終得到一組特征序列。選擇到的特征序列即為最終用于語(yǔ)音分類的識(shí)別參數(shù)，如表2所示。

表2 特征選擇后的特征序列Tab.2 Feature array after Feature selection

2 多分類器融合

單分類器的識(shí)別往往是從單一的角度來(lái)認(rèn)識(shí)待識(shí)別樣本，如果能夠?qū)⑦@些不同特性的分類器進(jìn)行有效的融合，則能夠從更全面的角度認(rèn)識(shí)待識(shí)別樣本，從而得到更好的識(shí)別效果。多分類器融合是目前模式識(shí)別領(lǐng)域的一個(gè)研究熱點(diǎn)。

2.1 成員分類器

成員分類器選擇的目的就是使各個(gè)分類器能夠互補(bǔ)優(yōu)勢(shì)，從而構(gòu)造出最佳分類器。因此，成員分類器之間應(yīng)該具有理論上的差異性，這樣才可能得到較好的融合結(jié)果。本文選取 SVM［6］、徑向基函數(shù)(radial basis function，RBF)神經(jīng)網(wǎng)絡(luò)［7］、貝葉斯網(wǎng)絡(luò)［8］作為成員分類器。

2.1.1 SVM

SVM是針對(duì)小樣本的機(jī)器學(xué)習(xí)理論。它是統(tǒng)計(jì)學(xué)習(xí)理論的一種實(shí)現(xiàn)方式，它將樣本學(xué)習(xí)精度和學(xué)習(xí)空間復(fù)雜度之間采取了一種折中，從而使所得模型對(duì)與未知樣本具有好的推廣泛化能力。與傳統(tǒng)基于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化原則方法不同，SVM運(yùn)用結(jié)構(gòu)風(fēng)險(xiǎn)最小化原則來(lái)實(shí)現(xiàn)分類，將分類問(wèn)題簡(jiǎn)化成為一個(gè)風(fēng)險(xiǎn)最小化問(wèn)題。

2.1.2 RBF神經(jīng)網(wǎng)絡(luò)

RBF神經(jīng)網(wǎng)絡(luò)是一種局部逼近的多層前向神經(jīng)網(wǎng)絡(luò)，具有算法簡(jiǎn)單、收斂快、逼近效果好、泛化能力強(qiáng)的特點(diǎn)。RBF是通過(guò)非線性基函數(shù)的線性組合實(shí)現(xiàn)從輸入空間到輸出空間的非線性轉(zhuǎn)換。RBF神經(jīng)網(wǎng)絡(luò)是一個(gè)3層網(wǎng)絡(luò)，其中，輸入輸出由線性神經(jīng)元組成，隱層節(jié)點(diǎn)是高斯核函數(shù)。該函數(shù)能對(duì)輸入產(chǎn)生局部響應(yīng)，從而將輸入空間劃分為若干小的局部區(qū)間，已達(dá)到分類的目的。

2.1.3 貝葉斯網(wǎng)絡(luò)

基于概率推理的貝葉斯網(wǎng)絡(luò)是為了解決不定性和不完整性問(wèn)題而提出的，它是一種概率網(wǎng)絡(luò)，而貝葉斯公式是這個(gè)概率網(wǎng)絡(luò)的基礎(chǔ)。一個(gè)貝葉斯網(wǎng)絡(luò)是一個(gè)有向無(wú)環(huán)圖，由代表變量節(jié)點(diǎn)及連接這些節(jié)點(diǎn)的有向邊構(gòu)成。通過(guò)對(duì)節(jié)點(diǎn)的抽象便可以應(yīng)用于各種問(wèn)題，廣泛用于不確定性決策、數(shù)據(jù)分析以及智能推理等領(lǐng)域。

2.2 多分類器融合方法

分類器的融合就是要把多個(gè)不同的分類器結(jié)合，從而形成一個(gè)集成化的分類器，即將多個(gè)分類器的判定結(jié)果通過(guò)一定規(guī)則合并為最終輸出結(jié)果。目前多分類器融合的方法有很多，如投票法、證據(jù)理論方法、神經(jīng)網(wǎng)絡(luò)方法、模糊積分方法等。本文提出的分類器系統(tǒng)結(jié)構(gòu)如圖1所示。

圖1 語(yǔ)音識(shí)別系統(tǒng)結(jié)構(gòu)流程圖Fig.1 System flowchart for speech recognition

常用的分類器決策融合采用相對(duì)多數(shù)投票的原則，即少數(shù)服從多數(shù)，半數(shù)以上通過(guò)作為規(guī)則進(jìn)行判別，并最終得到結(jié)果。然而基本的投票表決法原則并沒(méi)有考慮到不同的分類器具有不同分類性能，投票過(guò)程中自然也無(wú)法體現(xiàn)性能高的基本分類器的優(yōu)勢(shì)，因此，本文采用一種加權(quán)評(píng)分的投票策略對(duì)SVM，RBF神經(jīng)網(wǎng)絡(luò)與貝葉斯網(wǎng)絡(luò)3種分類器進(jìn)行融合。

加權(quán)投票的思想主要是根據(jù)基本分類器的不同性能，使其在投票時(shí)擁有的表決權(quán)有所不同，往往精度高的分類器，就會(huì)有比較大的權(quán)值。本文首先將提取到的特征分別通過(guò)3種分類器，從而得到初步的識(shí)別結(jié)果，即各個(gè)分類器對(duì)待識(shí)別樣本的分類預(yù)測(cè)所得到的3個(gè)類別。然后用加權(quán)投票的思想對(duì)這3個(gè)類別進(jìn)行分析:如果3個(gè)類別相同，則將待識(shí)別樣本歸為此類;如果其中2個(gè)類別相同，那么將類別相同的2個(gè)權(quán)值之和與不同類別的權(quán)值進(jìn)行比較，以確定兩者較大的值為分類結(jié)果;如果3個(gè)類別都不相同，那么將權(quán)值最高的分類器所識(shí)別的結(jié)果作為融合后的結(jié)果。

令SVM，RBF神經(jīng)網(wǎng)絡(luò)以及貝葉斯網(wǎng)絡(luò)分類器為集合 F={x1，x2，x3}，其權(quán)值分別為 α1，α2，α3，分別代表3種分類器對(duì)最終融合的重要程度。識(shí)別樣本分為n類，即集合G={g1，g2，…，gn}。其中，α1，α2，α3權(quán)值的獲得對(duì)融合效果有非常重要的作用，根據(jù)單個(gè)分類器本身的識(shí)別效果不同，本文從整體訓(xùn)練樣本中提取若干樣本作為校驗(yàn)集，通過(guò)求取校驗(yàn)集的識(shí)別率來(lái)確定3種分類器的權(quán)值參數(shù)。設(shè)SVM，RBF神經(jīng)網(wǎng)絡(luò)，貝葉斯網(wǎng)絡(luò)對(duì)校驗(yàn)集的識(shí)別率分別為 P1，P2，P3，則設(shè)

3 實(shí)驗(yàn)及其分析

本文采用自建語(yǔ)音樣本庫(kù)，其中3男2女，每人發(fā)音10次，發(fā)音內(nèi)容為數(shù)字0～9，共得到500個(gè)短句。通過(guò)特征提取，獲得500個(gè)樣本的特征序列，每個(gè)樣本有29階語(yǔ)音特征。所提取的樣本庫(kù)的內(nèi)容合成一個(gè)二維表，構(gòu)成了一個(gè)決策表系統(tǒng)。其中，29階語(yǔ)音特征作為條件屬性，語(yǔ)音的類別即0～9作為決策屬性。經(jīng)過(guò)基于Rough集方法的特征選擇算法，得到用于多分類器融合的12階特征，分別為振幅能量 +第二共振峰 +8階的 MFCC+2階的LPCC。

實(shí)驗(yàn)一 將提取到的12階特征參數(shù)分別導(dǎo)入SVM，RBF神經(jīng)網(wǎng)絡(luò)，貝葉斯網(wǎng)絡(luò)3種分類器。其中，導(dǎo)入各個(gè)分類器的訓(xùn)練集與測(cè)試集完全一致，都是以4:1的訓(xùn)練集與測(cè)試集比例分割數(shù)據(jù)，因此，訓(xùn)練集為375個(gè)，測(cè)試樣本為125個(gè)。由于在本文中各個(gè)分類器的權(quán)值是由校驗(yàn)集來(lái)確定的，在整個(gè)樣本空間中，同樣選擇125個(gè)校驗(yàn)樣本。并首先由訓(xùn)練集和校驗(yàn)集確定3種分類器，其權(quán)值分別為α1，α2，α3，然后，再將測(cè)試樣本分別導(dǎo)入分類器得到初步的識(shí)別結(jié)果，如表3所示。

表3 一組測(cè)試樣本導(dǎo)入單一分類器的識(shí)別結(jié)果Tab.3 Recognition results for single classifier

將表3的信息代入本文提出的算法，發(fā)現(xiàn)融合后的誤識(shí)樣本僅剩52，90，則得到98.4%的理想識(shí)別率。其中，編號(hào)為40的樣本，雖然有2個(gè)分類器都是誤識(shí)，但是由于誤識(shí)的結(jié)果不一樣，RBF神經(jīng)網(wǎng)絡(luò)將其誤識(shí)為第4類，而貝葉斯網(wǎng)絡(luò)將其誤識(shí)為第0類，造成3個(gè)分類器產(chǎn)生3個(gè)不同結(jié)果。而根據(jù)本文提出算法以及對(duì)各個(gè)分類器設(shè)置的權(quán)值，可以得到此測(cè)試樣本的正確歸屬類別，進(jìn)一步證明了本文提出的加權(quán)投票的語(yǔ)音識(shí)別方法的有效性。

實(shí)驗(yàn)二 用四交叉驗(yàn)證對(duì)數(shù)據(jù)集進(jìn)行測(cè)試，結(jié)果如表4所示。

表4 各種分類器平均識(shí)別率Tab.4 Average recognition rate of differenf classifiers

根據(jù)多次的樣本測(cè)試，發(fā)現(xiàn)本文融合算法的識(shí)別率對(duì)于每個(gè)單一分類器的識(shí)別率都有著顯著的提高，說(shuō)明本方法能夠達(dá)到綜合各個(gè)分類器特點(diǎn)的作用，從而彌補(bǔ)了單一分類器可能存在的片面性問(wèn)題。

4 結(jié)論

SVM，RBF神經(jīng)網(wǎng)絡(luò)以及貝葉斯網(wǎng)絡(luò)作為分類器有著自身不同的特點(diǎn)，通過(guò)加權(quán)評(píng)分的投票決策，3種分類器進(jìn)行了有效的融合，得到了單一分類器之間的性能互補(bǔ)，從而使識(shí)別結(jié)果有了顯著提升。通過(guò)實(shí)驗(yàn)表明，本文將提出的基于多分類器加權(quán)融合的方法用于語(yǔ)音識(shí)別是有效的。

［1］DUIN R，TAX D.Experiments with classifier combining rules.In Proceedings of the 1st International Workshop on Multiple Classifier Systems(MCSC2000)［M］.Italy:Cagliari，2000:16－19.

［2］蔡鐵，朱杰.一種基于類融合向量的支持向量機(jī)及其在語(yǔ)音識(shí)別系統(tǒng)中的應(yīng)用［J］.電路與系統(tǒng)學(xué)報(bào)，2005，6(10):106－110.

CAITie，ZHU Jie.An improved support vectormachine based on class－fusion vectors and application in speech recognition system［J］.Journal of Circuits And Systems，2005，6(10):106－110.

［3］羅毅.一種基于HMM和ANN的語(yǔ)音情感識(shí)別分類器［J］.微計(jì)算機(jī)信息，2007，12－1(23):218－219.

LUO Yi.A Human Speech Emotion Recognition Classifier based on Hidden Markov Model and Artificial Neural Network［J］.Control＆ Automation，2007，12－1(23):218－219.

［4］黃偉，戴蓓蒨，李輝.基于分類高斯混合模型和神經(jīng)網(wǎng)絡(luò)融合的與文本無(wú)關(guān)的說(shuō)話人識(shí)別［J］.模式識(shí)別與人工智能，2003，16(4):423－428.

HUANGWei，DAIBei－qian，LIHui.Text－independent Speaker Recognition Based On Classify Gaussian Mixture Model And Neural Net Fusion［J］.Pattern Recognition And Artificial Intelligence，2003，16(4):423－428.

［5］王國(guó)胤，于洪，楊大春.基于條件信息熵的決策表約簡(jiǎn)［J］. 計(jì)算機(jī)學(xué)報(bào)，2002，27(12):89－94.

WANG Guo－yin，YU Hong，YANG Da－chun.Decision Table Reduction based on Conditional Information Entropy［J］.Chinese Journal of Computers，2002，27(12):89－94.

［6］CHRISTOPHER JC.Burges.A tutorial on support vector machines for pattern recognition［J］.Data Mining and Knowledge，1998，2(2):121－167.

［7］林嘉宇，劉熒.用于語(yǔ)音信號(hào)非線性建模的RBF神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法及其性能［J］.信號(hào)處理，2001，17(4):322－328.

LIN Jia－yu，LIU Ying.Training Methods and the Performances of RBFNeural Networks for Non－linear Modeling of Speech Signals［J］.SignalIGNAL Processing，2001，17(4):322－328.

［8］陳英武，高妍方.貝葉斯網(wǎng)絡(luò)擴(kuò)展研究綜述［J］.控制與決策，2008，23(10):1081－1086.

CHEN Ying－wu，GAO Yan－fang.Survey of extended Bayesian networks［J］.Control And Decision，2008，23(10):1081－1086.

(編輯:劉 勇)