基于共同向量的非常態(tài)語音說話人識別算法*

何 俊,賀前華,張清華,孫國璽,肖 明,左敬龍

(1.廣東石油化工學(xué)院,廣東 茂名 525000;2.華南理工大學(xué)電子與信息學(xué)院,廣東 廣州 510641)

基于共同向量的非常態(tài)語音說話人識別算法*

何 俊1,賀前華2,張清華1,孫國璽1,肖 明1,左敬龍1

(1.廣東石油化工學(xué)院,廣東 茂名 525000;2.華南理工大學(xué)電子與信息學(xué)院,廣東 廣州 510641)

針對預(yù)先給定參數(shù)求解共同向量所存在的不足，提出了一種基于共同向量的非常態(tài)語音說話人識別算法，首先，通過系統(tǒng)識別率自適應(yīng)調(diào)整求解共同向量的參數(shù)；然后，將系統(tǒng)識別率最高的參數(shù)視為最優(yōu)參數(shù)，為測試語音提取共同向量，并用SVM分類器進行非常態(tài)語音說話人分類。實驗結(jié)果表明：該算法所提取的共同向量，對輕微感冒語音說話人識別率為85.4%，比對特征不進行處理的GMM算法、SVM和結(jié)合共同向量的GMM算法的識別率分別提高了16.9%、15.2%和3.2%。

非常態(tài)語音; 說話人識別；共同向量；支持向量機

1 引言

目前，各種說話人識別和認證系統(tǒng)的性能受語音質(zhì)量的影響較大，面臨非常態(tài)語音時，識別率徘徊在30%～40%[1]。如何提高系統(tǒng)應(yīng)對非常態(tài)語音的能力，是近年來語音處理中發(fā)展起來的熱點問題之一，開始受到廣大學(xué)者的關(guān)注[2,3]。非常態(tài)語音種類繁多，力求研究所有類型的非常態(tài)語音事實是不可行的，生活中常見的因發(fā)音器官功能性病變引起的非常態(tài)語音在生物醫(yī)學(xué)工程得到廣泛的研究[4,5]，如感冒、咽喉炎、淋巴炎、反胃酸。這類非常態(tài)語音的持續(xù)時間相對較長，其產(chǎn)生不需要特定時間和環(huán)境，并且其對語音的影響來自于生理層，對它們的研究更有利于對變異的本質(zhì)進行理解。但是，目前在非常態(tài)語音數(shù)據(jù)相對缺少、而語音變異種類又較繁多的情況下，使用統(tǒng)計分析法難以獲得不同變異對語音特征層產(chǎn)生的影響。尋求一種能表征每個說話人共同特性的特征向量是廣大研究者努力的方向，基于子空間映射的共同向量方法最早用于識別孤立詞[6]，通過對每一類的差分子空間進行Gram-Schimidt正交變換得到與樣本空間維數(shù)相同的共同向量CV(Common Vector)。CV表示每一類特征的共同性質(zhì)[7]，廣泛應(yīng)用于模式識別領(lǐng)域的人臉圖像識別中[8～10],并能取得較好的識別率。但是，在選取共同向量參數(shù)時，人們常采用給定一個經(jīng)驗值的方法，使得系統(tǒng)的識別率隨實驗數(shù)據(jù)的變化而嚴重地下降。文獻[11]將共同向量方法引入到說話人識別，采用結(jié)合共同向量和高斯混合模型GMM(Gaussian Mixture Model)策略進行文本無關(guān)的正常語音說話人識別。從文獻[11]中的實驗結(jié)果得知，在保證GMM訓(xùn)練數(shù)據(jù)時其識別率并不比GMM好，在訓(xùn)練語音不足的情況下其識別率較GMM算法有所提高。

本文以非常態(tài)語音中的感冒語音CU(Cold Utterance)為研究對象，重點討論最優(yōu)說話人的共同向量提取和SVM(Support Vector Machine)的感冒語音說話人識別。在尋求每個說話人的共有特征屬性的情況下，以最低限度減小感冒對其說話人識別率影響為基礎(chǔ)，結(jié)合共同向量和SVM多對多的分類器，提出一種基于CV和SVM的非常態(tài)語音說話人識別算法。通過自適應(yīng)調(diào)整類散度矩陣的特征值和和其共同正交特征向量的特征值和的比值，來解決系統(tǒng)的性能依賴人為參數(shù)的設(shè)定，根據(jù)說話人共同正交特征向量矩陣將待測語音分解成共同向量和差分向量，然后利用SVM對待測語音的共同向量進行說話人識別分類。

2 算法描述

從共同向量的角度出發(fā)，特征向量可分為兩個主要部分：(1)殘差分量，即來自于共同成分的所有變化；(2)共有成分，即展示一個類里所有樣本的共同特性的成分或包含類不變的屬性。

2.1 共同向量CV

常用Gram-Schimidt正交化和類內(nèi)協(xié)方差矩陣變換法構(gòu)建共同向量。其中，把線性無關(guān)的向量x1,x2,…,xn轉(zhuǎn)換為標(biāo)準(zhǔn)正交向量組{μ1,μ2,…,μn}的方法，稱為Gram-Schimidt正交化[12]。

(1)

然后對Bj進行Gram-Schimidt變換，得到正交向量集Vj，Vj可以表示如下：

(2)

(3)

其中，Bj和(Bj)⊥是一對互補子空間，其滿足如下兩個條件：

(4)

則有兩種途徑計算第j類樣本的共同向量：(1)通過類內(nèi)任意樣本特征向量本身減去其投影到差分子空間的正交向量的差，如式(5)所示；(2)類內(nèi)任意樣本特征向量投影到共性子空間的和，如式(6)所示：

(5)

(6)

(7)

每個說話人的散度矩陣可以定義如下：

(8)

其中，μi表示第i個說話人的所有語音樣本特征的均值。其定義如下：

(9)

在共同向量的訓(xùn)練方法中，訓(xùn)練集中的每個樣本的特征可以用如下等式表示：

(10)

(11)

(12)

(13)

其中，(P⊥)i表示第i個說話人其特征散度矩陣Φi中零特征值所對應(yīng)的正交特征向量(較小特征值對應(yīng)的正交特征向量)所張成的共量子空間，Pi表示第i個說話人其特征散度矩陣Φi中非零特征值所對應(yīng)的正交特征向量所張成的差分子空間。

2.2 最優(yōu)CV參數(shù)

在共同向量的構(gòu)建中，有一個關(guān)鍵的步驟就是如何有效地求解特征散度矩陣Φi中零特征值的正交特征向量。準(zhǔn)確地說，特征散度矩陣Φi沒有真正意義上的零特征值，只有非常接近零的特征值。在構(gòu)成共量子空間中，將第i個說話人特征散度矩陣Φi的特征值進行升序排列，設(shè)其前z個特征值所對應(yīng)的正交特征向量構(gòu)成(P⊥)i，文獻[11]討論使用式(14)共同向量構(gòu)建:

(14)

(15)

式(15)中，μi表示Pj中那些特征向量的偏差小于其差異子空間特征向量

根據(jù)經(jīng)驗設(shè)定δ，而實際應(yīng)用中δ的取值依賴具體應(yīng)用的數(shù)據(jù)。為了獲得最優(yōu)CV，本文通過調(diào)整δ，搜索使病變語音說話人的整體識別率ASRR(All Speaker Recognition Ratio)達到最大的CV，則整體識別率函數(shù)可定義為：

(16)

其中，Ti表示第i個說話人語音被正確識別為第i個說話人的數(shù)目，Ni表示第i個說話人的語音總數(shù)。

最優(yōu)CV參數(shù)δopt可表示為：

(17)

2.3 支持向量機SVM

SVM的出現(xiàn)及廣泛應(yīng)用于各種模式分類引起機器學(xué)習(xí)和模式識別領(lǐng)域的一場研究風(fēng)暴，近年來SVM廣泛應(yīng)用于語音識別領(lǐng)域[13～15]并取得一定成果。SVM是結(jié)構(gòu)化風(fēng)險最小的一種統(tǒng)計學(xué)習(xí)方法，它通過尋找一個最優(yōu)超平面來訓(xùn)練一個分類器，使得核內(nèi)誘導(dǎo)特征空間中兩類數(shù)據(jù)的邊緣盡可能最大化。假設(shè)有m個訓(xùn)練樣本，每個樣本由(xk,yk)對組成，其中，xk∈RN是第k個樣本的特征向量，yk∈{+1,-1}是樣本的類標(biāo)簽。SVM的目標(biāo)就是在兩類數(shù)據(jù)之間找到一個最優(yōu)超平面w·x+b=0，對于一個測試樣本x，其決策函數(shù)可表述如下：

(18)

然后通過判定fd(x)的符號來決定測試樣本x所屬類別，即使用sgn(fd(x))。

SVM通過解決二次規(guī)劃問題來獲得最優(yōu)超平面，其二次規(guī)劃問題可以描述如下：

(19)

其中滿足：

(20)

3 實驗設(shè)置與結(jié)果分析

3.1 實驗設(shè)置

從PANSD[16,17]中選取8個說話人，平均每個說話人12條正常語音和15條非常態(tài)語音，每條語音時長約15 s，作為提取說話人最優(yōu)共同向量時正交特征向量的訓(xùn)練數(shù)據(jù)。選用8個說話人的500條非常態(tài)語音和300條正常語音為提取最優(yōu)CV參數(shù)的訓(xùn)練語音。選取8個說話人的706非常態(tài)語音和408條正常語音，每條語音在去掉靜音后時長13 s～15 s作為測試數(shù)據(jù)。為了便于本文算法的實驗結(jié)果與GMM模型的結(jié)果相比較，使用每個說話人時長為1 min～2 min的正常語音訓(xùn)練16個高斯的GMM說話人模型，文中所提及的SVM算法中采用徑向基核函數(shù)。所有的數(shù)據(jù)都是單聲道的WAV格式，用Cooledit Pro 2.0將采樣調(diào)整為16 kHz，量化精度為16 bits。32 ms幀長，16 ms幀移，提取24階Mel頻率倒譜系數(shù)MFCC(Mel Frequency Cepstrum Coefficient)特征。

根據(jù)語音的變異程度，將706條非常態(tài)語音分三類：輕微變異、稍重變異、較重變異。詳細分類標(biāo)準(zhǔn)請參見文獻[17]。

3.2 實驗結(jié)果與分析

本文先實驗分析各種說話人識別算法對三類非常態(tài)變異語音的識別情況，為便于比較實驗結(jié)果，把本文的算法簡稱為CV+SVM，具體識別情況可參見表1。

Table 1 Speaker recognition ratio of various algorithmsfor varying degrees abnormal speech表1 各類算法的不同程度非常態(tài)語音說話人識別

從表1可知，本文提出的算法對輕微非常態(tài)語音有較好的效果，相對文獻[11]算法識別率提高3.2%，但文獻[11]算法和本文算法對較重變異非常態(tài)語音基本不能識別。

整體識別即對所有的病變異常語音不分類的識別情況。使用整體識別率為各類說話人識別算法的性能評價指標(biāo)時，得到如表2所示的結(jié)果。

Table 2 Speaker recognition ratio ofabnormal utterance for methods mentioned表2 各類算法的非常態(tài)語音說話人識別情況

從表2可知，簡單的GMM和SVM說話人識別算法，其性能在面對病變語音時急劇下降。同樣使用CV方法，文獻[11]算法的整體識別相對本文提出的算法要低2%，主要原因是文獻[11]中根據(jù)經(jīng)驗設(shè)定最優(yōu)CV參數(shù)，而本文依據(jù)數(shù)據(jù)的本身特點主動調(diào)整最優(yōu)CV參數(shù)，自適應(yīng)地使病變語音說話人識別能達到最優(yōu)。

從表1和表2可知，結(jié)合CV和SVM方法具有一定的非常態(tài)語音應(yīng)對能力。為說明本文算法對正常語音說話人識別的影響，本文采用正常語音進行了說話人識別實驗，具體實驗結(jié)果參見表3。

Table 3 Speaker recognition ratio ofvarious algorithms for normal speech表3 各類算法的正常語音說話人識別結(jié)果

從表3可知，本文所提算法和文獻[11]算法對正常語音說話人識別的性能有點影響，主要是因為正常語音情況下，提取共同向量會使語音失去能表征其個性特征的更細節(jié)成分。但是，當(dāng)語音發(fā)生非常態(tài)時，提取共同向量保留其大部分表征說話人特性的特征，舍棄語音中的一些發(fā)生變化的成分。

4 結(jié)束語

本文提出一種基于共同向量的非常態(tài)語音說話人識別算法，語音發(fā)生非常態(tài)現(xiàn)象時，其各階特征發(fā)生何種變化及變化程度如何與引起語音非常態(tài)因素有關(guān)，而能引起語音非常態(tài)因素種類繁多，定性統(tǒng)計分析特征層的變化不現(xiàn)實。本文使用共同向量方法，建立每個說話人的特征的共同向量，然后對測試語音按最優(yōu)共同向量提取原則提取其共同向量并送進SVM分類器。實驗結(jié)果表明，采用本文所提算法對輕微異常語音說話人的識別率為85.4%，分別比GMM、SVM和文獻[11]識別率提高了16.9%、15.2%和3.1%。在輕微變異語音的說話人識別方面取得一點可喜結(jié)果，但在稍重變異和較重變異方面還需要繼續(xù)努力。

[1] Zhang Lei,Han Jin-qing,Wang Cheng-fa.Research progress of stressed speech processing[J].Acta Electronica Sinica,2003,31(3):411-418.(in Chinese)

[2] Furui S. 50 years of progress in speech and speaker recognition research[J]. ECTI Transactions on Computer and Information Technology, 2005, 1(2):1.

[3] Togneri R,Pullella D.An overview of speaker identification:Accuracy and robustness issues[J]. Circuits and Systems Magazine, IEEE, 2011, 11(2):23-61.

[4] Vaziri G,Almasganj F,Behroozmand R.Pathological assessment of patients’ speech signals using nonlinear dynamical analysis[J]. Computers in Biology and Medicine, 2010, 40(1):54-63.

[5] Baken R J. Clinical measures of speech and voice[M]. Baltimore:Singular, 1996.

[6] Gulmezoglu M B, Dzhafarov V, Keskin M, et al. A novel approach to isolated word recognition[J]. IEEE Transactions on Speech and Audio Processing, 1999, 7(6):620-628.

[7] Gulmezoglu M B, Dzhafarov V, Barkana A. The common vector approach and its relation to principal component analysis[J]. IEEE Transactions on Speech and Audio Processing, 2001, 9(6):655-662.

[8] Cevikalp H, Neamtu M, Wilkes M, et al. Discriminative common vectors for face recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(1):4-13.

[9] Cevikalp H, Neamtu M, Barkana A. The kernel common vector method:A novel nonlinear subspace classifier for pattern recognition[J]. IEEE Transactions on Systems, Man, and Cybernetics, Part B:Cybernetics, 2007, 37(4):937-951.

[10] Wen Ying,Shi Peng-fei.An approach to face recognition based on common vector and 2DPCA[J]. ACTA Automatica Sinica,2009,35(2):202-205.(in Chinese)

[11] Sadi? S, Gülmezoglu M B. Common vector approach and its combination with GMM for text-independent speaker recognition[J]. Expert Systems with Applications, 2011, 38(9):11394-11400.

[12] Zhang Xian-da. Matrix analysis and applications[M]. Beijing:Tsinghua University Press,2004.(in Chinese)

[13] You Chang-huai, Lee Kong Aik, Li Hai-zhou. GMM-SVM kernel with a bhattacharyya-based distance for speaker recognition[J]. IEEE Transactions on Audio, Speech, and Language Processing, 2010, 18(6):1300-1312.

[14] Ferras M,Leung Cheung-Chi,Barras C,et al.Comparison of

speaker adaptation methods as feature extraction for SVM-based speaker recognition[J]. IEEE Transactions on Audio, Speech, and Language Processing, 2010, 18(6):1366-1378.

[15] Lin Keng-pei, Chen Ming-syan. On the design and analysis of the privacy-preserving SVM classifier[J]. IEEE Transactions on Knowledge and Data Engineering, 2011, 23(11):1704-1717.

[16] He Jun,Li Yan-xiong,He Qian-hua,et al.Speaker recognition algorithm for abnormal speech based on abnormal feature weighting[J].Journal of South China University of Technology,2012(3):106-111.(in Chinese)

[17] He Jun.Research on stragegies against abnormal speech in voiceprint recognition system[D]:Guangzhou:South China University of Technology,2012.(in Chinese)

附中文參考文獻：

[1] 張磊, 韓紀(jì)慶, 王承發(fā). 變異語音處理的研究進展[J]. 電子學(xué)報, 2003，31(3):411-418.

[10] 文穎, 施鵬飛. 一種基于共同向量結(jié)合2DPCA的人臉識別方法[J]. 自動化學(xué)報, 2009, 35(2):202-205.

[12] 張賢達. 矩陣分析與應(yīng)用[M]. 北京：清華大學(xué)出版社, 2004.

[16] 何俊, 李艷雄, 賀前華, 等. 變異特征加權(quán)的異常語音說話人識別算法[J]. 華南理工大學(xué)學(xué)報(自然科學(xué)版), 2012(3):106-111.

[17] 何俊. 聲紋身份識別中非常態(tài)語音應(yīng)對方法研究[D]. 廣州：華南理工大學(xué), 2012.

HEJun,born in 1978,PhD,lecturer,his research interests include speech signal processing, speaker recognition, and information security.

Speakerrecognitionofabnormalvoicebasedoncommonvector

HE Jun1,HE Qian-hua2,ZHANG Qing-hua1,SUN Guo-xi1，XIAO Ming1,ZUO Jing-long1

(1.Guangdong University of Petrochemical Technology,Maoming 525000;2.School of Electronic and Information Engineering,South China University of Technology,Guangzhuo 510641,China)

A speaker recognition algorithm of abnormal voice based on common vector is proposed to overcome the drawback that exists when the traditional common vector is calculated by using the predefined parameters. The proposed algorithm uses the system recognition ratio to adaptively adjust the parameters of calculating the common vector, takes the parameter with the highest system recognition ratio as the optimal parameter so as to extract the common vector, and uses the SVM Classifier to categorize the speakers of abnormal voice. Experimental results show that, by using the common vector extracted by the proposed algorithm, the speaker recognition ratio of slight cold is 85.4%, which has the improvement of 16.9%,15.2% and 3.2% respectively in comparison to the methods of GMM,SVM and ref[6].

abnormal voice;speaker recognition;common vector;SVM

1007-130X(2014)08-1599-05

2012-11-01;

：2013-03-14

國家自然科學(xué)基金資助項目(60972132，61174113,61101160);廣東省自然科學(xué)基金資助項目(8152500002000011)

TP391.4

：A

10.3969/j.issn.1007-130X.2014.08.031

何俊(1978-),男,湖南邵陽人，博士，講師，研究方向為語音信號處理、說話人識別和信息安全。E-mail:hejun_723@126.com

通信地址：525000 廣東省茂名市廣東石油化工學(xué)院石化裝備故障診斷檢測省重點實驗室

Address:Guangdong Province Key Laboratory of Petrochemical Equipment Fault Diagnosis,Guangdong University of Petrochemical Technology,Maoming 525000,Guangdong,P.R.China