基于免疫遺傳優(yōu)化支持向量機(jī)的普米語孤立詞語譜圖分類

董華珍,潘文林,2，王翠，和麗華，楊建香，解學(xué)琴

(1.云南民族大學(xué) 數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)院，云南 昆明 650500)(2.云南民族大學(xué) 云南省高校物聯(lián)網(wǎng)應(yīng)用技術(shù)重點(diǎn)實(shí)驗(yàn)室，云南 昆明 650500)

普米族主要分布在云南省的蘭坪、寧蒗、永勝、麗江等縣和迪慶藏族自治州的中甸、維西和德欽等縣，約22 000人；四川省木里、鹽源以及九龍等縣，約有25 000人；近年來由于受漢族文化和“大雜居小聚居”民族居住狀況的影響，標(biāo)準(zhǔn)普米語語音逐年受到各類語言的嚴(yán)重侵蝕，保護(hù)和傳承普米族語言文化已迫在眉睫[1].以云南省蘭坪縣河西區(qū)箐花公社錄制的普米語孤立詞為研究對(duì)象，借助語譜圖研究其特征，最終實(shí)現(xiàn)普米語孤立詞分類.

1 語音識(shí)別相關(guān)研究工作

目前，語音識(shí)別的方法可以歸結(jié)基于語音信號(hào)和基于語譜圖2種.

1) 基于語音信號(hào)的方法.語音信號(hào)是一種非線性隨機(jī)并存在混沌的機(jī)制，就目前而言處理這種機(jī)制的模型主要語音信號(hào)的線性模型和非線性模型兩種.線性模型的理論基礎(chǔ)是確定性線性系統(tǒng)理，而非線性模型則視語音信號(hào)為一些調(diào)幅—調(diào)頻信號(hào)的疊加，其核心是瞬時(shí)頻率.在此之前本團(tuán)隊(duì)基于語音信號(hào)的普米語語音識(shí)別，已取得了一些成果[2-4].

2) 基于語譜圖的方法.語譜圖被稱為“可視化的語音”，二維平面上水平方向是時(shí)間軸，垂直方向是頻率軸，坐標(biāo)點(diǎn)值為語音數(shù)據(jù)能量，采用二維平面表達(dá)三維信息，顏色的深淺反映了語音能量值的大小.由于語譜圖的可視性較強(qiáng)，人們借助語譜圖完成了一系列的語音處理工作.潘凌云等[5]憑借語譜圖，利用自適應(yīng)閾值技術(shù)尋找每個(gè)音素段的邊緣，實(shí)現(xiàn)了音素的分割.宋洋[6]提取語譜圖的邊界特征和二值特征作為語譜特征，通過構(gòu)造BP神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)維吾爾語音素分類.唐閨臣等[7]通過提取語譜圖中的Hu不變矩特征、紋理特征和部分語譜特征，基于SVM實(shí)現(xiàn)了對(duì)語音情感的分類.向建軍等[8]將語譜圖的頻域圖矩陣進(jìn)行投影后的值作為特征值，并利用SVM實(shí)現(xiàn)2字漢語詞匯語音識(shí)別.Steinber等[9]通過將語譜圖進(jìn)行小波變換，對(duì)語譜圖邊緣進(jìn)行分割，實(shí)現(xiàn)了語音的識(shí)別.Ajmera等[10]利用Radon變換(RT)和離散余弦變換(DCT)從語譜圖中提取有效的聲學(xué)特征，實(shí)現(xiàn)與文本無關(guān)的說話人識(shí)別.Y Li[11]借助語譜圖提取LBP向量，利用動(dòng)態(tài)時(shí)間調(diào)整(DTW)算法實(shí)現(xiàn)LBP向量的最佳匹配，實(shí)現(xiàn)了說話人識(shí)別.Sain[12]通過提取語譜圖的數(shù)據(jù)驅(qū)動(dòng)特征，使用標(biāo)準(zhǔn)方差來定義語譜圖的特征，實(shí)現(xiàn)了語音分類，且魯棒性較高.

普米語孤立詞語譜圖分類屬于模式識(shí)別領(lǐng)域[13].目前，常用模式識(shí)別算法主要有：神經(jīng)網(wǎng)絡(luò)(ANN)[14]、k-近鄰分類器(KNNC)[15]、支持向量機(jī)(SVM)等.神經(jīng)網(wǎng)絡(luò)(ANN)、k-近鄰分類器(KNNC)進(jìn)行模型訓(xùn)練時(shí)需要大量訓(xùn)練樣本.此外，神經(jīng)網(wǎng)絡(luò)(ANN)是基于經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化，面臨“過學(xué)習(xí)的風(fēng)險(xiǎn)”問題.SVM是建立在統(tǒng)計(jì)學(xué)理論的VC維理論的結(jié)構(gòu)風(fēng)險(xiǎn)最小化準(zhǔn)則基礎(chǔ)之上，有很強(qiáng)的學(xué)習(xí)能力和泛化能力；針對(duì)有限小樣本情況，SVM可以得到現(xiàn)有信息下的最優(yōu)分類模式；算法最終轉(zhuǎn)換為一個(gè)凸2次規(guī)劃問題，可以得到全局最優(yōu)解[16].

各個(gè)獨(dú)立核的懲罰參數(shù)c和核函數(shù)參數(shù)g的確定將直接影響到SVM的分類效果.目前，各種不同的現(xiàn)代智能優(yōu)化方法被廣泛應(yīng)用于模式識(shí)別的參數(shù)優(yōu)化當(dāng)中，例如粒子群算法(PSO)[17]、遺傳算法(GA)[18]和模擬退火算法(SA)[19]等.這些算法在實(shí)際應(yīng)用中有著各自的優(yōu)缺點(diǎn)：PSO算法逼近最優(yōu)解速度快，但在處理復(fù)雜的多峰搜索問題時(shí)，局部尋優(yōu)能力較差；GA算法具有良好的并行搜索能力，但由于存在染色體的趨同效應(yīng)產(chǎn)生早熟現(xiàn)象；SA算法有較強(qiáng)的串行搜索能力，但收斂速度慢.免疫遺傳算法(IGA)[20]是在GA的基礎(chǔ)上發(fā)展起來的，它在保留GA隨機(jī)全局并行搜索優(yōu)點(diǎn)的同時(shí)，避免了GA中早熟現(xiàn)象的不利影響.

為了提高支持向量機(jī)的分類精度以及泛化能力，本文在對(duì)支持向量機(jī)中核函數(shù)性能進(jìn)行分析的基礎(chǔ)上，實(shí)現(xiàn)基于免疫遺傳優(yōu)化支持向量機(jī)的普米語孤立詞語譜圖分類.

2 支持向量機(jī)(SVM)

C-SVM是比較常見的二分類支持向量機(jī)模型，接下來將對(duì)C-SVM以及核函數(shù)進(jìn)行詳細(xì)介紹.

2.1 二分類支持向量機(jī)(C-SVM)

1) 設(shè)已知一個(gè)訓(xùn)練集：

T={(xi,yi),…,(xl,yl)}∈(X×Y)l.

(1)

其中，xi∈Rn,yi∈{-1,1},xi(i=1,…,l)是特征向量,yi是類別標(biāo)簽，yi對(duì)應(yīng)第i個(gè)輸入的特征向量xi.

2) 選取適當(dāng)?shù)膮?shù)C和核函數(shù)K(xi,xj)，并構(gòu)造如下最優(yōu)模型：

(2)

2.2 核函數(shù)

SVM中通過引入核函數(shù)，可以有效避免高維內(nèi)積運(yùn)算.在支持向量機(jī)中，常用核函數(shù)主要包括以下4種：

1)線性核函數(shù):K(X,Y)=K(X,Y)；

2)多項(xiàng)式核函數(shù):K(X,Y)=(X·Y+c)d;c為常數(shù),d為多項(xiàng)式階數(shù)；

3)高斯徑向基核函數(shù):K(X,Y)=exp(-γ‖X-Y‖2)， ‖X-Y‖是X-Y的2階范數(shù),c為常數(shù)；

4)兩層感知器核函數(shù):K(X,Y)=tan(ν(X,Y)-c)，c為衰減參數(shù),ν是刻度.

3 基于免疫遺傳優(yōu)化支持向量機(jī)的語譜圖分類

由于每個(gè)孤立詞語音信號(hào)音頻的不同，因此，每張語譜圖中頻率的情況也就不同.為此，需要對(duì)每張語譜圖進(jìn)行預(yù)處理：將語譜圖轉(zhuǎn)化為二值圖像，采用迭代最優(yōu)閥值法截取圖像中包含特征的最大區(qū)域，并將區(qū)域轉(zhuǎn)化為16×16大小的圖片.最終，語譜圖頻域的位置像素點(diǎn)灰度值為1，其他位置灰度值為0.本文將提取普米語孤立詞語譜圖的二值特征，每張語譜圖的特征是16×16維.

首先將原始數(shù)據(jù)分為訓(xùn)練集和測試集，由于對(duì)語譜圖進(jìn)行標(biāo)準(zhǔn)化處理，所以無需對(duì)數(shù)據(jù)進(jìn)行歸一化處理，之后利用訓(xùn)練樣本對(duì)SVM模型進(jìn)行訓(xùn)練，由得到的模型可以預(yù)測測試集對(duì)應(yīng)的分類標(biāo)簽，基于支持向量機(jī)的普米語語譜圖分類流程如圖1所示.

3．1 選定訓(xùn)練集和測試集

從語料庫中挑選普米語孤立詞80個(gè)，每個(gè)孤立詞讀5遍，總計(jì)得到400條普米語孤立詞語音.并將這400條語音經(jīng)過傅里葉變換生成語譜圖.從這400張語譜圖中隨機(jī)選擇320張作為訓(xùn)練集，80張作為測試集.提取每張語譜圖的二值特征，得到用以描述每個(gè)孤立詞語譜圖的一個(gè)16×16矩陣.

3.2 核函數(shù)的比較

對(duì)于相同的測試集，4種核函數(shù)的預(yù)測分類準(zhǔn)確率如圖1所示.

表1 4種核函數(shù)的預(yù)測分類準(zhǔn)確率

實(shí)驗(yàn)結(jié)果表明，采用徑向基函數(shù)作為SVM的核函數(shù)，預(yù)測分類準(zhǔn)確率最高.

3.3 網(wǎng)格法選擇最優(yōu)參數(shù)

在上述核函數(shù)的對(duì)比實(shí)驗(yàn)中，SVM中的c(懲罰參數(shù))和g(核函數(shù)參數(shù))是憑測試經(jīng)驗(yàn)給定的，因此，需要對(duì)參數(shù)進(jìn)行優(yōu)化.在使用SVM進(jìn)行分類時(shí)，一般是使用網(wǎng)格法對(duì)參數(shù)c和g進(jìn)行優(yōu)化，圖2為SVM的分類結(jié)果.x軸表示log2(c)的值，y軸表示log2(g)的值，等高線為取相應(yīng)的log2(c)和log2(g)值后，與之對(duì)應(yīng)的分類準(zhǔn)確率.圖2從實(shí)驗(yàn)結(jié)果圖可以得出，當(dāng)log2(c)的范圍縮小到[2,4]，log2(g)的范圍縮小到[-4,-3]時(shí)，在上述粗略選擇的基礎(chǔ)上再利用SVMcgForClass(Libsvm中的函數(shù)，可對(duì)參數(shù)進(jìn)行優(yōu)化)選擇更好的參數(shù).最終，網(wǎng)格法優(yōu)化分類準(zhǔn)確率為89%，此時(shí)c=5.278，g=0.062 5.

3.4 免疫遺傳算法尋找最優(yōu)參數(shù)

在采用網(wǎng)格優(yōu)化參數(shù)的過程中只能找到局部最優(yōu)參數(shù).由于免疫遺傳算法在遺傳算法中加入了免疫算子，能有效避免未成熟收斂問題.隨機(jī)全局并行搜索的特點(diǎn)，又保留種群中高適應(yīng)度的抗體，因此免疫遺傳算法被用于該模型參數(shù)的全局尋優(yōu)在免疫遺傳支持向量機(jī)(SVM)中，利用IGA優(yōu)化懲罰參數(shù)c和核函數(shù)參數(shù)g.首先以c和g構(gòu)造抗體初始向量:X=[c,g]，為了使SVM的實(shí)際輸出與期望輸出之間的誤差平方和達(dá)到最小，定義SVM訓(xùn)練樣本分類準(zhǔn)確率E(xi)作為適應(yīng)度函數(shù)f(xi)，且f(xi)=E(xi).其中，f(xi)為第i個(gè)抗體的適應(yīng)度，E(xi)表示第i個(gè)抗體對(duì)應(yīng)的支持向量機(jī)的交叉驗(yàn)證的分類平均正確率.IGA-SVM具體步驟如下，流程圖如圖3所示.

1)確定抗原、抗體、最大迭代次數(shù)及種群濃度閾值；

2)計(jì)算當(dāng)前抗體群的濃度及每個(gè)抗體的適應(yīng)度，對(duì)當(dāng)前種群中抗體的適應(yīng)度由高到低進(jìn)行排序，選出適應(yīng)度最高的抗體并保留；

3)若抗體群的抗體數(shù)目大于種群規(guī)模，則去除適應(yīng)度較低的抗體，以維系抗體群規(guī)模不變，否則繼續(xù)下一步；

4)若抗體群的濃度小于或等于閾值，則將保存的抗體替換適應(yīng)度最小的抗體并轉(zhuǎn)入下一步；否則對(duì)當(dāng)前抗體群中的適應(yīng)度相同的抗體進(jìn)行免疫接種，并隨機(jī)產(chǎn)生種群規(guī)模的40%的個(gè)體加入到當(dāng)前抗體群中；

5)計(jì)算當(dāng)前抗體群中的每一個(gè)抗體的適應(yīng)度；

6)根據(jù)抗體的適應(yīng)度算出相應(yīng)的選擇概率，接著進(jìn)行選擇、復(fù)制操作；

7)對(duì)抗體群進(jìn)行相應(yīng)的交叉、變異操作；

8)若滿足滿足終止條件，則停止程序；不滿足，則返回(2),繼續(xù)執(zhí)行.

基于IGA-SVM的普米語孤立詞語譜圖分類準(zhǔn)確率如圖4所示，從圖4可以看當(dāng)c=4.594 8和g=0.062 5時(shí)，分類準(zhǔn)確率可以達(dá)到91%.

4 結(jié)語

本文選用普米語孤立詞為研究對(duì)象, 采用徑向基函數(shù)做了2組對(duì)比實(shí)驗(yàn).基于網(wǎng)格法，得到了最優(yōu)參數(shù)c=5.278,g=0.062 5,分類準(zhǔn)確率為89%; 基于IGA-SVM，得到最優(yōu)參數(shù)c=4.594 8,g=0.062 5分類準(zhǔn)確率為91%.因此，免疫遺傳算法是普米語孤立詞語譜圖分類最有效的方法.