基于HMM的黔東南少數(shù)民族地區(qū)苗語(yǔ)連續(xù)語(yǔ)音識(shí)別系統(tǒng)研究

楊建菊　唐錄潔　龍虎

摘要：該文根據(jù)貴州黔東南少數(shù)民族地區(qū)苗族語(yǔ)言發(fā)音特點(diǎn)，對(duì)苗語(yǔ)連續(xù)語(yǔ)音識(shí)別系統(tǒng)進(jìn)行研究，并嘗試采用Sphinx工具應(yīng)用HMM方法，對(duì)苗語(yǔ)連續(xù)語(yǔ)音識(shí)別系統(tǒng)進(jìn)行初步設(shè)計(jì)和識(shí)別測(cè)試。

關(guān)鍵詞：HMM；連續(xù)語(yǔ)音識(shí)別；Sphinx；苗語(yǔ)

中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1009-3044（2017）31-0190-02

Research on Continuous Speech Recognition System of Miao Minority in Qiandongnan Minority Areas Based on HMM

YANG Jian-ju1，TANG Lu-jie2，LONG Hu1

（1. Big Data Engineering College ， Kaili University ，Kaili 556011，China；2. Information Network Center， Kaili University ，Kaili 556011，China）

Abstract： According to the Guizhou ethnic minority area of Qiandongnan Miao language pronunciation characteristics of Miao language continuous speech recognition system， and try to use Sphinx tools using HMM method， continuous speech recognition system and recognition test for the preliminary design of the Miao language.

Key words：HMM； continuous speech recognition； Sphinx； Miao language

隨著語(yǔ)音識(shí)別技術(shù)的廣泛應(yīng)用使其成為國(guó)內(nèi)外研究的熱點(diǎn)之一，語(yǔ)音識(shí)別主要包括語(yǔ)音層和語(yǔ)言層識(shí)別兩部分，根據(jù)說(shuō)話人依賴程度可分為特定人語(yǔ)音識(shí)別與非特定人語(yǔ)音識(shí)別，而根據(jù)說(shuō)話人要求不同可分為孤立詞識(shí)別與連續(xù)語(yǔ)音識(shí)別等。

苗語(yǔ)是孤立語(yǔ)系，屬于我國(guó)少數(shù)民族方言，目前苗語(yǔ)根據(jù)不同地域發(fā)音特點(diǎn)不同可分為東部、中部、西部及滇東北四個(gè)方言，其中苗語(yǔ)中部方言又叫黔東方言是苗語(yǔ)的重要分支，主要分布在貴州省東南部、廣西省最北部和湖南省西南角，本文在此以分布在貴州省黔東南苗族侗族自治區(qū)凱里市三棵樹鎮(zhèn)及輻射周邊地區(qū)的中部方言苗語(yǔ)為原型，對(duì)苗語(yǔ)連續(xù)語(yǔ)音識(shí)別系統(tǒng)進(jìn)行研究設(shè)計(jì)。

1 系統(tǒng)結(jié)構(gòu)組成

連續(xù)語(yǔ)音識(shí)別系統(tǒng)可分為四個(gè)部分，分別為特征提取、聲學(xué)模型訓(xùn)練、語(yǔ)言模型訓(xùn)練和解碼器等，如下圖1所示。

首先對(duì)語(yǔ)音數(shù)據(jù)庫(kù)中語(yǔ)音先進(jìn)行預(yù)處理，濾掉背景噪聲和不重要信息，并進(jìn)行語(yǔ)音信號(hào)端點(diǎn)檢測(cè)、語(yǔ)音分幀以及預(yù)加重等處理，然后提取語(yǔ)音特征，根據(jù)訓(xùn)練語(yǔ)音庫(kù)的特征參數(shù)訓(xùn)練出聲學(xué)模型，對(duì)訓(xùn)練文本數(shù)據(jù)庫(kù)進(jìn)行語(yǔ)法、語(yǔ)義分析得到訓(xùn)練模型，最后對(duì)輸入語(yǔ)音信號(hào)根據(jù)訓(xùn)練聲學(xué)模型、語(yǔ)言模型及字典建立識(shí)別網(wǎng)絡(luò)進(jìn)行語(yǔ)音識(shí)別。本文采用Sphinx語(yǔ)音識(shí)別系統(tǒng)工具進(jìn)行系統(tǒng)設(shè)計(jì)。

2 特征提取

特征提取主要是去除語(yǔ)音信號(hào)中無(wú)用冗余信息，并提取出能夠反映語(yǔ)音信號(hào)特征的關(guān)鍵特征參數(shù)形成特征矢量序列過(guò)程。目前提取特征方法主要采用Mel頻率倒譜系數(shù)（MFCC），在Sphinx中主要采用MFCC特征提取，首先用幀F(xiàn)rames窗分割語(yǔ)音波形，每一幀有10ms，然后每一幀提取代表改幀語(yǔ)音的39個(gè)數(shù)字，即得到該幀語(yǔ)音MFCC特征，并用特征向量來(lái)表示。

3 聲學(xué)模型建立及訓(xùn)練

聲學(xué)模型主要用于計(jì)算語(yǔ)音特征和每個(gè)發(fā)音模板之間的似然度，目的是為每一個(gè)聲學(xué)單元建立一套模型參數(shù)；本文采用音素作為訓(xùn)練基本單位，并選用苗語(yǔ)中聲母、韻母作為基本聲學(xué)單元進(jìn)行建模訓(xùn)練，苗語(yǔ)發(fā)音中主要音素有58個(gè)，采用HMM連續(xù)語(yǔ)音識(shí)別模式為上下文相關(guān)模式，HMM通常由左向右單向、帶自環(huán)、帶跨越的拓?fù)浣Y(jié)構(gòu)識(shí)別基元建模，一個(gè)音素就是一個(gè)三至五狀態(tài)的HMM，單個(gè)詞則由構(gòu)成詞的多個(gè)音素HMM串行構(gòu)成，連續(xù)語(yǔ)音識(shí)別模型則由詞和靜音組合起來(lái)的HMM。以苗語(yǔ)“Laox sib mongx sod”（老師您早）句子為例，進(jìn)行分詞處理后，可得到音素表如表1所示。

4 訓(xùn)練語(yǔ)言模型

語(yǔ)言模型是用來(lái)計(jì)算一個(gè)句子出現(xiàn)概率的概率模型。主要決定了哪個(gè)詞序列的可能性更大，或者在出現(xiàn)了幾個(gè)詞的情況下能夠預(yù)測(cè)下一個(gè)即將出現(xiàn)的詞語(yǔ)的內(nèi)容，即語(yǔ)言模型是用來(lái)描述詞與詞之間存在符合語(yǔ)法與否約束的，本文采用N-Gram模型來(lái)完成對(duì)訓(xùn)練音頻文件對(duì)應(yīng)文本文件進(jìn)行統(tǒng)計(jì)，N-Gram模型是基于這樣一種假設(shè)，每個(gè)詞N的出現(xiàn)不再與其前面全部上下文歷史相關(guān)，而只與前面N-1個(gè)詞相關(guān)，整個(gè)句子的概率就是各個(gè)詞出現(xiàn)概率的乘積。通常用的是二元的Bi-Gram和三元的Tri-Gram。Sphinx中是采用二元語(yǔ)法和三元語(yǔ)法的統(tǒng)計(jì)語(yǔ)言概率模型，即通過(guò)前一個(gè)或兩個(gè)單詞來(lái)判定當(dāng)前單詞出現(xiàn)的概率P（w2| w1），P（w3| w2， w1）。

5 系統(tǒng)數(shù)據(jù)源

5.1 語(yǔ)音數(shù)據(jù)庫(kù)

本文在此主要以中部苗語(yǔ)中分布在貴州黔東南苗族侗族自治區(qū)凱里市三棵樹鎮(zhèn)及周邊地區(qū)語(yǔ)音為準(zhǔn)音進(jìn)行研究，本語(yǔ)音數(shù)據(jù)庫(kù)收錄共2小時(shí)錄音，訓(xùn)練句子200條，發(fā)音人共4人，測(cè)試用句子20條，共兩人發(fā)音，收錄共1小時(shí)。

5.2 文本數(shù)據(jù)庫(kù)

文本數(shù)據(jù)庫(kù)包括用來(lái)準(zhǔn)備訓(xùn)練的文本集合，大多數(shù)句子是任意指定的，最好覆蓋想要識(shí)別的句子里面包含的高頻單詞或者音素。本系統(tǒng)研究使用苗文文字為1957年12月國(guó)務(wù)院公布《關(guān)于少數(shù)民族文字方案中設(shè)計(jì)字母的幾項(xiàng)原則》中規(guī)定苗文文字，按照規(guī)定苗語(yǔ)四大方言都以拉丁字母為基礎(chǔ)的拼音文字，本系統(tǒng)文本數(shù)據(jù)庫(kù)中所選苗文句子為貴州省凱里學(xué)院少數(shù)民族本科及五年制大專班開設(shè)特色課程苗族語(yǔ)言課程教材《苗族語(yǔ)文-中部方言》中的簡(jiǎn)單苗文對(duì)話部分，其中訓(xùn)練語(yǔ)句200條，測(cè)試用句子20條。

6 語(yǔ)音解碼和搜索算法

語(yǔ)音解碼即指語(yǔ)音技術(shù)中的識(shí)別過(guò)程。本系統(tǒng)中根據(jù)之前已經(jīng)訓(xùn)練好的HMM聲學(xué)模型、語(yǔ)言模型及字典建立一個(gè)識(shí)別網(wǎng)絡(luò)，然后再根據(jù)搜索算法通過(guò)該網(wǎng)絡(luò)尋找一條最佳路徑，即尋找最優(yōu)詞串方法。Sphinx中解碼技術(shù)采用基于動(dòng)態(tài)規(guī)劃的Viterbi搜索算法，該算法思想是遍歷HMM狀態(tài)網(wǎng)絡(luò)且保留每一幀語(yǔ)音在某個(gè)狀態(tài)最優(yōu)路徑得分。通常搜索需要進(jìn)行多遍，第一遍使用代價(jià)低的知識(shí)源，比如聲學(xué)模型、語(yǔ)言模型和音標(biāo)詞典等，生成一個(gè)候選列表或候選網(wǎng)格，第二遍再在該基礎(chǔ)上使用代價(jià)高的知識(shí)源，如4階或5階的N-Gram、4階或更高的上下文相關(guān)模型等，找到最佳路徑。

7 實(shí)驗(yàn)環(huán)境及識(shí)別測(cè)試

本系統(tǒng)所有軟件編譯運(yùn)行環(huán)境都是在Win7操作系統(tǒng)下進(jìn)行，其中選用Sphinxtrain-1.0.8作為聲學(xué)模型訓(xùn)練工具，Cmuclmtk-0.7作為語(yǔ)言模型訓(xùn)練工具，解碼器選擇Pocketsphinx和Sphinxbase-0.8。

識(shí)別完成后，可將識(shí)別結(jié)果數(shù)據(jù)與原始語(yǔ)料數(shù)據(jù)進(jìn)行對(duì)比，計(jì)算出識(shí)別正確率分別為：

句子識(shí)別正確率為：

Scrr=（[1-EsntSnt]）×100%

單詞識(shí)別正確率為：

Wcrr=[Wrd-Ins-Del-SubWrb]×100%

8 結(jié)束語(yǔ)

本文在此對(duì)基于HMM的黔東南少數(shù)民族地區(qū)苗語(yǔ)連續(xù)語(yǔ)音識(shí)別系統(tǒng)中的關(guān)鍵技術(shù)包括特征提取、訓(xùn)練及識(shí)別算法等進(jìn)行研究，并采用Sphinx工具進(jìn)行系統(tǒng)設(shè)計(jì)，但離成熟穩(wěn)定的識(shí)別系統(tǒng)還有一定差距，尤其規(guī)模小、模型復(fù)雜等方面還需要有待改進(jìn)，本文研究對(duì)于今后苗語(yǔ)連續(xù)語(yǔ)音識(shí)別系統(tǒng)進(jìn)一步研究起到借鑒和促進(jìn)作用。

參考文獻(xiàn)：

[1] 楊濤，范國(guó)祖，熊毅. 苗族語(yǔ)文-中部方言[M]. 成都：西南交通大學(xué)出版社，2015.

[2] 劉妍秀，付海東. 基于HMM的連續(xù)語(yǔ)音識(shí)別系統(tǒng)的構(gòu)建與研究[J].長(zhǎng)春大學(xué)出版社，2015（2）.

[3] 王一蒙. 語(yǔ)音識(shí)別關(guān)鍵技術(shù)研究[D]. 成都：電子科技大學(xué)，2015.

[4] 牧仁高娃. 蒙古語(yǔ)語(yǔ)音識(shí)別相關(guān)問(wèn)題研究[D]. 呼和浩特：內(nèi)蒙古大學(xué)，2013.