基于智能手機(jī)的維吾爾語語音控制系統(tǒng)的開發(fā)

米爾阿迪力江·麥麥提　吾守爾·斯拉木,2　努爾麥麥提·尤魯瓦斯,2

熱依曼·吐爾遜1,2　艾尼宛爾·托乎提21(新疆大學(xué)信息科學(xué)與工程學(xué)院　新疆 烏魯木齊 830046)2(新疆大學(xué)新疆多語種信息技術(shù)重點(diǎn)實(shí)驗(yàn)室　新疆 烏魯木齊 830046)

?

基于智能手機(jī)的維吾爾語語音控制系統(tǒng)的開發(fā)

米爾阿迪力江·麥麥提1吾守爾·斯拉木1,2努爾麥麥提·尤魯瓦斯1,2

熱依曼·吐爾遜1,2艾尼宛爾·托乎提21(新疆大學(xué)信息科學(xué)與工程學(xué)院新疆 烏魯木齊 830046)2(新疆大學(xué)新疆多語種信息技術(shù)重點(diǎn)實(shí)驗(yàn)室新疆 烏魯木齊 830046)

摘要以實(shí)現(xiàn)維吾爾語命令詞識(shí)別為目的，重點(diǎn)研究維吾爾語命令詞識(shí)別系統(tǒng)在Android平臺(tái)下的開發(fā)與實(shí)現(xiàn)過程，介紹系統(tǒng)開發(fā)難點(diǎn)、核心技術(shù)及系統(tǒng)典型的幾個(gè)功能。系統(tǒng)主要由Android開發(fā)包、Eclipse集成開發(fā)環(huán)境和API接口進(jìn)行開發(fā)，并且通過自動(dòng)選型規(guī)則來實(shí)現(xiàn)維漢英多種文字的正確顯示及處理等問題，針對(duì)廣大用戶的不同說話方式，重新構(gòu)建維吾爾語語音語法文件，解決各地不同方言問題。在一般實(shí)驗(yàn)室環(huán)境下做實(shí)驗(yàn)得到了90.56%的正確識(shí)別率和85.00%的成功執(zhí)行率等測(cè)試結(jié)果，表明維吾爾語非特定人命令詞識(shí)別研究中語法文件的結(jié)構(gòu)及構(gòu)建對(duì)系統(tǒng)有不同的影響。

關(guān)鍵詞Android平臺(tái)維吾爾語關(guān)鍵詞識(shí)別槽語法命令詞識(shí)別

0引言

近幾年在新疆使用智能手機(jī)的用戶越來越多，它將成為人們獲取信息的主要設(shè)備，因此基于手機(jī)的應(yīng)用軟件愈來愈受到人們的關(guān)注和重視。目前Android技術(shù)是一個(gè)先進(jìn)的、具有高人氣的技術(shù)，它還是一個(gè)開放性移動(dòng)設(shè)備綜合平臺(tái)[1]。

我國是一個(gè)多民族的國家，新疆是個(gè)多民族地區(qū)之一[2]，Android平臺(tái)的維吾爾語手機(jī)語音控制軟件一直以來都是少數(shù)民族市場(chǎng)上的空白。在國外，關(guān)鍵詞識(shí)別的研究初始于20世紀(jì)70年代，那時(shí)此研究序幕由Bridle[3]揭開的只稱“給定詞”識(shí)別，當(dāng)時(shí)沒有使用語法或詞法信息，而是利用信號(hào)的LPC表示連續(xù)語音中的關(guān)鍵詞進(jìn)行了檢測(cè)和定位。到80年代，Myers等人[4]利用基于DTW的局部最小算法來對(duì)關(guān)鍵詞識(shí)別和連接詞識(shí)別進(jìn)行研究。90年代MIT、CMU和Dragon、Toshiba和IBM等公司就對(duì)KWS的研究得到了進(jìn)一步發(fā)展，國外已經(jīng)進(jìn)入了高潮，但是國內(nèi)研究歷史并不久。國內(nèi)利用基于音節(jié)的一種漢語無限制語音流的關(guān)鍵詞識(shí)別系統(tǒng)，采用了獨(dú)特的統(tǒng)計(jì)拒識(shí)方法[5]?？拼笥嶏w作為國內(nèi)和國際語音技術(shù)產(chǎn)業(yè)的領(lǐng)導(dǎo)者，國內(nèi)語音技術(shù)及中文關(guān)鍵詞識(shí)別、命令詞識(shí)別技術(shù)進(jìn)入了更高的一層。國內(nèi)外連續(xù)語音識(shí)別及關(guān)鍵詞識(shí)別技術(shù)取得了一定的成就，市場(chǎng)上也出現(xiàn)了一些應(yīng)用產(chǎn)品，可是我國少數(shù)民族對(duì)關(guān)鍵詞識(shí)別技術(shù)的研究與開發(fā)正處在初期階段。

本文利用維吾爾語朗讀式的語料訓(xùn)練而得到的聲學(xué)模型作為本文命令詞識(shí)別系統(tǒng)的聲學(xué)模型，然后基于規(guī)則的方式，建立了槽語法文件。此文件由15個(gè)槽(slot) 和三個(gè)語法規(guī)則()構(gòu)成，再利用英國劍橋大學(xué)研發(fā)出的基于隱馬爾科夫模型的語音識(shí)別工具包HTK(HTKToolkit)得到其語言模型，最終將利用槽語法規(guī)則進(jìn)行指導(dǎo)語音命令與控制。用聲學(xué)模型及構(gòu)建的語言模型，通過HTK的HVite[6,7]對(duì)收集的測(cè)試數(shù)據(jù)的識(shí)別率進(jìn)行了測(cè)試。在訓(xùn)練和構(gòu)建好的聲學(xué)模型和語言模型的基礎(chǔ)上，開發(fā)出此語音控制軟件，從而實(shí)現(xiàn)了打電話、發(fā)短信、打開應(yīng)用、網(wǎng)絡(luò)導(dǎo)航、活動(dòng)提醒、播放音樂、考試信息、新聞、天氣查詢及地圖查詢等十大功能，并且對(duì)各“意圖”進(jìn)行了實(shí)際的人工測(cè)試，得到了良好的測(cè)試結(jié)果。

1軟件總體架構(gòu)及設(shè)計(jì)

1.1系統(tǒng)層次結(jié)構(gòu)

本系統(tǒng)的設(shè)計(jì)首先通過對(duì)用戶的需求進(jìn)行一系列的調(diào)查與分析，最終明確了該系統(tǒng)的使用對(duì)象及其功能。即本軟件的主要任務(wù)是在方便、有效的原則上為廣大維吾爾族群眾用戶提供一個(gè)維吾爾語語音控制平臺(tái)，本系統(tǒng)的總功能劃分如圖1所示。

圖1　系統(tǒng)總功能結(jié)構(gòu)圖

從圖1所示可知，此軟件主要是由如下11個(gè)主模塊組成：打電話、發(fā)短信、打開應(yīng)用、網(wǎng)絡(luò)導(dǎo)航、播放音樂、活動(dòng)提醒、獲取考試信息、獲取新聞、天氣查詢、地圖查詢模塊及軟件附加模塊等。

1.2系統(tǒng)設(shè)計(jì)

圖2　輸入處理模塊流程圖

系統(tǒng)開發(fā)中利用Android的API函數(shù)接口，同時(shí)引用科大訊飛公司研究院所提供的安卓底層語音處理API接口和它所包含的AitalkRecognizer類的類方法getInstance( )和調(diào)用創(chuàng)建語音識(shí)別引擎的createAitalkEngine( )方法等核心方法。軟件啟動(dòng)之前通過sdCard.getAbsolutePath( )必須獲取用戶SD卡的絕對(duì)路徑，然后在用戶的SD卡上通過File( )類在此絕對(duì)路徑上創(chuàng)建一個(gè)"MyFiles"文件夾，再將我們預(yù)先準(zhǔn)備的語法文件(grammar.bnf)放入到絕對(duì)路徑上。對(duì)此語法文件進(jìn)行動(dòng)態(tài)修改，并將最初需要對(duì)用戶說的維吾爾文通過UygToLat()方法來轉(zhuǎn)換為拉丁文，并以拉丁文來進(jìn)行后續(xù)操作，運(yùn)行流程如圖2所示。

2難點(diǎn)及核心技術(shù)

2.1維吾爾文處理

Android手機(jī)不支持從右向左的文字輸入方向和系統(tǒng)輸入法，為維吾爾文輸入及處理帶來一定的難度。維文字母與漢英文的不同，其特點(diǎn)主要表現(xiàn)在： 1) 書寫方向相反。漢字和西文是從左到右, 而維文是從右到左； 2) 維吾爾文字母根據(jù)在單詞中的位置不同會(huì)有四種變形； 3) 每個(gè)界面按鈕和文本標(biāo)簽都是維吾爾文，命令都是普遍的維吾爾的標(biāo)準(zhǔn)詞匯。系統(tǒng)中主要是用自動(dòng)選型處理和字母序列轉(zhuǎn)換函數(shù)來處理維吾爾文的正常顯示和處理方式(如圖3所示)。圖中i為當(dāng)前需要選形的字母，i-1是當(dāng)前字母前面的字符，i+1是當(dāng)前字母后面的字符，設(shè)定i-1、i、i+1字符值為0(特殊字母或非維文字母)或1( 普通字母) ，當(dāng)i-1、i、i+1字符值為不同的值時(shí)，i字符選形也不同。即使用戶手機(jī)沒裝維文字體和輸入法，該軟件也能有效解決處理。

圖3　系統(tǒng)總流程圖

2.2語音關(guān)鍵詞識(shí)別技術(shù)

在維吾爾語關(guān)鍵詞識(shí)別系統(tǒng)中如何理解用戶的意圖是一個(gè)非常棘手的問題。本系統(tǒng)先利用已經(jīng)準(zhǔn)備好的語料庫進(jìn)行前段處理、訓(xùn)練，從而建立聲學(xué)模型；再規(guī)定語法文件，通過網(wǎng)絡(luò)化結(jié)構(gòu)的轉(zhuǎn)換，得到語言模型；為了得到識(shí)別結(jié)果，依據(jù)已建好的聲學(xué)模型和語言模型，利用一定的搜索算法，對(duì)輸入的測(cè)試數(shù)據(jù)進(jìn)行搜索匹配，再給出最終結(jié)果。關(guān)鍵詞識(shí)別系統(tǒng)主要有隱馬爾可夫模型(HMM)，動(dòng)態(tài)時(shí)間歸正技術(shù)(DTW)和人工神經(jīng)元網(wǎng)絡(luò)(ANN)等模式匹配方法[8]。因此本實(shí)驗(yàn)也利用了應(yīng)用最廣泛、最成功的基于統(tǒng)計(jì)模型的HMM搜索匹配法[9]。

2.3槽語法

語法文件的創(chuàng)建在本系統(tǒng)開發(fā)過程中起著至關(guān)重要的核心作用。本文采用的是基于巴克斯范式BNF(Backus-NaurForm)的槽語法(SlotGrammar)[10]。將系統(tǒng)設(shè)定為只接受該語法約束下的信息查詢語句，卻略去無關(guān)信息，從而提高系統(tǒng)的性能和效率。一般槽語法中，槽的個(gè)數(shù)不能太多，因?yàn)楫?dāng)槽的個(gè)數(shù)太多，且也有嵌套層級(jí)的情況時(shí)，將會(huì)導(dǎo)致產(chǎn)生的語法網(wǎng)絡(luò)較復(fù)雜，直接影響語法靜態(tài)擴(kuò)展無法實(shí)現(xiàn)。

創(chuàng)建語法文件后利用HTK的HParse[11,12]工具得到語言模型，因此該文件的構(gòu)造是整個(gè)系統(tǒng)的最核心技術(shù)。本系統(tǒng)槽語法文件是按規(guī)定維吾爾文所對(duì)應(yīng)的拉丁文(如表1所示)書寫的。槽語法由!slot、!grammar以及< >,[ ],||組成。除此之外，還有 :||(三個(gè)action是不同的三種規(guī)則)；可看出各個(gè)語法規(guī)則間是 “︱”即“或”的關(guān)系，還有些符號(hào)是在表2中給出說明。槽語法具有很強(qiáng)的約束性，因此系統(tǒng)僅會(huì)接受這種語法規(guī)則下的命令詞信息，且只會(huì)按照這種已規(guī)定的語法進(jìn)行搜索，不能進(jìn)行“回退”。主要用處就是允許語音應(yīng)用程序通知語音識(shí)別器應(yīng)該聽到的內(nèi)容，這些內(nèi)容包括：可能被說出的單詞、那些可能出現(xiàn)的單詞模式和每個(gè)單詞的語言等。

表1國際標(biāo)準(zhǔn)維文拉丁文對(duì)照表

表2　槽語法中各個(gè)字符的含義

grammar語法名稱!slot表示槽的聲明。語法網(wǎng)絡(luò)以!slot開始,以″;″結(jié)束!slot<>其內(nèi)的內(nèi)容是槽名稱!start定義規(guī)則起始節(jié)點(diǎn)槽<>定義規(guī)則起始節(jié)點(diǎn)的名稱,槽為必選項(xiàng)[]槽為可選項(xiàng),可內(nèi)容是可選,有無對(duì)語句無影響︱表示在其左右兩邊任選一項(xiàng),表示″或″的意思$表示空格

3軟件功能實(shí)現(xiàn)

3.1實(shí)現(xiàn)打電話功能

首先識(shí)別用戶所說的語音命令后，通過PrintContacts(c)方法，動(dòng)態(tài)地查找和獲取用戶手機(jī)上的聯(lián)系人信息，調(diào)用matcher(contactDisplayName)方法來解決不符合條件的維吾爾文聯(lián)系人，然后需要引用startTalk(this,″nlp″)方法，在編寫的onButtonRetryClick( )方法中調(diào)用命令詞的識(shí)別，從而將會(huì)節(jié)省用戶在一批聯(lián)系人中的查找并翻閱的時(shí)間，從而更方便、快捷地完成用戶打電話的需求。識(shí)別用戶的命令，及轉(zhuǎn)換為拉丁文，后將用戶所說的語句顯示在手機(jī)屏幕上，根據(jù)mType=1的情況，提取槽語法中“打電話”的槽“!slot;”，然后以語法文件的匹配規(guī)則[13,14]來獲取聯(lián)系人。除此，當(dāng)用戶聯(lián)系人列表修改時(shí)，可在槽語法中將會(huì)自動(dòng)地更新相應(yīng)的槽。系統(tǒng)主界面與該模塊實(shí)現(xiàn)如圖4、圖5所示(給“吾守爾斯拉木”打電話)。

圖4　系統(tǒng)主界面圖　　圖5　打電話功能實(shí)現(xiàn)圖

3.2實(shí)現(xiàn)打開應(yīng)用功能

圖6　打開應(yīng)用實(shí)現(xiàn)圖

4實(shí)驗(yàn)與結(jié)果分析

4.1實(shí)驗(yàn)數(shù)據(jù)與環(huán)境

本文利用英國劍橋大學(xué)研發(fā)出的基于隱馬爾科夫模型[15]的HTK工具，并且在使用HTK進(jìn)行特征提取、訓(xùn)練及得到聲學(xué)模型[16,17]的基礎(chǔ)上，利用建立的語法文件進(jìn)行了語言模型的構(gòu)建[18]，再搭建本維吾爾語語音控制軟件能夠運(yùn)行的Android開發(fā)平臺(tái)。

訓(xùn)練集：一般環(huán)境下(如無人的教室、辦公室等)，錄制朗讀式連續(xù)語音作為訓(xùn)練集[19]。發(fā)音人是18～30歲的成年人總共356個(gè)人(189女，167男)，共發(fā)聲128小時(shí)的2456條語句，發(fā)音人配置高寶立式麥克風(fēng)，阻抗160om、靈敏度56±3dB，頻率范圍100～16 000Hz。采樣率選擇16KHz、采樣位選擇16Bit。語音數(shù)據(jù)以wav文件格式存儲(chǔ)，共有50 000多條語音文件。

測(cè)試集：錄制的軟件為CoolEdit2.0，語音采樣頻率為16KHz、采樣位選擇16Bit、單聲道格式，共有300個(gè)語音文件，即對(duì)于每一個(gè)語法規(guī)則分別錄制了100個(gè)文件。語音數(shù)據(jù)以wav文件格式存儲(chǔ)。

4.2實(shí)驗(yàn)測(cè)試結(jié)果

測(cè)試環(huán)境為：系統(tǒng)安裝至單核、RAM256、ROM256,及系統(tǒng)版本是Android2.3.3的華為G606-T00和HTC智能手機(jī)、并在安靜的實(shí)驗(yàn)室環(huán)境內(nèi)進(jìn)行了對(duì)于軟件核心部分“意圖”的人工實(shí)際測(cè)試。其中成功執(zhí)行個(gè)數(shù)指的是在識(shí)別的基礎(chǔ)上能夠正確執(zhí)行指令的個(gè)數(shù)，而執(zhí)行失敗指的是能識(shí)別但是未成功執(zhí)行的個(gè)數(shù)。除此，識(shí)別正確率為正確識(shí)別個(gè)數(shù)除以總數(shù)、成功執(zhí)行率為成功執(zhí)行個(gè)數(shù)除以總數(shù)而得。噪聲等周邊環(huán)境[20]、底層語音識(shí)別率、用戶聲音低或者地方口音偏重、發(fā)音不夠清晰正確及命令列表中不存在該詞匯等不能正確識(shí)別。測(cè)試結(jié)果如表3所示。

表3　對(duì)用戶“意圖”執(zhí)行的測(cè)試結(jié)果表

5結(jié)語

本文以維吾爾語語法的特點(diǎn)出發(fā)，在符合命令詞的語法形式的條件下，建立了維吾爾語命令詞識(shí)別的槽語法文件，通過使用HTK得到其語法網(wǎng)絡(luò)及語言模型，并且對(duì)于一些出現(xiàn)的帶地方口音的單詞及一些新型詞匯等，對(duì)最終結(jié)果有一定的影響。未來用戶使用發(fā)短信功能時(shí)本系統(tǒng)上將增加語音輸入功能，除此還需要增加語音合成功能，為了使少數(shù)民族用戶使用更加方便的語音軟件，讓系統(tǒng)達(dá)到更加完美效果，對(duì)系統(tǒng)進(jìn)行更加智能化分析、添加語音翻譯器是下一步研究重點(diǎn)。

參考文獻(xiàn)

[1] 韓超,梁泉.Android系統(tǒng)原理及開發(fā)要點(diǎn)詳解[M].北京:電子工業(yè)出版社,2010:340-343.

[2] 熱依曼·吐爾遜,吾守爾,努爾麥麥提.多文種手機(jī)混合輸入/輸出技術(shù)及實(shí)現(xiàn)[J].計(jì)算機(jī)工程與科學(xué),2006,28(4):103-104,118.

[3]BridleJS.AnEfficientElastic-TemplateMethodforDetectingGivenWordsinRunningSpeech[C]//Brit.Acoust.Soc.Meeting,1973.

[4]MyersCS,RabinerLR,RosenbergAE.AnInvestigationoftheUseofDynamicTimeWarpingforWordSpottingandConnectedWordRecognition[C]//Proc.Conf.ASSP,April.1980:173-177.

[5] 徐明星,鄭方,吳文虎,等.連續(xù)語音關(guān)鍵詞識(shí)別系統(tǒng)的拒識(shí)方法研究[J].清華大學(xué)學(xué)報(bào):自然科學(xué)版,1998,38(S1):89-91.

[6] 陶梅,吾守爾·斯拉木,那斯?fàn)柦ね聽栠d.基于HTK的維吾爾語連續(xù)語音聲學(xué)建模[J].中文信息學(xué)報(bào),2008,22(5):56-59.

[7]SteveYoung,GunnarEvermann,MarkGales,etal.HTKBOOK[M].HTKVersion3.4.CambridgeUniversityEngineeringDepartment,March,2009:199-211.

[8] 那斯?fàn)柦ね聽栠d,吾守爾·斯拉木.基于隱馬爾可夫模型的維吾爾語連續(xù)語音識(shí)別系統(tǒng)[J].計(jì)算機(jī)應(yīng)用,2009,29(7):2009-2012.

[9]WilponJG,LeeCH,RabinerLR.ApplicationofHiddenMarkovModelsforRecognitionofaLimitedSetofWordsinUnconstrainedSpeech[C]//ICASSP,1989,3(1):254-257.

[10]RohlicekJR,RusselW,RoukosS,etal.ContinuousHiddenMarkovModelingforSpeaker-IndependentWordSpotting[C]//ICASSP,1989,1(1):627-630.

[11] 李星星.基于HMM的漢語語音關(guān)鍵詞檢測(cè)研究與實(shí)現(xiàn)[D].武漢理工大學(xué),2009.

[12]RoseRC,PaulDB.AHiddenModelBasedKeywordRecognitionSystem[C]//ICASSP,1990,1(1):129-132.

[13]ChristiansenRW,RushforthCK.DetectingandLocatingKeyWordsinContinuousSpeechUsingLinearPredictiveCoding[J].IEEETrans.onASSP,1977,25(5):361-367.

[14]AlanLHiggins,RobertEWohlford.KeywordRecognitionUsingTemplateConcatenation[C]//ICASSP,1985,1(3):1233-1236.

[15] 鄭方.連續(xù)無限制語音流中關(guān)鍵詞識(shí)別方法研究[D].北京:清華大學(xué),1997.

[16] 努爾麥麥提·尤魯瓦斯,吾守爾·斯拉木.面向大詞匯量的維吾爾語連續(xù)語音識(shí)別研究[J].計(jì)算機(jī)工程與應(yīng)用,2013,49(9):115-119.

[17] 努爾麥麥提·尤魯瓦斯,吾守爾·斯拉木,熱依曼·吐爾遜.維吾爾語連續(xù)語音識(shí)別聲學(xué)模型優(yōu)化研究[J].計(jì)算機(jī)工程與應(yīng)用,2013,49(2):145-147.

[18] 努爾麥麥提·尤魯瓦斯,吾守爾·斯拉木,熱依曼·吐爾遜.基于音節(jié)的維吾爾語大詞匯連續(xù)語音識(shí)別系統(tǒng)[J].清華大學(xué)學(xué)報(bào):自然科學(xué)版,2013,53(6):741-744.

[19] 努爾麥麥提·尤魯瓦斯,吾守爾·斯拉木,熱依曼·吐爾遜.維吾爾語大詞匯語音識(shí)別系統(tǒng)識(shí)別單元研究[J].北京大學(xué)學(xué)報(bào):自然科學(xué)版,2014,50(1):149-152.

[20]TakebayashiY,TsuboiH,Kanazawa.ARobustSpeechRecognitionSystemUsingWord-SpottingwithNoiseImmunityLearning[C]//ICASSP,1991,2(1):905-908.

DEVELOPMENT OF UYGHUR VOICE CONTROL SYSTEM BASED ON SMART PHONE

Miradeljan Mamat1Wushour Ialam1,2Nurmamat Yolwas1,2Rayima Tursun1,2Anwar Tohti2

1(College of Information Science and Engineering,Xinjiang University,Urumqi 830046,Xinjiang,China)2(Key Laboratory of Xinjiang Multilingual IT,Xinjiang University,Urumqi 830046,Xinjiang,China)

AbstractWith the purpose of implementing Uyghur command words recognition, we elaborately studied the development and implementation process of Uyghur command words recognition system on Android platform, introduced the development difficulties, core technologies and typical functions of the system. The system was developed mainly using Android SDK, eclipse integrated development environment and API interfaces, and realised the functions of correct display and processing of multiple texts of Uyghur, Chinese and English through automatic styles selection rule. Aiming at different speaking styles of the majority of users, we rebuilt Uyghur voice and grammar files, and solved the problem of different dialects around the Region. Moreover we gained the testing results of right recognition rate of 90.56% and the successful implementation rate of 85% in the experiment made in usual Lab condition, this showed that in the research of Uyghur non-specific command words recognition, the structure and construction of grammar files had different effects on system.

KeywordsAndroid platformUyghurKeyword recognitionSlot grammarCommand words recognition

收稿日期：2014-08-23。國家自然科學(xué)基金項(xiàng)目(60762006)；國家工信部電子發(fā)展重大項(xiàng)目(159018)；新疆自治區(qū)自然科技項(xiàng)目(2011 211A012)。米爾阿迪力江·麥麥提，碩士生，主研領(lǐng)域：嵌入式智能應(yīng)用開發(fā)，語音處理，自然語言處理。吾守爾·斯拉木，教授。努爾麥麥提·尤魯瓦斯，講師。熱依曼·吐爾遜，副教授。艾尼宛爾·托乎提，工程師。

中圖分類號(hào)TP311.1

文獻(xiàn)標(biāo)識(shí)碼A

DOI:10.3969/j.issn.1000-386x.2016.06.053