一種語音識別的可定制云計算方法*

張 巍，賈玉輝，張志楠

（中國海洋大學信息科學與工程學院，山東 青島 266100）

語音識別始于1950年代初，當時，貝爾實驗室的Davis等人研究成功了第一個可識別10個英文數(shù)字的語音識別系統(tǒng)-Adudry。1980年代末，美國卡內(nèi)基·梅隆大學用VQ/HMM方法實現(xiàn)了世界上第一個高性能的非特定人、大字表、連續(xù)語音識別系統(tǒng)—SPHINX［1］。在此期間語音識別處于實驗室研究階段，市場上沒有成型的產(chǎn)品。直到1990年代初，隨著在系統(tǒng)的自適應性、參數(shù)提取及優(yōu)化等技術上取得了一些關鍵性的進展，語音識別技術進一步成熟，并開始向市場提供產(chǎn)品［2］。從此語音識別開始從實驗室逐步走向?qū)嵱?。并且，在一些應用領域，它正迅速地成為一個關鍵的、而且具有競爭力的技術。

從產(chǎn)品的實現(xiàn)平臺上來看，當前市場上的語音識別系統(tǒng)主要分為3種：嵌入式的語音識別系統(tǒng)、服務器模式的語音識別系統(tǒng)及云計算模式的語音識別系統(tǒng)。嵌入式語音識別系統(tǒng)［3］是指應用各種先進的的微處理器在板級或是芯片級用軟件或硬件實現(xiàn)語音識別技術。由于嵌入式平臺存儲資源少、性能低、實時性要求高，嵌入式語音識別系統(tǒng)只適合做算法要求相對簡單，對資源的需求較少的語音識別，比如中小詞匯量的命令詞識別等。在服務器模式的語音識別系統(tǒng)中，終端只負責收集和傳導語音信號，由服務器負責完成識別。這種模式可以做高性能的大詞匯量連續(xù)語音識別。并且對于大規(guī)模、多用戶和有大量識別需求的系統(tǒng)，服務器模式提供了較為有效的解決方法。在一般情況下，服務器都選擇價格昂貴的巨型機或者大型機來充當，當用戶訪問量較少時，傳統(tǒng)的服務器模式，完全可以應對。但隨著用戶訪問量的增加，所需服務器數(shù)量也會相應增加，在這種情況下，公司的運營成本就會急劇攀升。隨著服務器數(shù)量的增加，服務器的管理就會變得非常復雜，并且服務器數(shù)目擴充到一定數(shù)目，就可能會達到性能瓶頸，使得單純的增加服務器，對系統(tǒng)性能提升收效甚微。云計算模式的語音識別系統(tǒng)和服務器模式的語音識別系統(tǒng)類似，主要是有云端負責完成識別。相對于傳統(tǒng)的服務器架構，云［4］具有更好的擴展性，成本更加低廉，并且可以具有超大規(guī)模，給用戶提供前所未有的計算能力。且不難得知，用來學習、訓練的樣本數(shù)據(jù)集越大，語音識別系統(tǒng)的性能越好。這就需要解決大數(shù)據(jù)存儲及處理的問題。而云計算恰好能很好的解決這2個問題。云計算技術和語音識別相融合是1種新的趨勢。但現(xiàn)在基于云計算的語音識別技術正處于發(fā)展初期，技術仍未成熟，并且市場上的產(chǎn)品只提供面向通用領域的語音識別服務。無法對語音識別服務進行定制。

由上可知，嵌入式的語音識別系統(tǒng)功能極其簡單，并且應用范圍較窄；服務器模式的語音識別系統(tǒng)能提供較為復雜的功能，且可以應對較多用戶的請求，但面對海量用戶請求卻無能為力；云計算模式的語音識別系統(tǒng)可以應對海量用戶請求，且可以利用海量用戶數(shù)據(jù)優(yōu)化語音識別系統(tǒng)的性能，但由于其尚處于發(fā)展初期，基于云的語音識別服務提供商尚未提供可定制的語音識別服務，他們的語音識別模型不能按照用戶的需求而更改，用戶不可根據(jù)自己的實際情況對語音識別模型進行定制。如果模型可以定制，就可以提供針對特定領域的語音識別服務，而無需關注其他領域，顯然這樣更容易獲取高識別率，更容易滿足特定用戶。針對以上情形，本文提出了1種面向特定領域的云計算方法，并簡單實現(xiàn)了1個云計算架構的語音識別系統(tǒng)（Speech Recognition System Based on Cloud Computing，SRSCC），可以對這些領域的用戶提供可定制的語音識別服務，滿足用戶的個性化需求，改善用戶的使用體驗。

本文首先研究了MapReduce模型，并給出了語音識別的MapReduce流程。然后通過使用開源的流式MapReduce工具-Sector/Sphere［6－8］及主要用于語音識別研究的HTK［9］工具包，實現(xiàn)了語音識別技術與云計算技術的融合，即SRSCC系統(tǒng)。并在此基礎之上，給出了語音識別的可定制性方法，使得該系統(tǒng)能為特定領域的用戶提供可定制的服務。最后，通過實驗評估了系統(tǒng)的性能及系統(tǒng)的可擴展性。

1 MapReduce編程模型

1.1 模型介紹

MapReduce［5］是 Google提出的1個編程模型，主要用于大規(guī)模數(shù)據(jù)的并行運算，通過將MapReduce模型應用到語音識別系統(tǒng)，能加快系統(tǒng)對用戶請求的處理速度。MapReduce是1種處理大規(guī)模數(shù)據(jù)集的編程模型，同時它也是1種高效的任務調(diào)度模型，它主要有“Map（映射）”和“Reduce（化簡）”2個過程組成，這2個過程構成了運算基本單元［10－11］。Map函數(shù)用來指定對各分塊數(shù)據(jù)的每一個元素所進行的操作，而reduce函數(shù)用來對各分塊數(shù)據(jù)處理的中間結果進行歸約。用戶在設計分布式程序時，只要實現(xiàn)map和reduce 2個函數(shù)，至于其他細節(jié)，比如如何將輸入的數(shù)據(jù)分塊、任務調(diào)度、機器容錯以及節(jié)點間通信的管理等，都可交由MapReduce框架處理。

MapReduce模型具有具有極強的容錯性。集群中的每個worker節(jié)點會周期性的把完成的工作及狀態(tài)的更新報告發(fā)給master節(jié)點，如果1個worker節(jié)點保持沉默超過1個預設的時間間隔，master節(jié)點就會把這個節(jié)點的狀態(tài)改為死亡，并把該worker節(jié)點上執(zhí)行的程序及數(shù)據(jù)遷移到其他worker節(jié)點上重新執(zhí)行。而當master節(jié)點出錯時，可以根據(jù)最近的1個檢查點重新選擇1個節(jié)點作為master，并由此檢查點位置繼續(xù)運行。

1.2 語音識別的MapReduce過程

隨著語音識別技術的廣泛應用，語音識別必然會面臨海量請求所帶來的挑戰(zhàn)。比如面對億萬用戶的請求如何更快的進行處理、響應；如何存儲海量用戶數(shù)據(jù)；如何使語音識別模型能處理更大的訓練集，以獲得更高的識別率等等。MapReduce是1個可靠地容易進行編程操作的大數(shù)據(jù)并行計算模型。如果把MapReduce模型應用到語音識別上面，則可以輕松應對這些挑戰(zhàn)。

圖1給出了語音識別的1種MapReduce處理過程，圖中的wav11是用戶一上傳的第一個語音文件，wav12是用戶一上傳的第二個語音文件，result11和result22分別是2個語音文件對應的識別結果，user1是用戶一，其他的雷同。這個處理過程顯示的是不同用戶上傳文件，通過MapReduce過程，生成該用戶所上傳語音的結果集，然后把這個結果集返給用戶。單個語音的識別結果在映射這一環(huán)節(jié)得出，然后在化簡環(huán)節(jié)，按照語音文件識別結果所對應的用戶進行規(guī)約，最終得到各個用戶所上傳語音的識別結果集。

圖1 語音識別的MapReduce處理過程Fig.1 MapReduce process of speech recognition

2 SRSCC語音識別系統(tǒng)

2.1 系統(tǒng)組成

SRSCC云端系統(tǒng)架構主要包括3個部分：安全服務器、管理服務器、及奴隸節(jié)點。安全服務器主要負責維護用戶賬號、密碼、以及對每個文件或目錄的操作權限等。它也維護了1個IP地址列表，用來指出哪些奴隸節(jié)點可以加入系統(tǒng)，從而使非法節(jié)點無法訪問和干擾系統(tǒng)，保證整個系統(tǒng)的安全性。管理服務器主要主要負責維護存儲文件的元數(shù)據(jù)以及控制所有奴隸節(jié)點的運行并且對用戶的請求作出響應。管理服務器可以直接與安全服務器進行通信，從而驗證奴隸節(jié)點和用戶的合法性。奴隸節(jié)點上部署有語音識別環(huán)境，用戶上傳的錄音文件存儲在奴隸節(jié)點上，并且奴隸節(jié)點負責識別這些文件，生成識別結果。

2.2 語音識別的Sphere處理流程

Sphere被用來設計執(zhí)行用戶自定義函數(shù)。這些函數(shù)并行的以1種流的方式來處理Sector管理的數(shù)據(jù)。這意味著同一個用戶自定義函數(shù)會應用到1個數(shù)據(jù)集的每一個數(shù)據(jù)記錄。這個過程是并行的，并且對數(shù)據(jù)集的每一段數(shù)據(jù)記錄的處理是獨立完成的（假若有足夠的處理器可以用）。

圖2 語音識別的Sphere計算范式Fig.2 Computing paradigm of speech recognition

語音識別的Sphere計算范式見圖2，識別請求和Sphere客戶端進行通信，Sphere客戶端首先收集有關輸入流的信息，包括總的大小，文件的數(shù)目等等。其次Sphere客戶端通過尋找和處理函數(shù)同名的動態(tài)鏈接庫文件的方式定位所需服務的提供者，或者SPEs（Sphere Process Engines，SPE數(shù)據(jù)處理邏輯單位，可以處理1個數(shù)據(jù)段，1組數(shù)據(jù)或者整個文件）。語音識別的動態(tài)鏈接庫文件也存放在Sector系統(tǒng)中。基于這些信息，Sphere客戶端把輸入流分割成數(shù)據(jù)段（本文中整個語音文件作為1個數(shù)據(jù)段來處理）。通常情況下數(shù)據(jù)段的數(shù)目要遠大于SPEs的數(shù)目。在開始的作業(yè)中，給每一個SPE分配1個數(shù)據(jù)段并開始進行處理。一旦處理過程完成，得出結果，再給這個SPE分配一個新的數(shù)據(jù)片段來處理。這個結果流（輸出數(shù)據(jù)）或者返回給用戶，或者寫入存放在Sector的文件中，等待進行下一步處理。

2.3 SRSCC系統(tǒng)整體架構

在該系統(tǒng)中，用戶不與云端服務器直接交互，由Sphere客戶端充當中間媒介。當錄好音生成的文件上傳到客戶端時，該客戶端就會登錄到Sector/Sphere云，把文件交予云端服務器的slave節(jié)點處理。雖然當用戶較少時，該架構顯得有點繁瑣，但用戶訪問量較大時，它就會發(fā)揮出高效的性能。在master的管理下，云客戶端直接與slave進行交互，上傳數(shù)據(jù)。SRSCC語音識別系統(tǒng)整體架構流程圖見圖3。

3 可定制性實現(xiàn)

3.1 語音識別的可定制性

圖3 CCSR系統(tǒng)架構流程圖Fig.3 Architecture flowchart of CCSR system

所謂可定制性是指用戶可根據(jù)自身的需求，來定制自己所需要的產(chǎn)品和服務，以滿足自己的個性化需要。比如軟件的可定制性就是指可根據(jù)用戶的具體情況，具體要求來設計軟件系統(tǒng)，提供相應服務。而語音識別的可定制性，在這里是指，用戶可以根據(jù)自己的實際需要來定制語音識別模型。通用的語音識別器，例如Google的語音搜索，用戶只能用來做識別，而不可能更改它的語言模型（Language Model）和聲學模型（Acoustic Model）。但可定制的語音識別器，可以更改語音模型和聲學模型。比如一些特定領域的用戶，只需使用自己特定領域的語音來進行訓練，無需關注其他領域的語音。這樣可使語音識別模型的生成變得更加簡單和高效。并且在一般情況下比通用領域的語音識別識別模型具有更高的識別率。先前做過1個實驗。只針對菜名進行訓練，得到1個只識別菜名的模型。經(jīng)過測試發(fā)現(xiàn)，這個只面向菜名的語音識別器對菜名語音的識別正確率為87%，而Google語音搜索對菜名的識別正確率只有44%。

3.2 實現(xiàn)方法

針對有特殊需求，需要定制語音識別模型的用戶，本文在Sector系統(tǒng)中為其創(chuàng)建對應的文件夾，以存放用戶自己的語音識別模型?？梢酝ㄟ^以下2個途徑來實現(xiàn)語音識別模型的可定制性。一是用戶可以自己上傳語音識別模型到指定的文件夾下。由于本系統(tǒng)的語音識別環(huán)境是用HTK搭建的，而使用HTK生成語音識別模型有相對統(tǒng)一的規(guī)范。所以用戶可以使用HTK來錄制自己本領域的錄音訓練樣本，并訓練生成用來做語音識別的隱馬爾科夫模型，然后上傳到云端。當用戶進行語音識別時，云端可根據(jù)用戶的IP地址找到其對應文件夾下的語音識別模型進行識別。二是用戶可以指定自己語音識別模型的識別范圍。當使用語音識別模型進行識別時只針對識別范圍內(nèi)的語音進行加強，從而逐步達到用戶對特定領域語音進行識別的要求。

4 實驗評估

實驗室先前實現(xiàn)了1個C/S架構的語音識別系統(tǒng)。下面做了2個實驗，一個是云架構的語音識別系統(tǒng)和傳統(tǒng)的C/S架構的語音識別系統(tǒng)進行對比，證明云架構的語音識別系統(tǒng)在用戶請求數(shù)較大時有更好的表現(xiàn)；另一個是云架構語音識別系統(tǒng)內(nèi)的對比，通過運行不同的slave節(jié)點數(shù)，證明云架構語音識別系統(tǒng)具有一定的可擴展性。由于錄音環(huán)節(jié)，會花費大量時間，且在錄音的過程中，云端和服務端都處于閑置狀態(tài)，而本實驗的主要目的是測試云端和服務端的性能。所以為了使云端和服務端一直運行，達到性能極限，本實驗去掉了錄音環(huán)節(jié)，改為直接上傳已經(jīng)錄好的語音文件。

4.1 實驗環(huán)境

為了驗證SRSCC語音識別系統(tǒng)性能，本文選擇了4臺一般的PC機搭建了1個較小的Sector/Sphere云計算平臺，詳細配置見表1。

由表1可知，集群中部署了1個Security Server節(jié)點，1個Master節(jié)點，11個slave節(jié)點。對于C/S架構的語音識別系統(tǒng)的服務器，本文選擇配置最高的PC1來充當。

表1 Sector/Sphere集群環(huán)境Table1 Sector/sphere cluster environment

4.2 性能對比

本實驗主要對SRSCC語音識別系統(tǒng)和傳統(tǒng)的C/S架構的語音識別系統(tǒng)進行對比。所用實驗數(shù)據(jù)為實驗室人員錄制的12 000個菜名錄音文件。實驗場景為每個系統(tǒng)有10個用戶連續(xù)上傳錄音文件，系統(tǒng)對錄音文件進行處理，然后返回結果。通過改變用戶上傳的文件數(shù)量，來得到每個系統(tǒng)對不同數(shù)目請求的時間變化趨勢。然后對這種趨勢進行對比，得出最終結論，具體結果見圖4。圖中橫軸為每個用戶上傳的文件數(shù)，縱軸為總的處理時間（從上傳第一個文件，到最后一個文件返回結果）。TRA代表傳統(tǒng)C/S架構的語音識別系統(tǒng)，NCC代表云計算架構的語音識別系統(tǒng)，即SRSCC語音識別系統(tǒng)。由圖可知，雖然剛開始用戶請求量較少時兩者所用時間相差不大，但SRSCC語音識別系統(tǒng)的處理時間增長速率要低于傳統(tǒng)服務器模式的語音識別系統(tǒng)。并且從圖中可以看出當每個用戶的上傳量達到1 200個時，傳統(tǒng)語音識別系統(tǒng)就遇到了性能瓶頸，時間增長速率出現(xiàn)了拐點?？梢娍闯鲈萍軜嫷恼Z音識別系統(tǒng)有效的推遲了拐點的到來。從而可以得出，SRSCC語音識別系統(tǒng)具有更好的性能，更有能力面對大用戶請求挑戰(zhàn)，更符合語音識別的發(fā)展趨勢。

4.3 節(jié)點數(shù)對性能的影響

實驗的數(shù)據(jù)集是12 000個錄音文件，并且只對這些錄音文件進行簡單的識別操作。圖5顯示的是識別這12 000個錄音文件所花費的時間受集群節(jié)點數(shù)影響的情況。有圖5可知隨著節(jié)點數(shù)量的增加，識別這12 000個文件所花費的時間在逐漸減少。雖然隨著節(jié)點的增加所用時間減少的速率逐步趨緩，但可以得出隨著數(shù)據(jù)集量的增加，可以通過增加節(jié)點數(shù)來提高語音系統(tǒng)的性能。這也從側面說明了云計算架構的語音識別系統(tǒng)具有一定的可擴展性。

圖4 傳統(tǒng)架構和云計算架構在語音識別上的性能對比Fig.4 Comparison between traditional architecture and cloud architecture in speech recognition

圖5 集群節(jié)點數(shù)量的影響Fig.5 Effect of number of nodes

5 結語

本文結合 MapReduce編程模型，利用Sector/Sphere工具實現(xiàn)了SRSCC語音識別系統(tǒng)，并給出了語音識別模型的可定制性方法。實驗表明，SRSCC語音識別系統(tǒng)與傳統(tǒng)服務器模式的語音識別系統(tǒng)相比，具有更好的性能，更有能力面對大用戶請求所帶來的挑戰(zhàn)。并且該系統(tǒng)具有一定的可擴展性。但本文所搭建的云計算系統(tǒng)規(guī)模較小，功能比較簡單，下一步要完善系統(tǒng)的功能，擴大系統(tǒng)規(guī)模，從而得到更好的結果。

［1］Lee K F.Automatic Speech Recognition：The Development of the Sphinx System［M］.Boston：Kluwer Academic Publishers，1989.

［2］劉加.漢語大詞匯量連續(xù)語音識別系統(tǒng)研究進展［J］.電子學報，2000，28（1）：85-91.

［3］方敏，浦劍濤.嵌入式語音識別系統(tǒng)的研究和實現(xiàn)［J］.中文信息學報，2004（6）：73-75.

［4］Michael Armbrust，Armando Fox，Rean Grith，et al.Above the clouds：A berkeley view of cloud computing［R］.Technical Report UCB/EECS-2009-28，EECS Department，University of California，Berkeley，2009.

［5］Dean J，Ghemawat S.MapReduce：Simplified data processing on large clusters［C］.//Proc of the 6th Symp on Operating System Design and Implementation，Berkeley：USENIX Association，2004：137-150.

［6］Robert Grossman，Yunhong Gu.Data Mining Using High Performance Data Clouds：Experimental Studies Using Sector and Sphere［C］.SIGKDD 2008，Las Vegas：NV，2008.

［7］Yunhong Gu，Li Lu，Robert Grossman，et al.Processing Massived Sized Graphs using Sector/Sphere，3rd Workshop on Many－Task Computing on Grids and Supercomputers［C］.co-located with SC10，LA：New Orleans N，2010：15.

［8］Yunhong Gu，Robert Grossman.Sector and Sphere：The design and implementation of a high performance data cloud［J］.Theme Issue of the Philosophical Transactions of the Royal Society A：Crossing Boundaries：Computational Science，E-Science and Global E-Infrastructure，2009，v 367（1897）：2429-2445.

［9］Young S J，Evermann G，Gales M J F，et al.PC （2006）The HTK Book Version 3.4［M］.Cambridge：Cambridge University Engineering Department，2006.

［10］Dean J，Ghemawat S.Distributed Programming With MapReduce［M］.//Oram A，Wilson G，eds.Beautiful Code，Sebastopol：O’Reilly Media Inc，2007：371-384.

［11］Dean J，Ghemawat S.MapReduce：a flexible data processing tool［J］.Communications of the ACM，2010，53（1）：72-77.