二階隱馬爾科夫模型在語音處理中的線性計(jì)算原理及優(yōu)化

田昊揚(yáng)

摘 要：簡(jiǎn)要介紹二階隱馬爾科夫模型在語音處理中的基本原理，對(duì)隱馬爾科夫模型中生成序列觀察、前向——后向算法中的線性計(jì)算原理進(jìn)行歸納，將二維空間向量和矩陣計(jì)算的方法引入語音處理的二階隱馬爾科夫過程。

關(guān)鍵詞：隱馬爾科夫模型 語音處理 算法 線性優(yōu)化 矩陣

中圖分類號(hào)：O211.62 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-3973（2013）007-097-03

1 隱馬爾科夫模型

隱馬爾科夫模型是一種在語音識(shí)別中被廣泛應(yīng)用的統(tǒng)計(jì)模型。過去隱馬爾科夫模型在語音處理中的應(yīng)用主要局限在一階隱馬爾科夫過程。一階隱馬爾科夫模型的兩個(gè)基本假設(shè)在語音處理的研究中并不合理。

其中關(guān)于狀態(tài)轉(zhuǎn)移的假設(shè)認(rèn)為：在t+1時(shí)刻的狀態(tài)轉(zhuǎn)移只與該時(shí)刻的狀態(tài)有關(guān)，而與之前的時(shí)刻沒有關(guān)系，這顯然是不合理的。比如在計(jì)算語言學(xué)中，福田算法是基于上下文無關(guān)文法的高效的自然語言分析方法，這種算法考慮了句法結(jié)構(gòu)、圖結(jié)構(gòu)線、子樹共享和局部歧意緊縮的技術(shù)，證實(shí)了相鄰詞匯之間緊密的相關(guān)性。而輸出值的馬爾科夫假設(shè)認(rèn)為：在t時(shí)刻輸出觀察值的概率，只取決于ti≤t的時(shí)刻，這顯然也是不合理的，因?yàn)樗雎粤嗽跀?shù)值輸出中的前后相繼的必然聯(lián)系，比如生物信息學(xué)中處于生物序列中的核苷酸與其前后鏈中的分子具有極其密切的關(guān)系。以上兩點(diǎn)均說明了一階隱馬爾科夫模型的不合理性。

2 二階隱馬爾科夫模型

二階隱馬爾科夫模型基于這樣的假設(shè)：時(shí)刻的t的狀態(tài)與時(shí)刻t？的狀態(tài)均有關(guān)系，即存在：aijk=P（xt+1=Sk|xt=sj，xt-1=si，xt-2=…）=p（xt+1=sk|xt=sj，xt-1=si），其中：aijk=1；aijk≥0；i≥1；N≥j，N表示模型中的狀態(tài)個(gè)數(shù)；觀察當(dāng)前特征矢量的狀態(tài)，依賴于系統(tǒng)在t？時(shí)刻所處的狀態(tài)，即存在：

bij（）=P（yt=vt|xt=sj，xt-1=si），1≤i；j≤N；1≤≤M

二階隱馬爾科夫模型的參數(shù)集合可以記為： =（ ，A，B），其中假設(shè)： ={ i}；A={aijk}；B={bij（）}表示二階隱馬爾科夫模型的初始狀態(tài)分布、轉(zhuǎn)移狀態(tài)分布、觀測(cè)值的概率分布，二階馬爾科夫模型是我們?cè)谟?jì)算語言學(xué)中實(shí)現(xiàn)線性計(jì)算和優(yōu)化的基礎(chǔ)。

3 隱馬爾科夫模型中生成序列觀察

隱馬爾科夫模型中生成序列的觀察原理是指，把馬爾科夫模型看做一個(gè)觀察值的生成裝置，按照一定的步驟，隱馬爾科夫模型可以生成如下的觀察序列：O=（o1o2o3…oT）（oi為i時(shí)刻的觀察值）

按照這樣一個(gè)生成裝置的假設(shè)，初始狀態(tài)概率分布函數(shù) ，選擇一個(gè)初始狀態(tài)q1=i，令t=1，根據(jù)狀態(tài)i觀察符號(hào)概率分布bi（k）選擇觀察值ot=vk，按照狀態(tài)轉(zhuǎn)移概率分布aij，選擇t+1時(shí)刻的狀態(tài)qt+1=j。如果t

由于概率轉(zhuǎn)移矩陣A決定不了初始分布的概率，為了解決這一問題我們引入了上文提到的初始狀態(tài)的概率分布 ， i=P（q1= i），1≤i≤N實(shí)現(xiàn)對(duì)于馬爾科夫鏈生成序列的線性化，是我們進(jìn)行二階隱馬爾科夫模型線性計(jì)算的前提。

4 前向算法和后向算法

對(duì)于給定的某一狀態(tài)轉(zhuǎn)換序列O=（q1q2q3…qT），生成觀察序列O=（o1o2o3…oT）的概率計(jì)算可以采用前向算法和后向算法。

在向前算法中，我們定義前向變量： 1（i，j）=P（y1，y2…yt，Xt-1=si，xt=sj| ），這是在給定模型 條件下，產(chǎn)生時(shí)刻t以前部分觀測(cè)序列y1，y2，…yt-1，yt，且在t-1時(shí)刻的狀態(tài)為si，在t時(shí)刻的狀態(tài)為sj的概率。前向變量 1（i，j）按照初始化——迭代法的步驟進(jìn)行計(jì)算（1≤j≤N）：

迭代法計(jì)算前向變量可得：

事實(shí)上，前向算法中有很多可以被線性優(yōu)化的步驟，按照我們所講的隱馬爾科爾夫生成序列的線性化，前向算法可以這樣進(jìn)行優(yōu)化：

假設(shè)我們定義前向變量：at（i）=P（o1，o2，…ot，qt= i/ ），1≤t≤T初始化后a1（i）= ibi（O1），1≤t≤T用遞推法可得：

t+1（j）=[ t（i）aij]bj（Ot+1），1≤t≤T-1，1≤j≤N，最終可得：P（O/ ）= T（i）.

這中算法大大簡(jiǎn)化了計(jì)算過程，相對(duì)于要考慮Oq的聯(lián)合概率和所有可能的轉(zhuǎn)換序列而言，這種算法給隱馬爾科夫過程的處理帶來的效率是驚人的。①

有了前向算法作為基礎(chǔ)，后向算法便很容易推導(dǎo)出，我們不再贅述。

5 二階隱馬爾科夫模型的線性預(yù)測(cè)及應(yīng)用

早期的隱馬爾科夫模型在語音處理的研究中中多被用于處理不同聲源在不同時(shí)刻的說話影響。馬爾科夫模型在采用了最大似然估計(jì)的方法后，由于似然估計(jì)的值不是固定的，并沒有在語音識(shí)別中達(dá)到理想的效果。之后出現(xiàn)的離散隱馬爾科夫模型與完全連續(xù)隱馬爾科夫模型將馬爾科夫鏈中的生成觀察值的概率不再寫成矩陣的形式，而是觀察值的概率密度函數(shù)，但也沒有真正實(shí)現(xiàn)隱馬爾科夫模型在語音處理中的效率最大化，直至后來線性預(yù)測(cè)隱馬爾科夫模型的出現(xiàn)。

線性預(yù)測(cè)的隱馬爾科夫模型是具有線性預(yù)測(cè)型觀察值概率密度函數(shù)bj（X）的一種連續(xù)隱馬爾科夫模型。線性預(yù)測(cè)模型是以LPC分析理論為基礎(chǔ)的，在信息與控制的估計(jì)和系統(tǒng)識(shí)別的研究中有廣泛應(yīng)用。②

當(dāng)把S作為一個(gè)隨機(jī)過程（矢量）的一個(gè)實(shí)現(xiàn)，在已知自相關(guān)矩陣ci的情況下，有下面的高斯概率密度函數(shù)：

那么 T=（a0，a1，…，ap），a0=1即為LPC系數(shù)，RS（i）為ST的自相關(guān)函數(shù)，則：

2就是LPC分析時(shí)的預(yù)測(cè)殘差將語音幀ST化為語音XT=ST/ ，根據(jù)條件概率的計(jì)算方法，有：

也就是說，線性預(yù)測(cè)隱馬爾科夫模型的概率密度函數(shù)為：

其中K為語音幀長，aij為描述f（X）的參數(shù)，也是一組LPC系數(shù)。經(jīng)過推倒，在實(shí)際中L個(gè)訓(xùn)練序列O（i），=1，2，…，i，…，L，的重估公式為：

為了使隱馬爾科夫模型在有限幀的語音中的處理中實(shí)現(xiàn)計(jì)算機(jī)化，常常需要運(yùn)用線性預(yù)測(cè)的隱馬爾科夫模型，但在實(shí)際的編程中，我們需要增加一個(gè)比例系數(shù)的公式：

為了防止計(jì)算的下溢，通常把實(shí)現(xiàn)公式寫作：

其中為隱馬爾科夫鏈中生成觀測(cè)值的概率。系數(shù)的算法多達(dá)幾十種，其中以自相關(guān)法、協(xié)方差法和格型法最為常用。上面的線性計(jì)算方法，是對(duì)線性預(yù)測(cè)的隱馬爾科夫模型的改進(jìn)，利用概率密度函數(shù)可以有效地將離散隱馬爾科夫模型與完全連續(xù)的隱馬爾科夫模型的計(jì)算方法歸為同一類。

6 二階隱馬爾科夫模型在噪聲中實(shí)現(xiàn)語音加強(qiáng)的線性原理

在語音處理的研究中，噪聲對(duì)于語音效果的影響和語音壓縮編碼的質(zhì)量有很重要的影響，因此噪聲環(huán)境下語音加強(qiáng)的研究意義十分重大。隱馬爾科夫模型在噪聲環(huán)境下語音處理的研究中起到了重要作用，其中加強(qiáng)型高斯白噪聲的語音加強(qiáng)方法是比較常見的方法之一。

假設(shè)Yt為噪聲語音幀，St為無噪聲語音幀，ni為高斯白噪聲幀，且有：

Yt=St+nt，t=1，…，T

作為線性預(yù)測(cè)隱馬爾科夫模型的輸出序列觀察值St，如果利用線性預(yù)測(cè)隱馬爾科夫模型表示高斯有色噪聲的先驗(yàn)知識(shí)，把高斯有色噪聲序列作為線性預(yù)測(cè)隱馬爾科夫模型的輸出值序列，從而使得有色噪聲的相關(guān)性包涵在預(yù)測(cè)性的隱馬爾科夫模型中。

白化算法和語音增強(qiáng)算法是另外兩種常見的噪聲環(huán)境下的語音處理的計(jì)算方法，我們?cè)谶@里不再單獨(dú)介紹。下面主要介紹高斯白噪音下語音處理的線性優(yōu)化。

已知在計(jì)算機(jī)中產(chǎn)生（0，1）分布的隨機(jī)序列，記作r1，r2，…，在概率論中，將（0，1）分布轉(zhuǎn)換為服從N（0， ）的高斯白噪聲序列：

uk= ncos（2 rk+1）

uk-1= ksin（2 rk+1）

所以：

也就是說我們已經(jīng)將矩陣和概率密度函數(shù)之間的轉(zhuǎn)換計(jì)算引入了二階隱馬爾科夫過程，通過噪聲環(huán)境下語音的線性優(yōu)化可以實(shí)現(xiàn)對(duì)噪聲中語音幀的加強(qiáng)。

有了矩陣作為輔助的計(jì)算工具，我們便很容易在線性預(yù)測(cè)的隱馬爾科夫模型中去描述語音幀X歸一化時(shí)LPC的系數(shù)。假設(shè)X為歸一化語音幀，RX（i）為X的自相關(guān)函數(shù)，Rn（i）為aj的自相關(guān)函數(shù)，aj為描述bj（X）的LPC系數(shù)這時(shí)，我們定義Cj為X沒有歸一化時(shí)bj（X）的參數(shù)，而當(dāng)X歸一化時(shí)，我們用LPC系數(shù)aj來描述bj（X）的參數(shù)。在線性預(yù)測(cè)隱馬爾科夫模型中可以由aj計(jì)算出Cj：

，其中：，則：

因?yàn)镃*j為2p-1階矩陣，我們可以通過求它的各個(gè)元素的代數(shù)余子式，進(jìn)而求得它的逆矩陣，當(dāng)然也可以先求出它的正交矩陣，再求逆矩陣。在正交矩陣的求解過程中，特征向量的計(jì)算方法可以深刻地體現(xiàn)馬爾科夫鏈生成觀察值的矢量特征。比如我們?cè)诘?節(jié)中所講的轉(zhuǎn)換序列O=（q1q2q3…qT）可以記作=（q1q2q3…qT），又比如在參數(shù)估計(jì)法中，將參數(shù)集合 =（ ，A，B）寫作=（ ，A，B），這樣一來，我們計(jì)算出的概率密度分布將會(huì)直觀地被呈現(xiàn)在二維空間中。除了上面講到的在噪聲環(huán)境中語音處理和語音幀的加強(qiáng)之外，二階隱馬爾科夫模型中的線性優(yōu)化在語音壓縮、孤立詞和連續(xù)詞的識(shí)別、語音識(shí)別的多處理器中都有非常明顯的效果。

注釋：

① o和q的聯(lián)合概率為：，若要考慮所有可能的轉(zhuǎn)換序列，那么，那么這個(gè)式子需要計(jì)算量為2TNT數(shù)量級(jí)，這種算法的工作量是難以想象的.

② LPC理論是指一個(gè)語音抽樣能夠用過去若干個(gè)語音抽樣的線性組合來逼近，通過實(shí)際語音抽樣和線性預(yù)測(cè)值之間差的平方和達(dá)到最小，能夠唯一決定一組預(yù)測(cè)器的系數(shù)，這就是LPC系數(shù)。這種方法不僅巧妙地應(yīng)用了線性計(jì)算中求解有限個(gè)離散變量在二維空間的分布曲線，還巧妙地借鑒了微積分原理中使用最小二乘法來決定最優(yōu)選擇的問題.

參考文獻(xiàn)：

[1] 楊家沅.語音識(shí)別與合成[M].成都：四川科學(xué)技術(shù)出版社，1994.

[2] 黃載祿，馮昭志.二階隱馬爾柯夫模型的統(tǒng)一數(shù)學(xué)模型[J].華中理工大學(xué)學(xué)報(bào)，1993（21）.

[3] 王還.漢語詞匯統(tǒng)計(jì)與分析[M].北京：外語教學(xué)與研究出版社，1985.

[4] （美）萊.DC.線性代數(shù)及其應(yīng)用[M].劉深泉，等.譯.北京：機(jī)械工業(yè)出版社，2005.

[5] Masaru Tomita.An Efficient Augmented-Context-Free Parsing Algorithm，Computer Science Department and Center for Machine Translation，Carnegie-Mellon University，2000.