線性轉(zhuǎn)換矩陣聚焦于事后概率的計(jì)算辨識(shí)

王鈞

【摘 要】由于鑒別式訓(xùn)練的效果優(yōu)越，于是出現(xiàn)使用鑒別式訓(xùn)練法則進(jìn)行轉(zhuǎn)換矩陣調(diào)適，稱(chēng)為最小分類(lèi)錯(cuò)誤率線性回歸調(diào)適算法。我們認(rèn)為使用最小分類(lèi)錯(cuò)誤率準(zhǔn)則進(jìn)行線性回歸調(diào)適時(shí)，若能再進(jìn)一步考慮線性回歸矩陣之事前概率分布，則可以結(jié)合貝氏法則之強(qiáng)健性與最小分類(lèi)錯(cuò)誤率之鑒別性，以估測(cè)出更佳之轉(zhuǎn)換矩陣用于語(yǔ)者調(diào)適上。透過(guò)聚焦事后概率與鑒別式訓(xùn)練間之關(guān)連及適當(dāng)之條件簡(jiǎn)化，則可得到參數(shù)更新之封閉解型式以加速鑒別式訓(xùn)練的參數(shù)估測(cè)。

【關(guān)鍵詞】線性；矩陣；事后概率；計(jì)算

一、緒論

一般化最小錯(cuò)誤率（generalized minimum error rate，GMER），由事后概率的角度出發(fā)，定義聚焦事后概率（aggregate a posteriori，AAP），并將事后概率改寫(xiě)為具鑒別性形式的誤辨率（misclassification measure）函式。在訓(xùn)練模型參數(shù)上，不使用一般的廣義概率遞減法則（generalized probabilistic descent，GPD），透過(guò)一些條件假設(shè)，即可推導(dǎo)出模型參數(shù)估測(cè)的封閉解形式。在語(yǔ)者調(diào)適的研究上，最廣為使用的有最大相似度線性回歸（maximum likelihood linear regression，MLLR）調(diào)適與最大事后概率調(diào)適兩大類(lèi)方法。在本研究中我們將使用前者作為調(diào)適的主要架構(gòu)，透過(guò)所估測(cè)出之線性回歸矩陣對(duì)語(yǔ)音模型參數(shù)進(jìn)行調(diào)適。由于考慮到使用語(yǔ)料量稀少易造成調(diào)適效果失準(zhǔn)的情況，引入線性轉(zhuǎn)換矩陣之事前分布信息，以強(qiáng)健化調(diào)適效能外，也將由鑒別式訓(xùn)練之角度出發(fā)，嘗試找出不同于傳統(tǒng)以貝氏法則為準(zhǔn)之最大化。聚焦事后概率線性回歸（aggregate a posteriori linear regression，AAPLR）算法。故我們會(huì)針對(duì)文獻(xiàn)中所提過(guò)之以線性回歸為主之調(diào)適算法作回顧。除了最大相似度線性回歸調(diào)適算法之外，主要有最大事后概率線性回歸（MAPLR）、考慮到漸進(jìn)式（sequential）學(xué)習(xí)的近似貝氏線性回歸（quasi-Bayes linear regression，QBLR）與最小分類(lèi)錯(cuò)誤線性回歸（minimum classification error linear regression，MCELR）。

二、鑒別式訓(xùn)練及線性回歸調(diào)整

最大相似度參數(shù)估測(cè)法則是最普遍用來(lái)訓(xùn)練隱藏式馬可夫模型參數(shù)的方法，它利用EM算法估測(cè)模型參數(shù)非常有效率；最大相似度的缺點(diǎn)是模型參數(shù)只利用屬于本身模型的數(shù)據(jù)來(lái)估測(cè)，和其它模型的參數(shù)估測(cè)基本上是獨(dú)立的。最小分類(lèi)錯(cuò)誤和最大交互信息，是近來(lái)較廣為利用的鑒別式訓(xùn)練方法，除了訓(xùn)練語(yǔ)音模型外，還用在語(yǔ)言模型（language model）的訓(xùn)練上、語(yǔ)者辨識(shí)模型訓(xùn)練、特征參數(shù)擷取。使用鑒別式訓(xùn)練估測(cè)模型參數(shù)時(shí)，除了本身模型的數(shù)據(jù)外，還考慮與其它模型參數(shù)之鑒別性，所以可以更正確地估測(cè)出所需的模型參數(shù)內(nèi)容。作者提出了另一種鑒別式訓(xùn)練方法，稱(chēng)作一般化最小錯(cuò)誤率，從事后概率出發(fā)，定義與最大事后概率相似的目標(biāo)函式，并且改寫(xiě)為鑒別式訓(xùn)練的形式，以下分別簡(jiǎn)介這三種鑒別式訓(xùn)練法則。

在兩個(gè)類(lèi)別12C，C的分類(lèi)器里，假設(shè)1x∈C，貝氏分類(lèi)法則定義了最基本的誤辨值函式（misclassificationmeasure）為

其中（x；）ig為觀察數(shù)據(jù)x對(duì)類(lèi)別iC的相似度，表示所有類(lèi)別的模型參數(shù)，|（x；）（x；）kikMigg，代表一群對(duì)觀察數(shù)據(jù)x的相似度比類(lèi)別kC對(duì)觀察數(shù)據(jù)x相似度更具競(jìng)爭(zhēng)性的類(lèi)別集合，即混淆類(lèi)別（confusing classes）或競(jìng)爭(zhēng)類(lèi)別（competing classes）的集合。kS并非是固定的集合，它隨著模型參數(shù)和觀察數(shù)據(jù)x而改變，而且該式在不連續(xù)，這在最陡坡降法（gradient descent）里并不適用，因此另外定義了一個(gè)連續(xù)性的誤辨值公式為

除了最小分類(lèi)錯(cuò)誤法則外，最大交互信息也是普遍利用的鑒別式訓(xùn)練式法則，最大交互信息較隱性的引入了觀察數(shù)據(jù)與其它類(lèi)別的相似度，所以與一般化最小錯(cuò)誤率較相似，在混合數(shù)高的情況下，最大交互信息能訓(xùn)練出比最小分類(lèi)錯(cuò)誤辨識(shí)率更高的模型參數(shù)，由于最大交互信息考慮了觀察數(shù)據(jù)和所有類(lèi)別的相似度，因此比最小分類(lèi)錯(cuò)誤在實(shí)作上難度更高。為了快速計(jì)算隱藏式馬可夫模型和觀察數(shù)據(jù)x的相似度，必須使用forward-backward算法。

三、最大相似度線性回歸（MLLR）

最大相似度線性回歸的目標(biāo)就是，對(duì)一群集s，計(jì)算一轉(zhuǎn)換矩陣sW，使得群集內(nèi)所有調(diào)適數(shù)據(jù)的相似度最大，最大相似度線性回歸調(diào)適算法的好處在于，調(diào)適語(yǔ)料不需要完全涵蓋所有模型，即使沒(méi)有調(diào)適數(shù)據(jù)的模型，也可以經(jīng)由同類(lèi)別的轉(zhuǎn)換矩陣進(jìn)行調(diào)適。以調(diào)整平均值向量為例，在計(jì)算轉(zhuǎn)換矩陣之前，將平均值向量延展為

其中，D為向量維度，則更新后的平均值向量為 其中，r（s）代表狀態(tài)s所屬回歸類(lèi)別，r（s）W代表回歸類(lèi)別（regression class）r（s）的轉(zhuǎn)換矩陣，維度為D×（D1），則透過(guò)EM算法，最后可以得到每一個(gè)回歸類(lèi)別的轉(zhuǎn)換矩陣之每一列計(jì)算方式如 。由于以最大相似度為主之線性轉(zhuǎn)換矩陣在計(jì)算上十分簡(jiǎn)易，所以其應(yīng)用十分普遍，然而，若調(diào)適語(yǔ)料過(guò)少，或語(yǔ)料特性不具代表性時(shí)，則可能導(dǎo)致得到的轉(zhuǎn)換矩陣仍舊無(wú)法符合測(cè)試語(yǔ)者的語(yǔ)音特性，于是，便考慮到引入轉(zhuǎn)換矩陣的事前分布信息。矩陣參數(shù)的事前分布可以在估測(cè)轉(zhuǎn)換矩陣時(shí)限制參數(shù)可能的調(diào)適量，使得參數(shù)的估測(cè)更具強(qiáng)健性，由文獻(xiàn)實(shí)驗(yàn)可看出，最大事后概率線性回歸可達(dá)到比最大相似度線性回歸更好的辨識(shí)率。

最小分類(lèi)錯(cuò)誤的鑒別式訓(xùn)練方式在很多應(yīng)用都能顯示出不錯(cuò)的效能，不過(guò)最小分類(lèi)錯(cuò)誤一般以廣義概率遞減算法實(shí)現(xiàn)，并沒(méi)有在理論上證明它能收斂到更好的模型，當(dāng)訓(xùn)練數(shù)據(jù)變少時(shí)，錯(cuò)誤的收斂停止點(diǎn)更容易發(fā)生，因此將MCE應(yīng)用在模型調(diào)適時(shí)，使用線性回歸有其必要。Chengalvarayan在1998年提出最小分類(lèi)錯(cuò)誤線性回歸，使用全局性的轉(zhuǎn)換矩陣并以廣義概率遞減算法估測(cè)矩陣參數(shù)，實(shí)驗(yàn)結(jié)果顯示出其調(diào)適效果比最大相似度線性回歸算法好。而在中，更進(jìn)一步使用多組回歸類(lèi)別的轉(zhuǎn)換矩陣進(jìn)行調(diào)適，在同樣使用廣義概率遞減算法下，可以有更好的調(diào)適效能改進(jìn)。另外，作者不利用廣義概率遞減算法實(shí)現(xiàn)最小分類(lèi)錯(cuò)誤線性回歸調(diào)適算法，而以一般化調(diào)適作法計(jì)算轉(zhuǎn)換矩陣，即轉(zhuǎn)換矩陣以群集為單位，將最小分類(lèi)錯(cuò)誤的目標(biāo)函式改寫(xiě)后，可以透過(guò)EM算法以封閉解的方式計(jì)算轉(zhuǎn)換矩陣。