電視劇語音識(shí)別中的半監(jiān)督自動(dòng)語音分割算法

龍艷花 茅紅偉 葉 宏

（上海師范大學(xué)信息與機(jī)電工程學(xué)院，上海，200234）

引 言

近年來，語音識(shí)別的研究已超越了傳統(tǒng)的聲音到文字的轉(zhuǎn)換，“電影、電視、網(wǎng)絡(luò)視頻”等多媒體音頻內(nèi)容的語音識(shí)別與檢索已逐漸被重視[1-4]。同時(shí)，大數(shù)據(jù)時(shí)代移動(dòng)互聯(lián)網(wǎng)的發(fā)展正在改變著傳統(tǒng)語音識(shí)別語料的獲取方式，特別是海量數(shù)據(jù)如新聞廣播、電視語料等的獲取變得越來越容易。如何對(duì)海量語料過濾，篩選及切分成適用于語音識(shí)別系統(tǒng)所需的音頻段或句子等技術(shù)的深入研究顯得日益迫切。本文將探索電視劇語音的分割算法，與以往大多語音分割方面的研究不同，本文研究的語音分割是指從復(fù)雜音頻信號(hào)中提取出含有語音的語音片段，不需要按說話人進(jìn)行分割，而傳統(tǒng)的語音分割主要是指單聲道語音的不重疊的多說話人語音段的分割，即按說話人不同進(jìn)行分割。

與以往傳統(tǒng)語音識(shí)別任務(wù)相比，對(duì)電視劇語音進(jìn)行識(shí)別是一項(xiàng)非常有挑戰(zhàn)性的工作。文獻(xiàn)[5]中來自英國(guó)愛丁堡大學(xué)和劍橋大學(xué)2012年的研究成果顯示，采用基于深度神經(jīng)網(wǎng)絡(luò)的大詞匯量連續(xù)語音識(shí)別系統(tǒng)在廣播語音識(shí)別任務(wù)上的詞錯(cuò)誤率約為10%，而其在電視劇語音識(shí)別任務(wù)上的詞錯(cuò)誤率卻大大增加到約60%。這正是因?yàn)殡娨晞≌Z音識(shí)別存在以下難點(diǎn)[4-6]：(1)自然的語音風(fēng)格。與傳統(tǒng)朗讀風(fēng)格的語音相比，電視劇語音大多為自然對(duì)話語音，說話人語氣語調(diào)、情感變化、發(fā)音風(fēng)格和習(xí)慣等變化頻繁且靈活多樣。(2)復(fù)雜的聲學(xué)環(huán)境。不同種類背景噪聲如環(huán)境噪聲、動(dòng)物叫聲、歌聲、音樂聲及其各種搭配組合均有可能出現(xiàn)在電視劇音頻中。(3)模糊的語句邊界。電視劇語音內(nèi)容是連續(xù)輸入的，而非傳統(tǒng)語音識(shí)別中以句子為單位的錄音。通常一集電視劇都會(huì)持續(xù)數(shù)十分鐘。以上難點(diǎn)不僅增加了大段連續(xù)電視劇語音分割的難度，同時(shí)也大大降低了語音識(shí)別的性能。

傳統(tǒng)主流的語音分割算法可分為基于距離、模型和音素識(shí)別3大類[1,6-7]。雖然這些算法在平穩(wěn)噪聲環(huán)境下的連續(xù)語音識(shí)別任務(wù)中已取得較好效果，但將其直接應(yīng)用到電視劇語音分割中效果不佳[6]。因此，為適應(yīng)復(fù)雜環(huán)境下語音分割的需要，各種改進(jìn)算法不斷涌現(xiàn)，如文獻(xiàn)[6]中采用的深度神經(jīng)網(wǎng)絡(luò)架構(gòu)，文獻(xiàn)[8]中基于條件隨機(jī)場(chǎng)的多層特征分割算法等。而本文從半監(jiān)督學(xué)習(xí)的角度提出了一種全新的自動(dòng)語音分割算法。首先采用傳統(tǒng)分割算法對(duì)電視劇語音進(jìn)行初始分割，然后將電視劇文本標(biāo)注和初始分割語音段對(duì)應(yīng)的解碼文本進(jìn)行對(duì)齊，找到它們之間的互補(bǔ)性來重新更新初始分割邊界。

1 傳統(tǒng)的自動(dòng)語音分割算法

1.1 傳統(tǒng)語音分割算法

基于距離的語音分割算法主要利用相鄰窗樣本間的距離來度量相鄰語音段的相似性，其距離度量方法有一般似然比(Generalized likelihood ratio,GLR)[9],Kullback-Leibler(KL)距離[10]等。該類算法實(shí)現(xiàn)較簡(jiǎn)單，但易受語音窗長(zhǎng)、輸入特征和度量準(zhǔn)則等影響，易檢出過多的冗余分割點(diǎn)，且對(duì)說話人的改變較敏感?；谀Ｐ偷姆指钏惴ㄖ饕曰陔[馬爾科夫[11]（Hidden Markov model,HMM）和高斯混合模型（Gaussian mixture model,GMM）算法為主[1]，該類算法不僅能用來對(duì)長(zhǎng)語音段進(jìn)行有效切分，而且還能對(duì)不同音頻信息、說話人等進(jìn)行有效聚類或分類，用以提高語音識(shí)別模型自適應(yīng)能力。而基于音素識(shí)別的分割算法本質(zhì)上隸屬于基于HMM模型的分割算法，但由于該算法近年來在自動(dòng)語音分割系統(tǒng)中的應(yīng)用廣泛且收效甚好[12]，故本文將其單獨(dú)列出作為一類，該算法的實(shí)現(xiàn)較前兩種復(fù)雜，但其對(duì)語音和非語音段的檢測(cè)更加準(zhǔn)確和精細(xì)。

1.2 自動(dòng)語音分割基線系統(tǒng)

為了充分挖掘不同分割算法的優(yōu)點(diǎn)，文獻(xiàn)[7]巧妙地把基于KL距離、混合高斯模型和音素識(shí)別的三種算法結(jié)合在一起。本文將基于該算法構(gòu)建的語音分割系統(tǒng)作為對(duì)電視劇語音進(jìn)行切分的基線系統(tǒng)，與提出的半監(jiān)督自動(dòng)語音分割算法進(jìn)行比較。不同的是：(1)因電視劇語音通常含大量除音樂以外的背景噪聲，故本文在文獻(xiàn)[7]的基礎(chǔ)上引入背景噪聲GMM分類器。(2)本文實(shí)驗(yàn)所用的語音幾乎都是寬帶信號(hào)，故無需考慮對(duì)語音信號(hào)進(jìn)行細(xì)致的帶寬劃分。

基線系統(tǒng)架構(gòu)如圖1所示，首先對(duì)電視劇音頻提取感知線性預(yù)測(cè)系數(shù)（Perception linear predic-tion，PLP）和 Mel頻率倒譜系數(shù)(Mel frequency cepstrum coefficient，MFCC)。 然 后 使 用 已 訓(xùn) 練好的純語音、音樂和背景噪聲GMM分類器將電視劇音頻分割成純語音、純音樂、純背景噪聲、帶噪的語音和帶音樂的語音5類，其中被檢測(cè)出為純音樂和純背景噪聲的音頻段在該階段被直接丟棄。

經(jīng)上述粗分類后的結(jié)果接著作為音素識(shí)別器的輸入進(jìn)行語音和非語音的精細(xì)檢測(cè)，其中音素識(shí)別器由46個(gè)上下文無關(guān)的單音素HMM模型和1個(gè)靜音模型構(gòu)成。46個(gè)單音素源于采用的Combilex詞典（為語音識(shí)別任務(wù)稍作改動(dòng)），網(wǎng)址：http：//www.cstr.ed.ac.uk/research/projects/combilex/。連續(xù)靜音大于1 s的部分被舍棄，剩下片段構(gòu)成新語音段。在每一段中，采用對(duì)稱KL距離dSD來檢測(cè)段內(nèi)潛在的音頻變化點(diǎn)[10]，則

圖1 自動(dòng)語音分割基線系統(tǒng)Fig.1 Baseline system of automatic speech segmentation

式中：D為特征向量維數(shù)，tr(x)是x的秩，μ，Σ為均值向量和協(xié)方差矩陣。

最后將上述分段結(jié)果中過度切分的片段用迭代分割聚類方法進(jìn)行合并[13]：首先對(duì)每段語音進(jìn)行單高斯建模，然后將這些模型用作進(jìn)一步的Viterbi分割及高斯模型重估計(jì)。用來決定相鄰兩小段是否合并的對(duì)數(shù)似然損失函數(shù)d定義如式(2)所示[14]。那些d小于門限的小段被直接合并得到新的分割結(jié)果并重新建立新單高斯模型。該過程不斷重復(fù)直到分割結(jié)果不再改變或達(dá)到最大設(shè)定的迭代次數(shù)時(shí)終止。

式中：N1，N2為相鄰兩小段的幀數(shù)，μ，Σ為均值向量和協(xié)方差矩陣，N=N1+N2，W=

2 半監(jiān)督自動(dòng)語音分割算法

通常語音識(shí)別系統(tǒng)訓(xùn)練語料中的人工標(biāo)注信息已包含了準(zhǔn)確的語音段起始和結(jié)束時(shí)間標(biāo)簽，且語音段與其對(duì)應(yīng)的文本標(biāo)注是對(duì)齊的，即文本標(biāo)注也是事先分好段的。然而，對(duì)電視劇語料而言，往往只能獲得整段電視音頻及對(duì)應(yīng)的大段文本標(biāo)注（主要指電視劇劇本），無法得知語音段對(duì)應(yīng)的具體文本段。另外，電視劇語音聲學(xué)環(huán)境復(fù)雜，現(xiàn)有分割算法很難達(dá)到較高的準(zhǔn)確度。因此，怎樣最大限度地挖掘和利用所獲得的語料信息來輔助和提升現(xiàn)有電視劇語音分段及其標(biāo)注對(duì)齊尤為重要。

本節(jié)提出一種半監(jiān)督自動(dòng)語音分割算法，首先采用1.2節(jié)中的基線系統(tǒng)對(duì)電視劇音頻進(jìn)行初始分割，然后利用其半監(jiān)督自動(dòng)語音識(shí)別解碼結(jié)果及可獲得的原始文本標(biāo)注對(duì)初始分割結(jié)果進(jìn)行錯(cuò)誤檢測(cè)用以指導(dǎo)原始音頻數(shù)據(jù)的重新分割，期望在達(dá)到提升電視劇語音自動(dòng)分割性能的同時(shí)，還能保證分割后各語音段文本標(biāo)注的自動(dòng)對(duì)齊。其算法結(jié)構(gòu)如圖2所示，實(shí)現(xiàn)步驟如下：

(1)初始分割：對(duì)于輸入的任意一大段電視劇音頻，采用自動(dòng)語音分割基線系統(tǒng)進(jìn)行分割，得到初始分割結(jié)果，記為 SI，SI={SIt|t=1,2,…,T}，T 為分割段數(shù)。

(2)半監(jiān)督語音識(shí)別：對(duì)SI進(jìn)行自動(dòng)語音識(shí)別，結(jié)果記為SD，SD={SDt|t=1,2,…,T}。與通常語音識(shí)別不同的是，為了最大限度提升SD準(zhǔn)確性，全部可獲得的標(biāo)注文本被用來構(gòu)建集內(nèi)語言模型，并與采用集外文本數(shù)據(jù)訓(xùn)練的通用背景語言模型進(jìn)行插值得到一個(gè)有偏的語言模型用于語音識(shí)別，插值權(quán)重分別為0.9和0.1。因采用了被識(shí)別數(shù)據(jù)的文本標(biāo)注信息來輔助識(shí)別，故稱為半監(jiān)督自動(dòng)語音識(shí)別[15]。

(3)DP對(duì)齊：采用動(dòng)態(tài)規(guī)劃(Dynamic programming,DP)對(duì)SD和原始文本標(biāo)注進(jìn)行對(duì)齊和比較，計(jì)算兩者之間的詞匹配率(Word matching rate,WMR)，WMR的計(jì)算以各段SD為參考，方法同詞錯(cuò)誤率(Word error rate,WER)，對(duì)于任意初始分割段t而言，其詞匹配率記為WMRt。

(4)原始音頻重分割：對(duì)每一段原始音頻進(jìn)行如下步驟的重分割：

(a)對(duì)SI中任意分段SIt，若其對(duì)應(yīng)的WMRt≤TR1，則認(rèn)為該段初始分割正確，將其從SI中移出放入新集合中，該集合記為保留段集合R。

(b)對(duì)于SI中剩余的分割段，比較各段的SD和采用DP對(duì)齊的原始文本標(biāo)注，若兩者在某段起始和結(jié)束邊界處相同且在該分段中間出現(xiàn)單詞不同的持續(xù)時(shí)間≤TH秒，則將其從SI中移出放入R中。

(c)對(duì)于經(jīng)步驟(a),(b)處理后SI中的剩余段，按段起始時(shí)間從小到大排列，比較所有分段的SD和采用DP對(duì)齊的原始文本標(biāo)注。若兩者在時(shí)間上連續(xù)的分段起始、或結(jié)束邊界處相同，或連續(xù)相同的詞序列之間的時(shí)間間隔≤TH秒，則將這些原始分割段從SI中移出合并成新的分段放入R中。

(d)經(jīng)步驟(c)處理后SI中的剩余段，從段起始時(shí)間最小的分割段開始，以當(dāng)前段起始邊界為起點(diǎn)，下一個(gè)滿足以上3種情況中任意情況的起始邊界為結(jié)束點(diǎn)之間的所有SI段合并成一個(gè)新段。若在步驟(3)中DP對(duì)齊時(shí)存在與該新段對(duì)齊的原始文本標(biāo)注，則將其放入R中，否則認(rèn)為其為非語音，直接舍棄。

(e)對(duì)R中所有分割段，用原始文本標(biāo)注進(jìn)行強(qiáng)制對(duì)齊(Forced-alignment)，并根據(jù)對(duì)齊結(jié)果中連續(xù)靜音幀長(zhǎng)度情況對(duì)段邊界作調(diào)整以保證各段長(zhǎng)度≤30 s且各段邊界處靜音長(zhǎng)度位于[0.06,0.50]s區(qū)間內(nèi)。

(5)聲學(xué)模型更新：將步驟(e)中詞匹配率≤TR2的段挑出來，添加到圖2半監(jiān)督自動(dòng)語音識(shí)別的訓(xùn)練語料中用以更新聲學(xué)模型，以進(jìn)一步提升SD識(shí)別率和原始音頻重分割的準(zhǔn)確率。

(6)重復(fù)步驟(2～5)2～3次，得到最終分割好的電視劇語音段及其對(duì)應(yīng)的文本標(biāo)注結(jié)果。

從以上實(shí)現(xiàn)過程中可看出，本文所提算法借用半監(jiān)督自動(dòng)語音識(shí)別對(duì)傳統(tǒng)語音分割算法進(jìn)行改進(jìn)，在實(shí)現(xiàn)對(duì)電視劇語音段時(shí)間上的切分的同時(shí)，還對(duì)大段連續(xù)的電視劇文本標(biāo)注也做了分段，保證了分割后各語音段及其對(duì)應(yīng)文本標(biāo)注的準(zhǔn)確性。識(shí)別是為了更好的分割，分割后的語音段又能用于建立更好的語音識(shí)別系統(tǒng)。對(duì)電視劇語音識(shí)別而言，大多數(shù)情況下只能獲得大段的劇本文件，而無法得知?jiǎng)”疚募械奈谋緝?nèi)容與語音段之間的對(duì)應(yīng)關(guān)系，此時(shí)本文所提算法較傳統(tǒng)語音分割算法的優(yōu)勢(shì)更加突出。

圖2 半監(jiān)督自動(dòng)語音分割算法架構(gòu)Fig.2 Framework of semi-supervised speech segmentation

3 實(shí)驗(yàn)配置和結(jié)果

3.1 數(shù)據(jù)庫

采用從2010年4月—2011年12月英國(guó)科幻電視劇“神秘博士-Doctor Who”劇集中挑選的16集共15.8 h，格式為MP3，采樣率48 kHZ的音頻作為實(shí)驗(yàn)數(shù)據(jù)。每一集持續(xù)時(shí)長(zhǎng)40～48 min不等。該數(shù)據(jù)集被分成訓(xùn)練和測(cè)試兩部分：1.4 h用作測(cè)試，14.4 h用作模型訓(xùn)練。測(cè)試數(shù)據(jù)采用人工借助LDCXTrans(http：//www.ldc.upenn.edu/tools/XTrans/)進(jìn)行手工分割并對(duì)原始文本標(biāo)注進(jìn)行檢查和確認(rèn)，得到準(zhǔn)確分割答案用于性能評(píng)測(cè)。自動(dòng)語音分割基線系統(tǒng)所用數(shù)據(jù)與文獻(xiàn)[7]一致。另外，15 h的WSJ0及Switchboard(h5train00)中隨機(jī)選擇的60 h數(shù)據(jù)[16]被用來訓(xùn)練半監(jiān)督自動(dòng)語音識(shí)別系統(tǒng)。

3.2 系統(tǒng)描述

系統(tǒng)的特征參數(shù)均采用幀長(zhǎng)為25 ms，幀移為10 ms的39維PLP參數(shù)（12維靜態(tài)PLP加上0階導(dǎo)譜系數(shù)C0，以及它們的一二階差分）。倒譜均值和方差歸一化，異方差線性判別分析(Heteroscedastic linear discriminant analysis，HLDA)被用來提升特征參數(shù)的魯棒性。決策樹聚類后的上下文相關(guān)三元音素(Tri-phone)物理狀態(tài)總數(shù)為6 000,平均每狀態(tài)16個(gè)高斯分量的基于最小音素錯(cuò)誤(Minimum phone error,MPE)訓(xùn)練準(zhǔn)則的系統(tǒng)是圖2中半監(jiān)督自動(dòng)語音識(shí)別系統(tǒng)的基本配置，初始系統(tǒng)訓(xùn)練數(shù)據(jù)為75 h。半監(jiān)督自動(dòng)語音分割算法中的TR1=40%，TR2=0，TH=3。

3.3 結(jié)果及分析

表1和表2從兩種不同的角度對(duì)本文所提的語音分割算法進(jìn)行性能對(duì)比。表1給出了分割算法在1.4 h測(cè)試集上的性能。作為比較，表1同時(shí)給出了準(zhǔn)確的人工標(biāo)注結(jié)果（比對(duì)時(shí)對(duì)應(yīng)到每段音樂、背景噪聲及語音段的起始和結(jié)束時(shí)間邊界，并不是單純的數(shù)據(jù)量統(tǒng)計(jì)）?？梢姡氡O(jiān)督自動(dòng)語音分割算法明顯優(yōu)于基于KL距離、GMM和音素識(shí)別3種基礎(chǔ)算法上的語音分割基線系統(tǒng)。由于“神秘博士”劇集中存在大量混合著音樂和強(qiáng)背景噪聲的語音段，因而傳統(tǒng)分割算法很難將其與純語音或純背景噪聲區(qū)分開來，而本文算法由于利用了原始標(biāo)注文本信息來輔助分割，從而體現(xiàn)出較基線系統(tǒng)的優(yōu)勢(shì)。但與人工分割標(biāo)準(zhǔn)答案相比，本文所提出的半監(jiān)督自動(dòng)語音分割算法仍然丟棄了6.84%的語音段(0.08 h),主要是由于某些邊界模糊且背景環(huán)境復(fù)雜的語音段進(jìn)行強(qiáng)制對(duì)齊原始文本標(biāo)注時(shí)失敗所致，這也是本文所提算法仍需改進(jìn)的地方。

另外，通過對(duì)比人工對(duì)齊后的1.4 h原始文本標(biāo)注與半監(jiān)督自動(dòng)語音分割算法最終輸出的語音段對(duì)齊的文本標(biāo)注，發(fā)現(xiàn)除了少數(shù)因Forced-alignment失敗導(dǎo)致的語音段丟棄情況外，存活下來的語音段對(duì)應(yīng)的原始標(biāo)注與人工標(biāo)注分割基本一致。

表2給出了兩種自動(dòng)分割算法在訓(xùn)練集上最終分割出的語音段時(shí)長(zhǎng),以及能間接反映分割段邊界準(zhǔn)確性的Forced-alignment存活率。與基線系統(tǒng)結(jié)果相比，本文所提算法不僅降低了語音段的丟棄率，同時(shí)在語音段上用原始劇本標(biāo)注進(jìn)行Forced-alignment的存活率也直接提高了6.13%，這說明半監(jiān)督自動(dòng)分割出來的分段邊界更合理，句子完整性更好。

表3給出了采用表2中半監(jiān)督自動(dòng)分割出的約11 h訓(xùn)練語料上搭建的識(shí)別系統(tǒng)在1.4 h測(cè)試集上用不同算法分割出的語音段識(shí)別性能。該識(shí)別系統(tǒng)的聲學(xué)模型是對(duì)半監(jiān)督自動(dòng)語音識(shí)別系統(tǒng)進(jìn)行區(qū)分性自適應(yīng)訓(xùn)練得到的。從表3中可見，本文提出的語音分割算法較基線系統(tǒng)的詞錯(cuò)誤率相對(duì)下降了9.79%。而從分析替換、刪除和插入錯(cuò)誤容易看出，與音頻分割時(shí)語音丟棄程度緊密相關(guān)的刪除錯(cuò)誤率的下降在其中起到了最主要的作用。同時(shí)，比較表3中最后兩行的結(jié)果也可看出，兩者識(shí)別性能相對(duì)差距的5.9%主要也來源于刪除錯(cuò)誤。因此如何盡可能多地保留電視劇音頻分割時(shí)含有語音的音頻段是本文有待改進(jìn)之處。

表1 分割算法在1.4 h測(cè)試集上的性能Tab.1 Performance of speech segmentation algorithms on 1.4 h test set h

表2 分割算法在14.4 h訓(xùn)練集上的性能Tab.2 Performance of speech segmentation algorithms on 14.4 h training set

表3 Doctor Who的自動(dòng)語音識(shí)別性能Tab.3 Automatic speech recognition performances on Doctor Who test set %

本文基于人工分割的“神秘博士”語音識(shí)別的WER=52.2%，該性能與傳統(tǒng)安靜環(huán)境下的語音識(shí)別任務(wù)性能相差甚遠(yuǎn)，這表明針對(duì)電視劇語音的大詞匯量自動(dòng)連續(xù)語音識(shí)別系統(tǒng)還有很大的性能提升空間，從表3中大于30%的替換錯(cuò)誤和文獻(xiàn)[5]中對(duì)于電視劇語音的研究結(jié)果中也能得出相似結(jié)論。

4 結(jié)束語

本文研究了電視劇語音識(shí)別系統(tǒng)中集分段和分類于一體的自動(dòng)語音分割算法。文中提出的半監(jiān)督自動(dòng)語音分割算法能有效地將原始語音的半監(jiān)督自動(dòng)語音識(shí)別結(jié)果及其標(biāo)注信息應(yīng)用到語音分割中。分別從語音段分割準(zhǔn)確性、強(qiáng)制對(duì)齊的存活率以及在采用所提分割算法得到的訓(xùn)練語料基礎(chǔ)上訓(xùn)練的語音識(shí)別系統(tǒng)性能3個(gè)方面證明了文中所提出的算法明顯優(yōu)于傳統(tǒng)分割算法。

由于該算法本質(zhì)上是對(duì)傳統(tǒng)基線系統(tǒng)分割結(jié)果進(jìn)行錯(cuò)誤檢測(cè)并加以調(diào)整和修正，因而具有較好的穩(wěn)定性，但在運(yùn)算量上較傳統(tǒng)算法有所增加。對(duì)“神秘博士”電視劇語音的測(cè)試表明，本文提出的算法不僅較好地解決了長(zhǎng)音頻段電視劇語音的自動(dòng)分割問題，還有效地解決了原始劇本文本的分段標(biāo)注對(duì)齊問題。最后，本文所提方法需要用到原始文本標(biāo)注，還無法解決無任何原始文本標(biāo)注的電視劇語音自動(dòng)分割問題。實(shí)際上，很多情況下僅能獲得具有極少量正確標(biāo)注的文本信息甚至僅僅是網(wǎng)友提供的含大量錯(cuò)誤標(biāo)注的字幕信息，而且現(xiàn)在大多語音識(shí)別系統(tǒng)采用深度學(xué)習(xí)方法進(jìn)行訓(xùn)練[17]，如何有效地在深度學(xué)習(xí)框架下解決這類問題是筆者下一步的研究?jī)?nèi)容。