采用骨導(dǎo)語音自適應(yīng)的語句分割方法?

苗曉孔 張雄偉

(陸軍工程大學(xué)指揮控制工程學(xué)院 南京 210007)

0 引言

近些年隨著神經(jīng)網(wǎng)絡(luò)、機(jī)器學(xué)習(xí)等技術(shù)在語音智能等方面的運(yùn)用，語音數(shù)據(jù)庫制作也受到關(guān)注。語音數(shù)據(jù)庫可用來幫助訓(xùn)練和改善語音處理算法，為了豐富語音數(shù)據(jù)庫內(nèi)容，同步錄制包含周圍環(huán)境噪聲的語音數(shù)據(jù)也逐步得到重視。含噪語音可以用來檢驗(yàn)相關(guān)語音算法在不同真實(shí)場(chǎng)景中的處理效果。而語音分割技術(shù)就是將不同情況下的連續(xù)語句進(jìn)行分割、提取，以制取完備的語音數(shù)據(jù)庫。針對(duì)含噪語音或者某些低信噪比環(huán)境下的語音數(shù)據(jù)分割，高效、魯棒的分割算法對(duì)提升語音轉(zhuǎn)換、語音識(shí)別、語音截取[1]等技術(shù)的性能將起到一定的作用。

語音分割關(guān)鍵是準(zhǔn)確得到語句起始和結(jié)束端點(diǎn)，按其端點(diǎn)檢測(cè)方式目前語音分割方法大致可分三類：(1)基于特征參數(shù)提取的分割方法：主要是提取語音信息中的時(shí)頻特征參數(shù)進(jìn)行端點(diǎn)檢測(cè)，然后分割。時(shí)域特征如過零率、短時(shí)能量以及自相關(guān)函數(shù)等[2?3]；頻域特征主要有梅爾倒譜距離、頻率方差、LPC以及譜熵等[4?7]。這類算法操作簡(jiǎn)單，便于實(shí)現(xiàn)，但算法魯棒性差，在低信噪比環(huán)境適應(yīng)效果不理想。(2)基于模型的分割方法：通常是將端點(diǎn)檢測(cè)問題轉(zhuǎn)化為分幀問題，分別對(duì)噪聲和語音進(jìn)行二分類建模，然后檢測(cè)語音端點(diǎn)并分割。常用模型有隱馬爾科夫模型(Hidden Markov models,HMM)、支持向量機(jī)(Support vector machine,SVM)、深度神經(jīng)網(wǎng)絡(luò)(Deep neural network,DNN)[8?9]等。這些算法比較復(fù)雜，其分割效果取決于模型與環(huán)境噪聲的匹配程度，匹配度越高效果越好，所以其依賴性較強(qiáng)，適應(yīng)性較差。(3)基于一些新理論的方法：運(yùn)用混沌理論、分形理論的端點(diǎn)檢測(cè)分割算法。這些算法的運(yùn)算量大，只適用于一些特殊噪聲，具有一定的局限性[10]。

針對(duì)上述分割算法存在的問題，本文提出了基于骨導(dǎo)語音的自適應(yīng)分段雙門限語句分割方法。首先利用骨導(dǎo)語音的抗噪性提升時(shí)域參數(shù)特征融合算法魯棒性(因骨導(dǎo)語音通過捕獲振動(dòng)源的機(jī)械振動(dòng)獲取語音，去除了周圍環(huán)境噪聲影響，且骨導(dǎo)設(shè)備廉價(jià)易得，可操作性強(qiáng))，然后引入隨機(jī)動(dòng)態(tài)閾值進(jìn)行自適應(yīng)的端點(diǎn)檢測(cè)，最后通過分段雙門限和層聚類的方式實(shí)現(xiàn)語音分割。實(shí)驗(yàn)證明：本文所提分割算法提高了語音分割的精度和準(zhǔn)確度，算法適應(yīng)性強(qiáng)，魯棒性好且便于實(shí)現(xiàn)。同時(shí)與其他幾種算法對(duì)比，本文分割算法的分割效果獲得明顯改善。

1 改進(jìn)預(yù)處理方法

傳統(tǒng)的時(shí)域參數(shù)融合分割方法，在語音預(yù)處理階段主要是對(duì)氣導(dǎo)語音進(jìn)行信號(hào)預(yù)加重加窗分幀，通過預(yù)處理提升語音信號(hào)的信噪比。但是大多數(shù)情況下采集到的氣導(dǎo)語音信號(hào)含有噪聲，對(duì)受到不同噪聲影響的氣導(dǎo)語音進(jìn)行分割，需要考慮不同的去噪方法，這使得算法的適應(yīng)性降低。本文提出在預(yù)處理階段引入骨導(dǎo)語音，利用骨導(dǎo)語音的低頻抗噪性來提升算法的適應(yīng)性，通過對(duì)骨導(dǎo)語音簡(jiǎn)單的噪聲濾波，減少去噪復(fù)雜度進(jìn)而實(shí)現(xiàn)魯棒的端點(diǎn)檢測(cè)。

骨導(dǎo)語音是骨導(dǎo)麥克風(fēng)通過捕捉頭骨或喉頭振動(dòng)采集的語音信號(hào)，由于其不受空氣中的噪聲干擾，得到的語音具有很強(qiáng)的抗噪性能。雖然骨導(dǎo)語音本身仍存在有待改善的問題，例如：語音中高頻成分較弱，可懂度低等，但是充分利用其較強(qiáng)的抗噪性能，對(duì)于改善語音切割效果會(huì)起到很大作用。為了驗(yàn)證骨導(dǎo)語音的抗噪性，通過實(shí)驗(yàn)得到如圖1所示結(jié)果。

圖1是同步采集語音信號(hào)的氣導(dǎo)語音與骨導(dǎo)語音時(shí)域信號(hào)圖形及其對(duì)應(yīng)幀的頻率成分分析圖。兩者在時(shí)間和內(nèi)容上都具有一致性。

圖1中左側(cè)圖形均為氣導(dǎo)語音的相關(guān)圖，右側(cè)均為骨導(dǎo)語音的相關(guān)圖。圖1(a)展示了相同語句內(nèi)容，氣導(dǎo)和骨導(dǎo)的時(shí)域圖和頻率成分圖。可以看出，該語句內(nèi)容的氣導(dǎo)語音在中高頻部分幅度較大，其保存信息相對(duì)較多，而骨導(dǎo)語音在低頻部分幅度較大，說明骨導(dǎo)低頻部分保存信息相對(duì)較多。圖1(b)展示了在受嘈雜人聲背景噪聲影響下，氣導(dǎo)和骨導(dǎo)分別對(duì)應(yīng)的時(shí)域波形和頻率成分圖。分析圖1(b)可知，氣導(dǎo)語音受噪聲干擾后其中高頻信息已受到嚴(yán)重干擾，由頻率成分圖可知，此時(shí)氣導(dǎo)語音的低頻信息較強(qiáng)而中高頻信息則相對(duì)較弱，與圖1(a)中的氣導(dǎo)頻率成分圖產(chǎn)生較大變化。而骨導(dǎo)語音幾乎不受外界任何干擾，其頻率成分分析圖與圖1(a)中基本保持不變，由此可見骨導(dǎo)語音的抗噪性相對(duì)氣導(dǎo)更加明顯。所以在制備語音數(shù)據(jù)庫時(shí)，同步錄制骨導(dǎo)語音，在預(yù)處理階段提取骨導(dǎo)語音信號(hào)，對(duì)其進(jìn)行去噪處理，可以很大程度上減少外界噪聲對(duì)算法適應(yīng)性的干擾。后續(xù)在進(jìn)行端點(diǎn)檢測(cè)或語音分割時(shí)，可提升其檢測(cè)或分割的適應(yīng)性。

圖1 氣導(dǎo)語音與骨導(dǎo)語音的頻率成分Fig.1 The frequency component of air conduction speech and bone conduction speech

2 改進(jìn)的語句分割算法

改進(jìn)分割算法主要體現(xiàn)在兩個(gè)方面：一是采用骨導(dǎo)語音應(yīng)對(duì)多種復(fù)雜噪聲，提升算法抗噪性和適應(yīng)性；二是結(jié)合分段雙門限檢測(cè)和語音聚類等方法實(shí)現(xiàn)語音分割，有效降低了傳統(tǒng)固定閾值分割帶來的“一句分割成多句”或“多句分為一句”等問題。在處理過程中還提出了一些其他改進(jìn)步驟，如：引入隨機(jī)動(dòng)態(tài)閾值、改善相似度度量方式以及自適應(yīng)等改進(jìn)方案，最終從整體上提升了語音分割算法的準(zhǔn)確度和魯棒性。

改進(jìn)分割算法的基本流程如圖2所示，針對(duì)改進(jìn)流程下面具體介紹各步驟實(shí)現(xiàn)方法。

圖2 改進(jìn)語音分割算法基本流程Fig.2 The basic process of improving the speech segmentation algorithm

2.1 隨機(jī)變量的自適應(yīng)端點(diǎn)檢測(cè)

語音端點(diǎn)檢測(cè)算法主要包括特征提取和端點(diǎn)判定兩個(gè)環(huán)節(jié)[10]。傳統(tǒng)的方法在特征提取時(shí)，提取單一的時(shí)域參數(shù)或頻域參數(shù)，作為區(qū)分語音段與噪聲段的特征。本文在利用骨導(dǎo)語音良好的抗噪性能的前提下，使用了短時(shí)能量和過零率時(shí)域融合的參數(shù)特征，克服了單一參數(shù)特征抗噪性差與區(qū)分性差的缺點(diǎn)，一定程度上提升了端點(diǎn)檢測(cè)算法的準(zhǔn)確性[2,11?12]。但在連續(xù)語音分割時(shí)，因語句內(nèi)容的長短不一，并且在一句話內(nèi)部中也會(huì)產(chǎn)生停頓和間隙，所以在進(jìn)行端點(diǎn)檢測(cè)時(shí)，還是會(huì)容易造成誤檢(將語句內(nèi)部的停頓作為新語句的起始點(diǎn)分割)。為了有效避免此類誤檢，引入隨機(jī)變化的動(dòng)態(tài)閾值進(jìn)行端點(diǎn)判定，將固定區(qū)間的截取變成動(dòng)態(tài)區(qū)間的截取，克服了固定閾值不能自適應(yīng)環(huán)境的缺點(diǎn)，使端點(diǎn)檢測(cè)算法適應(yīng)性更強(qiáng)。其實(shí)現(xiàn)的具體方法如下：

式(1)中，τi表示初始設(shè)置第i段中包含靜音幀的數(shù)量值，length(S)表示初始選取一段語音的時(shí)間長度(單位：ms)，ω表示幀和秒的轉(zhuǎn)換關(guān)系(單位：ms/幀)，n表示選取的隨機(jī)語音段內(nèi)能量出現(xiàn)能量峰的個(gè)數(shù)，κ表示信號(hào)分幀時(shí)選取的幀移位置的大小，rand表示隨機(jī)生成的(0,1]區(qū)間上的數(shù)，通過式(1)能夠確定檢測(cè)出語音起始端點(diǎn)后需要向后位移的幀數(shù)。因?yàn)橐肓藃and隨機(jī)量的生成，所以間隙起點(diǎn)與語音結(jié)束點(diǎn)恰好重合的概率大大降低。

2.2 分段雙門限檢測(cè)

雙門限檢測(cè)，是指通過設(shè)置檢測(cè)門限的最低值和最高值來判定語音是否開始和結(jié)束。分段雙門限則是為了有效應(yīng)對(duì)語句內(nèi)部間隙停頓和語句間間隔類似情況下造成語句分割點(diǎn)誤判的問題。簡(jiǎn)單來說，就是為了防止因?yàn)檎Z句內(nèi)部間隙原因而將一句話誤分成兩句話或多句話的問題。分段第二段采用的檢測(cè)方法與第一段相同，但是其在設(shè)置語音信號(hào)間隔中的靜音幀數(shù)和隨機(jī)參量做了調(diào)整，其計(jì)算公式如下：

由公式(2)可以看出，其主要是在對(duì)靜音段幀數(shù)進(jìn)行了一定程度上的減少，a是一個(gè)比例系數(shù)，其取值范圍(0,1]，相關(guān)系數(shù)主要通過實(shí)驗(yàn)測(cè)試所得，本實(shí)驗(yàn)中取2/3。通過上述分段的兩段檢測(cè)，通常會(huì)得到一段較長的語音和一段相對(duì)較短的語音段，在連續(xù)語音中兩者交替出現(xiàn)。

2.3 語音聚類

當(dāng)對(duì)說話人語音進(jìn)行分割之后，輸入音頻被切分成了若干片段，通常希望分割后每個(gè)片段中只包含一個(gè)人的一句話，而聚類就是將這些語音片段依次重新組合，把一句話的片段聚為一類。常見的聚類策略有基于支持向量機(jī)、層次凝聚聚類等。層次凝聚聚類是一種貪心聚類方式，在聚類的過程中把相似度高的兩個(gè)類別合并，簡(jiǎn)單高效，示意圖如圖3所示。

本文正是采用層次凝聚聚類方法，其具體實(shí)現(xiàn)步驟如下：

(1)將端點(diǎn)檢測(cè)之后得到的語音片段作為初始類別，對(duì)每個(gè)類別進(jìn)行建模。

(2)算出兩兩類別之間的相似程度，得到距離度量矩陣。

(3)依次對(duì)相鄰兩個(gè)語音片段進(jìn)行相似度比較，如果相似度高(相似度大于某一閾值)即合并為一句，然后將合并后的句子與接下來一句繼續(xù)進(jìn)行比較，直到其相似度小于閾值。如果第一次比較就小于相似度閾值，則不合并前兩句，分別將第一句生成單獨(dú)的語音片段，第二語音片段作為下次比較的第一個(gè)片段，繼續(xù)比較。

(4)重復(fù)步驟(2)和步驟(3)，當(dāng)遍歷所有語音片段后停止聚類。

圖3 語句聚類圖Fig.3 Statement clustering

聚類過程中一個(gè)重要的問題就是相似度判別方式，大多情況下首先以其兩者之間的距離作為度量。在本文中，采用了歐氏距離2范數(shù)的方法來進(jìn)行相似度度量，求各個(gè)元素的平方求和然后求平方根。其計(jì)算公式如式(3)所示：

式(3)中，di表示第i個(gè)相鄰語音片段之間的歐氏距離，xi表示第i段語音片段的開頭位置，yi表示第i段語音截止位置，li表示另一種對(duì)其相似度的判斷條件。計(jì)算出di和li后分別與閾值比較，閾值設(shè)定則根據(jù)實(shí)際觀測(cè)取定值。

3 實(shí)驗(yàn)結(jié)果及對(duì)比分析

為了驗(yàn)證本文所提改進(jìn)算法的有效性和可行性，在windows操作系統(tǒng)下的Matlab 13.0環(huán)境中進(jìn)行了實(shí)驗(yàn)。實(shí)驗(yàn)選取了20名男生，20名女生，每人200句連續(xù)語句作為樣本進(jìn)行分割，共計(jì)8000個(gè)樣本。

3.1 本文算法實(shí)驗(yàn)效果

實(shí)驗(yàn)樣本語音是選取了32.00 kHz的采樣和16 bit量化情況下同步錄制真實(shí)包含周圍嘈雜人聲的語音數(shù)據(jù)，幀長取240采樣點(diǎn)，幀移取80采樣點(diǎn)。本文算法的分割效果如圖4所示。

圖4(a)是實(shí)驗(yàn)中男8(編號(hào)為8的男生)錄取包含背景噪聲情況下混合雙聲道的部分語句時(shí)域波形圖。圖4(b)為分離后氣導(dǎo)語音時(shí)域波形圖，圖4(c)分離后的骨導(dǎo)語音時(shí)域波形圖。對(duì)比圖4(b)和圖4(c)可以看出，氣導(dǎo)語音受到嚴(yán)重干擾，而骨導(dǎo)語音受外界環(huán)境的影響很小，較好地保持了說話人語句起始和終止的位置信息。圖4(b)中的黑色豎線和圖4(c)紅色豎線分別表示本文算法在氣導(dǎo)語音和骨導(dǎo)語音上分割出第一句語音的起始和終止位置。圖4(d)中藍(lán)色部分表示氣導(dǎo)情況下截取的第一段語音，紅色表示骨導(dǎo)情況下截取的第一段語音。放大提取后的語音片段，可以明顯看出，基于骨導(dǎo)語音的分割更加準(zhǔn)確，這也說明骨導(dǎo)語音具有良好的抗噪性，可以更好地利用這一特點(diǎn)，對(duì)含噪語音進(jìn)行分割和提取。

為了更加充分證明實(shí)驗(yàn)分割的準(zhǔn)確度，對(duì)8000句語音進(jìn)行切割，其統(tǒng)計(jì)結(jié)果如表1所示。

表1 本文方法分割后語音的數(shù)量和正確率Table 1 The number and accuracy of the speech after this method is segmented

表1統(tǒng)計(jì)了本文分割算法對(duì)20名男生和20名女生的分割結(jié)果，分割語句的數(shù)量并不代表準(zhǔn)確率，因?yàn)榉指钪谐霈F(xiàn)的誤聚類、分割丟失或一句多分等情況，正確率計(jì)算公式為分割正確數(shù)量/分割所得總數(shù)量。表1中所給出的正確率為經(jīng)人工檢驗(yàn)分割語句內(nèi)容后計(jì)算所得。因?yàn)樵谡Z音庫制取過程中，還存在人為因素，比如語句不流暢、發(fā)音不明顯等問題，語句與語句間隔有時(shí)甚至不如一句話內(nèi)部停頓時(shí)間長，對(duì)于上述情況本文算法仍然無法有效分割，但是對(duì)于受噪聲影響的語句則可以有效準(zhǔn)確地分割。由表1可得其分割正確率比較高。核對(duì)數(shù)量則相對(duì)較少，所以其可以大大減少人工分割的時(shí)間，提高工作效率。

圖4 本文所提算法實(shí)驗(yàn)效果圖Fig.4 Experimental ef f ect of the algorithm in this paper

3.2 對(duì)比實(shí)驗(yàn)效果

為了進(jìn)一步說明本文所提算法的優(yōu)良性，本文還與骨導(dǎo)情況下的傳統(tǒng)單特征和混合特征的單門限分割算法以及氣導(dǎo)情況下的融合特征單門限分割算法進(jìn)行了對(duì)比。針對(duì)含有嘈雜人聲、音樂背景、汽車鳴笛背景等多種噪聲環(huán)境進(jìn)行了測(cè)試。本次實(shí)驗(yàn)選取了同步錄制時(shí)含有背景音樂的語音數(shù)據(jù)進(jìn)行測(cè)試，效果如圖5所示。

圖5展示了四種分割算法對(duì)同一段語音分割出第一個(gè)語句的分割效果。圖5(a)表示含有音樂背景噪聲的氣導(dǎo)語音和骨導(dǎo)語音時(shí)域波形圖。圖5(b)表示本文的分割方法，經(jīng)檢驗(yàn)其分割正確，同時(shí)可以看出語句中間存在的較長間隙，但本文所提方法依舊能夠?qū)崿F(xiàn)正確分割。圖5(c)表示基于骨導(dǎo)語音選取單特征時(shí)分割算法的分割效果，其誤語句中間的間隙作為語句截止點(diǎn)，將一句話分割成多句，分割錯(cuò)誤。圖5(d)表示基于骨導(dǎo)語音的融合特征固定閾值分割方法，可看出由于分割閾值固定，當(dāng)語句內(nèi)部停頓或靜音段較大時(shí)會(huì)造成分割錯(cuò)誤，引起后半句語句內(nèi)容丟失。在實(shí)際實(shí)驗(yàn)中需要不斷調(diào)整固定閾值，因?yàn)楹罄m(xù)語句間隔的不確定性仍舊會(huì)造成“一句多分”的現(xiàn)象出現(xiàn)。圖5(e)表示基于氣導(dǎo)語音的融合特征分割法，由于受到背景音樂的干擾，直接對(duì)其分割，其分割準(zhǔn)確率很低。如果采用去噪方法，不同的背景噪聲所需去噪方法不同，分割算法的適應(yīng)性降低。由此可見本文的分割算法優(yōu)于其他三種分割算法。同時(shí)對(duì)四種算法進(jìn)行了分割效果統(tǒng)計(jì)，如表2所示。

圖5 四種方法分割效果對(duì)比Fig.5 Comparison of four methods of segmentation

表2是四種分割算法對(duì)男生和女生分別同步錄制三種不同背景噪聲(音樂背景噪聲、嘈雜人聲背景噪聲、車輛鳴笛噪聲)情況下的語句分割正確率的統(tǒng)計(jì)結(jié)果。結(jié)合圖5的分割效果，可以看出融合特征算法優(yōu)于單特征分割算法，基于骨導(dǎo)的優(yōu)于基于氣導(dǎo)的分割效果，進(jìn)而驗(yàn)證了本文分割算法效果更好，分割準(zhǔn)確率更高，也說明算法的適應(yīng)性較強(qiáng)。

表2 四種分割算法在不同噪聲環(huán)境下分割的正確率Table 2 Accuracy rate of four segmentation algorithms for dif f erent noise environments

4 結(jié)論

本文利用骨導(dǎo)語音具有的優(yōu)良抗噪性，在對(duì)骨導(dǎo)語音預(yù)處理的基礎(chǔ)上提出了一種自適應(yīng)的分段雙門限語音分割算法，通過時(shí)域特征融合、引入隨機(jī)動(dòng)態(tài)閾值以及分段雙門限檢測(cè)等多個(gè)方面改善語音分割效果，并通過實(shí)驗(yàn)證明了其有效性和魯棒性。針對(duì)需要同步錄制背景噪聲或某些信噪比較低情況下的語句分割問題，找到一種最接近手工分割結(jié)果的端點(diǎn)位置，從而達(dá)到對(duì)噪聲環(huán)境下的連續(xù)語音進(jìn)行分割的目的，且分割精度和準(zhǔn)確度獲得一定程度上的提高。當(dāng)然，算法還存在一些可以繼續(xù)完善的地方，例如：在相似度判定上還可以做進(jìn)一步的自適應(yīng)調(diào)整，根據(jù)語音長度和整個(gè)語句信息的相關(guān)參數(shù)確定一個(gè)變化的相似度閾值，可以使算法的性能進(jìn)一步拓展，后續(xù)相關(guān)工作也可以在這方面進(jìn)行相應(yīng)的實(shí)驗(yàn)和改進(jìn)。