語(yǔ)音播放變速率算法及FPGA實(shí)現(xiàn)

李冬梅，劉冀川

(中國(guó)電子科技集團(tuán)公司第五十四研究所，河北石家莊050081)

0 引言

語(yǔ)音變速處理是將所輸入的語(yǔ)音信號(hào)以任意的速度(慢或快)播放，這在目前是一項(xiàng)十分流行的語(yǔ)音處理技術(shù)，在語(yǔ)音合成、語(yǔ)音識(shí)別和頻譜分析等方面有著廣泛應(yīng)用前景，引起了很多研究者的關(guān)注。對(duì)于數(shù)字語(yǔ)音信號(hào)，在改變其播放速度方面，傳統(tǒng)技術(shù)是通過(guò)改變輸出的采樣率來(lái)實(shí)現(xiàn)，但這種方法會(huì)導(dǎo)致音調(diào)和音色發(fā)生變化，語(yǔ)音效果變差，嚴(yán)重時(shí)甚至無(wú)法識(shí)別語(yǔ)音內(nèi)容。為了達(dá)到變速不變調(diào)的效果，可以利用自相關(guān)函數(shù)、短時(shí)平均幅度差函數(shù)、倒譜法和小波變換等構(gòu)成的基音檢測(cè)法以及基于參數(shù)編碼的LPC算法等，但這些方法在硬件設(shè)計(jì)和實(shí)現(xiàn)時(shí)比較繁瑣。本文根據(jù)基音波形的概念，在時(shí)域上對(duì)基音波形的復(fù)制和抽取，實(shí)現(xiàn)了語(yǔ)音的變速不變調(diào)處理和FPGA的實(shí)現(xiàn)。

1 語(yǔ)音變速的理論依據(jù)

從物理原理來(lái)看，語(yǔ)音信號(hào)是由肺擠壓出的空氣激勵(lì)發(fā)聲器官帶來(lái)的震動(dòng)產(chǎn)生的。說(shuō)話時(shí)聲帶相互靠攏但不完全封閉，這樣聲門變成一條窄縫，當(dāng)氣流通過(guò)時(shí)壓力減小，從而聲帶完全合攏使氣流不能通過(guò)，在氣流被阻斷時(shí)壓力恢復(fù)正常，因而聲帶間的空隙形成，氣流再次通過(guò)。這一過(guò)程周而復(fù)始，就形成了一串周期性的脈沖氣流送入聲道。這個(gè)脈沖串的周期稱為“基音周期”，其倒數(shù)是“基音頻率”。這種方式發(fā)出的音為濁音。語(yǔ)音的另一種產(chǎn)生方式是聲門完全閉合，此時(shí)聲道不是受聲門周期脈沖氣流的激勵(lì)，而是利用口腔內(nèi)存有的空氣釋放出來(lái)而發(fā)聲。該氣流在口腔中形成湍流，因而帶有明顯的隨機(jī)噪聲的特點(diǎn)。這種方式發(fā)出的音為清音。語(yǔ)音產(chǎn)生過(guò)程的物理近似［1］過(guò)程如圖1所示。

圖1 語(yǔ)音信號(hào)產(chǎn)生的離散時(shí)域模型

根據(jù)以上發(fā)音原理可知，任何發(fā)聲行為都有振動(dòng)過(guò)程，即必須有作用力使物體產(chǎn)生振動(dòng)，從而產(chǎn)生聲波，這個(gè)作用力是間歇的，而非連續(xù)的。被振動(dòng)的物體在前一作用力消除之后、后一作用力到來(lái)之前，產(chǎn)生回復(fù)到原狀態(tài)的運(yùn)動(dòng)，這樣便產(chǎn)生了振動(dòng)。語(yǔ)音信號(hào)就是這種機(jī)械振動(dòng)的電表現(xiàn)，其波形與機(jī)械振動(dòng)相對(duì)應(yīng)，所以在十分小的時(shí)間間歇內(nèi)，它應(yīng)該可被看作是由微小的阻尼振動(dòng)波所組成的，如圖2所示。這些微小的且具有實(shí)際含義的一段阻尼振動(dòng)波被稱為基音波形，即音元。任何語(yǔ)音信號(hào)都是由音元連接構(gòu)成的。一段語(yǔ)音信號(hào)如圖3所示，這段語(yǔ)音信號(hào)中包含了3個(gè)音元［2］。

圖2 阻尼振動(dòng)波的波形

圖3 語(yǔ)音信號(hào)

語(yǔ)音信號(hào)的每一種語(yǔ)素實(shí)際上由一種基音波形的不斷重復(fù)產(chǎn)生，基音波形的頻譜決定了語(yǔ)音的頻譜特性，而重復(fù)的周期數(shù)則決定了語(yǔ)素的時(shí)間長(zhǎng)度。因此，要實(shí)現(xiàn)變速不變調(diào)，就需要找出基音波形，然后修改基音波形的數(shù)據(jù)。比如，要實(shí)現(xiàn)聲音慢放1倍的變化，即原來(lái)正常放1 min的內(nèi)容，現(xiàn)在要放2 min，只需要重復(fù)一次基音波形;而實(shí)現(xiàn)聲音快放1倍的變化，即原來(lái)正常放1 min的內(nèi)容，現(xiàn)在要放0.5 min，則可以每隔一個(gè)基音波形刪除一個(gè)，就能夠?qū)崿F(xiàn)聲音變速不變調(diào)。根據(jù)試驗(yàn)觀察，音元長(zhǎng)度通常短于20 ms。由于人耳有聽(tīng)覺(jué)殘留的現(xiàn)象，所以取20 ms長(zhǎng)的語(yǔ)音信號(hào)為一個(gè)音元。

2 語(yǔ)音變速的算法實(shí)現(xiàn)

為了保證語(yǔ)音信號(hào)改變播放速率的同時(shí)，信號(hào)相對(duì)強(qiáng)弱、頻率、音調(diào)和音色等特征不變，在原語(yǔ)音信號(hào)中增加或減少聲音信息來(lái)保持單位時(shí)間內(nèi)重放出的信息量不變，主要考慮的問(wèn)題是在什么地方插入或刪除聲音信息、插入或刪除怎樣的信息。

語(yǔ)音變速處理包括語(yǔ)音變慢處理和變快處理。語(yǔ)音變慢處理是在部分或所有音元后插入一段信息單元。在確定了插入的聲音信息的位置后，需進(jìn)一步確定插入多少聲音信息，插入的信息單元可以是空白信號(hào)、插入點(diǎn)前一小段信號(hào)和經(jīng)衰減的插入點(diǎn)前一小段信號(hào)。經(jīng)驗(yàn)證，插入點(diǎn)前一小段信號(hào)效果較好，方法較簡(jiǎn)單。語(yǔ)音變快處理是刪除部分音元，將未刪除的音元緊縮連接起來(lái)。處理方法如下:

①確定播放速率R，R為經(jīng)過(guò)處理后的語(yǔ)音播放速度與原始速度的比值;

②采集語(yǔ)音信號(hào)，以音元為單位切割語(yǔ)音信號(hào)，并按順序?qū)σ粼M(jìn)行標(biāo)記，標(biāo)記表示該音元在語(yǔ)音中的位置，如表1所示，原始語(yǔ)音信號(hào)的每個(gè)音元編號(hào)為0～n。

表1 定位誤差隨張角大小的變化

③對(duì)語(yǔ)音信號(hào)進(jìn)行變速處理，以n/R向下取整后重新標(biāo)記音元。將重新標(biāo)記后的音元拼接在一起，如表1所示。慢放時(shí)，原速第4個(gè)音元放在了第5個(gè)的位置，中間空缺的音元補(bǔ)成前一個(gè)音元，后面的依此類推;快放時(shí)，原速第3個(gè)和第4個(gè)音元都重新標(biāo)記為2，即刪除第4個(gè)音元，把第3個(gè)音元放在位置2，后面的依此類推。

④拼接時(shí)，拼接點(diǎn)處引起跳變，會(huì)有噪聲。采用加權(quán)濾波，將拼接的前一個(gè)音元的后幾個(gè)點(diǎn)與后一個(gè)音元的前幾個(gè)點(diǎn)加權(quán)相加，有效地去除了噪聲。

3 算法的FPGA實(shí)現(xiàn)

語(yǔ)音播放變速率FPGA實(shí)現(xiàn)的系統(tǒng)框圖如圖4所示。

圖4 語(yǔ)音播放變速率系統(tǒng)

將采集到的語(yǔ)音信號(hào)以音元為單位存儲(chǔ)到FPGA內(nèi)部RAM，將存儲(chǔ)的數(shù)據(jù)進(jìn)行處理(如濾波等)，然后根據(jù)播放速率R，將存儲(chǔ)的音元進(jìn)行重新編號(hào)，存入另一個(gè)內(nèi)部FIFO中，將存入的數(shù)據(jù)按原采樣率放出即可實(shí)現(xiàn)語(yǔ)音的快放或慢放。

4 實(shí)驗(yàn)結(jié)果

上述設(shè)計(jì)采用VHDL語(yǔ)言，并用Modelsim進(jìn)行功能驗(yàn)證。設(shè)計(jì)的實(shí)驗(yàn)結(jié)果如圖5所示，它是將仿真得到的二進(jìn)制語(yǔ)音數(shù)據(jù)經(jīng)MATLAB轉(zhuǎn)換為波形文件格式后顯示的時(shí)域波形。語(yǔ)音“Lesson one”原速播放時(shí)語(yǔ)音波形，時(shí)長(zhǎng)625 ms，如圖5(a)所示;R=0.8慢放時(shí)語(yǔ)音波形，時(shí)長(zhǎng)781 ms，如圖5(b)所示;R=1.5快放時(shí)語(yǔ)音波形，時(shí)長(zhǎng)416 ms，如圖5(c)所示。可以看出，語(yǔ)音波形基本保持一致，并無(wú)明顯的噪聲引入。基因波形沒(méi)有改變，語(yǔ)音的頻譜特征就沒(méi)有改變，即實(shí)現(xiàn)了語(yǔ)音播放變速不變調(diào)。

圖5 語(yǔ)音變速波形圖比較

5 結(jié)束語(yǔ)

采用上述的語(yǔ)音播放變速不變調(diào)算法分別測(cè)試了漢語(yǔ)、英語(yǔ)、日語(yǔ)、韓語(yǔ)、法語(yǔ)和德語(yǔ)等多種語(yǔ)言，通過(guò)試聽(tīng)，由于語(yǔ)調(diào)不變，可懂度的主觀MOS分可以達(dá)到4以上。采用的方法簡(jiǎn)單直觀、速度快、專用資源少，更適合于集成電路的實(shí)現(xiàn)。

［1］谷源濤，應(yīng)啟珩，鄭君里.信號(hào)與系統(tǒng)－MATLAB綜合試驗(yàn)［M］.北京:高等教育出版社，2008:108－119.

［2］蘇 勇.音頻信號(hào)保真變速處理方法［P］.中國(guó):1145519A，1997.

［3］韓紀(jì)慶，張 磊，鄭鐵然.語(yǔ)音信號(hào)處理［M］.北京:清華大學(xué)出版社，2004:11－41.

［4］趙 力.語(yǔ)音信號(hào)處理［M］.北京:機(jī)械工業(yè)出版社，2003:20－30.

［5］POHLMANN K C.數(shù)字音頻原理與應(yīng)用［M］.蘇 菲，譯.北京:電子工業(yè)出版社，2002:13－30.

［6］易克初，田 斌，付 強(qiáng).語(yǔ)音信號(hào)處理［M］.北京:國(guó)防工業(yè)出版社，2000:51－58.

［7］韓 慧，王繼祥.一種提高語(yǔ)音干擾效果評(píng)估準(zhǔn)確度的方法［J］.無(wú)線電工程，2011，41(3):17 －19.

［8］徐大為，吳邊，趙建偉，等.一種噪聲環(huán)境下的實(shí)時(shí)語(yǔ)音端點(diǎn)檢測(cè)算法［J］.計(jì)算機(jī)工程與應(yīng)用，2003(1):115－117.

［9］ROUAT J，LIU Y C，MORISSETTE D.A Pitch Determination and Voiced/Unvoiced Decision Algorithm for Noisy Speech［J］.Speech Comm，1997，21(3):191 －200.

［10］王曉亞，魯玉海.語(yǔ)音的端點(diǎn)檢測(cè)處理技術(shù)［J］.無(wú)線電工程，2010，40(2):16 －18.

［11］劉 驍，張海燕，劉鎮(zhèn)清.一種變速語(yǔ)音音調(diào)復(fù)原的處理方法［J］.電聲技術(shù)，2000(7):7－9.