基于Hilbert?Huang變換的語(yǔ)音合成基音標(biāo)注搜索新算法

李娟 張雪英 黃麗霞 孫慧霞 陳建玲

摘 要： 在TD?PSOLA語(yǔ)音合成系統(tǒng)中，基音標(biāo)注的準(zhǔn)確性是一個(gè)非常重要的因素。針對(duì)傳統(tǒng)的短時(shí)自相關(guān)函數(shù)和小波算法準(zhǔn)確性不高和沒(méi)有自適應(yīng)性的缺點(diǎn)，提出一種基于Hilbert?Huang變換的基音標(biāo)注方法。該算法通過(guò)Hilbert?Huang變換分析語(yǔ)音，具有自適應(yīng)性，根據(jù)自身情況選擇基函數(shù)，分解過(guò)程滿足條件自動(dòng)停止。采用文中自適應(yīng)算法對(duì)整段非平穩(wěn)語(yǔ)音信號(hào)進(jìn)行基音標(biāo)注，其中濁音段、過(guò)渡段采用Hilbert?Huang變換進(jìn)行標(biāo)注，清音段、非語(yǔ)音段用相近基音周期插值。實(shí)驗(yàn)證明，相比自相關(guān)方法、小波方法，文中算法反映了一幀內(nèi)準(zhǔn)周期的細(xì)微變化，適應(yīng)性較好。對(duì)于頻率不同的男聲和女聲，準(zhǔn)確度可達(dá)到90%以上。

關(guān)鍵詞： 基音標(biāo)注; 語(yǔ)音合成; Hilbert?Huang變換; 基音周期; 小波變換; 自相關(guān)函數(shù); 自適應(yīng)性

中圖分類(lèi)號(hào)： TN912.3?34 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2018）12?0153?04

Abstract： The pitch annotation accuracy is a very important factor in the TD?PSOLA speech synthesis system. In allusion to the shortcomings of low accuracy and lack of adaptability of the traditional short?term auto?correlation function and wavelet algorithm， a pitch annotation method based on Hilbert?Huang transformation is proposed. The algorithm analyzes the speech by means of Hilbert?Huang transformation， has adaptability， and selects basis functions according to its own conditions. The decomposition process of the algorithm stops automatically when the conditions are satisfied. The adaptive algorithm is adopted in this paper to conduct pitch annotation for the whole segment of non?stationary speech signals， in which the voiced speech segment and transition segment are marked by means of Hilbert?Huang transformation， and the voiceless speech segment and non?voice segment are interpolated with the similar pitch period. The experiment shows that in comparison with the auto?correlation method and wavelet method， the algorithm in this paper reflects the subtle variation of the quasi?period in a frame， has good adaptability， and has over 90% of accuracy degree for male and female voices with different frequencies.

Keywords： pitch annotation; speech synthesis; Hilbert?Huang transformation; pitch period; wavelet transformation; auto?correlation function; adaptability

0 引 言

基音周期是語(yǔ)音信號(hào)處理中的一個(gè)重要的特征參數(shù)，它的準(zhǔn)確性對(duì)語(yǔ)音壓縮編碼、語(yǔ)音合成、語(yǔ)音識(shí)別都具有至關(guān)重要的作用[1]。

基音標(biāo)注是在檢測(cè)出基音周期的基礎(chǔ)上對(duì)一整段語(yǔ)音的基音周期點(diǎn)做出標(biāo)記，包括有語(yǔ)音段（清音、濁音、過(guò)渡段）和非語(yǔ)音段，復(fù)雜度更高。在TD?PSOLA的語(yǔ)音合成系統(tǒng)中，基音標(biāo)注的準(zhǔn)確性很大程度上影響著合成語(yǔ)音的質(zhì)量。目前基音標(biāo)注方法分為基于非事件的方法和基于事件的方法[2]，基于非事件的檢測(cè)方法有傳統(tǒng)的自相關(guān)函數(shù)法（ACF）[3?4]、幅度差法（AMDF）[[5]]、倒譜法[6]，基于事件的檢測(cè)方法有小波變換[7?9]和Hilbert?Huang變換（HHT）[10?13]。

文獻(xiàn)[10?13]中的Hilbert?Huang變換相比文獻(xiàn)[3?4]中自相關(guān)方法優(yōu)點(diǎn)如下：第一、采用Hilbert?Huang變換方法時(shí)，語(yǔ)音分幀不用加窗，文中分幀是為了分段處理;第二、自相關(guān)算法只能求一幀信號(hào)的平均周期，而Hilbert?Huang變換可以計(jì)算一幀信號(hào)的每一個(gè)基音周期點(diǎn)[10]。

文獻(xiàn)[7?9]中小波分解可以反映一幀內(nèi)準(zhǔn)周期的細(xì)微變化，但是沒(méi)有自適應(yīng)性。首先，對(duì)于不一樣的信號(hào)，小波變換不能自適應(yīng)地選擇小波基，不能依據(jù)不同的需求構(gòu)建不同的小波基函數(shù);其次，對(duì)于一段信號(hào)，一旦決定了分解的尺度，分解后的信號(hào)就是某一固定頻段。

相比小波變換的缺點(diǎn)，Hilbert?Huang變換的特點(diǎn)是直接和自適應(yīng)。第一、因?yàn)镋MD分解由信號(hào)自身直接產(chǎn)生基函數(shù)，根據(jù)自身特點(diǎn)不同的信號(hào)生成不同的基函數(shù)，具有自適應(yīng)性[11?12];第二、不必根據(jù)頻率考慮分解層數(shù)的問(wèn)題，因?yàn)榉纸庑盘?hào)滿足經(jīng)驗(yàn)?zāi)B(tài)分解的兩個(gè)條件時(shí)，自動(dòng)停止分解，具有自適應(yīng)的分解尺度[13]。

1 Hilbert?Huang變換理論

Hilbert?Huang變換包括有兩部分：Huang變換和Hilbert變換。Huang變換，又稱(chēng)為經(jīng)驗(yàn)?zāi)B(tài)分解EMD，是一次篩選磨光過(guò)程，由有限個(gè)IMF（本征模態(tài)函數(shù)）組成[10]。

2 文中自適應(yīng)標(biāo)注算法步驟

一段語(yǔ)音的特點(diǎn)是包含有濁音、清音、清濁音的過(guò)渡段、非語(yǔ)音段的復(fù)雜情況。進(jìn)行基音標(biāo)注時(shí)，對(duì)于每一種情況都有不同的處理方法。濁音幀采用文中Hilbert?Huang變換進(jìn)行標(biāo)注;清音幀或非語(yǔ)音幀采用相鄰濁音幀的基音周期進(jìn)行等間隔標(biāo)注;過(guò)渡幀是較復(fù)雜的一種情況，因?yàn)樵搸幸徊糠譂嵋粲兄芷?，一部分清音或非語(yǔ)音段沒(méi)有周期，而且準(zhǔn)確找出清濁音的過(guò)渡幀也比較困難[14]。

本文自適應(yīng)標(biāo)注算法步驟如下：

1） 對(duì)語(yǔ)音信號(hào)進(jìn)行每幀220樣點(diǎn)的無(wú)重疊分幀。

2） 端點(diǎn)檢測(cè)，采用兩級(jí)判別法。第一級(jí)用短時(shí)能量判別，第二級(jí)用短時(shí)平均過(guò)零率判別。

3） 清濁音檢測(cè)，采用能量判別。根據(jù)判別準(zhǔn)則，濁音幀標(biāo)記為1，非語(yǔ)音幀、過(guò)渡幀、清音幀標(biāo)記為0。

4） 對(duì)于每個(gè)濁音段，起點(diǎn)幀號(hào)數(shù)字記錄到向量[p]，結(jié)束幀號(hào)數(shù)字記錄到向量[k]。

從結(jié)果可以看出，在濁音段使用本文算法準(zhǔn)確率較高，漏判和錯(cuò)判都是出現(xiàn)在過(guò)渡幀。這是因?yàn)椋?/p>

1） 過(guò)渡幀附近的聲門(mén)脈沖能量過(guò)低，使用閾值對(duì)于過(guò)渡幀的判斷本身就容易有誤差;

2） 在過(guò)渡幀里，尤其語(yǔ)音段和非語(yǔ)音段的交界處，已經(jīng)不具有準(zhǔn)周期性。

如果進(jìn)一步用端點(diǎn)檢測(cè)提高清濁音邊界的判斷，調(diào)整選擇更優(yōu)的參數(shù)閾值，基音標(biāo)注的準(zhǔn)確率還可以再提高。

用文中自適應(yīng)算法對(duì)8段男聲女聲分別進(jìn)行基音標(biāo)注，如表1所示。從表1可以看出：使用本文自適應(yīng)算法的正確率都在90%以上;女聲比男生的準(zhǔn)確率低是因?yàn)榕暤念l率高，基音周期點(diǎn)多，情況更復(fù)雜。

另外在實(shí)際操作中還要考慮到運(yùn)算的實(shí)時(shí)性，需要用運(yùn)行時(shí)間來(lái)衡量。以樣本1“中國(guó)科學(xué)院”為例，使用自相關(guān)標(biāo)注的運(yùn)行時(shí)間是2.6 s;使用小波方法標(biāo)注的運(yùn)行時(shí)間是2.7 s;使用本文自適應(yīng)的方法標(biāo)注的運(yùn)行的時(shí)間是3.9 s;所以從這個(gè)角度來(lái)說(shuō)，本文自適應(yīng)方法的運(yùn)行時(shí)間還需要進(jìn)一步縮短。

4 結(jié) 語(yǔ)

本文方法應(yīng)用于TD?PSOLA語(yǔ)音合成基音標(biāo)注中，利用Hilbert?Huang自適應(yīng)的特點(diǎn)對(duì)濁音、過(guò)渡段進(jìn)行標(biāo)注，拓展了Hilbert?Huang變換的應(yīng)用范圍。實(shí)驗(yàn)證明，相比自相關(guān)方法和小波算法，文中方法基本準(zhǔn)確地檢測(cè)出了一整段非平穩(wěn)語(yǔ)音信號(hào)的所有基音峰值點(diǎn)。但是在過(guò)渡幀，容易出現(xiàn)漏判和誤判，如果進(jìn)一步提高清濁音邊界的判斷，基音標(biāo)注的準(zhǔn)確率還可再提高。

參考文獻(xiàn)

[1] 潘崢嶸，戴芮，張寧.改進(jìn)的基音周期檢測(cè)算法研究[J].計(jì)算機(jī)工程與應(yīng)用，2015，51（10）：223?226.

PAN Zhengrong， DAI Rui， ZHANG Ning. Improved algorithm for pitch detection [J]. Computer engineering and applications， 2015， 51（10）： 223?226.

[2] 劉志剛.Hilbert?Huang變換及其在電力系統(tǒng)中的應(yīng)用[M].北京：科學(xué)出版社，2015：32?35.

LIU Zhigang. Hilbert?Huang transformation and its application in power system [M]. Beijing： Science Press， 2015： 32?35.

[3] 韓芳，王學(xué)春，靳宗信.基于ACF的基音檢測(cè)改進(jìn)算法[J].現(xiàn)代電子技術(shù)，2017，40（19）：71?74.

HAN Fang， WANG Xuechun， JIN Zongxin. Improved pitch detection algorithm based on ACF [J]. Modern electronics technique， 2017， 40（19）： 71?74.

[4] ZEREMDINI J， MESSAOUD M A B， BOUZID A. Multiple comb filters and autocorrelation of the multi?scale product for multi?pitch estimation [J]. Applied acoustics， 2017， 120： 45?53.

[5] 武良丹.基于小波變換與平均幅度差函數(shù)倒數(shù)的基音周期檢測(cè)算法[J].科學(xué)技術(shù)創(chuàng)新，2017（31）：114?115.

WU Liangdan. Pitch period detection algorithm based on wavelet transform and average amplitude difference function Reciprocal [J]. Scientific and technological innovation， 2017（31）： 114?115.

[6] 陳盼弟，黃華，何凌.基于自相關(guān)和倒譜法的基音檢測(cè)改進(jìn)算法[J].計(jì)算機(jī)應(yīng)用與軟件，2015，32（1）：163?166.

CHEN Pandi， HUANG Hua， HE Ling. Improved algorithm for pitch detection based on ACF and CEP [J]. Computer applications and software， 2015， 32（1）： 163?166.

[7] 吳興銓?zhuān)芙鹬?基于改進(jìn)小波變換的語(yǔ)音基音周期檢測(cè)[J].自動(dòng)化儀表，2017，38（6）：67?70.

WU Xingquan， ZHOU Jinzhi. Speech pitch period detection based on improved wavelet transform [J]. Process automation instrumentation， 2017， 38（6）： 67?70.

[8] 王晨，章小兵，劉美娟.提升小波加權(quán)自相關(guān)函數(shù)的基音檢測(cè)算法[J].應(yīng)用聲學(xué)，2018（2）：201?207.

WANG Chen， ZHANG Xiaobing， LIU Meijuan. Pitch detection based on lifting wavelet transform and weighted autocorrelation [J]. Applied acoustics， 2018（2）： 201?207.

[9] 孫婷婷，章小兵.一種基于小波包變換加權(quán)自相關(guān)的基音檢測(cè)算法[J].計(jì)算機(jī)工程與科學(xué)，2017，39（8）：1525?1529.

SUN Tingting， ZHANG Xiaobing. A weighted autocorrelation method for pitch detection based on wavelet packet transform [J]. Computer engineering and science， 2017， 39（8）： 1525?1529.

[10] 李德沖.基于改進(jìn)型Hilbert?Huang變換的旋轉(zhuǎn)機(jī)械故障診斷系統(tǒng)設(shè)計(jì)[D].天津：天津工業(yè)大學(xué)，2017.

LI Dechong. Design of fault diagnosis system for rotating machinery based on improved Hilbert?Huang transform [D]. Tianjin： Tianjin Polytechnic University， 2017.

[11] 楊振，鄒男，付進(jìn).Hilbert?Huang變換在瞬態(tài)信號(hào)檢測(cè)中的應(yīng)用[J].聲學(xué)技術(shù)，2015，34（2）：167?171.

YANG Zhen， ZOU Nan， FU Jin. The application of Hilbert?Huang transform in transient signal detection [J]. Technicalacoustics， 2015， 34（2）： 167?171.

[12] 周小龍，劉薇娜，姜振海，等.一種改進(jìn)的Hilbert?Huang變換方法及其應(yīng)用[J].工程科學(xué)與技術(shù)，2017，49（4）：196?204.

ZHOU Xiaolong， LIU Weina， JIANG Zhenhai， et al. An improved Hilbert?Huang transform method and its application [J]. Advanced engineering sciences， 2017， 49（4）： 196?204.

[13] 郭會(huì)芹.基于Hilbert?Huang的語(yǔ)音信號(hào)去噪算法研究[D].長(zhǎng)春：長(zhǎng)春理工大學(xué)，2016.

GUO Huiqin. Speech signal denoising algorithm research based on Hilbert?Huang [D]. Changchun： Changchun University of Science and Technology， 2016.

[14] 李樂(lè)，王玉英，李小霞.一種改進(jìn)的小波能量熵語(yǔ)音端點(diǎn)檢測(cè)算法[J].計(jì)算機(jī)工程，2017，43（5）：268?274.

LI Le， WANG Yuying， LI Xiaoxia. An improved wavelet energy entropy algorithm for speech endpoint detection [J]. Computer engineering， 2017， 43（5）： 268?274.