一種新的語(yǔ)音端點(diǎn)檢測(cè)方法及在智能輪椅人機(jī)交互中的應(yīng)用

羅 元，黃 璜，張 毅，胡章芳

(重慶郵電大學(xué)智能系統(tǒng)及機(jī)器人研究所，重慶 400065)

0 引言

隨著世界人口老齡化越來(lái)越嚴(yán)重和各種災(zāi)難、疾病等原因造成的殘障人士的增加，他們存在不同程度的能力喪失，如行走、視力、動(dòng)手及語(yǔ)言等，這一些特殊群體的醫(yī)療和護(hù)理，將成為經(jīng)濟(jì)和社會(huì)發(fā)展的巨大壓力。為了給殘障人士和老人的平常生活帶來(lái)方便，世界各國(guó)都廣泛開(kāi)展了智能輪椅方面的研究。

語(yǔ)音作為一種自然的交流方式，更具人性化和親合力，更加方便，成為智能輪椅人機(jī)交互的重要方式之一。語(yǔ)音識(shí)別系統(tǒng)中，有效準(zhǔn)確地確定語(yǔ)音段端點(diǎn)不僅能使處理時(shí)間減到最小，而且能排除無(wú)聲段的噪聲干擾，從而使識(shí)別系統(tǒng)具有良好的性能。目前的端點(diǎn)檢測(cè)方法主要有基于譜熵的端點(diǎn)檢測(cè)改進(jìn)方法［1－2］、基于神經(jīng)網(wǎng)絡(luò)的端點(diǎn)檢測(cè)方法［3］、基于倒譜特征的算法［4］、普通話孤立詞語(yǔ)音端點(diǎn)檢測(cè)的分形維方法［5］、基于短時(shí)能量的語(yǔ)音端點(diǎn)檢測(cè)算法［6］、基于小波分析的語(yǔ)音端點(diǎn)檢測(cè)算法研究與仿真［7］、基于子帶幅度差異的方法［8］等，而這一些方法主要是在低噪聲的環(huán)境下進(jìn)行研究，當(dāng)應(yīng)用在一般噪聲環(huán)境下時(shí)，語(yǔ)音端點(diǎn)檢測(cè)會(huì)出現(xiàn)問(wèn)題，語(yǔ)音識(shí)別率也會(huì)受到影響。

本文提出了短時(shí)能量與倒譜距離相結(jié)合的端點(diǎn)檢測(cè)方法，在一般噪聲環(huán)境下(40 dB ＜SNR ＜50 dB)［9－10］具有良好的魯棒性。實(shí)驗(yàn)結(jié)果表明，此方法能準(zhǔn)確檢測(cè)到語(yǔ)音端點(diǎn)，通過(guò)設(shè)置5個(gè)基本語(yǔ)音命令(前進(jìn)、后退、左轉(zhuǎn)、右轉(zhuǎn)、停止)實(shí)現(xiàn)了智能輪椅語(yǔ)音控制。

1 語(yǔ)音識(shí)別系統(tǒng)

語(yǔ)音識(shí)別過(guò)程本質(zhì)上是一個(gè)模式識(shí)別的過(guò)程，其基本結(jié)構(gòu)原理如圖1所示，主要包括語(yǔ)音信號(hào)預(yù)處理、特征提取、特征建模、相似性度量和后處理等幾個(gè)功能部分，其中后處理部分為可選部分。

圖1 語(yǔ)音識(shí)別基本原理圖Fig.1 Basic schematic diagram of speech recognition

語(yǔ)音識(shí)別的過(guò)程分為訓(xùn)練階段和識(shí)別階段。無(wú)論是訓(xùn)練還是識(shí)別，都需要首先對(duì)輸入的原始語(yǔ)音進(jìn)行預(yù)處理，并進(jìn)行特征提取。預(yù)處理主要包括端點(diǎn)檢測(cè)、預(yù)加重、分幀、加窗等。端點(diǎn)檢測(cè)是指運(yùn)用數(shù)字信號(hào)處理技術(shù)找出語(yǔ)音信號(hào)中的各種段落(如音速、音節(jié)、詞等)的起點(diǎn)和終點(diǎn)的位置。在孤立詞識(shí)別中，主要目的是找出詞的起止點(diǎn)。在背景噪聲干擾下，對(duì)語(yǔ)音的起止點(diǎn)作出準(zhǔn)確的判別是十分重要的，錯(cuò)誤地判別起止點(diǎn)會(huì)導(dǎo)致起始子音的消失，以致造成誤判或?qū)⒈尘霸肼暸袛酁檎Z(yǔ)音信號(hào)。

顯然可以看出，端點(diǎn)檢測(cè)是語(yǔ)音識(shí)別系統(tǒng)的核心部分，因?yàn)橹挥袦?zhǔn)確地找出語(yǔ)音段的起始點(diǎn)和終止點(diǎn)，才有可能使采集到的數(shù)據(jù)是真正要分析的語(yǔ)音信號(hào)，這樣不但減少了數(shù)據(jù)量、運(yùn)算量和處理時(shí)間，同時(shí)也有利于系統(tǒng)識(shí)別率的改善。

2 短時(shí)能量與倒譜距離結(jié)合的端點(diǎn)檢測(cè)

2.1 基于倒譜距離的端點(diǎn)檢測(cè)

設(shè)信號(hào)s(n)，其倒譜變換為c(n)。信號(hào)倒譜的一種定義是信號(hào)的能量譜密度函數(shù)S(?)的對(duì)數(shù)傅里葉反變換，或者可以將信號(hào) s(n)的倒譜c(n)看成是log S(?)的傅里葉級(jí)數(shù)展開(kāi)，即

信號(hào)與其倒譜是一一對(duì)應(yīng)的變換，因此，倒譜的均方距離可以反映2個(gè)信號(hào)(語(yǔ)音與背景噪聲)譜的區(qū)別，倒譜距離可以作為端點(diǎn)檢測(cè)的判決參數(shù)，屬于相似距離范疇。

2.2 短時(shí)能量與倒譜距離相結(jié)合的端點(diǎn)檢測(cè)方法

語(yǔ)音信號(hào)序列先經(jīng)過(guò)一系列預(yù)處理。首先將語(yǔ)音序列去直流(即減去平均值)，再作歸一化處理將幅值限制在1 Hz之內(nèi)，然后，通過(guò)一個(gè)預(yù)加重濾波器，濾去50 Hz的電源干擾和超出一半采樣率的頻率分量。經(jīng)過(guò)預(yù)處理后的語(yǔ)音序列可進(jìn)行倒譜距離和短時(shí)能量計(jì)算。

因?yàn)榈棺V距離能反映語(yǔ)音與背景噪聲譜的區(qū)別，而且能量本身也是語(yǔ)音的一個(gè)重要特性，所以首先為倒譜距離和短時(shí)能量分別確定2個(gè)門限。2個(gè)倒譜距離的門限(1個(gè)高門限dst1和1個(gè)低門限dst2)和2個(gè)短時(shí)能量的門限(1個(gè)高門限Eamp1和1個(gè)低門限Eamp2)。dst2，Eamp2比較低的門限，其數(shù)值比較小，對(duì)信號(hào)變化比較敏感，很容易就會(huì)被超過(guò)。dst1，Eamp1是比較高的門限，數(shù)值比較大，信號(hào)必須達(dá)到一定的強(qiáng)度，該門限才可能被超過(guò)。低門限被超過(guò)未必就是語(yǔ)音的開(kāi)始，有可能是時(shí)間很短的噪音引起的。高門限被超過(guò)則可以基本確信是由于語(yǔ)音信號(hào)引起的。

整個(gè)檢測(cè)階段:在靜音段，如果倒譜距離或能量超過(guò)了低門限(dst＞dst2或Eamp＞Eamp2)，就應(yīng)該開(kāi)始標(biāo)記起始點(diǎn)，進(jìn)入過(guò)渡段。在過(guò)渡段中，由于參數(shù)的數(shù)值比較小，不能確信是否處于真正的語(yǔ)音段，因此，只要2個(gè)參數(shù)的數(shù)值都回落到低門限以下(dst＜dst2且Eamp＜Eamp2)，就將當(dāng)前狀態(tài)回復(fù)到靜音狀態(tài)。而如果在過(guò)渡段中2個(gè)參數(shù)中的任一個(gè)超過(guò)了高門限(dst＞dst1或Eamp＞Eamp1)，就可以確信進(jìn)入語(yǔ)音段了。

短時(shí)能量與倒譜距離結(jié)合的端點(diǎn)檢測(cè)算法過(guò)程如圖2所示。

圖2 算法流程圖Fig.2 Algorithm flow chart

3 實(shí)驗(yàn)及分析

結(jié)果;表2為男聲的端點(diǎn)檢測(cè)結(jié)果。

3.1 端點(diǎn)檢測(cè)實(shí)驗(yàn)

當(dāng)SNR=10 dB時(shí)語(yǔ)音信號(hào)與噪音信號(hào)幾乎無(wú)法辨別;當(dāng)SNR為10～30 dB時(shí)，噪聲為強(qiáng)噪聲環(huán)境;當(dāng)SNR為40～50 dB時(shí)，噪聲為通常實(shí)際中一般噪聲環(huán)境;當(dāng)SNR為50～60 dB時(shí)，噪聲為低噪環(huán)境［6］。故在通常情況下，在該實(shí)驗(yàn)中我們?nèi)「咚拱自肼暤哪芰恳許NR=45 dB大小來(lái)表示一般環(huán)境下噪聲，利用短時(shí)能量與倒譜距離相結(jié)合的方法研究和比較。

本仿真實(shí)驗(yàn)所取的語(yǔ)音樣本為我們錄好的200條相對(duì)純凈的語(yǔ)音，男女各100條，2男2女所錄的語(yǔ)音中都包括前進(jìn)、后退、左轉(zhuǎn)、右轉(zhuǎn)、停止等5個(gè)命令，每個(gè)命令各10條。采樣頻率為16 kHz，16 bit量化，單聲道，然后對(duì)各個(gè)語(yǔ)音樣本進(jìn)行45 dB混噪，最后進(jìn)行實(shí)驗(yàn)。圖3為在一般噪聲環(huán)境下，利用倒譜距離的“前進(jìn)”語(yǔ)音命令端點(diǎn)檢測(cè)圖;圖4為在一般噪聲環(huán)境下，短時(shí)能量與倒譜距離結(jié)合的“前進(jìn)”語(yǔ)音命令端點(diǎn)檢測(cè)圖;表1為女聲的端點(diǎn)檢測(cè)

表1 女聲的端點(diǎn)檢測(cè)結(jié)果Tab.1 Endpoint detection results of female

表2 男聲的端點(diǎn)檢測(cè)結(jié)果Tab.2 Endpoint detection results ofmale

從實(shí)驗(yàn)結(jié)果可以看出，在一般噪聲環(huán)境下，倒譜距離用于端點(diǎn)檢測(cè)明顯失去了作用，并不能檢測(cè)到語(yǔ)音的端點(diǎn)，所以短時(shí)能量與倒譜距離相結(jié)合比倒譜距離的端點(diǎn)檢測(cè)方法，更能很好地檢測(cè)到語(yǔ)音的起始點(diǎn)。

3.2 在智能輪椅交互中的應(yīng)用

智能輪椅由輪椅體、面板、控制箱、電機(jī)驅(qū)動(dòng)板、輪椅控制器、電源模塊和電池組成?？刂葡渲邪?塊電路板，分別為ARM板、電機(jī)控制電路板和傳感器信息處理板。特別是ARM板，它是智能輪椅中最重要的一部分，智能輪椅主要由ARM板的Linux操作系統(tǒng)控制?？傊珹RM是一個(gè)服務(wù)器端，客服端就是筆記本電腦，也是語(yǔ)音識(shí)別系統(tǒng)操作平臺(tái)，最后通過(guò)無(wú)線局域網(wǎng)將2個(gè)連接起來(lái)。智能輪椅人機(jī)交互系統(tǒng)如圖5所示。

圖5 智能輪椅人機(jī)交互系統(tǒng)Fig.5 Human－computer interaction system of the intelligentwheelchair

電腦的聲卡和麥克風(fēng)用于語(yǔ)音識(shí)別和信號(hào)傳輸。當(dāng)我們的聲音進(jìn)入麥克風(fēng)從模擬信號(hào)轉(zhuǎn)變?yōu)閿?shù)字信號(hào)，錄音程序?qū)?shù)字化的語(yǔ)音信號(hào)以規(guī)定的采樣頻率、采樣精度和聲道保存到計(jì)算機(jī);然后由端點(diǎn)檢測(cè)程序標(biāo)出語(yǔ)音信號(hào)的端點(diǎn);接著將做了端點(diǎn)標(biāo)記的語(yǔ)音信號(hào)進(jìn)行 MFCC(mel－frequency cepstru coefficient)特征提取，聲音就被加工成一系列的特征序列，將這些特征序列分析建立語(yǔ)音語(yǔ)據(jù)庫(kù)。在識(shí)別過(guò)程中，將再次提取的特征序列分析并與數(shù)據(jù)庫(kù)數(shù)據(jù)進(jìn)行匹配比較。ARM是用來(lái)控制輪椅采取適當(dāng)?shù)男袆?dòng)。這個(gè)過(guò)程如圖6所示。

圖6 智能輪椅人機(jī)交互系統(tǒng)的詳細(xì)流程圖Fig.6 Detailed flow chart of human－computer interaction system

我們知道，取樣頻率越高，提取的信號(hào)將越接近原來(lái)的信號(hào)，不過(guò)，高采樣頻率需要較大的音頻文件。在語(yǔ)音識(shí)別中，16 kHz的采樣頻率已被證明非常有效。因此，在VC程序中我們把采樣頻率設(shè)置為16 kHz。在實(shí)驗(yàn)室的環(huán)境下，我們向麥克風(fēng)講5個(gè)命令，智能輪椅在各個(gè)命令下都成功執(zhí)行了相應(yīng)的行動(dòng)，基于語(yǔ)音控制的智能輪椅人機(jī)交互系統(tǒng)如圖7所示。

圖7 基于語(yǔ)音控制的智能輪椅人機(jī)交互系統(tǒng)Fig.7 HMIsystem of intelligentwheelchair based voice－controlled

4 結(jié)束

本文提出的短時(shí)能量與倒譜距離相結(jié)合的端點(diǎn)檢測(cè)方法，實(shí)驗(yàn)證明，在一般噪聲環(huán)境下，該方法能很好地檢測(cè)到語(yǔ)音的起止點(diǎn)，具有良好的魯棒性，進(jìn)而對(duì)整個(gè)智能輪椅的語(yǔ)音識(shí)別系統(tǒng)起到了關(guān)鍵作用，實(shí)現(xiàn)了人與智能輪椅的交互。

［1］王讓定，柴佩琪.一個(gè)基于譜熵的語(yǔ)音端點(diǎn)檢測(cè)改進(jìn)方法［J］.信息與控制，2004，33(1):77－81.

WANG Rang－ding，CHAI Pei－qi.A novel endpoint detectionmethod based on spectral entropy speech［J］.Information and control，2004，33(1):77－81.

［2］WU B F，WANG K C.Robust Endpoint Detection algorithm based on the adaptive band－partitioning spectral entropy in adverse Environments［J］.IEEE Transactions On Speech and Audio Processing，2005，13(5):762－775.

［3］HUSSAIN A，SAMAD SA，LIEW B F.Endpoint detection of speech signal using neural network［J］.IEEE Trans on ASSP，2000，(1):271－274.

［4］王博，郭英，段艷麗，等.基于倒譜特征的語(yǔ)音端點(diǎn)檢測(cè)算法研究 ［J］.信號(hào)處理，2005，21(4A):212－215.

WANG Bo，GUO Ying，DUAN Yan－li，et al.A study of speech endpoint detection algorithms Based on the spectrum characteristics［J］.Signal Processing，2005，21(4A):212－215.

［5］張?jiān)?，韓子丹，戴志強(qiáng).普通話孤立詞語(yǔ)音端點(diǎn)檢測(cè)的分形維方法研究［J］.中國(guó)傳媒大學(xué)學(xué)報(bào)自然科學(xué)版，2006，13(1):75－80.

ZHANG Yue，HAN Zi－dan，DAI Zhi－jiang.A study of fractal dimension based on speech endpoint detection method ofmandarin isolated words［J］.Journal of Communication University of China Science and Technology，2006，13(1):75－80.

［6］張仁智，崔慧娟.基于短時(shí)能量的語(yǔ)音端點(diǎn)檢測(cè)算法研究［J］.語(yǔ)音技術(shù)，2005，(7)，52－59.

ZHANG Ren－zhi，CUIHui－juan.A study of speech endpoint detection algorithm Based on short－time energy［J］.Speech Technology，2005，(7):52－59.

［7］陳保遠(yuǎn)，梁偉明.基于小波分析的語(yǔ)音端點(diǎn)檢測(cè)算法研究與仿真 ［J］.哈爾濱理工大學(xué)學(xué)報(bào)，2009，14，(1):51－59.

CHEN Bao－yuan，LIANGWei－ming.A study simulation of speech endpoint detection algorithms based on wavelet analysis［J］.Journal of Harbin University of Technology，2009，14(1):51－59.

［8］ZHANG Xue－ying，ZHAO Zhe－feng，ZHAO Gao－feng，A speech endpointdetectionmethod based on wavelet coefficient variance and sub－band amplitude variance［C］//ICICIC'06 Proceedings of the First International Conference on Innovative Computing，Information and Control，Washington，DC，USA:IEEE Computer Society，2006(3):83－86.

［9］宋喆，張德民，張?zhí)祢U.一種改進(jìn)的基于子帶譜熵的語(yǔ)音激活檢測(cè)方法［J］.重慶郵電大學(xué)學(xué)報(bào):自然科學(xué)版，2009，21(6):725－730.

SONG Zhe，ZHANG De－ming，ZHANG Tian－qi.An improved detection method of voice sub－activity based spectral entropy［J］.Chongqing University of Posts and Tele Communications:Natural Science Edition，2009，21(6):725－730.

［10］張躍進(jìn)，劉邦桂，謝昕.噪聲背景下語(yǔ)音識(shí)別中的端點(diǎn)檢測(cè)［J］.華東交通大學(xué)學(xué)報(bào)，2007，24(5):135－138.

ZHANG Yue－jin，LIU Bang－gui，XIE Xin.End－point detection of speech recognition under noise background［J］.Journal of East China Jiao－Tong University，2007，24(5):135－138.

(編輯:劉 勇)