基于Android移動(dòng)平臺(tái)的單雙通道助聽(tīng)器實(shí)現(xiàn)

?

基于Android移動(dòng)平臺(tái)的單雙通道助聽(tīng)器實(shí)現(xiàn)

引文格式： 馬金龍，曾慶寧，龍超，等.基于Android移動(dòng)平臺(tái)的單雙通道助聽(tīng)器實(shí)現(xiàn)[J].桂林電子科技大學(xué)學(xué)報(bào)，2016,36(1):5-8.

馬金龍，曾慶寧，龍超，謝先明

(桂林電子科技大學(xué) 信息與通信學(xué)院，廣西 桂林541004)

摘要：為了在嘈雜環(huán)境下給弱聽(tīng)患者提供更好的助聽(tīng)效果，設(shè)計(jì)了一種基于Android移動(dòng)平臺(tái)的單、雙通道助聽(tīng)器應(yīng)用。該助聽(tīng)器通過(guò)Android系統(tǒng)提供的音頻組件調(diào)用設(shè)備的麥克風(fēng)進(jìn)行數(shù)據(jù)采集并緩存，利用單、雙通道語(yǔ)音增強(qiáng)算法對(duì)緩存的數(shù)據(jù)進(jìn)行處理并送入相應(yīng)音頻組件進(jìn)行播放。測(cè)試結(jié)果表明，在Android移動(dòng)平臺(tái)通過(guò)單、雙通道消噪功能可從移動(dòng)設(shè)備耳機(jī)聽(tīng)到清晰的增強(qiáng)后語(yǔ)音，實(shí)現(xiàn)對(duì)環(huán)境噪聲的良好濾除。

關(guān)鍵詞：移動(dòng)平臺(tái)；助聽(tīng)器；語(yǔ)音增強(qiáng)

中老年人往往出現(xiàn)不同程度的聽(tīng)力損失，但世界衛(wèi)生組織的調(diào)查表明，中國(guó)聽(tīng)力障礙患者的助聽(tīng)器配置比例低于5%[1]。助聽(tīng)器的聲音采集分為單麥克風(fēng)和麥克風(fēng)陣列。單麥克風(fēng)采集助聽(tīng)器在安靜的環(huán)境中給患者提供較好的聽(tīng)覺(jué)效果，但在嘈雜環(huán)境下增強(qiáng)效果急劇下降；麥克風(fēng)陣列為嘈雜環(huán)境下語(yǔ)音增強(qiáng)處理提供良好的解決方案，其利用陣元間信號(hào)的相位差異，在復(fù)雜噪聲環(huán)境下為聽(tīng)損患者提供較好的增強(qiáng)效果和可懂度[2]。

Android移動(dòng)設(shè)備通常配置1~2個(gè)麥克風(fēng)，在高端的設(shè)備中麥克風(fēng)數(shù)量甚至配置3個(gè)以上，以達(dá)到更好的通話和音視頻錄制效果。結(jié)合Android設(shè)備的麥克風(fēng)分布特點(diǎn)和助聽(tīng)器市場(chǎng)的巨大需求[3]，設(shè)計(jì)了一種基于Android移動(dòng)平臺(tái)的單、雙通道助聽(tīng)器應(yīng)用，通過(guò)對(duì)麥克風(fēng)采集的音頻數(shù)據(jù)進(jìn)行語(yǔ)音增強(qiáng)，達(dá)到有效濾除環(huán)境噪聲的目的。

1語(yǔ)音增強(qiáng)模型

1.1單通道語(yǔ)音增強(qiáng)模型

譜減法是最早提出的降噪算法之一，其假設(shè)噪聲為加性噪聲并從帶噪語(yǔ)音譜中減去噪聲估計(jì)譜，從而得到純凈的語(yǔ)音信號(hào)譜[4]，同時(shí)通過(guò)語(yǔ)音活動(dòng)檢測(cè)算法(voice activity detection，簡(jiǎn)稱VAD)在目標(biāo)語(yǔ)音缺失期間，對(duì)噪聲譜進(jìn)行估計(jì)和更新[5]。

假設(shè)y(n)為受到噪聲污染的輸入信號(hào)，由純凈語(yǔ)音信號(hào)x(n)和加性噪聲d(n)組成，

(1)

(2)

將Y(ω)以極坐標(biāo)形式表示：

(3)

(4)

因此，純凈語(yǔ)音信號(hào)譜的估計(jì)為：

(5)

由于增強(qiáng)的信號(hào)幅度譜可能因錯(cuò)誤估計(jì)噪聲譜而為負(fù)值，對(duì)增強(qiáng)的信號(hào)譜做半波整流處理，即將負(fù)的譜分量置零：

(6)

通過(guò)式(6)得到最終增強(qiáng)后的單通道語(yǔ)音，其中噪聲估計(jì)采用了VAD檢測(cè)，在非語(yǔ)音段對(duì)噪聲進(jìn)行更新。單通道譜減法流程如圖1所示。

圖1　單通道譜減法流程Fig.1　The flow chart of single channel spectrum subtraction algorithm

1.2雙通道語(yǔ)音增強(qiáng)模型

在雙通道信號(hào)采集過(guò)程中，由于語(yǔ)音抵達(dá)2個(gè)麥克風(fēng)存在時(shí)間差，時(shí)間差通過(guò)兩通道間語(yǔ)音段廣義互相關(guān)時(shí)延估計(jì)求得，其互相關(guān)值達(dá)到最大時(shí)的τ即為時(shí)間差[6]。利用通道間的時(shí)間差可對(duì)兩路信號(hào)進(jìn)行時(shí)間對(duì)齊，對(duì)齊后得到的信號(hào)模型為：

(7)

(8)

將2個(gè)麥克風(fēng)接收的帶噪語(yǔ)音信號(hào)x1(n)和x2(n)作為2個(gè)自適應(yīng)濾波器的期望響應(yīng)，把延時(shí)信號(hào)x1(n-T)作為第2個(gè)通道自適應(yīng)濾波器的輸入信號(hào)，延時(shí)信號(hào)x2(n-T)作為第1個(gè)通道自適應(yīng)濾波器的輸入。雙通道消噪算法流程如圖2所示。

“有錢人也賣里程啊?！绷ＡＲ贿呇b錢包，一邊小聲嘀咕一句。她以為只有自己這樣的窮人才會(huì)巴巴地在網(wǎng)上買里程積分，或者將多余的積分里程賣出去。

圖2　雙通道消噪算法流程Fig.2　The flow chart of dual-channel denoise algorithm

采用LMS算法對(duì)期望信號(hào)分別在2個(gè)通道中進(jìn)行估計(jì)，最后對(duì)輸出結(jié)果做平均處理得到雙通道增強(qiáng)后的語(yǔ)音yout，

(9)

與單通道消噪算法相比，使用延時(shí)信號(hào)x2(n-T)作為x1(n)通道的輸入，減少了期望語(yǔ)音信號(hào)之間的相關(guān)性，同時(shí)削弱通道間噪聲的相關(guān)性，提高了增強(qiáng)處理后信號(hào)的信噪比[7]。

2Android音頻資源及麥克風(fēng)調(diào)用

AudioRecord和AudioTrack是Android系統(tǒng)中獲取和播放音頻流的重要類，放置在Android.media包中。與MediaRecorder和MediaPlayer類不同，AudioRecord和AudioTrack類在獲取和播放音頻數(shù)據(jù)流時(shí)無(wú)須通過(guò)文件保存和讀取，可動(dòng)態(tài)地獲取和播放音頻流[7]。

2.1Android音頻相關(guān)組件

在Android應(yīng)用程序中，Manifest主要對(duì)該應(yīng)用程序的設(shè)定進(jìn)行描述并通知系統(tǒng)。因此，Android系統(tǒng)使用AudioRecord，需要在Manifest.xml文件中進(jìn)行聲明，以獲得系統(tǒng)的許可。通過(guò)創(chuàng)建AudioRecord類的對(duì)象可從麥克風(fēng)獲取實(shí)時(shí)的音頻數(shù)據(jù)流，采集的數(shù)據(jù)流保存到緩存，然后讀取緩存數(shù)據(jù)并利用語(yǔ)音增強(qiáng)算法處理，將處理后的數(shù)據(jù)寫(xiě)入AudioTrack類的對(duì)象，實(shí)現(xiàn)實(shí)時(shí)的語(yǔ)音增強(qiáng)輸出。創(chuàng)建AudioRecord類和AudioTrack類的主要代碼為：

staticfinalintchannelConfiguration=AudioFormat.CHANNEL_CONFIGURATION_MONO

//定義聲道

staticfinalintaudioEncoding=AudioFormat.ENCODING_PCM_16BIT//定義編碼格式

audioRecord=newAudioRecord(MediaRecorder.AudioSource.MIC,frequency,channelConfiguration,audioEncoding,recBufSize)

//創(chuàng)建AudioRecord對(duì)象

audioTrack=newAudioTrack(AudioManager.STREAM_MUSIC,frequency,channelconfiguration,audioEncoding,playBufSize,AudioTrack.MODE_STREAM)//創(chuàng)建AudioTrack對(duì)象

在助聽(tīng)器應(yīng)用的開(kāi)發(fā)過(guò)程中，通過(guò)MediaRecorder.AudioSource選項(xiàng)控制音頻數(shù)據(jù)的來(lái)源。在其參數(shù)中選擇MIC和MONO單聲道錄音，則可配置系統(tǒng)采集位于話筒的單麥克風(fēng)輸入數(shù)據(jù)；若參數(shù)中選擇CAMCORDER和STEREO立體聲錄音，則可同時(shí)采集話筒及設(shè)備頂端的雙麥克風(fēng)輸入數(shù)據(jù)。

2.2主要移動(dòng)設(shè)備的麥克風(fēng)統(tǒng)計(jì)

Android設(shè)備位于話筒的麥克風(fēng)是單通道消噪算法的信號(hào)來(lái)源。在很多高端移動(dòng)設(shè)備中，引入了“雙麥克風(fēng)降噪”技術(shù)，以優(yōu)化通話效果，因而設(shè)備擁有2個(gè)以上的麥克風(fēng)作為信號(hào)輸入源。為了解Android設(shè)備的麥克風(fēng)分布情況，凸顯選擇單、雙通道降噪的必要性，統(tǒng)計(jì)了主要移動(dòng)設(shè)備的麥克風(fēng)位置及數(shù)量，如表1所示?？紤]蘋(píng)果公司率先在iOS移動(dòng)設(shè)備應(yīng)用了多麥克風(fēng)降噪技術(shù)，統(tǒng)計(jì)包含了iOS移動(dòng)設(shè)備。

表1　主要移動(dòng)設(shè)備的麥克風(fēng)數(shù)量與位置

3單、雙通道助聽(tīng)器的實(shí)現(xiàn)

在單聲道采樣頻率為8kHz下，AudioRecord單幀讀取的默認(rèn)緩存時(shí)長(zhǎng)為0.04s，即320個(gè)采樣點(diǎn)。為更好地對(duì)每幀進(jìn)行初始噪聲值估計(jì)及VAD檢測(cè)，將緩存大小設(shè)置為1280個(gè)數(shù)據(jù)樣點(diǎn)，實(shí)際試聽(tīng)表明在該緩存大小下，可在消噪處理和聲音延遲之間獲得較好的折中效果。

在消噪過(guò)程中，從緩存讀取音頻數(shù)據(jù)并送到算法中進(jìn)行運(yùn)算，需要采用FFT、IFFT以及VAD算法[8]的Java實(shí)現(xiàn)，這是算法處理的必要步驟，也是助聽(tīng)器聲音處理并傳輸?shù)蕉鷻C(jī)過(guò)程中產(chǎn)生延遲的主要原因。

在雙通道消噪過(guò)程中，用戶通過(guò)交互界面輸入麥克風(fēng)之間的距離，并調(diào)用廣義互相關(guān)時(shí)延估計(jì)算法計(jì)算通道之間的時(shí)延，然后利用雙通道的LMS算法得到增強(qiáng)后的輸出語(yǔ)音。在立體聲PCM編碼格式的緩存中，16bit的音頻數(shù)據(jù)分高、低位交叉存儲(chǔ)，因此在讀取其數(shù)據(jù)時(shí)需要避免通道數(shù)據(jù)混淆[9]。

以算法和系統(tǒng)資源為基礎(chǔ)，基于Android移動(dòng)平臺(tái)的助聽(tīng)器應(yīng)用界面如圖3所示。其包括6個(gè)功能鍵和1個(gè)滾動(dòng)條，其中“邊錄邊放”功能可測(cè)試軟件是否正常工作，正常則說(shuō)話時(shí)可在耳機(jī)中聽(tīng)到清晰且略有延遲的聲音?！皢瓮ǖ老搿惫δ芸蛇m用于大部分智能設(shè)備，采用手機(jī)話筒位置麥克風(fēng)進(jìn)行消噪處理；“雙通道消噪”功能適用于2個(gè)以上麥克風(fēng)的智能設(shè)備，用戶可通過(guò)交互對(duì)話框設(shè)置麥克風(fēng)的間距，以獲取更佳的去噪效果。

圖3　基于Android移動(dòng)平臺(tái)的助聽(tīng)器應(yīng)用界面Fig.3　The interface of hearing aids applicationbased on Android mobile platform

為避免因喇叭播放的聲音被麥克風(fēng)循環(huán)采集而出現(xiàn)嘯叫，使用時(shí)需要佩戴耳機(jī)。若用戶點(diǎn)擊單通道消噪按鈕，則直接進(jìn)入實(shí)時(shí)采集數(shù)據(jù)并利用譜減法進(jìn)行消噪，當(dāng)用戶所處環(huán)境較為嘈雜時(shí)，耳機(jī)所輸出的

聲音質(zhì)量會(huì)有明顯地提升；若用戶所持設(shè)備具有2個(gè)麥克風(fēng)采集裝置，則可點(diǎn)擊雙通道消噪按鈕，彈出界面要求用戶輸入2個(gè)麥克風(fēng)之間的距離，然后進(jìn)入雙通道消噪流程。

4結(jié)束語(yǔ)

以Android平臺(tái)為基礎(chǔ)，結(jié)合系統(tǒng)音頻資源及主要移動(dòng)設(shè)備廠商的麥克風(fēng)分布，設(shè)計(jì)了基于Android移動(dòng)平臺(tái)的單、雙通道助聽(tīng)器應(yīng)用。該應(yīng)用利用Android移動(dòng)平臺(tái)為聽(tīng)損患者提供了一個(gè)簡(jiǎn)易助聽(tīng)方案，但未實(shí)現(xiàn)重度聽(tīng)損患者所需的頻響補(bǔ)償、寬動(dòng)態(tài)范圍壓縮等功能，暫不能作為專業(yè)助聽(tīng)器的替代方案。

參考文獻(xiàn):

[1]賴卿，夏文磊，曹萍.中國(guó)老年人群助聽(tīng)器基本情況調(diào)查報(bào)告[J].數(shù)字化用戶,2013,13(3):115-116.

[2]林靜然.基于麥克風(fēng)陣列的語(yǔ)音增強(qiáng)算法研究[D].成都：電子科技大學(xué),2007:1-8.

[3]李寧.Android開(kāi)發(fā)權(quán)威指南[M].北京：人民郵電出版社,2011:11-95.

[4]LOIZOUPC.Speechenhancement:theoryandpractice[M].Florida:CRCPress,2013:75-109.

[5]鄭展恒，曾慶寧，張少兵.一種語(yǔ)音端點(diǎn)檢測(cè)方法的研究[J].桂林電子科技大學(xué)學(xué)報(bào),2008,28(1):23-26.

[6]馬少春,劉慶華,張?jiān)椒?基于MCZT的二次相關(guān)時(shí)延估計(jì)算法[J].桂林電子科技大學(xué)學(xué)報(bào),2014,34(5):349-353.

[7]鐘金榮，梁宇，林嘉宇.一種雙通道語(yǔ)音增強(qiáng)方法[J].計(jì)算機(jī)工程與科學(xué),2012,34(5):172-177.

[8]李興華.Java開(kāi)發(fā)實(shí)戰(zhàn)經(jīng)典[M].北京，清華大學(xué)出版社,2009:137-151.

[9]鄧翔宇.語(yǔ)音PCM的Huffman編碼研究與實(shí)現(xiàn)[J].自動(dòng)化與儀器儀表,2010,10(2):121-122.

編輯：曹壽平

Single and dual-channel hearing aids based on Android mobile platform

MA Jinglong, ZENG Qingning, LONG Chao, XIE Xianming

(School of Information and Communication Engineering, Guilin University of Electronic Technology, Guilin 541004, China)

Abstract：In order to provide better hearing effect for the hearing patients in a noisy environment, a single and dual-channel hearing aids based on Android mobile platform was designed. The audio module of Android system was utilized to invoke and cache the speech data from microphone, and then the speech data was sent to the audio module after processing with the single and dual-channel algorithm. The test results show that user can hear clearly enhanced speech from the headset through the signal and dual-channel noise cancellation function, the noise is eliminated effectively.

Key words：Android mobile platform; hearing aids; speech enhancement

中圖分類號(hào)：TN912.3

文獻(xiàn)標(biāo)志碼：A

文章編號(hào)：1673-808X(2016)01-0005-04

通信作者：曾慶寧(1963-)，男，廣西桂林人，教授，博士，研究方向?yàn)檎Z(yǔ)音、醫(yī)學(xué)信號(hào)處理。E-mail:qingningzeng@126.com

基金項(xiàng)目：國(guó)家自然科學(xué)基金(61461011,41204179)；廣西自然科學(xué)基金(2014GXNSFBA118273，2012GXNSFAA053232)；桂林電子科技大學(xué)研究生教育創(chuàng)新計(jì)劃(GDYCSZ201456)

收稿日期：2015-08-25