移動設備VOIP實時通信軟件中的回聲延遲估算方法

胡海,李曉鵬,周平,王偉

［摘要］ 在VIOP通信軟件中有一個嚴重影響通話質(zhì)量的因素就是回聲。回聲是指說話者通過通信設備發(fā)送給其他人的語音又重新又回到自己的聽筒里的現(xiàn)象?；芈晻φf話者產(chǎn)生嚴重的干擾，必須想辦法消除或削弱。一般，回聲分為兩種，即“電路回聲”和“聲學回聲”?！半娐坊芈暋笨梢酝ㄟ^硬件設備的合理設計而消除。而“聲學回聲”由于其產(chǎn)生的環(huán)境復雜，不容易消除。本文通過分析移動設備的聲卡的參數(shù)設定和錄放音數(shù)據(jù)的時序關系，總結出一套估算該類設備上聲學回聲延遲的方法，有效地提高了回聲消除的效率和效果，為該類設備上設計VOIP通信軟件的回聲消除模塊提供了參考。

［關鍵詞］ 回聲； 聲學回聲； 回聲延遲； 回聲消除器； 采樣率； 重采樣

doi : 10 . 3969 / j . issn . 1673 - 0194 . 2012 . 10. 045

［中圖分類號］TN914 ［文獻標識碼］A［文章編號］1673 - 0194（2012）10- 0081- 03

１引言

在語音通信中，有一個很影響通話質(zhì)量的因素就是回聲?；芈暰褪侵刚f話者通過通信設備發(fā)送給其他人的語音又重新又回到自己的聽筒里的現(xiàn)象?；芈晻φf話者產(chǎn)生嚴重的干擾，必須想辦法消除。一般，回聲分為兩種，即“電路回聲”和“聲學回聲”?！半娐坊芈暋笨梢酝ㄟ^硬件設備的合理設計而消除，在此不作討論。最復雜和最難消除的應該是所謂的“聲學回聲”?！奥晫W回聲”是指遠端用戶的聲音從聽筒出來以后，經(jīng)過空氣或其他的傳播媒介傳到近端用戶的話筒，再通過話筒錄音后又重新傳到遠端用戶的聽筒中形成的回聲。當近端用戶的放音音量比較大而錄音設備和放音設備距離比較近時回聲尤其明顯。“聲學回聲”受近端用戶環(huán)境的影響，可能產(chǎn)生多路回聲，包括直接回聲和反射回聲，各個回聲的路徑不同，延遲也就不同，因而難以消除（如圖１）。

２聲學回聲消除器

對于聲學回聲消除，常見的消除算法有２類，即回聲抑制（ａｃｏｕｓｔｉｃ ｅｃｈｏ ｓｕｐｐｒｅｓｓｉｏｎ）算法和聲學回聲消除（ａｃｏｕｓｔｉｃ ｅｃｈｏ ｃａｎｃｅｌｌａｔｉｏｎ）算法。

回聲抑制算法是較早的一種回聲控制算法?；芈曇种剖且环N非線性的回聲消除。它通過簡單的比較器將準備由揚聲器播放的聲音與當前話筒拾取的聲音的電平進行比較，如果前者高于某個閾值，那么就允許傳至揚聲器，而且話筒被關閉，以阻止它拾取揚聲器播放的聲音而引起遠端回聲。如果話筒拾取的聲音電平高于某個閾值，揚聲器被禁止，以達到消除回聲的目的。由于回聲抑制是一種非線性的回聲控制方法，會引起揚聲器播放的不連續(xù)，影響回聲消除的效果，隨著高性能的回聲消除器的出現(xiàn)，回聲抑制已經(jīng)很少有人使用了。

聲學回聲消除算法（ＡＥＣ）是對揚聲器信號與由它產(chǎn)生的多路徑回聲的相關性為基礎，建立遠端信號（ｓ［ｎ］）的語音模型，利用它對回聲進行估計（ｅ～［ｎ］），并不斷地修改濾波器的系數(shù)，使得估計值更加逼近真實的回聲（ｅ［ｎ］）。然后，將回聲估計值從話筒的輸入信號中減去，從而達到消除回聲的目的，如圖２所示。

３聲學回聲消除器設計

一般，回聲消除器的初始化需要兩個參數(shù)：一次處理的數(shù)據(jù)量（幀長）和估計的錄音中回聲相對于錄音開頭的偏移量，即回聲相對于錄音的延遲的最大值（尾長）?；芈曄涌诘囊话阈问綖椋海粒澹悖疲酰睿悖簦椋铮睿ǎ椋睿穑酰?ｆｒａｍｅ，ｐｌａｙｂａｃｋ ｆｒａｍｅ， ｏｕｔ ｆｒａｍｅ），對錄音數(shù)據(jù)進行回聲消除需要等量的播放數(shù)據(jù)輸入作為建立回聲模型的參考數(shù)據(jù)。要達到良好的回聲消除效果，必須保證以下3點：

（１） 播放數(shù)據(jù)的產(chǎn)生速度要和錄音數(shù)據(jù)的產(chǎn)生速度達到動態(tài)平衡，為此如果錄放音數(shù)據(jù)的采樣率不同，那么需要把他們統(tǒng)一成同一采樣率下的數(shù)據(jù)以后再進行回聲消除。如果是實時的語音處理，由于網(wǎng)絡的不穩(wěn)定性，數(shù)據(jù)包可能在網(wǎng)絡上丟失或者由于過大的延遲而被其他的處理環(huán)節(jié)丟棄，那么來自遠端的數(shù)據(jù)量可能會少于近端錄音產(chǎn)生的數(shù)據(jù)量，對于這種情況我們必須補充播放數(shù)據(jù)，以保證放音數(shù)據(jù)的量和錄音數(shù)據(jù)量達到平衡。

（２） 播放數(shù)據(jù)帶有的聲音信息先于錄音數(shù)據(jù)中帶有的對應的回聲信息送給回聲消除接口。這個先后順序是回聲消除的前提，回聲消除器不可能消除自己沒有“見過”的回聲。

（３） 播放數(shù)據(jù)的聲音對應的回聲在錄音數(shù)據(jù)中出現(xiàn)的位置相對于錄音的開頭的偏移量（即延遲）不能太大，因為所有的回聲消除器支持的尾長都有一個范圍，延遲超過了這個范圍回聲就無法消除了。

為了滿足第一條，我們需要對放音線程數(shù)據(jù)產(chǎn)生的速度進行控制，控制拿給聲卡播放的數(shù)據(jù)量和從聲卡獲得的錄音數(shù)據(jù)量總是保持一致。由于錄音數(shù)據(jù)產(chǎn)生的速度總是均勻的，因此放音數(shù)據(jù)的產(chǎn)生也必須均勻，也就是說從服務器得到的放音數(shù)據(jù)沒有及時達到時，我們需要“創(chuàng)造”放音數(shù)據(jù)給系統(tǒng)播放，同時將這些數(shù)據(jù)緩存到放音數(shù)據(jù)隊列里。創(chuàng)造的方式有很多，比如填充靜音數(shù)據(jù)或是通過Wｓｏｌａ算法來模擬連續(xù)語音數(shù)據(jù)。

４回聲延遲估計

在第一次獲得放音數(shù)據(jù)時，我們開始對錄音數(shù)據(jù)進行回聲消除。開始回聲消除之后，從系統(tǒng)錄音接口得到的錄音數(shù)據(jù)里可能含有回聲消除開始前錄到的數(shù)據(jù)。而從開始回聲消除那一刻起到放音幀真正從聲卡放出來被錄音設備捕獲可能也需要等待一段時間（我們假設聲音一放出來立即被錄到錄音數(shù)據(jù)里，忽略其在媒介中的傳播時間，因為實際中最突出的回聲是直接回聲，即聲音從播放設備出來，通過空氣或手機本身直接傳輸?shù)戒浺粼O備，而不是經(jīng)過反射回到錄音設備，一般直接回聲從放音設備出來再回到錄音設備的時間是很短的，一般不到１毫秒，可以忽略），這個時間跟聲卡放音的緩沖區(qū)的長度和我們的放音幀長度有關。放音數(shù)據(jù)和錄音數(shù)據(jù)的時序關系如圖３所示。

（以ＡＥＣ開始后取得的第一個錄音幀的起始錄音時間為起點ｔ０）

粗虛線圈表示一個放音幀時長，實線圈表示錄音緩沖區(qū)對應的時長，淺虛線圈表示錄音幀時長。

為了保證所有播放的聲音一定會在錄音數(shù)據(jù)中重現(xiàn)，應先啟動錄音線程，然后再啟動放音線程?；芈暤难舆t決定了回聲消除器需要的“尾長”，“尾長”越小，同樣長度的數(shù)據(jù)回聲消除器的處理時間越短，回聲消除算法的收斂也越快，即消除回聲起效越快。為了使回聲的延遲盡量小，我們需要從設備支持的采樣率中選擇最合適的錄放音采樣率。這個選擇的過程是移動設備上回聲消除處理的關鍵。

如上所述，延遲可分為兩部分，一部分是由錄音時產(chǎn)生的，另一部分是由放音產(chǎn)生的。

先說放音，移動設備支持的放音采樣率有多種，每種采樣率下都有一個最小放音緩沖區(qū)長度，放音的緩沖區(qū)只能設置得比這個長度長。我們每次給放音ＡＰＩ播放的數(shù)據(jù)會去填充緩沖區(qū)，只有當緩沖區(qū)被填滿以后才會真正拿到聲卡去播放。如果放音幀比放音緩沖區(qū)長，那么放音的延遲就只是聲卡固有的放音延遲。如果放音幀比放音緩沖區(qū)短，那么就要等若干個放音幀來填充放音緩沖區(qū)，直到填滿以后才送給聲卡去播放。而聲卡收到放音數(shù)據(jù)到放音數(shù)據(jù)開始播放，這之間可能還有一個間隔，這是由于聲卡總是一段數(shù)據(jù)一段數(shù)據(jù)地播放，如果送到聲卡的時候前一段數(shù)據(jù)還沒播放完，那么聲卡會等到前一段數(shù)據(jù)播放完了才開始播放送來的這段數(shù)據(jù)，這個“數(shù)據(jù)段”的長度一般對應的就是“最小放音緩沖區(qū)長度”。所有上述的時間內(nèi)產(chǎn)生的錄音數(shù)據(jù)也會被送到回聲消除器里去處理，因此這段時間內(nèi)造成的數(shù)據(jù)延遲為（用時長表示）：

放音延遲 ＝－ １ · 放音幀時長 ＋ 聲卡延遲 （1）

其中［］表示向上取整，即取不小于該數(shù)的最小整數(shù)。“聲卡延遲”即數(shù)據(jù)包送到聲卡后到其播放出來之間的間隔。如果有多個采樣率下的放音延遲都達到最小，那么我們選取最接近編解碼采樣率的那個采樣率，因為越相近的采樣率重采樣時造成的失真越小。而放音緩沖區(qū)長度也就設置為（大于或等于最小放音緩沖區(qū)長度的）重采樣為放音采樣率后的放音幀長度的最小倍數(shù)。

再說錄音，錄音稍微復雜一些。錄音也和放音一樣，在每種錄音采樣率下都有一個最小錄音緩沖區(qū)長度，錄音的緩沖區(qū)只能設置得比這個長度長。當錄音數(shù)據(jù)填滿第一個緩沖區(qū)以后，我們才能從錄音ＡＰＩ中獲得第一個錄音塊，由于回聲消除的原因，我們每次都要從錄音數(shù)據(jù)里取得和放音幀“等長”（這里的“等長”是指播放時長相等）的錄音幀來進行處理。在放音線程得到第一個放音幀、開始回聲消除這個時刻之后，我們從錄音ＡＰＩ里得到的錄音數(shù)據(jù)里可能有一部分是在回聲消除開始之前就錄到的，這個數(shù)據(jù)有多少跟錄音幀長度以及錄音緩沖區(qū)的長度都有關。如果錄音緩沖區(qū)的長度不是錄音幀長度的整數(shù)倍，錄音數(shù)據(jù)里錄到的回聲消除前的聲音數(shù)據(jù)的時長的最大值是一個錄音幀時長加上填滿一個錄音緩沖區(qū)需要的數(shù)據(jù)對應的播放時長之和。而如果錄音緩沖區(qū)長度是錄音幀長度的整數(shù)倍，那么錄到的回聲消除前的聲音的最大時長就是填滿一個錄音緩沖區(qū)需要的數(shù)據(jù)對應的播放時長。

錄音延遲 ＜ （２）

因此我們選擇使錄音延遲最大值最小的錄音采樣率，而存在多個同時達到最小值的錄音采樣率時，我們選擇最接近錄音編碼采樣率的采樣率。錄音緩沖區(qū)長度就設為（大于或等于最小錄音緩沖區(qū)長度的）換算到錄音采樣率下的錄音幀長度的最小倍數(shù)。

由于放音延遲除去“聲卡延遲”的部分以外，剩下的那部分是固定的（見式（１）），作為一種優(yōu)化，我們可以把錄音數(shù)據(jù)從頭部先丟掉一部分數(shù)據(jù)，這部分數(shù)據(jù)對應的時長就等于這部分延遲，這樣將縮短回聲的延遲，可以降低回聲消除器的“尾長”。

５結論

本文通過仔細地分析移動設備的錄放音系統(tǒng)的各個環(huán)節(jié)對回聲消除器得到的數(shù)據(jù)產(chǎn)生的影響，精確地估算出了回聲延遲可能的范圍，通過精確估計延遲的下限值，給回聲消除器的優(yōu)化提供了可能，提高了回聲消除器的處理效率和效果。

主要參考文獻

［１］ 耿潔． ＶｏＩＰ系統(tǒng)中的回聲分析［Ｊ］． 移動通信，２００８（１４）．

［２］ 李揮，林茫茫，胡海軍，等． ＶｏＩＰ回聲消除器設計及算法研究［Ｊ］． 電子學報，２００７，３５（９）．

［３］ 王永豐，周輝，董正宏． 自適應聲學回聲消除的實時軟件實現(xiàn)［Ｊ］． 裝備指揮技術學院學報，２００４，１５（５）．

［４］ Ｒｉｃｈａｒｄ Ｇ Ｌｙｏｎｓ．Ｕｎｄｅｒｓｔａｎｄｉｎｇ Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ［Ｍ］． Ｓｅｃｏｎｄ Ｅｄｉｔｉｏｎ． ＵＳＡ：Ｐｒｅｎｔｉｃｅ Ｈａｌｌ ＰＴＲ，２００４．

［５］ Ｓｔｅｖｅｎ Ｗ Ｓｍｉｔｈ． Ｔｈｅ Ｓｃｉｅｎｔｉｓｔ ａｎｄ Ｅｎｇｉｎｅｅｒｓ Ｇｕｉｄｅ ｔｏ Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ［Ｍ］． Ｃａｌｉｆｏｒｎｉａ：Ｃａｌｉｆｏｒｎｉａ Ｔｅｃｈｎｉｃａｌ Ｐｕｂｌｉｓｈｉｎｇ，１９９９．