基于DSP的實(shí)時(shí)數(shù)字音頻系統(tǒng)的實(shí)現(xiàn)

摘要：通過(guò)濾波對(duì)聲音的噪音加以控制、毛刺去除和加以潤(rùn)色，搭配上混響輸出給人有專(zhuān)業(yè)聲樂(lè)棚的質(zhì)感，本文主要研究實(shí)時(shí)數(shù)字音頻系統(tǒng)構(gòu)建的幾種不同方法、典型應(yīng)用和特效開(kāi)發(fā)的流程，最后篩選音頻系統(tǒng)混音算法。

關(guān)鍵詞：DSP;數(shù)字音頻;混音

實(shí)時(shí)音頻系統(tǒng)主要是在將模擬信號(hào)轉(zhuǎn)換為數(shù)字信號(hào)后，實(shí)現(xiàn)采樣、濾波、變換等處理，在一系列流水處理之后再轉(zhuǎn)換為模擬信號(hào)輸出給揚(yáng)聲器。在信號(hào)處理階段，對(duì)人聲要經(jīng)過(guò)采集、降噪、均衡、潤(rùn)色、壓限和搭配混響等環(huán)節(jié)。

一、基于DSP的實(shí)時(shí)音頻系統(tǒng)

DSP的實(shí)時(shí)音頻系統(tǒng)是將外部輸入的模擬信號(hào)通過(guò)模數(shù)轉(zhuǎn)換為可以處理加工的數(shù)字信號(hào)，再對(duì)數(shù)字信號(hào)進(jìn)行編輯、潤(rùn)色、去噪等加工，并通過(guò)數(shù)模轉(zhuǎn)換芯片中把處理后的信號(hào)回歸實(shí)際環(huán)境格式，如圖1所示

圖1 ? DSP技術(shù)流程圖

DSP內(nèi)置的程序儲(chǔ)存器里存放指令與算法，數(shù)據(jù)存儲(chǔ)器里存儲(chǔ)過(guò)去的抽樣數(shù)據(jù)和濾波器的系數(shù)。乘法器用于執(zhí)行濾波運(yùn)算中的乘法運(yùn)算，算術(shù)運(yùn)算單元用于執(zhí)行濾波運(yùn)算中的加法運(yùn)算。濾波器的仿真與優(yōu)化可以運(yùn)用MATLAB軟件內(nèi)置的FDATool工具箱，只需在MATLAB主命令行鍵入FDATool命令即可打開(kāi)如圖2所示，并把所需的濾波器各項(xiàng)參數(shù)在濾波器參數(shù)配置頁(yè)面進(jìn)行輸入，就可獲得所設(shè)計(jì)的濾波器幅度響應(yīng)波形，方便我們觀(guān)察與分析，在仿真中還可以利用SPTool工具箱分別比較濾波前后的時(shí)域信號(hào)與頻譜。

二、基于宿主軟件的實(shí)時(shí)音頻系統(tǒng)

宿主軟件的數(shù)字音頻系統(tǒng)是依托專(zhuān)業(yè)音頻卡的音頻流輸入輸出接口（Audio Stream Input Output）技術(shù)，搭載各種VST插件，將各種數(shù)字音頻數(shù)據(jù)通過(guò)計(jì)算機(jī)的CPU與內(nèi)存處理，在處理數(shù)據(jù)的時(shí)候，各種VST插件按照串聯(lián)接口排序，逐一對(duì)音頻數(shù)據(jù)有效處理，以能夠?qū)崿F(xiàn)多種現(xiàn)場(chǎng)合成效果，在幾乎零延時(shí)的情況下處理音頻數(shù)據(jù)流，受到廣泛音樂(lè)制作人與愛(ài)好者的青睞。

宿主軟件目前廣泛使用的有protools，cubase，soner，liveprofessor和Samplitude，都可以組成獨(dú)立的實(shí)時(shí)處理系統(tǒng)，主要仿真實(shí)際錄音棚設(shè)備，可以實(shí)現(xiàn)多種錄音棚合成音效，以及伴奏處理、錄音對(duì)比和聲像包絡(luò)等。

三、實(shí)時(shí)音頻系統(tǒng)的實(shí)現(xiàn)

DSP的實(shí)時(shí)音頻系統(tǒng)的優(yōu)勢(shì)是可以通過(guò)軟件分析波形并根據(jù)算法優(yōu)化，宿主軟件的優(yōu)勢(shì)是可以通過(guò)計(jì)算機(jī)的cpu與內(nèi)存的運(yùn)算模擬專(zhuān)業(yè)錄音棚的音效。通過(guò)模塊的設(shè)計(jì)和組合同時(shí)可以兼兩者之長(zhǎng)，能讓實(shí)時(shí)音頻系統(tǒng)具備更為強(qiáng)大的功能，如圖2所示

圖2 ?DSP與宿主軟件協(xié)同工作

本系統(tǒng)的功能與特點(diǎn)如下：

（1）音源的輸入可以加入濾波，對(duì)音樂(lè)的波形與幅度進(jìn)行必要的調(diào)節(jié)和控制，達(dá)到預(yù)期的音樂(lè)的鑒賞效果或要求。

（2）ADC輸入的音頻信號(hào)在經(jīng)過(guò)降噪擴(kuò)展之后，可以根據(jù)算法原理為之設(shè)置相應(yīng)的濾波器，在語(yǔ)音信號(hào)處理的時(shí)候一般在65HZ-80HZ的地方設(shè)計(jì)一個(gè)高通濾波器，用于切除低頻的噪音（因?yàn)槿寺暡辉谶@個(gè)頻段），而在高頻容易產(chǎn)生尖銳聲的地方設(shè)計(jì)一個(gè)低通濾波器，中間則使用鐘形濾波器，結(jié)果如圖3所示，得到一個(gè)平緩的輸出的波形，同時(shí)清除噴聲。

圖3 多個(gè)濾波器的混合波形

如果合成地鼓的音樂(lè)還需要加重低音，則在低頻不能使用高通濾波器，可以在135HZ的地方做一個(gè)窄帶寬的加強(qiáng)，針對(duì)不同的音色處理要求設(shè)計(jì)不同的濾波器，實(shí)時(shí)處理出來(lái)和后期制作效果一致。

（3）通過(guò)濾波器設(shè)計(jì)多種混響器，滿(mǎn)足各種音色潤(rùn)色的需要，用來(lái)合成錄音棚制作的音效，在混響器上還設(shè)置激發(fā)裝置，音源有電平信號(hào)時(shí)即下降沿轉(zhuǎn)換到上升沿時(shí)，激發(fā)器打開(kāi)側(cè)鏈作用，混響器的功能被激發(fā)，也就是自動(dòng)混響的效果。

（4）同樣原理，在音源之后增加觸發(fā)壓限的功能，ADC可以觸發(fā)其側(cè)鏈，可以實(shí)現(xiàn)隨麥克風(fēng)聲音增大而音樂(lè)降低的效果，也就是主持人所需要的人聲突出，同時(shí)也讓總輸出的幅度基本保持均衡。

（5）在上述原理上繼續(xù)延伸，可以把音樂(lè)本身分成左右聲道，人聲激發(fā)消去其中的一路，人不發(fā)聲時(shí)，音樂(lè)左右聲道都可以處于播放狀態(tài)，也就是實(shí)現(xiàn)智能跟唱。如果壓制掉的原唱的聲道繼續(xù)發(fā)送到本地?fù)P聲器，那么就成為隱含跟唱。

（6）部分特效需要宿主軟件處理時(shí)，可以通過(guò)宿主接口將DSP處理過(guò)的音頻數(shù)據(jù)發(fā)送至宿主軟件，讓宿主軟件進(jìn)一步處理各種模仿專(zhuān)業(yè)錄音棚的特效，再由宿主軟件音源輸出，實(shí)現(xiàn)DSP與宿主軟件的完美結(jié)合。

四、實(shí)時(shí)音頻系統(tǒng)的多節(jié)點(diǎn)混音

混音是將多個(gè)音頻流或多個(gè)音軌通過(guò)線(xiàn)性疊加混合為一個(gè)音頻流，在播放時(shí)聽(tīng)感能夠與現(xiàn)場(chǎng)趨于一致。要想獲得好的混音效果，取決于兩個(gè)條件：完善的混音方案與優(yōu)秀的混音算法， 兩者缺一不可。

1.混音方案

集中式混音首先將多路音頻流各自解碼后進(jìn)行預(yù)處理（ Preprocessing）。預(yù)處理的主要任務(wù)是： ①靜音檢測(cè)，可以提前抑制無(wú)關(guān)用戶(hù)的噪音，混音過(guò)程中自動(dòng)回避沒(méi)有發(fā)聲的無(wú)關(guān)用戶(hù)。如果發(fā)聲用戶(hù)為一人， 此時(shí)混音器只作轉(zhuǎn)發(fā)無(wú)須解碼再編碼;②統(tǒng)一語(yǔ)音樣本的采樣率， 為音頻混合提供必要的條件。一般默認(rèn)8 kHz的采樣率，按此標(biāo)準(zhǔn)進(jìn)行轉(zhuǎn)換。每個(gè)音軌增設(shè)一個(gè)Buffer作為音頻流緩沖區(qū)，緩沖因?yàn)榫W(wǎng)絡(luò)延時(shí)和處理速率不同的數(shù)據(jù)，混合后的音頻流進(jìn)行數(shù)據(jù)溢出檢測(cè)、音色平滑處理、回音冗余消除等后處理（Post processing）工作就可以重新編碼后發(fā)送到系統(tǒng)每個(gè)終端，如圖4所示：

圖4 集中式的混音方案

分布式混音有別與集中式混音， 分布式混音具體實(shí)施在各個(gè)終端分別進(jìn)行，終端的負(fù)擔(dān)加重，只做數(shù)據(jù)轉(zhuǎn)發(fā)的MCU負(fù)擔(dān)減輕。此方式的優(yōu)點(diǎn)是MCU負(fù)擔(dān)較輕便于擴(kuò)展用戶(hù)數(shù)量，終端優(yōu)越即可完成任務(wù)， 因?yàn)楦鹘K端無(wú)需接收到自身的音頻流，還規(guī)避了混音回聲的干擾。MCU的任務(wù)只是對(duì)音頻流進(jìn)行復(fù)制或轉(zhuǎn)發(fā)，不需要混音的模式減少傳輸延時(shí)。缺點(diǎn)是每個(gè)終端在進(jìn)行混音， 故每個(gè)終端資源開(kāi)銷(xiāo)較大。終端接收的其他用戶(hù)的多路音頻流需要良好的帶寬。分布式混音方案如圖5所示。從圖中可觀(guān)察出， 在混音器Mixer之前的預(yù)處理、緩沖配置和集中式混音相同， 不同的是混音之后的音頻經(jīng)過(guò)后處理就可以送到播放緩沖區(qū)無(wú)須重新編碼等待音頻播放器播放， 減少了系統(tǒng)的運(yùn)算開(kāi)銷(xiāo)。

圖5 分布式混音方案

2.混音算法

混音運(yùn)算就是在混音器中對(duì)參與混音的各種音頻流的線(xiàn)性疊加。如果存在M個(gè)輸入音頻流， 每幀語(yǔ)音流內(nèi)含N個(gè)樣本，A. Out[i] 是當(dāng)前語(yǔ)音幀混音輸出的第i個(gè)樣本， A. In[ i， j ]是當(dāng)前語(yǔ)音幀的第j個(gè)音頻流的第i個(gè)樣本的輸入（ 其中0≤j≤M-1，0 ≤ i ≤ N） ， 則線(xiàn)性疊加表達(dá)式如下：

將當(dāng)前幀的每一個(gè)語(yǔ)音樣本線(xiàn)性疊加，就得到當(dāng)前幀的混合樣本。為了實(shí)現(xiàn)平穩(wěn)性， 因此幀長(zhǎng)不宜過(guò)大，通常取幀長(zhǎng)為15-35ms。如果取幀長(zhǎng)為25ms， 采樣率為8000Hz， 則每幀就有200個(gè)樣本。目前通用量化精度為16bit，取值范圍為- 215至215之間， 多個(gè)語(yǔ)音流按表達(dá)式（1-1）進(jìn)行線(xiàn)性疊加，可能會(huì)溢出而產(chǎn)生噪音。

克服混音溢出難題一般有如下幾種方法：

（1）平均值法：針對(duì)表達(dá)式（1-1） A. Out [ i] 求其平均值作為混合音頻流輸出，如式（1-2）所示， 該方法能夠解決溢出問(wèn)題， 但會(huì)嚴(yán)重降低混音后的音量。參與混音的音頻流越多， 音量也就越小， 如果輸入的原始音量很小， 經(jīng)均值計(jì)算后則很難聽(tīng)見(jiàn)。當(dāng)用戶(hù)數(shù)目發(fā)生變化時(shí)， 混音輸出的音量也會(huì)隨之變化， 因此該方法只能運(yùn)用于音頻流較少的情形。

（2）箝位法： 檢測(cè)到溢出時(shí)，溢出超過(guò)臨界部分給予切除，未溢出的維持原狀。如式（1-3）所示， 該方法雖然較為快速簡(jiǎn)易，但卻造成音頻流的損失，引入了波形失真， 同時(shí)存在較大雜音的困擾。因此，該方法在音頻流較多溢出頻繁的情況下，不具備實(shí)用價(jià)值。

（3）按溢出貢獻(xiàn)加權(quán)算法：尋求一種權(quán)重比將溢出的音頻流按預(yù)設(shè)的權(quán)重縮小， 從而克服混音溢出難題。在對(duì)音頻流混音時(shí)可分別對(duì)各音頻流設(shè)置固定權(quán)重或自適應(yīng)權(quán)重，比較而言，自適應(yīng)加權(quán)是更為理想的解決途徑，但混音計(jì)算不宜過(guò)于復(fù)雜， 否則會(huì)導(dǎo)致計(jì)算延時(shí)加劇， 不適用于實(shí)時(shí)音頻處理。

將人聲的音量大小作為權(quán)重，混音算法中用音量除以權(quán)重，聲音大的權(quán)重大，除數(shù)大減少就多，因此混音后各人的音量互相接近， 消除了小音量被淹沒(méi)的問(wèn)題， 又完美克服了溢出難題。假設(shè)第j路音頻流的第i個(gè)樣本權(quán)重是Wj[i] ，音頻流的幅度又可以用其絕對(duì)值表示，則表達(dá)式為：

當(dāng)混音后溢出的話(huà)， 則修改第j 路的幅度為：

此時(shí)混音輸出的表達(dá)式為：

算法如下： ①按表達(dá)式（1-1） 計(jì)算混音輸出; ②根據(jù)混音后是否溢出確定混音輸出的表達(dá)式，如無(wú)溢出則為表達(dá)式（1-1），反之轉(zhuǎn)下一步; ③根據(jù)表達(dá)式（1-4） 確定各路音頻流權(quán)重， 再由表達(dá)式（1-6） 處理溢出問(wèn)題; ④轉(zhuǎn)表達(dá)式（1-1）確定下一個(gè)語(yǔ)音樣本。如果N 個(gè)樣本均處理完畢， 則轉(zhuǎn)下一步; ⑤循環(huán)上述4個(gè)步驟處理下一幀。

五、仿真結(jié)果

通過(guò)分析上述三種算法的計(jì)算復(fù)雜度可看出，前兩種算法雖然計(jì)算復(fù)雜度低，容易實(shí)現(xiàn)， 但不能保證混音的質(zhì)量， 也不能對(duì)混音溢出做出合理修正，更不能突破四用戶(hù)的瓶頸限制;第三種按溢出貢獻(xiàn)加權(quán)算法則相對(duì)比較優(yōu)越。實(shí)驗(yàn)結(jié)果如下：

實(shí)驗(yàn)數(shù)據(jù)是預(yù)先錄制音頻，兩路人聲，兩路音樂(lè)，其中一路人聲和一路音樂(lè)聲音較小，另外兩路較大，語(yǔ)音的采樣率都是44100Hz，精度為16bit，語(yǔ)音幀長(zhǎng)取為20ms，測(cè)試時(shí)長(zhǎng)為80s，測(cè)試環(huán)境為Windows 7 64位 系統(tǒng)， CPU為雙核四線(xiàn)程I3 3220， 4GB 內(nèi)存。分別對(duì)式（1-2）， 式（1-3）和式（1-6）三種算法進(jìn)行實(shí)驗(yàn)， 記錄三種不同算法進(jìn)行四路混音語(yǔ)音數(shù)據(jù)耗時(shí)分別為22ms， 32ms和45 ms， 從處理時(shí)間可以看出運(yùn)算開(kāi)銷(xiāo)都不大， 按貢獻(xiàn)加權(quán)算法只落后十幾毫秒。圖6至圖9是三種算法分別混音后的音頻波形， 比較波形圖可以看出， 平均值方法得到的波形整體幅度比較小，小的音頻信號(hào)被淹沒(méi)， 而且參與混音的音頻流數(shù)目越多所得波形幅度越小;箝位法混音輸出波形雖然似乎保真， 但是仍可以看出在上下邊界溢出波形被剪切，參與混音的越多溢出剪切越頻繁造成失真越多;按貢獻(xiàn)加權(quán)混音輸出的波形幅度適中， 幾乎無(wú)溢出， 既平衡了各路的音量， 并完美地控制了溢出。綜合以上得出， 按貢獻(xiàn)加權(quán)算法實(shí)用可靠。

圖6 平均值混音輸出波形

圖7 箝位法混音輸出波形

圖8按貢獻(xiàn)加權(quán)混音輸出波形

本文通過(guò)搭建實(shí)時(shí)系統(tǒng)，對(duì)音頻合成各種音效進(jìn)行了分析，可以實(shí)現(xiàn)朗誦、錄音、對(duì)唱、合唱、自動(dòng)混響與音樂(lè)閃避等特效，得到了比較理想的結(jié)果。并在此基礎(chǔ)上，運(yùn)用平均值法、箝位法、按貢獻(xiàn)加權(quán)法對(duì)仿真結(jié)果進(jìn)行了分析，而得出按貢獻(xiàn)加權(quán)法混音輸出的效果明顯好于傳統(tǒng)兩種方法輸出的結(jié)論。與傳統(tǒng)的實(shí)現(xiàn)方式相比，本文所采用的這種方式可以得到更加線(xiàn)性、平滑的數(shù)字波形。

參考文獻(xiàn)：

[1]張承云、謝志文、謝渡蓀.多媒體計(jì)算機(jī)的音頻實(shí)時(shí)處理[J].電聲技術(shù)，2000（1）：p19—2l

[2]陸牧基于DSP的數(shù)字音效系統(tǒng)研究[D].華中科技大學(xué)碩士學(xué)位論文，2002

[3]謝鏗.基于DSP的數(shù)字音頻系統(tǒng)[D].廣東工業(yè)大學(xué)碩士學(xué)位論文，2002

[4]鄧在雄、趙惠清.數(shù)據(jù)實(shí)時(shí)采集與處理系統(tǒng)軟件開(kāi)發(fā)中若干問(wèn)題的研究[J].北京化工大學(xué)學(xué)報(bào)（自然科學(xué)版），2004（3）：32-33

作者簡(jiǎn)介：

葉強(qiáng)，男，江蘇財(cái)經(jīng)職業(yè)技術(shù)學(xué)院教師，工學(xué)碩士，計(jì)算機(jī)應(yīng)用方向。