基于多傳感器融合技術的視頻音效智能控制系統(tǒng)設計

徐群磊，侯建萍

（商丘學院 計算機工程學院，河南 商丘 476000）

0 引言

為了更好地實現(xiàn)信息傳遞與實時共享，應用多媒體網(wǎng)絡技術進行視頻會議，成為目前常用的流媒體信息共享模式[1]。視頻會議系統(tǒng)，又稱會議電視系統(tǒng)，是指兩個或兩個以上不同地方的個人或群體，通過傳輸線路及多媒體設備，將聲音、影像及文件資料互傳，實現(xiàn)即時且互動的溝通，以實現(xiàn)遠程會議的系統(tǒng)設備。視頻會議對視頻音效控制系統(tǒng)的要求較高，現(xiàn)有的控制系統(tǒng)在控制精度和控制效率等方面仍有待提高，因此，本文基于多傳感器融合技術設計新的智能控制系統(tǒng)[2]。為了使視頻會議在會議控制、音效等方面得到質(zhì)的提升，引入多傳感器融合技術，設計視頻音效智能控制系統(tǒng)。

為實現(xiàn)對視頻中的音效進行智能化控制，在引入多傳感器融合技術后，提出一種全新的控制系統(tǒng)，其硬件基本結(jié)構(gòu)如圖1 所示。

按照圖1 所示的方式完成所有硬件的連接，將監(jiān)測主機與系統(tǒng)內(nèi)各個自動控制主機相連接。通過網(wǎng)絡通信的方式，對獲取到的視頻中的相關數(shù)據(jù)進行實時監(jiān)測，同時能夠?qū)崿F(xiàn)與不同場景中控制主機的數(shù)據(jù)交換，形成一個小型的控制集群結(jié)構(gòu)。在實際應用中，通過對系統(tǒng)權限的設定，實現(xiàn)對系統(tǒng)中各個控制設備的運行狀態(tài)調(diào)節(jié)。

圖1 視頻音效智能控制系統(tǒng)硬件結(jié)構(gòu)示意圖

1 系統(tǒng)硬件設計

1.1 音頻處理器選型

針對本文控制系統(tǒng)中的音頻處理器進行選型，首先明確該處理器的主要應用目的是實現(xiàn)對視頻中音效的處理。為了確保處理精度，選用TMS320F28027FPTT 型號音頻處理器，該型號音頻處理器的基本性能描述如表1 所示。

表1 TMS320F28027FPTT 型號音頻處理器性能描述

本文選擇的TMS320F28027FPTT 型號音頻處理器主要與音效控制模塊相連接，利用該處理器對獲取到的音效控制指令進行識別，并將識別后的結(jié)果傳輸?shù)揭粜Э刂颇K當中，完成相應的指令動作[3]。該型號的音頻處理器可以有效調(diào)節(jié)輸入增益，更有利于輸入均衡。根據(jù)系統(tǒng)需要設置分頻，確定工作頻段，TMS320F28027FPTT 型號音頻處理器的最大頻率在60 MHz，因此將LPF 設置為60 MHz，以滿足實際系統(tǒng)運行需要。

1.2 數(shù)字調(diào)音控制臺設計

基于數(shù)字調(diào)音控制臺的應用優(yōu)勢，本文選擇將型號為NFZY ESP880A 的數(shù)字調(diào)音控制臺應用到控制系統(tǒng)當中。該型號數(shù)字調(diào)音控制臺輸入為18路，輸出為10 路，可支持多種操作系統(tǒng)對其進行操控[4]。NFZY ESP880A 型號調(diào)音控制臺上集成了模擬調(diào)音臺、反饋抑制器以及均衡器等多種調(diào)音裝置，且其主體結(jié)構(gòu)上安裝了告警電容觸摸顯示屏，能夠方便控制系統(tǒng)的用戶完成各項操作[5]。

1.3 傳感器選型

為了確?？刂葡到y(tǒng)的控制指令設置具備更可靠依據(jù)，需要對圖像、視頻、音頻等進行采集。通過獲取到的綜合信息，確定控制策略[6]。針對圖像的采集選用AT2L00XEGA0-DR 型號圖像傳感器；針對視頻的采集選用SUNPN 型號視頻傳感器；針對音頻的采集選用MP34DT05TR-A 型號音頻傳感器。其中SUNPN 型號視頻傳感器需要利用CCD 攝像頭采集視頻圖像信息，并通過其內(nèi)部的DSP 芯片實現(xiàn)對視頻每一幀圖像的處理和檢測。為了實現(xiàn)三種傳感器的同步運行，針對提取信息的數(shù)據(jù)層、特征層以及決策層進行處理。從多個傳感器獲取的信息中提取特征，并實現(xiàn)對不同特征的屬性判決，確定相互之間的關聯(lián)關系，對屬性進行融合，最后給出聯(lián)合判斷結(jié)果。通過三種傳感器的相互配合，實現(xiàn)對視頻文件后端高質(zhì)量的采集。

2 系統(tǒng)軟件設計

2.1 基于多傳感器融合的視頻音效數(shù)字信號處理

由于利用多種不同采集對象的傳感器對視頻音效的信息進行采集時，多種具備不同功能的傳感器所提供的信息存在極大差異，而這些區(qū)別較大的信息在融合時會造成控制系統(tǒng)無法實現(xiàn)對音效的有效控制，針對這一問題，在上述硬件條件基礎上，基于多傳感器融合技術，對各個傳感器獲取到的視頻音效進行數(shù)字信號處理。將傳輸速率在1.5 Mb·s-1以下的數(shù)字存儲和媒體用視頻以及相關音效進行編碼，針對寬帶音頻信號提供不同的壓縮比進行壓縮。將獲取到的音頻信號左聲道和右聲道以左環(huán)繞立體聲和右環(huán)繞立體聲代替，以此實現(xiàn)對視頻音效的數(shù)字信號處理。

2.2 視頻音效自動增益控制

在本文的控制系統(tǒng)當中，針對音效特質(zhì)按照檔次進行劃分，分別為低復雜性檔次、可分級取樣率檔次以及主要檔次。將增益控制設定在可分級取樣率檔次中，通過正交多項濾波處理，將輸入的視頻音效信號按照帶寬進行劃分，針對最低頻帶以外的信號進行增益，以此提升其在瞬時狀態(tài)下的信號質(zhì)量。利用濾波裝置將時間信號轉(zhuǎn)變?yōu)? 024 線MDCT 系數(shù)，并利用預測模塊對主要檔次的預測誤差進行編碼處理。針對音效當中的自然音頻進行編碼，采用參數(shù)編碼的方式完成，將碼率在24～64 kb·s-1的音頻作為語言信號，將小于24 kb·s-1的信號利用預測編碼將其作為音頻信號。最后，根據(jù)音頻的幅度和波形響應，將完成增益處理的音效輸出，以此實現(xiàn)對視頻音效的智能控制。

3 對比實驗

為了驗證該系統(tǒng)在實際應用中的效果，選擇基于單一視覺傳感器的控制系統(tǒng)作為對照組，將本文提出的基于多傳感器融合技術的控制系統(tǒng)作為實驗組，開展如下對比實驗。

利用基于S3C2410 的流媒體服務器作為運行環(huán)境，搭建一個控制系統(tǒng)的運行環(huán)境。將話筒和具備USB 接口的攝像頭與該服務器連接，通過該服務器完成對視頻的獲取。將PC 端作為用戶端，測試兩種控制系統(tǒng)對視頻音效的控制效果。分別從控制效率和控制精度兩個方面對系統(tǒng)運行效果進行對比分析。首先從控制效率方面對比，將兩種控制系統(tǒng)對相同視頻文件當中的音頻獲取速度作為評價指標，在實際應用中，若系統(tǒng)能夠?qū)σ曨l當中的音頻進行快速采集，則能夠為后續(xù)音頻識別和音效調(diào)節(jié)提供更有利的條件，從而促進控制效率的提升。計算得出兩種控制系統(tǒng)的音頻獲取速度，如表2 所示。

表2 實驗組與對照組控制系統(tǒng)的音頻獲取速度

從表2 的數(shù)據(jù)可以看出，在對5 個視頻文件中的音頻獲取時，實驗組的音頻獲取速度均在30 f·s-1左右，而對照組音頻獲取速度最高僅為16 f·s-1。因此，從這一實驗結(jié)果可以看出，實驗組的音頻獲取速度更快，控制效率更高。

其次，從控制精度方面對比，將兩種控制系統(tǒng)對相同視頻文件中的音效控制分貝作為指標，分貝的計算公式為：

式中：dB表示為音效的控制分貝，vref表示基準值，v表示控制系統(tǒng)的音效控制強弱水平參數(shù)。

根據(jù)上述公式，對比兩種控制系統(tǒng)的音效控制情況，結(jié)果表3 所示。

表3 實驗組與對照組視頻音效控制精度對比

從表3 記錄的數(shù)據(jù)可以看出，本文設計的基于多傳感器融合技術的控制系統(tǒng)無論是在控制效率還是在控制精度上都明顯優(yōu)于傳統(tǒng)控制系統(tǒng)，在實際應用中可充分滿足視頻音效調(diào)節(jié)和控制需要。

4 結(jié)語

本文提出了一種全新的視頻音效智能控制系統(tǒng)，并通過對比實驗的方式證明該系統(tǒng)的應用優(yōu)勢。本文提出的控制系統(tǒng)可應用到當前各企業(yè)或高校的視頻會議當中，為用戶帶來更好的會議體驗，并降低會議現(xiàn)場周圍嘈雜性對會議質(zhì)量的影響程度。在后續(xù)研究當中，將針對系統(tǒng)在實際應用中的自適應性進行進一步探究，從而使該控制系統(tǒng)能夠應用到更多領域，促進多傳感器融合技術的全面發(fā)展。