基于DSP+ARM的音視頻同步壓縮存儲(chǔ)實(shí)時(shí)傳輸系統(tǒng)設(shè)計(jì)

閆亞玲， 李 博， 孟祥飛

(中北大學(xué) 儀器科學(xué)與動(dòng)態(tài)測(cè)試教育部重點(diǎn)實(shí)驗(yàn)室， 太原 030051)

0 引 言

現(xiàn)代人對(duì)高清音視頻的需求與日俱增，業(yè)內(nèi)對(duì)音視頻處理方法的研究也從未停止。目前音視頻的處理基本都是以ARM, DSP, FPGA為核心，本文結(jié)合了DSP+ARM芯片，同時(shí)又通過(guò)FPGA芯片實(shí)現(xiàn)視頻的輸入輸出，同時(shí)利用3種芯片實(shí)現(xiàn)音視頻的采集壓縮存儲(chǔ)傳輸，使得處理速度大大加快，對(duì)音視頻質(zhì)量的損耗大大降低。該系統(tǒng)采用H.264/AVC壓縮方法[1]，目前音視頻的壓縮同步方法以分開(kāi)壓縮后進(jìn)行同步處理為主，其實(shí)H.264/AVC也是可以壓縮音頻的，如果使用H.264/AVC對(duì)音視頻文件進(jìn)行同步壓縮，對(duì)壓縮之后的混合文件進(jìn)行存儲(chǔ)和傳輸可以大大減少工作量，免除壓縮傳輸之后的同步工作，且同步壓率也較高于異步壓縮，對(duì)音視頻質(zhì)量的影響也更少，故該系統(tǒng)選擇基于H.264/AVC的DCT系數(shù)奇偶性音視頻同步壓縮方法進(jìn)行壓縮[2]，在進(jìn)行H.264/AVC壓縮中將音頻信息隱藏在DCT變換系數(shù)中，因?yàn)樵贒CT變換的中頻段稍加修改對(duì)視頻的質(zhì)量不會(huì)有太大影響[3]，所以選擇中頻段進(jìn)行嵌入，壓縮完成的混合文件一方面通過(guò)RTP協(xié)議傳輸至目的IP進(jìn)行解碼觀看[4]；另一方面解碼后分出音頻信息通過(guò)SATA口寫(xiě)入外接硬盤(pán)進(jìn)行存儲(chǔ)[5]。

1 系統(tǒng)設(shè)計(jì)

該系統(tǒng)在DSP+ARM開(kāi)發(fā)板上完成設(shè)計(jì)，以CCD攝像頭作為視頻采集外設(shè)設(shè)備[6]，3.5 mm的麥克風(fēng)作為語(yǔ)音采集設(shè)備。系統(tǒng)的核心處理器TMS320DM6467T可實(shí)現(xiàn)多路H.264/AVC的編碼與解碼，故該系統(tǒng)采用以H.264/AVC為基礎(chǔ)的DCT系數(shù)音視頻同步壓縮方法，同步壓縮后的音視頻文件一方面通過(guò)板卡的以太網(wǎng)口傳輸至目的IP進(jìn)行實(shí)時(shí)播放；另一方面通過(guò)板卡的SATA口存儲(chǔ)至移動(dòng)硬盤(pán)中。系統(tǒng)流程如圖1所示。

圖1 系統(tǒng)圖

1.1 硬件電路

為提高音視頻的處理效率，選用DSP+ARM的雙核處理芯片設(shè)計(jì)該系統(tǒng)。其中DSP的TMS320DM6467T 芯片實(shí)現(xiàn)H.264/AVC的音視頻壓縮，ARM11實(shí)現(xiàn)外圍電路[6]。DM6467T具有2個(gè)獨(dú)立的VICP視頻編碼協(xié)處理單元，很大程度上提高編碼實(shí)現(xiàn)的效率;達(dá)芬奇系列處理器提供了比較大的字節(jié)尋址空間，代碼和數(shù)據(jù)可以放置在任何未定義的地址空間，片上有兩EMIF，其中一個(gè)EMIF直接與DDR2相連，NAND FLASH映射到CS2空間，但CS2作為子卡接口時(shí)，子卡使能管要拉高。

硬件電路的工作流程如圖2所示，視頻的輸入輸出單元采用FPGA實(shí)現(xiàn)各類(lèi)接口的的切換。芯片采用Xlinx公司V4的FPGA，DM6467T的兩個(gè)VP口經(jīng)過(guò)FPGA后，通過(guò)模式選擇寄存器可靈活與各類(lèi)輸入與輸出模式相連[7]，完成各類(lèi)不同視頻模式的兼容。該系統(tǒng)選擇的是CVBS輸入，由CCD攝像頭采集，tvp5150芯片解析,通過(guò)ADV7343輸出至LCD顯示器上顯示未經(jīng)壓縮的視頻；音頻選擇3.5 mm的麥克風(fēng)采集，AIC32芯片解析，連接器采用RCA方式;音視頻的壓縮通過(guò)系統(tǒng)核心處理單元TMS320DN6467T處理器完成。系統(tǒng)硬盤(pán)接口實(shí)現(xiàn)SATA模式，由ARC772-A進(jìn)行ATA到SATA的轉(zhuǎn)換。

圖2 硬件電路圖

1.2 軟件系統(tǒng)設(shè)計(jì)

相較于于Linux的操作復(fù)雜與難移植，Windows操作系統(tǒng)具有更好的兼容性、可操作性與移植性[4]，所以選用Windows操作系統(tǒng)作為軟件系統(tǒng)的開(kāi)發(fā)平臺(tái)，在ccs3.3中進(jìn)行軟件編程[6]，通過(guò)XDS560PLUS仿真器實(shí)現(xiàn)操作機(jī)與目標(biāo)板相連[5]。系統(tǒng)的設(shè)計(jì)包括音頻采集、視頻采集、視頻播放、音視頻壓縮、音視頻存儲(chǔ)五部分[8]，如圖3所示。

圖3 軟件框圖

(1) 音視頻采集。 音頻信號(hào)通過(guò)MIC進(jìn)入板卡，通過(guò)TI立體聲編解碼芯片TLA320AIC32及周邊電路對(duì)輸入的音頻模擬信號(hào)進(jìn)行采樣，轉(zhuǎn)為二進(jìn)制比特位數(shù)字信號(hào)等待以I2S格式進(jìn)入DM6467T執(zhí)行同步壓縮處理，處理完畢后再通過(guò)編解碼芯片把數(shù)字信號(hào)轉(zhuǎn)換成模擬信號(hào)進(jìn)行播放[5]。AIC32編解碼接口如圖4所示。音頻信息的采集設(shè)備選用Takstar的PCM-5560麥克風(fēng)，該設(shè)備靈敏度高可達(dá)到-42 dB±3 dB；使用電壓為1.5 V，通過(guò)板卡可提供；等效噪聲級(jí)為S22dB(IEC581-5)，采集聲音效果良好。

圖4 AIC編解碼過(guò)程

采集到的音頻文件一方面進(jìn)入DSP等待混合壓縮；另一方面通過(guò)TVL320AIC32提供的立體聲輸出連接器上連接音響設(shè)備，實(shí)現(xiàn)音頻采集的播放功能，顯示未經(jīng)壓縮的原質(zhì)音頻信息。

視頻信息通過(guò)CCD攝像頭采集，采集到的BT.656格式的視頻數(shù)據(jù)通過(guò)TVP5150驅(qū)動(dòng)芯片及周邊電路解碼成數(shù)字信號(hào)，通過(guò)板卡的VPIF視頻接口以I2C格式進(jìn)入緩存區(qū)等待進(jìn)一步的視頻處理。視頻采集過(guò)程如圖5所示。① 初始化采集設(shè)備，實(shí)現(xiàn)視頻解碼器TVP5150使能，完成TVP5150芯片的設(shè)置；② 完成視頻采集設(shè)置，選擇視頻采集格式，設(shè)置VPIF控制，配置控制寄存器CH0 CTRL；③ 配置存儲(chǔ)空間，在DDR中分配兩個(gè)存儲(chǔ)空間，用于存放采集到的視頻信息；④ 開(kāi)始視頻采集，采集過(guò)程中對(duì)采集圖像進(jìn)行判斷，確保圖像完成1幀1幀采集，避免丟幀跳幀現(xiàn)象。

圖5 視頻采集流程

采集到的視頻一方面進(jìn)入DSP等待壓縮處理；另一方面通過(guò)VPIF輸出，經(jīng)過(guò)FPGA后,選擇開(kāi)關(guān)連接到ADV7343處理后在于攝像頭相連的LCD顯示器上顯示出未經(jīng)壓縮的原始視頻圖像[4]。

(2) 音視頻同步壓縮。 由于H.264/AVC有更好的網(wǎng)絡(luò)適配性和更大的視頻壓縮率[9]，受到廣大的應(yīng)用和視頻實(shí)時(shí)通信等各應(yīng)用領(lǐng)域的共同認(rèn)可，并隨之發(fā)展為成為了最主要的視頻壓縮標(biāo)準(zhǔn)[10]。

該系統(tǒng)采用的是效果更好的基于DCT變換系數(shù)的音視頻同步處理方法，音視頻信息進(jìn)行同步采集，采集到的音頻信息通過(guò)AIC32芯片轉(zhuǎn)換成二進(jìn)制比特流進(jìn)入DSP等待處理，采集到的視頻信息進(jìn)入DSP進(jìn)行H.264/AVC壓縮處理的幀間預(yù)測(cè)編碼、DCT變換、量化處理，量化之后將音頻信號(hào)隱藏在DCT變換的系數(shù)中進(jìn)行重排序、熵編碼生成音視頻混合文件[2]。具體實(shí)現(xiàn)過(guò)程如圖6所示：① 通過(guò)System process配置好DSP和ARM的連接；② 通過(guò)H264 process設(shè)置壓縮過(guò)程的動(dòng)態(tài)參數(shù),H264APP_create設(shè)置視頻分辨率、幀率、比特率，H264APP_encode進(jìn)行采樣；③ Mpeg 4 process調(diào)整圖像質(zhì)量，初始化圖像質(zhì)量后若初始圖像為0則提高圖像質(zhì)量?jī)蓚€(gè)等級(jí)，若數(shù)據(jù)量過(guò)大圖像質(zhì)量良好，調(diào)整為最大值31，若前后對(duì)比后前對(duì)比大于等于3，取平均，若圖像質(zhì)量好數(shù)據(jù)量過(guò)大，調(diào)整圖像質(zhì)量，降低2個(gè)等級(jí)，若圖像質(zhì)量差數(shù)據(jù)量少，圖像質(zhì)量增加2個(gè)等級(jí)；④ DCT process進(jìn)行音視頻同步調(diào)整圖像質(zhì)量得到量化后的DCT系數(shù)g_u32Qlevel，同時(shí)通過(guò)fseek()和fread()讀取出音頻比特流；通過(guò)H264DCT_encode將音頻比特流嵌入到DCT系數(shù)中，形成音視頻混合文件。

(3) 實(shí)時(shí)網(wǎng)絡(luò)傳輸。 DM6467T整合了GMII/MII EMAC，板卡上使用PHY芯片為VSC8641,通過(guò)板卡的以太網(wǎng)接口根據(jù)RTP協(xié)議進(jìn)行傳輸[11]。傳輸過(guò)程中需要將板卡和接收機(jī)由路由器為媒介通過(guò)網(wǎng)線連接[12]，將接收機(jī)的IP設(shè)置為與板卡IP為同一網(wǎng)段[13]，配置好vlc腳本文件，就可實(shí)現(xiàn)網(wǎng)絡(luò)實(shí)時(shí)傳輸[14]。具體實(shí)現(xiàn)過(guò)程如圖7實(shí)時(shí)網(wǎng)絡(luò)傳輸流程所示。

先通過(guò)rtp_init對(duì)pcb進(jìn)行初始化，由rtp_inout讀入經(jīng)DSP處理后的PHY芯片寄存器的音視頻混合文件。ARM核在接收到編碼完成的數(shù)據(jù)后，先創(chuàng)建時(shí)間戳函數(shù)TSC()，加進(jìn)時(shí)間戳的文件UDPCtrl由init()、bind()和socket()函數(shù)完成數(shù)據(jù)打包處理，最后利用RTP sendH264()函數(shù)將編碼完成的數(shù)據(jù)通過(guò)網(wǎng)絡(luò)傳輸至目的IP，傳輸之后的音視頻文件在目的IP解碼分出音頻信號(hào)，實(shí)現(xiàn)在接收端音視頻的同步播放。

(4) 外接硬盤(pán)存儲(chǔ)。 SATA接口連接器位于板卡的背面，是一個(gè)連接硬盤(pán)的SATA接口，DSP處理之后的文件運(yùn)用ARM可通過(guò)SATA接口存儲(chǔ)到外接硬盤(pán)。具體存儲(chǔ)流程如圖8所示DSP壓縮完成之后，會(huì)發(fā)出DSP_CMD_H264_STREAM命令，之后再ARM中解碼分出音頻流[15]，通過(guò)DATA_SECTION創(chuàng)建寫(xiě)棧程緩存區(qū)，利用write_videofile和write_audiofile將視頻文件和音頻文件輸入緩存區(qū)，進(jìn)而寫(xiě)入外接硬盤(pán)中。

圖8 存儲(chǔ)流程

2 結(jié)果分析

設(shè)計(jì)的系統(tǒng)經(jīng)過(guò)測(cè)試完全可以實(shí)現(xiàn)音視頻的采集壓縮存儲(chǔ)傳輸功能，且采集的音視頻通過(guò)高達(dá)150的壓縮比壓縮后音視頻質(zhì)量仍可達(dá)到720P，存儲(chǔ)速度快，傳輸實(shí)時(shí)性好，有很大的實(shí)用價(jià)值。實(shí)驗(yàn)運(yùn)行結(jié)果如圖9所示。

圖9 實(shí)驗(yàn)結(jié)果展示

未經(jīng)壓縮的音視頻文件會(huì)在外接音箱和LCD顯示屏上顯示，壓縮后的音視頻文件經(jīng)傳輸至目的IP后在PC機(jī)上觀看。通過(guò)采集3 min 720P的音視頻文件進(jìn)行實(shí)驗(yàn)，壓縮前數(shù)據(jù)量為55 987 MB，壓縮后數(shù)據(jù)量為341MB,計(jì)算得出壓縮比可達(dá)164，通過(guò)與分開(kāi)壓縮音視頻對(duì)比采用音視頻同步壓縮之后的音頻信息壓縮比提高10%。如圖10所示為實(shí)驗(yàn)結(jié)果對(duì)比，LCD顯示的未壓縮圖像與經(jīng)過(guò)壓縮的圖像對(duì)比視頻質(zhì)量保存完好，對(duì)未經(jīng)壓縮的音頻信息與經(jīng)過(guò)同步壓縮之后分出的音頻信息進(jìn)行處理，測(cè)出兩者的時(shí)域信號(hào)，根據(jù)信號(hào)波形圖顯示，音頻信息幾乎無(wú)失真。采用網(wǎng)絡(luò)傳輸進(jìn)行實(shí)時(shí)傳輸，每秒可傳輸50幀，雖有些延遲但不影響觀看且實(shí)驗(yàn)音視頻同步觀看，通過(guò)SATA接口傳輸至外接硬盤(pán)的音視頻傳輸速度較快，傳輸之后音視頻質(zhì)量完好，同步效果良好[11]。

圖10 實(shí)驗(yàn)結(jié)果對(duì)比

3 結(jié) 論

系統(tǒng)經(jīng)過(guò)測(cè)試，完全實(shí)現(xiàn)音視頻的同步采集壓縮存儲(chǔ)實(shí)時(shí)傳輸同步觀看功能，可推廣至視頻教學(xué)、視頻會(huì)議等多媒體行業(yè)使用。該系統(tǒng)設(shè)計(jì)有以下優(yōu)點(diǎn)。

(1) 音視頻壓縮比高，壓縮比可達(dá)160以上；

(2) 音視頻質(zhì)量較高，可達(dá)720P分辨率，滿足人們對(duì)音視頻質(zhì)量的要求；

(3) 采用直接寫(xiě)入外接硬盤(pán)的方式，方便對(duì)文件的提取，有很大的便利性；

(4) 傳輸實(shí)時(shí)性好，基本解決延遲問(wèn)題，這點(diǎn)很適用于視頻會(huì)議；

(5) 音視頻同步性良好，從根源上解決音視頻不同步的問(wèn)題，帶給人們更大的音視覺(jué)享受。