基于嵌入式系統(tǒng)的網(wǎng)絡(luò)視頻會議系統(tǒng)設(shè)計(jì)*

陳張榮，賈俊鋮，嚴(yán)建峰

（1.蘇州高等職業(yè)技術(shù)學(xué)校，蘇州大學(xué)車聯(lián)網(wǎng)研究所，江蘇蘇州215008；2.蘇州大學(xué)車聯(lián)網(wǎng)研究所，江蘇蘇州215008）

?

基于嵌入式系統(tǒng)的網(wǎng)絡(luò)視頻會議系統(tǒng)設(shè)計(jì)*

陳張榮1*，賈俊鋮2，嚴(yán)建峰1

（1.蘇州高等職業(yè)技術(shù)學(xué)校，蘇州大學(xué)車聯(lián)網(wǎng)研究所，江蘇蘇州215008；2.蘇州大學(xué)車聯(lián)網(wǎng)研究所，江蘇蘇州215008）

摘要：為了解決傳統(tǒng)視頻會議存在的諸多問題，提出了一種基于嵌入式技術(shù)的網(wǎng)絡(luò)視頻會議系統(tǒng)。本系統(tǒng)以Linux系統(tǒng)和S3C2440控制器為核心，利用WIFI技術(shù)進(jìn)行音頻、視頻數(shù)據(jù)傳輸，將UVC攝像頭采集到的視頻數(shù)據(jù)，音頻采集芯片采集到的聲音數(shù)據(jù)進(jìn)行壓縮并傳輸。接收端可接受連續(xù)幀圖像以及同步的聲音信息，并可以同步地將本地音頻、視頻數(shù)據(jù)傳輸給發(fā)送端。測試結(jié)果表明：該網(wǎng)絡(luò)視頻會議系統(tǒng)穩(wěn)定可靠，音頻、視頻數(shù)據(jù)實(shí)時準(zhǔn)確。

關(guān)鍵詞：嵌入式技術(shù)；網(wǎng)絡(luò)視頻會議系統(tǒng)；UVC攝像頭；音頻采集芯片；WIFI技術(shù)

項(xiàng)目來源：基于時空相關(guān)性的無線傳感器網(wǎng)絡(luò)節(jié)能問題研究項(xiàng)目（6127449）；基于協(xié)作的匯合和傳輸技術(shù)研究項(xiàng)目（61201212）

隨著近年來科技的發(fā)展，視頻會議已經(jīng)成為一種全新的會議模式，不同于傳統(tǒng)的會議模式，這種全新的會議模式可以使處于不同地理位置的分散成員通過聲音，視頻等多種方式進(jìn)行交流，以達(dá)到參與會議的效果［1］。但在視頻會議為人們帶來便利的同時，也存在著一定的問題。常見的視頻會議系統(tǒng)普遍存在傳輸距離有限，實(shí)際布線量大，數(shù)據(jù)存儲量大且模擬圖象質(zhì)量不高等缺點(diǎn)。同時，嵌入式處理器的處理能力不斷增強(qiáng)，越來越多的便攜式移動終端開始采用嵌入式技術(shù)進(jìn)行設(shè)計(jì)，將嵌入式技術(shù)引入視頻會議，通過以太網(wǎng)以及其他網(wǎng)絡(luò)傳輸視頻音頻數(shù)據(jù)，是當(dāng)下視頻會議首選的解決方案。

本文設(shè)計(jì)了一套基于嵌入式技術(shù)的網(wǎng)絡(luò)視頻會議系統(tǒng)，該系統(tǒng)將嵌入式Linux技術(shù)、多線程通信、WIFI技術(shù)等技術(shù)結(jié)合起來用來保證視頻，音頻數(shù)據(jù)的實(shí)時準(zhǔn)確，視頻會議終端的便攜輕巧，從根本上解決了傳統(tǒng)視頻會議系統(tǒng)所存在的問題。

1　系統(tǒng)方案論述

本文要討論設(shè)計(jì)的是一個以嵌入式技術(shù)為基礎(chǔ)的通用性強(qiáng)且高性能嵌入式視頻會議系統(tǒng)［2］，該系統(tǒng)由USB攝像頭采集前端，音頻采集模塊，嵌入式硬件平臺，WIFI模塊4部分組成。USB攝像頭采集前端用來采集圖像視頻數(shù)據(jù)，然后對采集來的視頻數(shù)據(jù)采用MJEPG算法進(jìn)行壓縮處理，同時通過音頻采集模塊對本地的聲音信息進(jìn)行收集，再通過WIFI模塊將數(shù)據(jù)信息傳輸出去。本系統(tǒng)總體架構(gòu)如圖1所示。

圖1　網(wǎng)絡(luò)視頻會議系統(tǒng)總體框架圖

2　系統(tǒng)設(shè)計(jì)

完整的基于嵌入式的的網(wǎng)絡(luò)視頻會議系統(tǒng)硬件資源主要由TQ2440開發(fā)板，USB攝像頭，WIFI無線網(wǎng)卡，UDA1341音頻處理模塊組成；軟件方面主要是Linux系統(tǒng)設(shè)計(jì)，USB攝像頭驅(qū)動的移植，ALSA聲卡驅(qū)動的編寫，LCD顯示程序的設(shè)計(jì)。

2.1系統(tǒng)硬件設(shè)計(jì)

本網(wǎng)絡(luò)視頻會議系統(tǒng)硬件部分采用核心板加底板的模式進(jìn)行開發(fā)，核心板采用的是S3C2440A核心板，底板設(shè)計(jì)主要包括LCD接口電路、USB攝像頭接口電路、串口電路、核心板接口電路、復(fù)位電路、電源電路等。

S3C2440A核心板采用了ARM920T內(nèi)核，ARM V7指令集，主頻可達(dá)400 MHz，32 bit內(nèi)部總線結(jié)構(gòu)，可以實(shí)現(xiàn)450 MI/S的高性能運(yùn)算能力。基于ARM920T內(nèi)核的處理器在進(jìn)行人機(jī)交互設(shè)備管理、支持OS等方面擁有比較明顯的優(yōu)勢。對應(yīng)的硬件模塊電路如圖2所示。

圖2　硬件模塊電路圖

2.1.1 usb攝像頭電路設(shè)計(jì)

本系統(tǒng)所采用的攝像頭是UVC（USB video class）攝像頭，只需要標(biāo)準(zhǔn)的USB接口就可以使用，USB電路如圖3所示。

2.1.2 WIFI無線網(wǎng)卡模塊WIFI

無線網(wǎng)卡方面則選擇普聯(lián)公司生產(chǎn)的型號為TL-WN321G+WiFi無線網(wǎng)卡，此無線網(wǎng)卡總線接口采用USB方式，內(nèi)置智能天線，可以提供可靠，快速的無線訪問能力，最大發(fā)射功率20 dBm，工作頻率范圍2.4 GHz~2.48 GHz，在環(huán)境尚佳的情況下覆蓋范圍室外最遠(yuǎn)可達(dá)到300 m，室內(nèi)最遠(yuǎn)可達(dá)到100 m。

圖3　usb電路

2.1.3 UDA1341音頻處理模塊

音頻處理模塊選用的飛利浦公司的UDA1341，它支持I2S總線的音頻系統(tǒng)結(jié)構(gòu)，該芯片集成語音放大，濾波，采樣，A/D，D/A等轉(zhuǎn)換功能與一體?？梢酝ㄟ^編程控制對語音信號的數(shù)字化處理［3］。主要使用S3C2440的I2S總線接口和L3接口，I2S總線接口采用DMA的數(shù)據(jù)傳輸方式，L3接口主要是用來控制UDA1341的。

2.1.4自主底板設(shè)計(jì)

底板電路設(shè)計(jì)部分是整個硬件電路設(shè)計(jì)的關(guān)鍵部分，同時具備高頻電路和數(shù)字電路的特點(diǎn)。為了將印刷電路板上的噪聲干擾降到最低。在本設(shè)計(jì)中，采用了以下8個方面的電路板抗干擾設(shè)計(jì)技術(shù)：（1）電源和地線采用粗導(dǎo)線，降低毛刺噪聲影響。（2）地線構(gòu)成死循環(huán)回路，從而減少地線電位差。（3）布局時采用模塊化的方式。

（4）布線時將數(shù)字地和模擬地分開走線，最終連接到電源的地端。（5）布線時盡量避免90°折線，減少高頻噪聲發(fā)射。（6）濾波電容放置在芯片的背面，盡量靠近芯片電源和地的引腳。

（7）晶振布置時盡量靠近芯片引腳，晶振外殼接地并固定，同時時鐘區(qū)用地線隔離起來。

（8）布線結(jié)束后，對焊盤做淚滴處理，以增強(qiáng)信號的穩(wěn)定性。

2.2系統(tǒng)軟件設(shè)計(jì)

軟件部分，整個軟件系統(tǒng)建立在硬件的平臺基礎(chǔ)上，根據(jù)硬件平臺的配置和特性，來對軟件系統(tǒng)進(jìn)行配置和裁剪，軟件具體結(jié)構(gòu)圖如圖4所示。

圖4　軟件總體結(jié)構(gòu)圖

2.2.1 USB攝像頭驅(qū)動

本系統(tǒng)使用的攝像頭驅(qū)動是Linux下通用的sp?ca5xx，選用的攝像頭驅(qū)動版本為spca5xx-v4l1good?bye.tar.gz。本系統(tǒng)采用了驅(qū)動模塊的方式，只需要將攝像頭驅(qū)動程序編譯成內(nèi)核模塊，通過insmod命令加載模塊，即可加載攝像頭驅(qū)動。視頻設(shè)備在Linux中使用時也可以像訪問普通文件一樣對其進(jìn)行讀寫等操作，攝像頭設(shè)備文件對應(yīng)/dev/v4l2/video0文件下。V4L2是Linux下可供視頻編程的規(guī)范接口。

2.2.2 V4L2信號采集設(shè)計(jì)

V4L2（Video For Linux two）是Linux系統(tǒng)下視頻設(shè)備驅(qū)動程序接口規(guī)范，為上層應(yīng)用程序提供了一系列的接口函數(shù)，可實(shí)現(xiàn)對視頻設(shè)備的操作，進(jìn)而完成視頻圖像的采集。V4L2對設(shè)備文件的操作方法比較簡單直觀，表1中的函數(shù)可以在應(yīng)用程序中直接調(diào)用，具體功能如下。

表1　V4L2常用函數(shù)

V4L2接口提供2種方式進(jìn)行視頻數(shù)據(jù)采集。一種是read（）直接讀取方式，不斷的在內(nèi)核空間和用戶空間拷貝視頻數(shù)據(jù)，雖然這種方式使用較為方便，但是占用了大量的用戶內(nèi)存空間，效率不是很高。另一種方法是mmap（）內(nèi)存映射方式，將申請到的內(nèi)核緩沖區(qū)地址通過mmap函數(shù)映射到用戶空間，這樣就可以直接對內(nèi)核緩沖區(qū)的數(shù)據(jù)進(jìn)行處理了，這是一種相當(dāng)有效的方式［4］。

本文在采用的設(shè)計(jì)方案為第2種內(nèi)存映射方式。首先定義兩個傳輸隊(duì)列，分別為輸入隊(duì)列和輸出隊(duì)列。輸入隊(duì)列主要負(fù)責(zé)視頻數(shù)據(jù)的接收存放，輸出隊(duì)列則負(fù)責(zé)將存放入緩沖區(qū)的視頻數(shù)據(jù)驅(qū)動出去。

當(dāng)在腹板上質(zhì)心位置上下距離1.1 cm處對稱作用方向相反的兩排共四根均為300 N預(yù)應(yīng)力時，由于軸力相互平衡，在截面只產(chǎn)生純彎荷載，而當(dāng)預(yù)應(yīng)力加在質(zhì)心位置時，僅產(chǎn)生軸力。有必要研究在這兩種情況下剪力滯系數(shù)沿跨徑方向(縱向)的分布。取跨徑L=2 m，分別畫出兩種荷載下的剪力滯系數(shù)縱向分布圖，如圖4所示，橫坐標(biāo)表示的是跨徑長度范圍，縱坐標(biāo)表示剪力滯系數(shù)λ。

2.2.3圖像壓縮算法

MPEG是壓縮運(yùn)動圖像及其伴音的視音頻編碼標(biāo)準(zhǔn)，它采用了幀間壓縮，僅存儲連續(xù)幀之間有差別的地方，從而達(dá)到較大的壓縮比。MPEG現(xiàn)有MPEG-1，MPEG-2和MPEG-4等3個版本，以適應(yīng)于不同帶寬和圖像質(zhì)量的要求［5］。MPEG-1是針對1.5 Mbit/s以下數(shù)據(jù)傳輸率的數(shù)字存儲媒體運(yùn)動圖像及其伴音編碼設(shè)計(jì)的國際標(biāo)準(zhǔn)，主要用于在CDROM存儲彩色的同步運(yùn)動視頻圖像，它針對SIF標(biāo)準(zhǔn)分辨率（NTSC制為320像素×240像素；PAL制為352像素×288像素）的圖像進(jìn)行壓縮，每秒可播放30幀畫面，具備CD（指激光唱盤）音質(zhì)。MPEG-2是針對3 Mbit/s~10 Mbit/s的數(shù)據(jù)傳輸率制定的運(yùn)動圖像及其伴音編碼的國際標(biāo)準(zhǔn)。MPEG-2作為MPEG-1的兼容擴(kuò)展，它支持隔行掃描的視頻格式和許多高級性能包括支持多層次的可調(diào)視頻編碼，適合多種質(zhì)量如多種速率和多種分辨率的場合。它適用于運(yùn)動變化較大，要求圖像質(zhì)量很高的實(shí)時圖像。

MPEG-4是針對一定比特率下的視頻、音頻編碼，而且更加注重多媒體系統(tǒng)的交互性和靈活性。它有效的解決了圖像和容量的問題，是目前視頻監(jiān)控領(lǐng)域一個較好的選擇［6］。其遠(yuǎn)程傳輸?shù)膮?shù)為：圖像標(biāo)準(zhǔn)358x288；幀容量0.8 kbit/s~2.5 kbit/s；實(shí)時性20 kbit/s~62.5 kbit/s［7］。

本系統(tǒng)由于硬件條件的限制，為了達(dá)到視頻會議的效果采用基于MJPEG算法進(jìn)行視頻壓縮。它的主要特點(diǎn)是動態(tài)地使用JPEG算法，基本不考慮視頻流中不同幀之間的變化，只單獨(dú)對某一幀進(jìn)行JPEG壓縮，畫質(zhì)比較好，能產(chǎn)生高質(zhì)量、全屏、全運(yùn)動的視頻、每幀可以任意存取，可以動態(tài)調(diào)整幀率、分辨率，而且其編碼相對比較容易實(shí)現(xiàn)。

2.2.4 ALSA聲卡驅(qū)動的設(shè)計(jì)

ALSA表示高級Linux聲音體系結(jié)構(gòu)（Advanced Linux Sound Architecture）。它由一系列內(nèi)核驅(qū)動，應(yīng)用程序編譯接口（API）以及支持Linux下聲音的實(shí)用程序組成［8］。Linux內(nèi)部聲卡驅(qū)動并沒有得到積極維護(hù)，導(dǎo)致其落后于新的聲卡技術(shù)，而ALSA驅(qū)動很好地解決了這一問題。在linux2.60.30.4內(nèi)核中已經(jīng)為提供了UDA134X的ALSA驅(qū)動，只需在此基礎(chǔ)上進(jìn)行修改。

（1）配置內(nèi)核支持UDA1341

（2）修改代碼

（3）修改bug修改soundsocsamsungdma.c文件

pos += prtd->dma_period改為

pos += prtd->dma_period*limit。

（4）編譯alsa-lib，alsa-util以使用聲卡：

首先是alsa-lib：

sudo mv /usr /usr_bak

./configure --host=arm-linux

make install

sudo cp -rf /usr /work/projects/alsa/

sudo rm -rf /usr

sudo mv /usr_bak /usr

把頭文件和庫復(fù)制進(jìn)交叉工具鏈里

其次是alsa-util：

先編譯依賴：ncurses-5.9.tar.gz

./configure-- host=arm- linux-- prefix=$PWD/tmp-- withshared

make && make install

把頭文件和庫復(fù)制進(jìn)交叉工具鏈里，把庫復(fù)制到根文件系統(tǒng)的lib目錄下。

2.2.5 LCD顯示程序的實(shí)現(xiàn)

本網(wǎng)絡(luò)視頻會議系統(tǒng)需要將會議信息顯示在LCD屏幕上，因此需要編寫應(yīng)用程序來進(jìn)行，因?yàn)閁SB攝像頭采集到的視頻數(shù)據(jù)格式通常為MJPEG以及YUV格式，而LCD上的顯示數(shù)據(jù)格式為RGB格式，因此需要對視頻數(shù)據(jù)進(jìn)行轉(zhuǎn)化，使之能存入LCD顯存framebuffer中，圖6為最終顯示效果圖。

圖6　LCD顯示效果圖

3　結(jié)論

本系統(tǒng)利用嵌入式系統(tǒng)的獨(dú)特性，設(shè)計(jì)了一種基于嵌入式的網(wǎng)絡(luò)視屏?xí)h系統(tǒng)。本系統(tǒng)在S3C2440

核心板的板基礎(chǔ)上，利用WIFI技術(shù)進(jìn)行數(shù)據(jù)傳輸，通過USB攝像頭進(jìn)行視頻數(shù)據(jù)采集，UDA1341進(jìn)行聲音數(shù)據(jù)采集，準(zhǔn)確率較高，方便易用。

參考文獻(xiàn)：

［1］鄒玲，劉進(jìn).基于ARM9處理器的嵌入式音頻系統(tǒng)設(shè)計(jì)［J］.微計(jì)算機(jī)信息，2009，23（14）：152.

［2］Lu Tao，Zang Haihe，Li Xiujuan. Embedded Video Monitoring Sys?tem on ARM and Linux［C］//Electrical and Control Engineering （ICECE）Yicheng，2011. 04：184-186.

［3］林華.基于ARM9的嵌入式通信系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)［J］.電腦知識與技術(shù)，2007，3（14）：442-443.

［4］張聰敏，游向東.基于V4L2的遠(yuǎn)程圖片采集系統(tǒng)［J］.中國科技論文在線，2010.04：25-28.

［5］王巖.視頻信號采集與網(wǎng)絡(luò)傳輸系統(tǒng)的研究與實(shí)現(xiàn)［D］.遼寧大連海事大學(xué)，2011：16-18.

［6］張建.基于S3C2410和嵌入式Internet的家庭視頻監(jiān)控系統(tǒng)設(shè)計(jì)［D］.上海：上海交通大學(xué)，2007：1.

［7］汪光華.視頻監(jiān)控全面解析與實(shí)力分析［M］.北京：北京機(jī)械工業(yè)出版社，2012. 08:31-32.

［8］姜博.基于PDA的嵌入式無線通信系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)［D］.國防科技大學(xué)，2007：16.

陳張榮（1982-），男，漢族，碩士，蘇州高等職業(yè)技術(shù)學(xué)校講師，蘇州大學(xué)車聯(lián)網(wǎng)研究所研究員，獲評“江蘇省五一創(chuàng)新能手”、2013年度“姑蘇高技能重點(diǎn)人才”，在省級刊物公開發(fā)表專業(yè)論文7篇，參編教材一本（已出版）。主要研究方向?yàn)榉蔷€性系統(tǒng)控制、自動檢測技術(shù)、智能終端與物聯(lián)網(wǎng)應(yīng)用等。

Design of Penetration Process Data Acquisition System Based on FPGA*

HAO Tianqi2，CUI Jianli1，LI Ce1，ZHANG Binzhen1*

（1.Science and Technology on Electronic Test & Measurement Laboratory，Ministry of Education，North University of China，Taiyuan 030051，China; 2.Key Laboratory of Instrumentation Science & Dynamic Measurement，North University of China，Taiyuan 030051，China）

Abstract：In view of troublesome data processing and low efficiency of data collection in the traditional penetration process，a automatic data acquisition system with three axis high-g sensor based on FPGA has been designed，which can complete the data calculation. The main control unit is composed of XC3S400，MATLAB GUI as PC software development platform for completing data acquisition and calculating. First，voltage signals produced by sensor had been enlarged through the main amplifier chip of INA827. The signals was then sampled by A/D converter of AD7934，storing in Flash. Then，the signals were returned to the computer through the chip of FT2232C with USB to calculating the data. Experiments show that the system not only can meet real-time collecting and storage of data in the process of penetration，but complete data calculation at the same time. It improves the efficiency of calcula?tion in the process of penetration as integrating the collecting of data with the data calculation.

Key words：FPGA；Penetration；INA827；MATLAB

doi：EEACC：722010.3969/j.issn.1005-9490.2016.01.033

收稿日期：2015-04-13修改日期：2015-06-01

中圖分類號：TP273

文獻(xiàn)標(biāo)識碼：A

文章編號：1005-9490（2016）01-0156-04