基于Android平臺(tái)的可視對(duì)講系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)*

郭利全，謝維波

（1.華僑大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，福建 廈門 361021；2.華僑大學(xué) 嵌入式技術(shù)開放實(shí)驗(yàn)室，福建 廈門 361008）

Android是Google公司推出的基于Linux的開源手機(jī)操作系統(tǒng)，由于代碼開源，受到很多手機(jī)廠家的青睞。可視對(duì)講系統(tǒng)在Android操作系統(tǒng)未出現(xiàn)之前，軟件研發(fā)一般采用底層語言，容易出現(xiàn)功能單一、產(chǎn)品升級(jí)困難等情況，要在對(duì)講系統(tǒng)中開發(fā)出具有3D圖形效果的界面更是難上加難。鑒于此，本文利用Android平臺(tái)的可移植性、代碼開源等優(yōu)勢(shì)，結(jié)合 JNI、NDK技術(shù)，提出了基于Android平臺(tái)的可視對(duì)講系統(tǒng)的設(shè)計(jì)方案并加以實(shí)現(xiàn)。

JNI[1]（Java Native Interface）是 Java 本 地 調(diào) 用 接口 ，它使得運(yùn)行于Android平臺(tái)的Java程序可以使用C、C++甚至匯編語言編寫的動(dòng)態(tài)鏈接庫。在需要頻繁訪問內(nèi)存或復(fù)雜計(jì)算的情況下，使用C動(dòng)態(tài)鏈接庫比在Android平臺(tái)上使用Java語言實(shí)現(xiàn)相同功能更具有效率[2]。NDK[3]（Native Development Kit）提供了一系列的工具，可以生成ARM二進(jìn)制碼的動(dòng)態(tài)庫，并且能自動(dòng)地將生成的動(dòng)態(tài)庫和Java應(yīng)用程序一起打包成Android系統(tǒng)可以直接安裝的apk安裝包，即NDK可以將包含JNI接口函數(shù)的C源程序文件編譯生成動(dòng)態(tài)庫，供Android應(yīng)用程序調(diào)用，提高了對(duì)現(xiàn)有代碼的重用性，而加快了開發(fā)進(jìn)度。

本文提出一種可視對(duì)講系統(tǒng)設(shè)計(jì)方案，對(duì)講雙方為門口機(jī)和室內(nèi)機(jī)，并將設(shè)計(jì)方案在i.MX51硬件平臺(tái)進(jìn)行實(shí)現(xiàn)。門口機(jī)進(jìn)行音視頻的采集、編碼、傳輸及音頻解碼、播放；室內(nèi)機(jī)采用Android平臺(tái)，但考慮用戶室內(nèi)信息的保密性，室內(nèi)機(jī)沒有視頻采集功能，室內(nèi)機(jī)只進(jìn)行音視頻的解碼、播放以及音頻的采集、編碼、傳輸。

1 可視對(duì)講系統(tǒng)設(shè)計(jì)

1.1 通信流程設(shè)計(jì)

數(shù)據(jù)包傳輸協(xié)議使用面向無連接、資源消耗小、處理速度快的UDP協(xié)議。尋址完成建立UDP直連后，門口機(jī)首先對(duì)視頻進(jìn)行編碼傳輸，直到被叫方按下接聽鍵后，門口機(jī)才對(duì)音頻數(shù)據(jù)進(jìn)行傳輸。為了保證通話一直在線，室內(nèi)機(jī)每隔一定的時(shí)間向門口機(jī)發(fā)送通話在線詢問，如果收到在線確認(rèn)應(yīng)答則保持通話狀態(tài)，否則就結(jié)束通話?？梢晫?duì)講系統(tǒng)通信流程如圖1所示。

圖1 可視對(duì)講系統(tǒng)通信流程圖

1.2 尋址方式的設(shè)計(jì)

尋址是指獲取到室內(nèi)機(jī)的IP地址，建立與室內(nèi)機(jī)UDP連接的過程。尋址的過程：通過組播（指加入這個(gè)組的所有成員都能收到該組任何一個(gè)成員發(fā)送的數(shù)據(jù)包）的方式實(shí)現(xiàn)IP地址的查找，門口機(jī)、室內(nèi)機(jī)加入一個(gè)公共的組，門口機(jī)根據(jù)所撥的號(hào)碼計(jì)算一個(gè)地址作為被叫方地址，并將被叫方地址寫入數(shù)據(jù)包中發(fā)送給組里的每一個(gè)成員，組內(nèi)成員從組內(nèi)接收到數(shù)據(jù)包后，比對(duì)成員自己的地址與包頭中被叫方地址是否一致，如果不一致，則將該數(shù)據(jù)包丟棄；否則，就將自己的IP地址作為被叫方IP地址寫入到數(shù)據(jù)包頭中。地址格式設(shè)計(jì)如表1所示。

表1中類型選項(xiàng)占1 B，在邏輯上分為門口機(jī)和室內(nèi)機(jī)兩種類型。如為門口機(jī)，則類型選項(xiàng)這一字節(jié)中存儲(chǔ)內(nèi)容為字符“M”；如為室內(nèi)機(jī)，則存儲(chǔ)內(nèi)容為字符“S”，實(shí)際存儲(chǔ)的均為字符的ASCII碼。地址選項(xiàng)占4 B，存儲(chǔ)的為對(duì)應(yīng)類型的物理地址。數(shù)據(jù)包格式中的主叫方地址和被叫方地址格式均如表1所示。例如，門口機(jī)撥號(hào)為0808，則計(jì)算機(jī)得到的被叫方地址為S0808。

表1 地址格式

1.3 可視對(duì)講系統(tǒng)應(yīng)用協(xié)議設(shè)計(jì)

為了便于系統(tǒng)開發(fā)，本文進(jìn)行了應(yīng)用協(xié)議的設(shè)計(jì)。應(yīng)用協(xié)議設(shè)計(jì)的目的是約定收發(fā)數(shù)據(jù)包的規(guī)則、定義數(shù)據(jù)包的結(jié)構(gòu)和內(nèi)容，使通信流程更加明朗化。數(shù)據(jù)包格式如表2所示。

表2 數(shù)據(jù)包格式

表2中：包頭為對(duì)講數(shù)據(jù)包的標(biāo)示符，命令類型、操作類型說明詳見表3，時(shí)間戳主要是用于音視頻的同步，數(shù)據(jù)類型分為音頻和視頻兩種，幀序號(hào)為0～65 535。如果沒有進(jìn)行數(shù)據(jù)包分段，則總包數(shù)與當(dāng)前包數(shù)均為1。音視頻數(shù)據(jù)從第41位開始算起，音視頻數(shù)據(jù)長度由數(shù)據(jù)包格式中的數(shù)據(jù)長度所指定。

根據(jù)系統(tǒng)通信流程圖1、結(jié)合數(shù)據(jù)包格式，本對(duì)講系統(tǒng)參數(shù)如表3所示。其中命令類型、操作類型分別與表2數(shù)據(jù)包格式相對(duì)應(yīng)。

表3 可視對(duì)講參數(shù)列表

1.4 功能模塊設(shè)計(jì)

門口機(jī)的功能為音視頻的采集和音頻的播放，室內(nèi)機(jī)為音頻的采集和音視頻的播放。可視對(duì)講系統(tǒng)主要分為6個(gè)模塊：音視頻采集、音視頻編碼、音視頻傳輸、音視頻接收、音視頻解碼、音視頻播放。對(duì)講系統(tǒng)采用多線程技術(shù)，大體上分為采集、編碼傳輸、接收、解碼播放、通話在線確認(rèn)5個(gè)線程。線程之間通過信號(hào)量機(jī)制進(jìn)行同步，使用互斥鎖實(shí)現(xiàn)資源的互斥訪問，使用鏈表實(shí)現(xiàn)音視頻數(shù)據(jù)的接收。系統(tǒng)功能模塊如圖2所示。

圖2 可視對(duì)講系統(tǒng)功能模塊圖

1.5 音視頻編解碼選擇

系統(tǒng)音頻編碼選用G.711編碼[4]。G.711是一種由國際電信聯(lián)盟訂定的音頻編解碼方式，擁有一倍的壓縮率，是語音通信中最常用的編解碼方式之一。采樣和量化是音頻編程及聲音數(shù)字化的兩個(gè)關(guān)鍵步驟，本系統(tǒng)使用的音頻采樣頻率為 8 kHz、量化位數(shù)為16 bit、單聲道。FFmpeg是用于音頻和視頻開源方案，由于它的開源和免費(fèi)以及跨平臺(tái)的特點(diǎn)，受到開發(fā)商的青睞。FFmpeg支持包括xvid等在內(nèi)的多達(dá)90種解碼器，由C語言實(shí)現(xiàn)，不僅可以應(yīng)用于PC軟件平臺(tái)，也可以用于嵌入式設(shè)備。本系統(tǒng)中視頻選用xvid編解碼器，視頻格式為MPEG-4。（xvid是一個(gè)開放源代碼的MPEG-4視頻編解碼器）視頻標(biāo)準(zhǔn)采用NTSC制，視頻尺寸為 352×240，幀頻為 30 F/s；使用 NDK提供的交叉編譯工具將包含JNI接口函數(shù)的音視頻編解碼源文件統(tǒng)一編譯成為動(dòng)態(tài)鏈接庫，供Android平臺(tái)調(diào)用。

2 系統(tǒng)實(shí)現(xiàn)

2.1 系統(tǒng)軟硬件平臺(tái)

系統(tǒng)硬件平臺(tái)為i.MX51 EVK。i.MX51 EVK是由Freescale公司自主研發(fā)的，中央處理器基于ARM Cortex A8核心的i.MX51處理器；主頻可擴(kuò)展到1 GHz；處理器內(nèi)部集成了DDR/DDR2內(nèi)存控制器、OpenGL/OpenVG圖形核心、ATA控制器、以太網(wǎng)控制器等，支持720 p高清視頻播放；指令緩存和數(shù)據(jù)緩存為32 KB，二級(jí)緩存為256 KB；其容量指標(biāo)是之前 ARM11產(chǎn)品的 2倍，可大大提高CPU的處理能力。同時(shí)處理器內(nèi)部還集成了矢量運(yùn)算的浮點(diǎn)運(yùn)算及信號(hào)處理加速器，為多媒體信息娛樂終端提供了強(qiáng)大的處理核心支持[5]。

系統(tǒng)軟件平臺(tái)采用Linux操作系統(tǒng)、eclipse集成開發(fā)環(huán)境。Android SDK[6]版本為 2.2，Android NDK版本為android-ndk-r6。使用串口進(jìn)行調(diào)試。

2.2 Android平臺(tái)在i.MX51 EVK上的移植

系統(tǒng)采用4 GB的SD卡存放引導(dǎo)程序、內(nèi)核、根文件系統(tǒng)等鏡像。引導(dǎo)程序采用U-Boot，Linux內(nèi)核版本為 2.6.31。移植流程：Android源碼可以從 http：//source.android.com獲取到，編譯好UBoot、Linux內(nèi)核、根文件系統(tǒng)以及 Android系統(tǒng)鏡像[7]后，設(shè)置i.MX51板上的S1BootSwitch模式為1100000001，使用ATK工具進(jìn)行鏡像的下載。下載后系統(tǒng)鏡像在SD卡上分布圖如圖3所示。

圖3中，MBR主要存儲(chǔ) SD卡的分區(qū)信息表，起始地址為0 KB。引導(dǎo)程序、內(nèi)核、根文件系統(tǒng)的起始地址分別為 1 KB、1 MB、4 MB。System和Recovery分別各占一個(gè)分區(qū)，System為Android操作系統(tǒng)的鏡像文件所占分區(qū)，Recovery分區(qū)主要是用來備份和還原系統(tǒng)。

圖3 SD卡存儲(chǔ)信息分布圖

2.3 音視頻編解碼實(shí)現(xiàn)

2.3.1 音頻編解碼實(shí)現(xiàn)

音頻編碼與解碼的區(qū)別僅在于調(diào)用的C庫函數(shù)不一樣，音頻編解碼調(diào)用的C庫函數(shù)分別為G711Encoder、G711Decoder（本文以解碼為例）。音頻解碼具體流程如下：

（1）音頻 Java本地調(diào)用函數(shù)

在使用音頻解碼的類中編寫Java本地調(diào)用函數(shù)：

（2）生成頭文件

C庫與Java間需要一個(gè)后綴為 “.h”的頭文件來銜接，這個(gè)頭文件通過javah命令生成，javah工具包含在JDK中。JDK是Java的核心，包含Java運(yùn)行環(huán)境、Java工具、Java基礎(chǔ)類庫。

（3）JNI接口函數(shù)

JNI接口函數(shù)編寫在C語言文件中，與音視頻解碼源碼一起打包生成動(dòng)態(tài)鏈接庫。在接口函數(shù)中聲明4個(gè)無符號(hào)指針變量：decode指向待解碼的數(shù)據(jù)、depcm指向解碼后的數(shù)據(jù)、enpcm指向待編碼的數(shù)據(jù)、encode指向編碼后的數(shù)據(jù)。解碼代碼如下：

其中，depcm=（unsigned char*）（*env）-＞GetByteArrayElements（env，pcm，0）用來獲取Java層傳遞的待解碼字節(jié)數(shù)組的首地址，G711Decoder（）函數(shù)實(shí)現(xiàn)音頻解碼，（*env）-＞ReleaseByteArrayElements（env，pcm， （jbyte）depcm，0）釋放傳遞的數(shù)組成員，進(jìn)行資源回收。

（4）使用NDK中ndk-build命令編譯生成動(dòng)態(tài)鏈接庫

ndk-build命令是ndk命令工具集中的一個(gè)命令，與Linux下shell編程中的make命令相似，它會(huì)查找文件夾中的后綴為“.mk”的Makefile文件，根據(jù)該文件的依賴文件，將源文件編譯成動(dòng)態(tài)鏈接庫。

2.3.2 視頻編解碼實(shí)現(xiàn)

視頻的編解碼流程與音頻編解碼流程基本相似，視頻編解碼調(diào)用的C庫函數(shù)分別為avcodec_encode_video、avcodec_decode_video2。限于篇幅，在此重點(diǎn)介紹Android平臺(tái)視頻的解碼及顯示。

在解碼視頻數(shù)據(jù)前，要先做一系列的準(zhǔn)備工作：

（1）給出主要的數(shù)據(jù)結(jié)構(gòu)

（2）初始化流程

①注冊(cè)解碼器

②初始化 AVPacket、AVCodecContext、AVFrame

其中，AVFrame是數(shù)據(jù)流在編解碼過程中用來保存數(shù)據(jù)緩存的對(duì)象，從數(shù)據(jù)流中讀取到的數(shù)據(jù)首先保存到AVPacket中。一個(gè)AVPacket最多只包含一個(gè) AVFrame，而 一 個(gè) AVFrame可 以 包 含 好 幾 個(gè) AVPacket。AVCodecContext用于動(dòng)態(tài)記錄一個(gè)解碼器的上下文信息。

③設(shè)置視頻解碼器

圖4 視頻解碼流程

④視頻解碼流程

視頻解碼流程如圖4所示。圖 4中，AndroidBitmap_getinfo用于獲取Android平臺(tái)Bitmap對(duì)象 的 大 小 ，AndroidBitmap_lockpixels函數(shù)是對(duì)Bitmap進(jìn)行加鎖、互斥使用資源。如果AVPacket包中存在未解碼完的數(shù)據(jù)，則調(diào)用函數(shù)avcodec_decode_video2進(jìn)行解碼；若解碼出一幀后需要調(diào)用函數(shù)sws_scale進(jìn)行格式轉(zhuǎn)換。視頻數(shù)據(jù)解碼完后顏色空間為YUV，需轉(zhuǎn)換成RGB顏色空間。最后調(diào)用fill_bitmap函數(shù)進(jìn)行數(shù)據(jù)填充及進(jìn)行Bitmap的解鎖和資源的釋放。

視頻顯示采用Android平臺(tái)的ImageView控件進(jìn)行顯示。解碼線程接收到視頻數(shù)據(jù)后，通過JNI調(diào)用，調(diào)用動(dòng)態(tài)庫中的視頻解碼接口函數(shù)進(jìn)行解碼，每解碼完一幀后通過消息通知主線程進(jìn)行顯示圖像的更新，這樣就達(dá)到了視頻數(shù)據(jù)動(dòng)態(tài)顯示的效果。

3 實(shí)現(xiàn)效果

Android平臺(tái)在i.MX51 EVK平臺(tái)上移植成功后，串口中Android操作系統(tǒng)啟動(dòng)信息如圖5所示。從圖中的啟動(dòng)信息可以看出，Android平臺(tái)移植成功，啟動(dòng)信息也包含有CPU信息、內(nèi)核版本、大小、加載地址、Android文件系統(tǒng)版本等信息。

該軟件開發(fā)完成后，在Android工程的bin下生成apk文件，并復(fù)制apk文件到SD卡中，在Android系統(tǒng)中安裝該軟件，使用門口機(jī)進(jìn)行撥號(hào)，編碼后的音視頻數(shù)據(jù)通過網(wǎng)線進(jìn)行傳輸。

本文將Android手機(jī)操作系統(tǒng)應(yīng)用于i.MX51 EVK平臺(tái)，并在該平臺(tái)上提出了可視對(duì)講的設(shè)計(jì)方案，分別進(jìn)行了通信流程、應(yīng)用協(xié)議、功能模塊等設(shè)計(jì)，最后實(shí)現(xiàn)了系統(tǒng)的設(shè)計(jì)方案。但由于視頻是使用軟件解碼，運(yùn)行效率有待提高，且語音對(duì)講部分回聲消除存在問題，有待進(jìn)一步研究。

[1]任俊偉，林東岱.JNI技術(shù)實(shí)現(xiàn)跨平臺(tái)開發(fā)的研究[J].計(jì)算機(jī)應(yīng)用研究，2005，22（7）：180-184.

[2]LEE S，JEON J W.Evaluating performance of Android platform using native C for embedded systems[C].Proceeding.IEEE International Conference on Control Automation and Systems，2010.

[3]楊豐盛.Android應(yīng)用開發(fā)揭秘[M].北京：機(jī)械工業(yè)出版社，2010.

[4]Fu Wei，Zhang Jun.Study on G.711 voice communication of IP video intercom system[C].Proceedings of the IEEE International Conference on Digital Manufacturing and Automation，2010.

[5]Freescale公司.i.MX 51 芯片說明書.2010.

[6]Android SDK|Android developers[EB/OL].http：//developer.android.com/sdk/index.html.2010.

[7]宋杰，王書菊.基于ARM2440平臺(tái)的 Android操作系統(tǒng)的移植[J].計(jì)算機(jī)技術(shù)與發(fā)展，2011，21（1）：66-68.