ARM移動(dòng)視頻系統(tǒng)的研究

李宇成+史維霖

摘 要： 針對(duì)現(xiàn)有網(wǎng)絡(luò)視頻監(jiān)控的局限性和相應(yīng)Android軟件開發(fā)的需求，給出一種基于Samsung S5PV210的ARM移動(dòng)視頻系統(tǒng)的實(shí)現(xiàn)方案。采用UML語言重點(diǎn)剖析并展示了Android多媒體框架與底層Linux驅(qū)動(dòng)的關(guān)系。在此基礎(chǔ)上，設(shè)計(jì)了系統(tǒng)總體架構(gòu)和視頻監(jiān)控軟件，實(shí)現(xiàn)了高清視頻的采集和流暢地播放。應(yīng)用試驗(yàn)表明，系統(tǒng)運(yùn)行穩(wěn)定、實(shí)時(shí)性好，具有很強(qiáng)的實(shí)用價(jià)值。

關(guān)鍵詞： Android； Mini210s； 移動(dòng)視頻系統(tǒng)； 多媒體框架

中圖分類號(hào)： TN919?34 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2014）18?0009?02

Research on ARM mobile video system

LI Yu?cheng， SHI Wei?lin

（Automation Department， North China University of Technology， Beijing 100144， China）

Abstract： Aiming at the limitation of existing network video monitoring and the corresponding demand of Android software development， a specific implementation scheme of ARM mobile video system based on Samsung s5pv210 is presented in this paper. The relationship between Android multimedia framework and the underlying Linux driver is analyzed emphatically with UML language. On this basis， the system overall architecture and video surveillance software were designed. The HD video acquisition and smooth playback were realized. The experiment results showed that the system works stable， and has good real?time performance and high practicability.

Keywords： Android； mini210s； mobile video system； multimedia framework

0 引 言

移動(dòng)視頻監(jiān)控作為一種關(guān)鍵技術(shù)被廣泛的應(yīng)用于各個(gè)領(lǐng)域和各種公共場(chǎng)所[1]。傳統(tǒng)的視頻監(jiān)控系統(tǒng)需要安裝網(wǎng)線，網(wǎng)絡(luò)攝像頭的安置地點(diǎn)不可移動(dòng)，且操作系統(tǒng)以Linux開發(fā)為主。不能滿足用戶日益增長(zhǎng)的多元化需求。目前Android的應(yīng)用已經(jīng)進(jìn)入人類日常生活的密切領(lǐng)域，其優(yōu)勢(shì)完全打破了Linux僅適于工業(yè)場(chǎng)合應(yīng)用的局限。本課題選取以Samsung S5PV210為核心的開發(fā)板，在Android系統(tǒng)環(huán)境下，進(jìn)行視頻采集、H.264編碼、無線網(wǎng)絡(luò)傳輸；上位機(jī)在Android系統(tǒng)下完成視頻的接收、解碼和播放。本文重點(diǎn)詳述了Android多媒體框架各個(gè)層次與底層驅(qū)動(dòng)關(guān)系，給出了高清視頻監(jiān)控[2]系統(tǒng)的開發(fā)實(shí)現(xiàn)過程。

1 系統(tǒng)總體設(shè)計(jì)

借鑒傳統(tǒng)的C/S[3]設(shè)計(jì)模式，設(shè)計(jì)該ARM移動(dòng)視頻監(jiān)控系統(tǒng)架構(gòu)。

系統(tǒng)基于S5PV210為核心的開發(fā)板，在開發(fā)板上集成了視頻采集模塊、編碼壓縮模塊以及視頻傳輸模塊。并有效結(jié)合了嵌入式技術(shù)和流媒體技術(shù)，將采集端和服務(wù)端所有工作都集中在ARM開發(fā)板上，然后在客戶端，可以通過上位機(jī)電腦或者Android手機(jī)播放實(shí)時(shí)視頻來進(jìn)行相關(guān)的視頻監(jiān)控。

2 系統(tǒng)軟件實(shí)現(xiàn)

如圖1所示，系統(tǒng)軟件分為兩大部分。第一部分運(yùn)行在ARM開發(fā)板上。首先通過板上自帶的CMOS攝像頭采集視頻數(shù)據(jù)[4?5]，進(jìn)行H.264[6]編碼壓縮，然后對(duì)數(shù)據(jù)流進(jìn)行RTP打包，通過網(wǎng)絡(luò)將視頻數(shù)據(jù)流發(fā)送出去；第二部分運(yùn)行在上位機(jī)上，接收開發(fā)板發(fā)送過來的視頻數(shù)據(jù)，用戶根據(jù)需求解壓縮播放顯示，并存儲(chǔ)視頻。

3 Android多媒體框架與底層驅(qū)動(dòng)的結(jié)合

本文重點(diǎn)研究MediaRecorder類的工作過程，詳盡分析了Android多媒體框架與底層編碼驅(qū)動(dòng)的接口關(guān)系。然后，編寫了相應(yīng)的視頻監(jiān)控程序，通過實(shí)驗(yàn)來驗(yàn)證本文設(shè)計(jì)內(nèi)容的正確性。

圖1 系統(tǒng)軟件框圖

3.1 通過Android本地媒體庫鏈接底層驅(qū)動(dòng)

Java應(yīng)用層中的MediaRecorder類對(duì)應(yīng)于本地媒體庫libmedia.so。MediaRecorder類利用start（）方法開啟視頻錄制、編碼流程。然后，依次調(diào)用了Mediarecorder.cpp中start（），以及StagefrightRecorder中的start（）方法。

3.2 Java本地調(diào)用部分

Android應(yīng)用程序訪問Android多媒體底層庫需借助Java本地調(diào)用部分（JNI），當(dāng)調(diào)用多媒體Java框架層mediaRecorder.java中的start（）本地方法，實(shí)際上是調(diào)用（void *）android_media_MediaRecorder_start（）。

3.3 多媒體Java 框架層

Android應(yīng)用程序調(diào)用驅(qū)動(dòng)，其實(shí)是調(diào)用多媒體Java 框架層為應(yīng)用程序所提供的硬件服務(wù)接口。該接口封裝在Java框架層，以服務(wù)庫的形式存在。因此，在多媒體Java框架層代碼mediaRecorder.java中，需要加載名稱為media_jni的動(dòng)態(tài)鏈接庫。

3.4 Android應(yīng)用程序?qū)颖O(jiān)控軟件實(shí)現(xiàn)

本系統(tǒng)利用MediaRecorder類實(shí)現(xiàn)視頻錄制，同時(shí)調(diào)用該類內(nèi)置的H.264編碼模塊進(jìn)行編碼操作，然后通過Packetizer打包器類進(jìn)行RTP打包，設(shè)置網(wǎng)絡(luò)接口，經(jīng)由SOCKET發(fā)送，PC機(jī)接收，并通過VLC播放器解碼播放。

初始化Video時(shí)，需要對(duì)MediaRecorder進(jìn)行相關(guān)的設(shè)置，具體代碼如下：

mMediaRecorder.setVideoSource（MediaRecorder.VideoSource.CAMERA）； //設(shè)置視頻源為CAMERA

mMediaRecorder.setOutputFormat（MediaRecorder.OutputFormat.THREE_GPP）； //設(shè)置輸出格式為3GP

mMediaRecorder.setVideoFrameRate（videoRate）；

//設(shè)置每秒的幀數(shù)為24幀

mMediaRecorder.setVideoSize（videoWidth， videoHeight）；

//設(shè)置視頻大小為720*480

mMediaRecorder.setVideoEncoder（MediaRecorder.VideoEncoder.H.264）； //設(shè)置視頻編碼方式為H.264

mMediaRecorder.setPreviewDisplay（mSurfaceHolder.getSurface（））； //設(shè)置預(yù)覽顯示

mMediaRecorder.setMaxDuration（0）； //最大期限

mMediaRecorder.setMaxFileSize（Integer.MAX_VALUE）；

//文件大小

mMediaRecorder.setOutputFile（sender.getFileDescriptor（））；

//設(shè)置將H.264編碼壓縮的3GP碼流通過LocalSocket發(fā)送出去

在使用RTP傳輸H.264的時(shí)候，設(shè)置H.264的解碼參數(shù)SPS（Sequence Parameter Sets ）和PPS（Picture Parameter Set）。以本系統(tǒng)Mini210s開發(fā)板為例，SPS為67，4D，40，1E，E9，81，68，7B，42，00，00，03，00，F(xiàn)A，00，00，2E，D5，1E，2C，5A，70；PPS為 68，CE，32，C8。

綜上所述，Java應(yīng)用程序?qū)拥膕tart（）方法可以通過 JNI 調(diào)用本地共享庫MediaRecorder.cpp中的start（）；本地庫通過代理對(duì)象跨進(jìn)程調(diào)用到MediaPlayerService中的MediaRecorderClient。MediaRecorderClient中會(huì)創(chuàng)建出StagefrightRecorder，在StagefrightRecorder中完成視頻錄制、編碼器設(shè)置任務(wù)，開啟MediaWriter的start方法進(jìn)行H.264編碼。之后Stagefright即可使用Android封裝的OpenMax接口，調(diào)用多媒體的H.264編碼驅(qū)動(dòng)，完成硬件編碼操作。

4 實(shí)驗(yàn)結(jié)果

測(cè)試環(huán)境選擇友善之臂的Mini210s開發(fā)板（操作系統(tǒng)：Android 2.3.1）作為服務(wù)視頻采集端，PC機(jī)作為用戶視頻接收端。兩種設(shè)備利用TP?LINK無線路由器通過WiFi建立連接。在該模式下，系統(tǒng)可清晰流暢的傳送和播放720×480分辨率的視頻，幀率可達(dá)30 f/s。

5 結(jié) 論

在ARM移動(dòng)視頻系統(tǒng)的分析研究的基礎(chǔ)上，以高性能的S5PV210芯片開發(fā)板為硬件平臺(tái)，編寫了應(yīng)用實(shí)驗(yàn)程序，實(shí)現(xiàn)了高清視頻信號(hào)的采集、壓縮編碼、網(wǎng)絡(luò)傳輸和上位機(jī)的流暢播放。文中的突出亮點(diǎn)在于綜合了流行的Android操作系統(tǒng)、高性能的S5PV210芯片和熱門的流媒體技術(shù)，詳細(xì)分析了Android多媒體框架與底層驅(qū)動(dòng)的接口關(guān)系，并設(shè)計(jì)編寫了開發(fā)板軟件和上位機(jī)高清視頻監(jiān)控軟件。目前可實(shí)現(xiàn)720P，30幀的視頻流播放。實(shí)驗(yàn)表明，系統(tǒng)運(yùn)行可靠，實(shí)時(shí)性好。本方案可應(yīng)用于各種視頻監(jiān)控、特別是移動(dòng)視頻監(jiān)控領(lǐng)域等。

參考文獻(xiàn)

[1] 李昂，宋海聲，蘇小蕓.基于Android的視頻監(jiān)控系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)技術(shù)與應(yīng)用，2012，38（7）：138?139.

[2] 李琴，陳立定，任志剛.基于Android智能手機(jī)遠(yuǎn)程視頻監(jiān)控系統(tǒng)的設(shè)計(jì)[J].電視技術(shù)，2012，36（7）：134?136.

[3] 朱小軍，翟朝成，張志斌.基于Android手機(jī)的遠(yuǎn)程視頻監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].自動(dòng)化與儀器儀表，2013（2）：149?151.

[4] 張雅楠，楊璐，鄭麗敏，等.基于 Android 手機(jī)的遠(yuǎn)程視頻監(jiān)控系統(tǒng)的設(shè)計(jì)與開發(fā)[J].計(jì)算機(jī)應(yīng)用，2013，33（z1）：283?286.

[5] 魏崇毓，張菲菲.基于 Android 平臺(tái)的視頻監(jiān)控系統(tǒng)設(shè)計(jì)[J].計(jì)算機(jī)工程，2012，38（14）：214?216.

[6] 李紅京.基于H.264視頻壓縮技術(shù)的網(wǎng)絡(luò)視頻傳輸系統(tǒng)設(shè)計(jì)[J].河北工業(yè)科技，2011，28（4）：236?239.

3.4 Android應(yīng)用程序?qū)颖O(jiān)控軟件實(shí)現(xiàn)

本系統(tǒng)利用MediaRecorder類實(shí)現(xiàn)視頻錄制，同時(shí)調(diào)用該類內(nèi)置的H.264編碼模塊進(jìn)行編碼操作，然后通過Packetizer打包器類進(jìn)行RTP打包，設(shè)置網(wǎng)絡(luò)接口，經(jīng)由SOCKET發(fā)送，PC機(jī)接收，并通過VLC播放器解碼播放。

初始化Video時(shí)，需要對(duì)MediaRecorder進(jìn)行相關(guān)的設(shè)置，具體代碼如下：

mMediaRecorder.setVideoSource（MediaRecorder.VideoSource.CAMERA）； //設(shè)置視頻源為CAMERA

mMediaRecorder.setOutputFormat（MediaRecorder.OutputFormat.THREE_GPP）； //設(shè)置輸出格式為3GP

mMediaRecorder.setVideoFrameRate（videoRate）；

//設(shè)置每秒的幀數(shù)為24幀

mMediaRecorder.setVideoSize（videoWidth， videoHeight）；

//設(shè)置視頻大小為720*480

mMediaRecorder.setVideoEncoder（MediaRecorder.VideoEncoder.H.264）； //設(shè)置視頻編碼方式為H.264

mMediaRecorder.setPreviewDisplay（mSurfaceHolder.getSurface（））； //設(shè)置預(yù)覽顯示

mMediaRecorder.setMaxDuration（0）； //最大期限

mMediaRecorder.setMaxFileSize（Integer.MAX_VALUE）；

//文件大小

mMediaRecorder.setOutputFile（sender.getFileDescriptor（））；

//設(shè)置將H.264編碼壓縮的3GP碼流通過LocalSocket發(fā)送出去

在使用RTP傳輸H.264的時(shí)候，設(shè)置H.264的解碼參數(shù)SPS（Sequence Parameter Sets ）和PPS（Picture Parameter Set）。以本系統(tǒng)Mini210s開發(fā)板為例，SPS為67，4D，40，1E，E9，81，68，7B，42，00，00，03，00，F(xiàn)A，00，00，2E，D5，1E，2C，5A，70；PPS為 68，CE，32，C8。

綜上所述，Java應(yīng)用程序?qū)拥膕tart（）方法可以通過 JNI 調(diào)用本地共享庫MediaRecorder.cpp中的start（）；本地庫通過代理對(duì)象跨進(jìn)程調(diào)用到MediaPlayerService中的MediaRecorderClient。MediaRecorderClient中會(huì)創(chuàng)建出StagefrightRecorder，在StagefrightRecorder中完成視頻錄制、編碼器設(shè)置任務(wù)，開啟MediaWriter的start方法進(jìn)行H.264編碼。之后Stagefright即可使用Android封裝的OpenMax接口，調(diào)用多媒體的H.264編碼驅(qū)動(dòng)，完成硬件編碼操作。

4 實(shí)驗(yàn)結(jié)果

測(cè)試環(huán)境選擇友善之臂的Mini210s開發(fā)板（操作系統(tǒng)：Android 2.3.1）作為服務(wù)視頻采集端，PC機(jī)作為用戶視頻接收端。兩種設(shè)備利用TP?LINK無線路由器通過WiFi建立連接。在該模式下，系統(tǒng)可清晰流暢的傳送和播放720×480分辨率的視頻，幀率可達(dá)30 f/s。

5 結(jié) 論

在ARM移動(dòng)視頻系統(tǒng)的分析研究的基礎(chǔ)上，以高性能的S5PV210芯片開發(fā)板為硬件平臺(tái)，編寫了應(yīng)用實(shí)驗(yàn)程序，實(shí)現(xiàn)了高清視頻信號(hào)的采集、壓縮編碼、網(wǎng)絡(luò)傳輸和上位機(jī)的流暢播放。文中的突出亮點(diǎn)在于綜合了流行的Android操作系統(tǒng)、高性能的S5PV210芯片和熱門的流媒體技術(shù)，詳細(xì)分析了Android多媒體框架與底層驅(qū)動(dòng)的接口關(guān)系，并設(shè)計(jì)編寫了開發(fā)板軟件和上位機(jī)高清視頻監(jiān)控軟件。目前可實(shí)現(xiàn)720P，30幀的視頻流播放。實(shí)驗(yàn)表明，系統(tǒng)運(yùn)行可靠，實(shí)時(shí)性好。本方案可應(yīng)用于各種視頻監(jiān)控、特別是移動(dòng)視頻監(jiān)控領(lǐng)域等。

參考文獻(xiàn)

[1] 李昂，宋海聲，蘇小蕓.基于Android的視頻監(jiān)控系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)技術(shù)與應(yīng)用，2012，38（7）：138?139.

[2] 李琴，陳立定，任志剛.基于Android智能手機(jī)遠(yuǎn)程視頻監(jiān)控系統(tǒng)的設(shè)計(jì)[J].電視技術(shù)，2012，36（7）：134?136.

[3] 朱小軍，翟朝成，張志斌.基于Android手機(jī)的遠(yuǎn)程視頻監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].自動(dòng)化與儀器儀表，2013（2）：149?151.

[4] 張雅楠，楊璐，鄭麗敏，等.基于 Android 手機(jī)的遠(yuǎn)程視頻監(jiān)控系統(tǒng)的設(shè)計(jì)與開發(fā)[J].計(jì)算機(jī)應(yīng)用，2013，33（z1）：283?286.

[5] 魏崇毓，張菲菲.基于 Android 平臺(tái)的視頻監(jiān)控系統(tǒng)設(shè)計(jì)[J].計(jì)算機(jī)工程，2012，38（14）：214?216.

[6] 李紅京.基于H.264視頻壓縮技術(shù)的網(wǎng)絡(luò)視頻傳輸系統(tǒng)設(shè)計(jì)[J].河北工業(yè)科技，2011，28（4）：236?239.

3.4 Android應(yīng)用程序?qū)颖O(jiān)控軟件實(shí)現(xiàn)

本系統(tǒng)利用MediaRecorder類實(shí)現(xiàn)視頻錄制，同時(shí)調(diào)用該類內(nèi)置的H.264編碼模塊進(jìn)行編碼操作，然后通過Packetizer打包器類進(jìn)行RTP打包，設(shè)置網(wǎng)絡(luò)接口，經(jīng)由SOCKET發(fā)送，PC機(jī)接收，并通過VLC播放器解碼播放。

初始化Video時(shí)，需要對(duì)MediaRecorder進(jìn)行相關(guān)的設(shè)置，具體代碼如下：

mMediaRecorder.setVideoSource（MediaRecorder.VideoSource.CAMERA）； //設(shè)置視頻源為CAMERA

mMediaRecorder.setOutputFormat（MediaRecorder.OutputFormat.THREE_GPP）； //設(shè)置輸出格式為3GP

mMediaRecorder.setVideoFrameRate（videoRate）；

//設(shè)置每秒的幀數(shù)為24幀

mMediaRecorder.setVideoSize（videoWidth， videoHeight）；

//設(shè)置視頻大小為720*480

mMediaRecorder.setVideoEncoder（MediaRecorder.VideoEncoder.H.264）； //設(shè)置視頻編碼方式為H.264

mMediaRecorder.setPreviewDisplay（mSurfaceHolder.getSurface（））； //設(shè)置預(yù)覽顯示

mMediaRecorder.setMaxDuration（0）； //最大期限

mMediaRecorder.setMaxFileSize（Integer.MAX_VALUE）；

//文件大小

mMediaRecorder.setOutputFile（sender.getFileDescriptor（））；

//設(shè)置將H.264編碼壓縮的3GP碼流通過LocalSocket發(fā)送出去

在使用RTP傳輸H.264的時(shí)候，設(shè)置H.264的解碼參數(shù)SPS（Sequence Parameter Sets ）和PPS（Picture Parameter Set）。以本系統(tǒng)Mini210s開發(fā)板為例，SPS為67，4D，40，1E，E9，81，68，7B，42，00，00，03，00，F(xiàn)A，00，00，2E，D5，1E，2C，5A，70；PPS為 68，CE，32，C8。

綜上所述，Java應(yīng)用程序?qū)拥膕tart（）方法可以通過 JNI 調(diào)用本地共享庫MediaRecorder.cpp中的start（）；本地庫通過代理對(duì)象跨進(jìn)程調(diào)用到MediaPlayerService中的MediaRecorderClient。MediaRecorderClient中會(huì)創(chuàng)建出StagefrightRecorder，在StagefrightRecorder中完成視頻錄制、編碼器設(shè)置任務(wù)，開啟MediaWriter的start方法進(jìn)行H.264編碼。之后Stagefright即可使用Android封裝的OpenMax接口，調(diào)用多媒體的H.264編碼驅(qū)動(dòng)，完成硬件編碼操作。

4 實(shí)驗(yàn)結(jié)果

測(cè)試環(huán)境選擇友善之臂的Mini210s開發(fā)板（操作系統(tǒng)：Android 2.3.1）作為服務(wù)視頻采集端，PC機(jī)作為用戶視頻接收端。兩種設(shè)備利用TP?LINK無線路由器通過WiFi建立連接。在該模式下，系統(tǒng)可清晰流暢的傳送和播放720×480分辨率的視頻，幀率可達(dá)30 f/s。

5 結(jié) 論

在ARM移動(dòng)視頻系統(tǒng)的分析研究的基礎(chǔ)上，以高性能的S5PV210芯片開發(fā)板為硬件平臺(tái)，編寫了應(yīng)用實(shí)驗(yàn)程序，實(shí)現(xiàn)了高清視頻信號(hào)的采集、壓縮編碼、網(wǎng)絡(luò)傳輸和上位機(jī)的流暢播放。文中的突出亮點(diǎn)在于綜合了流行的Android操作系統(tǒng)、高性能的S5PV210芯片和熱門的流媒體技術(shù)，詳細(xì)分析了Android多媒體框架與底層驅(qū)動(dòng)的接口關(guān)系，并設(shè)計(jì)編寫了開發(fā)板軟件和上位機(jī)高清視頻監(jiān)控軟件。目前可實(shí)現(xiàn)720P，30幀的視頻流播放。實(shí)驗(yàn)表明，系統(tǒng)運(yùn)行可靠，實(shí)時(shí)性好。本方案可應(yīng)用于各種視頻監(jiān)控、特別是移動(dòng)視頻監(jiān)控領(lǐng)域等。

參考文獻(xiàn)

[1] 李昂，宋海聲，蘇小蕓.基于Android的視頻監(jiān)控系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)技術(shù)與應(yīng)用，2012，38（7）：138?139.

[2] 李琴，陳立定，任志剛.基于Android智能手機(jī)遠(yuǎn)程視頻監(jiān)控系統(tǒng)的設(shè)計(jì)[J].電視技術(shù)，2012，36（7）：134?136.

[3] 朱小軍，翟朝成，張志斌.基于Android手機(jī)的遠(yuǎn)程視頻監(jiān)控系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].自動(dòng)化與儀器儀表，2013（2）：149?151.

[4] 張雅楠，楊璐，鄭麗敏，等.基于 Android 手機(jī)的遠(yuǎn)程視頻監(jiān)控系統(tǒng)的設(shè)計(jì)與開發(fā)[J].計(jì)算機(jī)應(yīng)用，2013，33（z1）：283?286.

[5] 魏崇毓，張菲菲.基于 Android 平臺(tái)的視頻監(jiān)控系統(tǒng)設(shè)計(jì)[J].計(jì)算機(jī)工程，2012，38（14）：214?216.

[6] 李紅京.基于H.264視頻壓縮技術(shù)的網(wǎng)絡(luò)視頻傳輸系統(tǒng)設(shè)計(jì)[J].河北工業(yè)科技，2011，28（4）：236?239.