基于Android和Raspberry Pi的遠(yuǎn)距離視頻監(jiān)控系統(tǒng)的設(shè)計(jì)

劉智旸+馬婭婕　余湧

摘 要： 為了實(shí)現(xiàn)視頻監(jiān)控的移動(dòng)性和遠(yuǎn)程操控，結(jié)合無(wú)線網(wǎng)絡(luò)、Java語(yǔ)言和Eclipse開(kāi)發(fā)編譯工具，提出一種使用Android和Raspberry Pi組合，實(shí)現(xiàn)遠(yuǎn)程實(shí)時(shí)視頻監(jiān)控的新思路。攝像頭獲取圖像數(shù)據(jù)，通過(guò)Raspberry Pi處理后以視頻流的形式上傳到圖像服務(wù)器，以Android智能手機(jī)作為移動(dòng)控制終端，通過(guò)WiFi訪問(wèn)圖像服務(wù)器，獲取圖像數(shù)據(jù)并在控制界面進(jìn)行顯示，用戶通過(guò)視頻信息對(duì)移動(dòng)機(jī)器人進(jìn)行遠(yuǎn)程控制，達(dá)到遠(yuǎn)程實(shí)時(shí)監(jiān)控的效果。通過(guò)實(shí)驗(yàn)測(cè)試，該系統(tǒng)可以有效地進(jìn)行遠(yuǎn)程視頻監(jiān)控，具有良好的可用性。

關(guān)鍵詞： 遠(yuǎn)程視頻監(jiān)控； Android； Raspberry Pi； 圖像服務(wù)器； 移動(dòng)機(jī)器人；實(shí)時(shí)監(jiān)控

中圖分類號(hào)： TN948.4?34 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2017）07?0012?04

Design of remote video surveillance system based on Android and Raspberry Pi

LIU Zhiyang， MA Yajie， YU Yong

（School of Information Science and Engineering， Wuhan University of Science and Technology， Wuhan 430081， China）

Abstract： In order to implement the mobility and remote control of the video surveillance， a new thought of the real?time video surveillance implemented based on the Android and Raspberry Pi is proposed in combination with the wireless network， Java language and Eclipse tool. The image data is acquired with the camera， which is processed with the Raspberry Pi to upload it to the image server with the video streaming. The Android smart phone is used as the mobile control terminal， which can access the image server via WiFi to acquire the image data and display it on the control interface. The user can control the mobile robot remotely with the video information to realize the remote real?time monitoring effect. The system was performed with experimental test. The results show that the system can monitor the remote video effectively， and has high availability.

Keywords： remote video surveillance； Android； Raspberry Pi； image server； mobile robot； real?time monitoring

0 引 言

傳統(tǒng)的視頻監(jiān)控系統(tǒng)大部分采用PC機(jī)作為控制終端，在使用過(guò)程中受到工作環(huán)境和網(wǎng)絡(luò)環(huán)境等其他因素的影響，極大地限制了監(jiān)控者控制的靈活性。并且隨著監(jiān)控需求的不斷改變和發(fā)展，視頻傳輸?shù)膶?shí)時(shí)性、監(jiān)控設(shè)備的移動(dòng)性等一些實(shí)際需求也越來(lái)越高。

由于Android系統(tǒng)的開(kāi)放使得Android軟件的開(kāi)發(fā)變得更加容易，并且基于Android移動(dòng)設(shè)備使用的普遍性和靈活性，結(jié)合Raspberry Pi強(qiáng)大的圖像處理能力和體積小的特點(diǎn)，本文提出了基于Android和Raspberry Pi的遠(yuǎn)距離實(shí)時(shí)視頻監(jiān)控系統(tǒng)的設(shè)計(jì)方案。

在系統(tǒng)中使用搭載Web攝像頭的移動(dòng)機(jī)器人進(jìn)行視頻采集，移動(dòng)機(jī)器人使圖像采集更加靈活、采集范圍更廣；為了方便圖像數(shù)據(jù)的傳輸，減少控制終端圖像數(shù)據(jù)下載壓力，使用圖像服務(wù)器緩存圖像數(shù)據(jù)；為了保障視頻流暢度，使用SurfaceView控件播放視頻，獨(dú)特的鎖定銷毀機(jī)制減少播放過(guò)程中黑屏或者花屏現(xiàn)象的發(fā)生。

1 系統(tǒng)整體框架和功能需求分析

系統(tǒng)由移動(dòng)機(jī)器人終端、圖像服務(wù)器和移動(dòng)控制終端三部分組成，其中移動(dòng)機(jī)器人終端是搭載了Raspberry Pi開(kāi)發(fā)板和車載Web攝像頭的移動(dòng)小車，移動(dòng)控制終端以Android智能手機(jī)作為控制平臺(tái)，兩者通過(guò)WiFi無(wú)線網(wǎng)絡(luò)連接圖像服務(wù)器并進(jìn)行數(shù)據(jù)通信，系統(tǒng)整體設(shè)計(jì)圖如圖1所示。

在整個(gè)系統(tǒng)的運(yùn)行過(guò)程中，圖像服務(wù)器作為兩個(gè)終端視頻數(shù)據(jù)傳輸?shù)闹薪?，起到圖像數(shù)據(jù)緩存的作用。

移動(dòng)機(jī)器人終端的主要功能有兩個(gè)：

（1） 通過(guò)USB無(wú)線網(wǎng)卡連接到無(wú)線網(wǎng)絡(luò)，接收和執(zhí)行控制終端發(fā)送的控制指令。

（2） 車載Web攝像頭實(shí)時(shí)獲取圖像數(shù)據(jù)并進(jìn)行壓縮編碼，通過(guò)無(wú)線網(wǎng)絡(luò)上傳到圖像服務(wù)器，完成視頻數(shù)據(jù)的傳輸。

Android控制終端的主要功能有兩個(gè)：

（1） 通過(guò)無(wú)線網(wǎng)絡(luò)訪問(wèn)圖像服務(wù)器，獲取上傳的視頻圖像數(shù)據(jù)，將圖像數(shù)據(jù)解碼后在控制界面中進(jìn)行視頻顯示。

（2） 通過(guò)無(wú)線網(wǎng)絡(luò)與移動(dòng)小車取得連接，在控制界面中通過(guò)圖像信息實(shí)現(xiàn)對(duì)移動(dòng)小車的遠(yuǎn)程控制。

2 圖像服務(wù)器

在系統(tǒng)中，使用MJPG?Streamer圖像軟件提供的圖像服務(wù)器進(jìn)行視頻圖像數(shù)據(jù)的緩存。MJPG?Streamer是一款開(kāi)源的輕量級(jí)視頻服務(wù)器軟件[1]。該軟件可應(yīng)用在基于IP協(xié)議的網(wǎng)絡(luò)中，將Web攝像頭獲取到的圖像數(shù)據(jù)以視頻流的形式上傳到圖像服務(wù)器中進(jìn)行緩存。

圖像服務(wù)器在整個(gè)系統(tǒng)運(yùn)行過(guò)程中扮演著機(jī)器人終端和控制終端視頻傳輸?shù)闹薪??？刂平K端在獲取視頻數(shù)據(jù)時(shí)，不需要等到整個(gè)視頻下載完成，通過(guò)無(wú)線網(wǎng)絡(luò)訪問(wèn)圖像服務(wù)器，下載實(shí)時(shí)圖像數(shù)據(jù)即可。

圖像服務(wù)器的使用保證了圖像數(shù)據(jù)的完整性和傳輸?shù)姆€(wěn)定性，同時(shí)也方便對(duì)視頻數(shù)據(jù)進(jìn)行存儲(chǔ)、刪除等其他操作。并且系統(tǒng)利用MJPG?Streamer調(diào)用Web攝像頭的硬件壓縮功能，降低服務(wù)器的載荷，使整個(gè)系統(tǒng)具備節(jié)約資源、減少內(nèi)存占用、運(yùn)行速度快的優(yōu)點(diǎn)[2]。

3 移動(dòng)機(jī)器人終端的設(shè)計(jì)

機(jī)器人終端是以二輪驅(qū)動(dòng)的小車作為移動(dòng)平臺(tái)，采用Raspberry Pi + Arduino作為主控制器，分別實(shí)現(xiàn)不同的控制功能。其中Raspberry Pi是一款基于Linux系統(tǒng)、只有一張信用卡大小的卡片式計(jì)算機(jī)，具有強(qiáng)大的視頻、圖像、音頻處理能力，且具有體積小、價(jià)格低廉、功能強(qiáng)大的特點(diǎn)[3]，特別適合作為小型移動(dòng)設(shè)備的多媒體信息處理及傳輸平臺(tái)。Arduino控制平臺(tái)是一塊基于開(kāi)放源代碼的USB接口板，簡(jiǎn)單易用，程序的燒寫(xiě)和修改變得更加容易[4]，并且可以方便地與現(xiàn)有的電子元器件進(jìn)行連接以實(shí)現(xiàn)控制和交互功能，在本系統(tǒng)中可以作為移動(dòng)機(jī)器人的電機(jī)和舵機(jī)的控制平臺(tái)。

移動(dòng)機(jī)器人終端的結(jié)構(gòu)圖如圖2所示。在機(jī)器人終端通過(guò)Arduino平臺(tái)接收并判斷手機(jī)發(fā)送的控制指令，實(shí)現(xiàn)對(duì)小車電機(jī)運(yùn)轉(zhuǎn)和舵機(jī)轉(zhuǎn)動(dòng)的控制；Raspberry Pi控制Web攝像頭進(jìn)行圖像攝取，然后通過(guò)無(wú)線網(wǎng)卡上傳到圖像服務(wù)器。

由此可見(jiàn)，機(jī)器人終端主要完成兩個(gè)工作：控制指令的判別和執(zhí)行；攝像頭獲取到的實(shí)時(shí)圖像數(shù)據(jù)的處理和上傳。

3.1 控制指令判別和執(zhí)行

手機(jī)發(fā)出的控制指令通過(guò)無(wú)線網(wǎng)絡(luò)和socket通信接口發(fā)送給Raspberry Pi，Raspberry Pi將控制指令通過(guò)USB數(shù)據(jù)線傳送給Arduino，在Arduino中對(duì)指令進(jìn)行判別和執(zhí)行：通過(guò)控制兩個(gè)電機(jī)的運(yùn)行狀態(tài)來(lái)控制移動(dòng)機(jī)器人的行動(dòng)狀態(tài)；Arduino控制板通過(guò)輸出不同脈寬的信號(hào)進(jìn)行舵機(jī)轉(zhuǎn)動(dòng)角度控制[5]。將攝像頭固定在舵機(jī)上，舵機(jī)的旋轉(zhuǎn)帶動(dòng)攝像頭的旋轉(zhuǎn)，擴(kuò)大了攝像頭的視角，增加可視范圍。

3.2 視頻處理和上傳

移動(dòng)機(jī)器人使用Web攝像頭，通過(guò)UVC協(xié)議免驅(qū)動(dòng)安裝與Raspberry Pi進(jìn)行連接。因?yàn)閃eb攝像頭中包含MJPEG編碼器，采用JPEG圖像壓縮技術(shù)實(shí)現(xiàn)視頻數(shù)據(jù)的壓縮處理[6]。然后將每一幀圖像數(shù)據(jù)傳送給Raspberry Pi，通過(guò)Raspberry Pi的MJPG?Streamer圖像開(kāi)發(fā)軟件將圖像數(shù)據(jù)以視頻流的形式通過(guò)無(wú)線網(wǎng)絡(luò)傳送到圖像服務(wù)器中。作為控制終端的手機(jī)可以訪問(wèn)圖像服務(wù)器下載每一幀圖像數(shù)據(jù)，然后進(jìn)行相應(yīng)的解碼和顯示操作。

3.3 圖像質(zhì)量保證

為了減少視頻數(shù)據(jù)傳輸時(shí)占用的帶寬，使圖像傳輸更加流暢，采用減小圖像分辨率和圖像傳輸幀率的方法。

（1） 圖像分辨率的選取：分辨率是指單位長(zhǎng)度中的像素?cái)?shù)目。在調(diào)試過(guò)程中對(duì)常用分辨率下每幀圖像的效果和大小進(jìn)行記錄和比對(duì)，如表1所示。

為了兼顧圖像的質(zhì)量和圖像數(shù)據(jù)的大小，最后選擇320×240作為圖像分辨率。

表1 不同分辨率圖片大小和效果

[分辨率 圖片大小 圖片效果 160×120 6 KB左右 模糊 320×240 10 KB左右 清晰 600×400 14 KB左右 清晰 640×480 16 KB左右 清晰 ]

（2） 圖像傳輸幀率：幀率是指單位時(shí)間內(nèi)顯示的圖片數(shù)量，單位為f/s。系統(tǒng)選用的Web攝像頭支持的幀率為1～30 f/s，根據(jù)人眼的視覺(jué)暫留效應(yīng)，當(dāng)傳輸?shù)膱D像為24幀以上時(shí)會(huì)認(rèn)為畫(huà)面是連續(xù)的，為了基本滿足人眼的觀看效果，并且保證視頻圖像顯示的流暢度和視頻播放的穩(wěn)定性，選用20～24 f/s作為測(cè)試幀率。

4 移動(dòng)控制終端的設(shè)計(jì)

系統(tǒng)以Android智能手機(jī)作為控制終端，Eclipse作為應(yīng)用軟件開(kāi)發(fā)平臺(tái)，設(shè)計(jì)一款A(yù)PP應(yīng)用，實(shí)現(xiàn)對(duì)機(jī)器人的遠(yuǎn)程控制以及視頻顯示。

在功能實(shí)現(xiàn)上將視頻顯示和遠(yuǎn)程控制分別放在兩個(gè)線程中運(yùn)行，避免線程阻塞，減少系統(tǒng)資源的損耗?？刂平K端的工作流程圖如圖3所示。

移動(dòng)控制終端的設(shè)計(jì)主要包括三個(gè)部分：UI控制界面，移動(dòng)機(jī)器人的遠(yuǎn)程控制以及視頻的顯示。

4.1 UI控制界面

UI控制界面是通過(guò)調(diào)用Android的SDK編寫(xiě)控制端的可視化界面[7]。在控制界面中，連接Button按鈕完成與移動(dòng)機(jī)器人終端的遠(yuǎn)程連接，前后左右Button按鈕完成對(duì)移動(dòng)機(jī)器人的行進(jìn)控制，攝像頭旋轉(zhuǎn)Button按鈕完成對(duì)攝像頭的轉(zhuǎn)動(dòng)控制，SurfaceView控件進(jìn)行視頻圖像的顯示。

當(dāng)機(jī)器人終端正常工作后，用戶點(diǎn)擊APP進(jìn)入到控制界面，實(shí)時(shí)采集的圖像信息會(huì)通過(guò)SurfaceView控件顯示在屏幕上，遠(yuǎn)程連接移動(dòng)機(jī)器人后，用戶通過(guò)圖像信息對(duì)移動(dòng)機(jī)器人進(jìn)行遠(yuǎn)程控制。

4.2 遠(yuǎn)程控制

控制界面提供給用戶不同的控制按鈕，通過(guò)點(diǎn)擊不同的Button對(duì)移動(dòng)機(jī)器人進(jìn)行控制。控制按鈕的主要功能有：與移動(dòng)機(jī)器人的遠(yuǎn)程連接和斷開(kāi)、移動(dòng)機(jī)器人前后左右的行進(jìn)、車載攝像頭的旋轉(zhuǎn)。

控制指令的發(fā)送是通過(guò)使用Socket接口通信技術(shù)來(lái)實(shí)現(xiàn)。Socket有兩種通信方式：面向連接的方式和無(wú)連接方式[8]，本設(shè)計(jì)采用面向連接的方式來(lái)提高通信的可靠性。通過(guò)機(jī)器人的IP地址和端口號(hào)創(chuàng)建Socket，獲得輸出流OutputStream，然后使用流套接字完成對(duì)機(jī)器人控制指令的傳輸，實(shí)現(xiàn)對(duì)機(jī)器人的遠(yuǎn)程控制。Socket通信的創(chuàng)建和數(shù)據(jù)傳輸流程圖如圖4所示。

Socket通信包括三個(gè)步驟：建立連接、發(fā)送數(shù)據(jù)、關(guān)閉套接字。函數(shù)核心代碼如下：

public void WiFiSend（String command）{

socket = new Socket（"192.168.199.213"，8000）；

WiFiout = socket.getOutputStream（）；

WiFiout.write（command.getBytes（））；

Socket.close（）； }

4.3 視頻顯示

4.3.1 視頻圖像的獲取

通過(guò)無(wú)線網(wǎng)絡(luò)訪問(wèn)指定的圖像服務(wù)器，從圖像服務(wù)器下載由Raspberry Pi上傳的每一幀實(shí)時(shí)圖像數(shù)據(jù)，下載后的圖像數(shù)據(jù)在控制終端進(jìn)行圖片解碼操作，獲取數(shù)據(jù)包中的有效數(shù)據(jù)并存入數(shù)據(jù)緩沖區(qū)。

每一幀圖片的格式為JPEG格式，JPEG文件主要包括文件起始符、壓縮數(shù)據(jù)和文件結(jié)束符[9]。讀取數(shù)據(jù)找到圖片壓縮數(shù)據(jù)的起始標(biāo)記碼和結(jié)束標(biāo)記碼，除去標(biāo)記碼后獲得有效壓縮數(shù)據(jù)，獲取圖片壓縮數(shù)據(jù)的主要函數(shù)代碼如下：

public void DecodedPic（） {

try {

header = new String（jpg_buf，"utf?8"）；

int index = header.indexOf（conLenString）；

if （index ！= -1）{

int index2 = header.indexOf（"＼r"， index）；}

if （index2 ！= -1） {

String frameLenString = header.substring

（index+contentLenString.length（），index2）；}

for （i=0；i

if （jpg_buf[i] == （byte） 0xFF） {

Arrcopy（jpg_buf，i，jpg_buf，0，pos-i）；

pos = pos-i；}

}}}

4.3.2 視頻的播放

在控制終端下載每一幀圖像數(shù)據(jù)后，對(duì)數(shù)據(jù)進(jìn)行解碼并創(chuàng)建位圖進(jìn)行顯示，循環(huán)繪制位圖達(dá)到視頻的效果。

采用傳統(tǒng)的View控件繪圖存在三個(gè)缺陷：View缺乏緩沖機(jī)制；當(dāng)程序需要更新圖像時(shí)，程序必須重繪View上的整張圖片，并且沒(méi)有銷毀機(jī)制，導(dǎo)致在重繪過(guò)程中會(huì)出現(xiàn)黑屏或者花屏的現(xiàn)象，影響視頻觀看效果；View的繪圖必須在當(dāng)前UI線程中進(jìn)行，更新View組件時(shí)總要采用Handler處理，程序需要花較長(zhǎng)的時(shí)間進(jìn)行重繪，主線程將會(huì)被阻塞，使得視頻觀看不流暢[10]。

為了保證視頻的觀看效果和流暢度，選用SurefaceView控件進(jìn)行位圖的繪制，SurfaceView與SurfaceHolder結(jié)合使用，在主線程之外的線程中在屏幕上進(jìn)行位圖的繪制。其中SurfaceView控件的更新機(jī)制會(huì)更新SurfaceView的繪制，通過(guò)不斷進(jìn)行位圖的重繪達(dá)到實(shí)時(shí)視頻的效果。由于SurfaceView控件在單獨(dú)的線程中更新畫(huà)面，不會(huì)阻塞主UI線程，從而提高了程序的反應(yīng)速度，也保證了圖像顯示的流暢度。

圖形顯示的過(guò)程如下：實(shí)現(xiàn)SurfaceHolder.Callback接口；獲得SurfaceHolder對(duì)象；SurfaceHolder.addCallback（）添加回調(diào)函數(shù)；SurfaceHolder.lockCanvas（）鎖定畫(huà)布；Canvas繪圖；SurfaceHolder.unlockCanvas（）解鎖提交圖形。

5 系統(tǒng)調(diào)試

系統(tǒng)的綜合測(cè)試主要測(cè)試兩個(gè)方面的內(nèi)容：控制終端對(duì)機(jī)器人終端的遠(yuǎn)程控制，檢查機(jī)器人是否能準(zhǔn)確地執(zhí)行控制指令；控制終端的視頻顯示，查看視頻播放的流暢度和清晰度。

裝配完畢的移動(dòng)機(jī)器人小車如圖5所示。正常運(yùn)行后，在APP中通過(guò)WiFi無(wú)線網(wǎng)絡(luò)與機(jī)器人取得連接，在操作界面中用戶根據(jù)實(shí)時(shí)圖像信息對(duì)機(jī)器人進(jìn)行遠(yuǎn)程控制，點(diǎn)擊操作界面中的方向控制按鈕，觀察到機(jī)器人能夠準(zhǔn)確快速地執(zhí)行相應(yīng)的指令。通過(guò)對(duì)圖像幀數(shù)的設(shè)置和對(duì)比，機(jī)器人攝像頭圖像采集的幀數(shù)最終設(shè)置為20 f/s。在10M帶寬的無(wú)線網(wǎng)絡(luò)下，圖像下載速度可以達(dá)到96 Kb/s，并且20 f/s在畫(huà)面品質(zhì)和播放流暢度方面達(dá)到平衡，更高或更低帶寬需要專門(mén)調(diào)試并設(shè)置。視頻顯示的效果圖如圖6所示。

6 結(jié) 語(yǔ)

本系統(tǒng)通過(guò)Android和Raspberry Pi的組合，提供了一種能夠?qū)崿F(xiàn)遠(yuǎn)程實(shí)時(shí)視頻監(jiān)控的新方案。Raspberry Pi增強(qiáng)了下位機(jī)的視頻圖像處理能力，Android APP增加了控制終端使用的靈活性和便捷性，移動(dòng)車載攝像頭相比固定攝像頭大大增加了監(jiān)控范圍。該系統(tǒng)具有成本低、功耗小、操作方便快捷、移動(dòng)靈活性大等優(yōu)點(diǎn)，實(shí)現(xiàn)了遠(yuǎn)距離、可移動(dòng)、實(shí)時(shí)視頻監(jiān)控。

參考文獻(xiàn)

[1] 周鵬飛.基于MJPG?Streamer的移動(dòng)視頻監(jiān)控系統(tǒng)的設(shè)計(jì)與研究[D].淮南：安徽理工大學(xué)，2013.

[2] 劉濤，呂勇，毛海波.基于WiFi技術(shù)的無(wú)線視頻監(jiān)控系統(tǒng)設(shè)計(jì)[J].現(xiàn)代計(jì)算機(jī)（專業(yè)版），2015（1）：49?53.

[3] 張占軍，陳詩(shī)偉，趙煜，等.智能家居系統(tǒng)的無(wú)線控制方案設(shè)計(jì)[J].科教導(dǎo)刊?電子版，2015（1）：283?284.

[4] 卞云松.基于Arduino單片機(jī)的避障小車機(jī)器人[J].自動(dòng)化技術(shù)與應(yīng)用，2014，33（1）：16?19.

[5] 蔡睿姸.基于Arduino的舵機(jī)控制系統(tǒng)設(shè)計(jì)[J].電腦知識(shí)與技術(shù)，2012，8（15）：3719?3721.

[6] 劉塵塵.基于ARM的遠(yuǎn)程視頻監(jiān)控系統(tǒng)設(shè)計(jì)[J].計(jì)算機(jī)測(cè)量與控制，2012，20（8）：2127?2129.

[7] 王辰，周杰，季櫸.基于Android平臺(tái)的實(shí)時(shí)視頻技術(shù)的實(shí)現(xiàn)[J].計(jì)算機(jī)應(yīng)用與軟件，2014，36（6）：120?121.

[8] 閻秀英，周亞建，胡正名.基于Java的網(wǎng)絡(luò)實(shí)時(shí)遠(yuǎn)程監(jiān)控系統(tǒng)設(shè)計(jì)[J].計(jì)算機(jī)工程，2009，35（5）：74?75.

[9] 蔡紅亮.靜止圖像壓縮技術(shù)（JPEG）芯片的設(shè)計(jì)[D].南京：東南大學(xué)，2003.

[10] 張雅楠，楊璐，鄭麗敏.基于Android手機(jī)的遠(yuǎn)程視頻監(jiān)控系統(tǒng)的設(shè)計(jì)與開(kāi)發(fā)[J].計(jì)算機(jī)應(yīng)用，2015，33（z1）：283?286.