基于MJPG-streamer的嵌入式遠程視頻監(jiān)控系統(tǒng)*

趙丹，諶建飛，周旋，鄧敏，唐立軍

(1.長沙理工大學 物理與電子科學學院,長沙 410114；2.近地空間電磁環(huán)境監(jiān)測與建模湖南省普通高校重點實驗室)

基于MJPG-streamer的嵌入式遠程視頻監(jiān)控系統(tǒng)*

趙丹1，2，諶建飛1，2，周旋1，2，鄧敏1，2，唐立軍1，2

(1.長沙理工大學 物理與電子科學學院,長沙 410114；2.近地空間電磁環(huán)境監(jiān)測與建模湖南省普通高校重點實驗室)

針對遠程實驗操作中實驗動態(tài)信息可視化及實時性問題，利用ARM處理器和USB攝像頭設計一個基于MJPG-streamer的嵌入式遠程視頻監(jiān)控系統(tǒng)。該系統(tǒng)使用基于硬件壓縮的USB攝像頭進行視頻信息采集，搭建MJPG-streamer流媒體服務器來完成視頻數據的采集和傳輸。測試結果表明，該方案在幀率10 fps、分辨率640×480情況下，能實現流暢清晰的視頻傳輸，且平均占用帶寬約200 Kb/s，能滿足遠程實驗的需求。

遠程實驗;視頻監(jiān)控;MJPG-streamer ;嵌入式應用

引 言

基于互聯(lián)網的遠程實驗教學模式打破了時間與空間的限制，實現了儀器設備的共享，有效地提高了實驗資源利用率和實驗效率[1-3]。遠程實驗過程控制的研究是遠程實驗教學平臺最為關鍵的一環(huán)，而實驗過程的視頻實時監(jiān)控是輔助實驗操作必不可少的部分。學生在遠程客戶端通過視頻來觀察實驗過程，并根據實驗現象控制實驗儀器得到實驗結果。整個實驗過程對視頻傳輸的實時性、穩(wěn)定性以及如何實現遠程訪問提出了較高要求，所以研究實時視頻壓縮、傳輸和Web端視頻嵌入技術具有十分重要的意義。

為了保證實驗的順利進行，需要對視頻進行實時采集、編碼和發(fā)送，要求能在帶寬受限的網絡中也能實現流暢清晰的實時視頻傳輸。本文針對實時視頻監(jiān)控的相關要求，將ARM處理器和MJPG-streamer軟硬件結合，設計和開發(fā)一個可用于遠程實驗平臺的基于MJPG-streamer的實時視頻監(jiān)控系統(tǒng)，該系統(tǒng)可以實時查看實驗進展，為遠程實驗平臺的完善提供實用價值。

1 系統(tǒng)方案設計

本設計建立在基于ARM處理器的平臺上，主要由硬件和軟件兩部分組成。硬件部分包括核心處理器、USB攝像頭、無線網卡；軟件部分包括在Linux下實現識別攝像頭和無線網卡設備的驅動程序、視頻服務器端的視頻采集、編碼和傳輸以及客戶端的視頻顯示。整個系統(tǒng)結構如圖1所示,首先在處理器上搭建MJPG-streamer流媒體服務器，然后通過MJPG-streamer軟件實現從USB攝像頭捕獲實驗平臺視頻圖像信息，圖像信息傳入處理器，經由網絡傳輸將視頻流通過視頻服務器發(fā)送到Web客戶端，在Web客戶端提供多種視頻嵌入方法，根據不同實驗的要求進行嵌入。

圖1 遠程視頻監(jiān)控系統(tǒng)結構圖

2 硬件設計

本系統(tǒng)采用ARM Cortex-A9內核的Exynos4412芯片為核心處理器，主頻為1.6 GHz，配置2 GB雙通道 DDR3的內存及16 GB存儲，提供2個USB接口以及100M網口，集成有WiFi、藍牙芯片，因此能夠方便接入網絡。此外還提供有GPIO針腳和SPI總線用于連接各種傳感器以及電機等外設，可通過應用程序對外接設備進行控制。

在視頻采集模塊直接使用了免驅動的USB攝像頭。本方案選用的USB Camera(C270) 支持YUYV格式和壓縮的MJPEG格式的圖像輸出。視頻的數據量很大，在有限的網絡帶寬下進行數據傳輸，會導致網絡阻塞、負載大，畫面比實際情況延時較大[4]，不利于實驗的有效進行。選擇YUYV格式，會消耗大量CPU將YUYV格式圖片壓縮成JPEG格式，整體系統(tǒng)的性能會下降，所以本系統(tǒng)選擇輸出MJPEG格式的攝像頭,streamer只需將得到的JPEG格式的圖片轉發(fā)到http服務器。

圖2 系統(tǒng)硬件結構圖

系統(tǒng)采用WiFi方式進行網絡通信，WiFi模塊與板卡之間的連接采用SDIO接口，WiFi硬件模塊使用的是MTK的MT6620芯片，MT6620除了具備WiFi功能以后，還支持藍牙、FM、GPS功能。系統(tǒng)硬件結構圖如圖2所示。

3 軟件設計

本系統(tǒng)的軟件設計包括嵌入式系統(tǒng)環(huán)境的搭建、視頻服務器的搭建、視頻采集以及Web客戶端的設計。

3.1 搭建嵌入式操作系統(tǒng)環(huán)境

在建立視頻監(jiān)控系統(tǒng)前，需要搭建運行環(huán)境。嵌入式操作系統(tǒng)為開發(fā)應用程序提供了軟件平臺，進行軟件開發(fā)時一般采用交叉編譯的方式。嵌入式開發(fā)平臺的搭建包括引導加載程序的移植、Linux內核的移植以及文件系統(tǒng)的燒寫[5-6]。

首先搭建交叉編譯環(huán)境，以便能在Linux環(huán)境下得到ARM架構下的可執(zhí)行文件，然后配置內核參數裁剪內核，刪除要用的功能模塊，制作文件系統(tǒng)實現使用內核和存取文件，最后燒寫引導加載程序、裁剪后的內核和文件系統(tǒng)到開發(fā)板。

本系統(tǒng)采用arm-2009q3交叉編譯環(huán)境，引導加載程序bootloader為u-boot-iTOP-4412，內核為iTop4412_Kernel_3.0，選擇Linux文件系統(tǒng)實現使用內核和存取文件。V4L2驅動和USB攝像頭驅動在配置內核部分完成。

3.2 MJPG-streamer流媒體服務器

MJPG-streamer是一款輕量級的視頻流服務器軟件，該軟件有多個輸入輸出組件，可根據功能的需要來選擇要用的組件[7]。MJPG-streamer的工作就是將其中的一個輸入組件和多個輸出組件綁定在一起，所有的工作都是通過它的各個組件完成[8]。

圖3 MJPG-streamer工作流程圖

input_uvc.so輸入組件直接調用USB攝像頭驅動程序，從攝像頭讀取視頻數據，同時將視頻圖片壓縮為JPEG格式，然后將視頻數據復制到內存中。output_http.so輸出組件是一個完全符合http標準的webserver，將輸入組件壓縮為JPEG格式的圖片根據現有M JPEG標準以http視頻數據流的形式輸出[9]。用戶可以通過瀏覽器打開網頁實時查看遠程端的視頻圖像信息。MJPG-streamer的工作流程圖如圖3所示。

在主函數里，首先通過一個功能函數getopt_long_only()解析命令行選項，也就是將輸入的mjpg-streamer命令解析出來，然后調用相應的函數。dlopen()函數負責打開*.so插件,dlsym()負責調用插件中的相關函數。當輸入mjpg_streamer -i "input_uvc.so" -o "output_http.so "時，dlopen()函數打開輸入插件input_uvc.so和輸出插件output_http.so，系統(tǒng)將會調用input_uvc.so中的input_init函數,對輸入設備進行初始化；同時調用output_http.so中的output_init函數對輸出涉及到的結構體進行初始化。然后在input_run函數中創(chuàng)建視頻采集線程，將數據復制到全局變量。在output_run函數中通過socket編程進行網絡通信。當接收到客戶端連接請求后，將視頻信息發(fā)送到客戶端。為了能同時響應多個客戶端的請求，使用了多線程編程，為每一個請求建立一個連接，每個連接就是一個線程。

3.3 V4L2視頻采集

在Linux操作系統(tǒng)中，由V4L2來實現視頻采集設備的各種功能[10]。MJPG-streamer的輸入組件input_uvc.so可以直接調用USB攝像頭驅動程序，完成打開攝像頭、配置參數、處理數據和關閉攝像頭等功能，從攝像頭讀取視頻數據。USB攝像頭的設備文件路徑是/dev/video4，攝像頭設備以文件形式進行讀寫，通過V4L2提供的API接口函數實現對/dev/video4的操作。視頻采集的流程圖如圖4所示。

圖4 視頻采集流程圖

輸入組件首先在函數init_v4l2中用open函數打開攝像頭。通過ioctl函數把描述攝像頭信息的結構體寫入驅動，包括攝像頭采集幀率、圖片大小及格式等信息，涉及到命令VIDIOC_QUERYCAP、VIDIOC_S_FMT、VIDIOC_S_PARM、VIDIOC_REQBUFS，VIDIOC_QUERYBUF，通過mmap函數完成內存映射。在函數video_enable中通過發(fā)送命令VIDIOC_STREAMON開始圖像數據的采集。uvcGrab函數實現從攝像頭獲取圖像，memcpy_picture函數將數據復制到全局buff。接收到主線程視頻采集結束信號后，函數video_disable發(fā)送命令VIDIOC_STREAMOFF停止圖像數據采集，用free函數釋放掉攝像頭設備號關閉攝像頭。

3.4 Web端視頻嵌入

視頻傳輸用到的是MJPG-streamer的輸出組件output_http.so，是完全符合http標準的Web服務器。開發(fā)板運行后執(zhí)行命令mjpg_streamer -i "input_uvc.so -d /dev/video4 -r 640x480 -f 10" -o "output_http.so "，使用Web登錄服務器，開始視頻傳輸。

4 外網訪問實現

為實現隨時隨地進行實驗操作的要求，本系統(tǒng)不僅要在實驗室局域網內能實現，還要實現學校局域網內甚至校外廣域網內的遠程視頻監(jiān)控。對于固定IP且路由器端口映射可配置的情況下，可采用端口映射的方法實現由互聯(lián)網訪問局域網內視頻[11]。本文使用端口映射來實現校園網內的遠程視頻訪問，把公網上的主機IP的一個端口翻譯成私有IP，使私有IP可以被公網IP訪問。端口映射示意圖如圖5所示。

圖5 端口映射示意圖

要實現校園內遠程監(jiān)控，需要一個靜態(tài)IP地址，如果是局域網則需要設置端口轉發(fā)，在路由器上的端口映射表里配置目的IP、端口和源IP、端口。然后要正確配置嵌入式系統(tǒng)的IP、網關等參數。查詢到路由器撥號上網的校園網IP(10.128.17.175)，由于系統(tǒng)監(jiān)控的是8899端口，首先查看8899端口是否被占用，若被占用則換成另外一個未被占用的端口。所以圖像源地址變?yōu)閔ttp://10.128.17.175:8989/?action=stream，打開瀏覽器網頁，就可以看到攝像頭抓取到的遠程端的實驗平臺現場視頻。

5 系統(tǒng)測試結果及分析

系統(tǒng)實現后結合遠程實驗平臺進行測試。開發(fā)板開啟無線模塊連接網絡，將USB攝像頭連接至開發(fā)板，開啟視頻服務器，實現遠程的視頻監(jiān)控。在PC機瀏覽器上登錄遠程實驗平臺網頁，點擊視頻進入視頻監(jiān)控窗口。攝像頭觀察實驗平臺現場情況，外設控制操作實驗儀器，如圖6所示。

圖6 測試平臺圖

在遠程網頁端可以清晰地看到攝像頭采集的視頻，視頻畫面流暢，實時性高，沒有出現卡頓，無馬賽克和其他非正常的視頻畫面。

通過設置不同的分辨率和視頻采集幀率，從數據傳輸所占帶寬來分析，進行系統(tǒng)性能測試。采用了普遍使用的兩種分辨率640×480和320×240來做對比。查詢攝像頭的格式信息可知在這兩種分辨率下，幀率可設為30、25、20、15、10、5這6個值。運行本系統(tǒng)后，打開網頁端查看視頻信息，使用流量統(tǒng)計工具實時查看網絡帶寬的占用情況，連續(xù)觀察30分鐘，記錄10個時刻的流量值，得到平均流量統(tǒng)計如表1和表2 所列。

表1 分辨率640×480下視頻服務器網絡帶寬占用情況

表2 分辨率320×240下視頻服務器網絡帶寬占用情況

由于遠程實驗動態(tài)信息輸出的變化率較小，所以在幀率10 fps，分辨率640×480情況下，網頁端視頻畫面較大，人眼能看清實驗的變化情況，流暢度、清晰度能滿足遠程實驗的要求，且?guī)捳加眉s為176～219 Kb/s,能實現流暢清晰的傳輸。

結 語

本文結合嵌入式技術、流媒體技術、網絡技術和Web技術，實現了一種基于MJPG-streamer的遠程視頻監(jiān)控系統(tǒng)，具有實時性強、低帶寬和Web端靈活嵌入的特點，并能實現外網訪問。文中詳細介紹了硬件和軟件設計，也實現了校園內的訪問，并在遠程實驗平臺上進行了測試。測試結果表明,本系統(tǒng)能實現穩(wěn)定、流暢的實時視頻傳輸，為遠程實驗平臺提供技術支持，對于完善遠程實驗平臺具有現實意義。

[1] 鐘映春,華星,羅巖. 基于互聯(lián)網的過程控制遠程實驗教學改革[J]. 實驗技術與管理, 2012 (7):96-98,128.

[2] 騰李強. 基于ARM的遠程實驗控制系統(tǒng)研究[D].北京：北京郵電大學,2014.

[3] A Parkhomenko, O Gladkova, S Kurson, et al. Internet-based technologies for design of embedded systems[J].Experience of Designing and Application of CAD Systems in Microelectronics (CADSM), 2015, 3(2): 67-171.

[4] 丁元舟,羅小巧,楊明紅,等. 停車場遠程視頻監(jiān)控系統(tǒng)的設計與開發(fā)[J]. 電子測量技術,2015(3):35-38，42.

[5] 周鵬飛. 基于MJPG-Streamer的移動視頻監(jiān)控系統(tǒng)的設計與研究[D].安徽：安徽理工大學,2013.

[6] 賈繼洋. 基于嵌入式的視頻無線傳輸系統(tǒng)的研究[D].西安：西安工程大學,2015.

[7] 陳宗成,鄧華秋. 基于ARM11的嵌入式視頻傳輸系統(tǒng)的實現[J]. 電視技術,2013(9):210-213.

[8] 陳恒鑫,林威,張欽宇. 基于Mjpg-streamer的移動視頻監(jiān)控系統(tǒng)設計[J]. 計算機測量與控制,2014(11):3597-3599，3608.

[9] 趙冰,霍春寶,李巖松. 基于嵌入式Linux的3G無線視頻監(jiān)控系統(tǒng)[J]. 單片機與嵌入式系統(tǒng)應用,2013(3):56-58.

[10] 陳續(xù),劉國巍. Cortex-A8和H.264的無線視頻監(jiān)控系統(tǒng)設計[J]. 單片機與嵌入式系統(tǒng)應用,2015(3):46-49.

[11] 翟偉良,李哲. 基于WiFi無線傳輸遠程視頻監(jiān)控的研究[J]. 電子科技,2016(9):68-71.

趙丹(碩士研究生)，主要從事信號檢測與處理研究。

Embedded Remote Video Surveillance System Based on MJPG-streamer

Zhao Dan1,2,Chen Jianfei1,2,Zhou Xuan1,2,Deng Min1,2,Tang Lijun1,2

(1.School of Physics&Electronic,Changsha University of Science&Technology,Changsha 410114,China; 2.Hunan Province Higher Education Key Laboratory of Modeling and Monitoring on the Near-earth Electromagnetic Environments)

Aiming at the need of using video to assist users to carry out experimental operation and acquire the real-time experimental dynamic information in the course of remote experiment,an embedded remote video monitoring system based on MJPG-streamer is designed,which chooses ARM development board and the USB camera as the hardware platform and Linux operating system as the software platform.The program uses the USB camera to capture video information,builds MJPG-streamer streaming media server to complete the compression of the video data and real-time transmission.The test results show that the average bandwidth of the video transmission is about 200 Kb/s in the case of 10 fps and 640*480,which can meet the needs of remote experiment.

remote experiment;video surveillance;MJPG-streamer;embedded application

國家科技支撐計劃課題(2014BAH28F04)，湖南省教育廳科學研究項目(14C0031,15K009)。

TP315

A

迪娜

2016-12-09)