基于Hi3531A芯片和流媒體服務(wù)器的視頻監(jiān)控系統(tǒng)

曾永安，康韋曉，單亞飛，敦科翔

(1.國網(wǎng)江西省電力公司撫州供電分公司，江西 撫州 344000； 2.河北遠東通信系統(tǒng)工程有限公司，河北 石家莊050002)

0 引言

視頻監(jiān)控系統(tǒng)發(fā)展了短短二十幾年時間，從19世代80年代的模擬監(jiān)控到火熱的數(shù)字監(jiān)控再到方興未艾的網(wǎng)絡(luò)視頻監(jiān)控，發(fā)生了翻天覆地的變化[1]。從技術(shù)角度出發(fā)，視頻監(jiān)控系統(tǒng)發(fā)展劃分為：第一代模擬視頻監(jiān)控系統(tǒng)；第二代基于“PC+多媒體卡”數(shù)字視頻監(jiān)控系統(tǒng)；第三代完全基于IP網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)[2]。全IP視頻監(jiān)控系統(tǒng)[3]有如下的優(yōu)勢：① 簡便性——所有攝像機都通過經(jīng)濟高效的有線或者無線以太網(wǎng)簡單連接到網(wǎng)絡(luò)，使您能夠利用現(xiàn)有局域網(wǎng)基礎(chǔ)設(shè)施；② 強大中心控制——一臺工業(yè)標準服務(wù)器和一套控制管理應(yīng)用軟件就可運行整個監(jiān)控系統(tǒng)；③ 易于升級與全面可擴展性——輕松添加更多攝像機，將來中心服務(wù)器亦能夠方便升級到更快速處理器、更大容量磁盤驅(qū)動器以及更大帶寬等；④ 全面遠程監(jiān)視——任何經(jīng)授權(quán)客戶機都可直接訪問任意攝像機；⑤ 堅固冗余存儲器——可同時利用SCSI、RAID以及磁帶備份存儲技術(shù)永久保護監(jiān)視圖像不受硬盤驅(qū)動器故障影響[4]。

現(xiàn)在的視頻監(jiān)控系統(tǒng)正朝著高清化、集成化和智能化的方向發(fā)展。華為海思的海思芯片Hi3531A，內(nèi)置ARM A9雙核處理器和高性能的H.264視頻編解碼引擎，集成了包含多項復(fù)雜圖像處理算法的高性能視頻/圖像處理引擎，能夠提供HDMI/VGA高清顯示輸出能力。因此，本文提出了一種基于Hi3531A芯片和流媒體服務(wù)器的視頻監(jiān)控系統(tǒng)。

1 系統(tǒng)總體設(shè)計

本系統(tǒng)主要分3部分：編解碼器模塊、流媒體服務(wù)器模塊和客戶端模塊。編解碼器模塊以Hi3531A芯片為核心主要用來完成視頻采集和視頻編碼的任務(wù)；流媒體服務(wù)器模塊在EasyDarwin[5]流媒體的基礎(chǔ)上增加錄像部分主要用來接收編解碼器發(fā)送的視頻流并保存和轉(zhuǎn)發(fā)；客戶端模塊主要是利用libvlc.dll動態(tài)庫編碼來顯示實時視頻。流媒體服務(wù)器支持RTP/RTCP/RTSP協(xié)議，編解碼器、客戶端和流媒體之間都通過此協(xié)議來進行通信。系統(tǒng)的總設(shè)計圖如圖1所示。

圖1 系統(tǒng)總設(shè)計

2 編解碼器模塊

編解碼器采用HI3531A芯片[6]，集成多項復(fù)雜圖像處理算法的高性能視頻/圖像處理引擎，提供HDMI/VGA高清顯示輸出能力。編解碼能力為8x1080p@30fps H.264編碼+8xCIF@30fps H.264編碼+4x1080p@30fps H.264解碼+8x1080p@2fps JPEG編碼。

編解碼器的工作原理：

① 視頻輸入單元通過 ITU-R BT.601/656 接口接收由 VADC 輸出的數(shù)字視頻信息，并通過 AHB 總線把接收到的原始圖像寫入到外存(SDR SDRAM 或 DDR SDRAM)中；

② 視頻編解碼器從外存中讀取圖像，進行運動估計(幀間預(yù)測)、幀內(nèi)預(yù)測、DCT 變換、量化、熵編碼DCT 變換、反量化及運動補償?shù)炔僮?，最后將符?H.264 協(xié)議的裸碼流和編碼重構(gòu)幀寫入到外存中；

③ 視頻輸出單元從外存中讀取圖像數(shù)據(jù)并通過 ITU-R BT.601/656接口送給 VDAC 進行顯示，應(yīng)用的需求不同，視頻輸出單元從外存中讀取的圖像內(nèi)容也不同，當需要對輸入圖像進行預(yù)覽時，視頻輸出單元從外存中讀取原始圖像，當需要觀察視頻編碼器的編碼效果時，視頻輸出單元從外存中讀取編碼重構(gòu)幀；

④ ARM 對視頻編碼器輸出的碼流進行協(xié)議棧的封裝，然后送給網(wǎng)口發(fā)送。

編解碼器的工作流程主要分為MPP媒體處理和RTP/RTCP封裝和拆解。

2.1 MPP媒體處理

海思提供的媒體處理軟件平臺(Media Process Platform,MPP)，可支持應(yīng)用軟件快速開發(fā)。該平臺對應(yīng)用軟件屏蔽了芯片相關(guān)的復(fù)雜的底層處理，并對應(yīng)用軟件直接提供MPI(MPPPrograme Interface)接口完成相應(yīng)功能。

海思媒體處理平臺的主要內(nèi)部處理流程如圖2所示，主要分為視頻輸入(VI)、視頻處理(VPSS)、視頻編碼(VENC)、視頻解碼(VDEC)、視頻輸出(VO)、音頻輸入(AI)、音頻輸出(AO)、音頻編碼(AENC)、音頻解碼(ADEC)以及區(qū)域管理(REGION)等模塊。

圖2 MPP工作原理

2.2 RTP/RTCP封裝和拆解

本設(shè)計采用ARICENT公司的RTP/RTCP協(xié)議棧，RTP/RTCP協(xié)議棧的接口以API和回調(diào)函數(shù)的形式存在。

當視頻幀較大時，需要將一幀圖像拆成多個RTP進行傳遞，具體分包規(guī)則按照RFC3984標準進行。視頻的RTP處理流程如圖3所示。

圖3 RTP處理流程

3 流媒體服務(wù)器模塊

流媒體服務(wù)器模塊是基于開源EasyDarwin流媒體軟件框架進行開發(fā)的[7]。EasyDarwin是由國內(nèi)開源流媒體團隊維護和迭代的一整套開源流媒體視頻平臺框架[8]，從2012年12月創(chuàng)建并發(fā)展至今，開辟了諸多的優(yōu)質(zhì)開源項目，能更好地幫助廣大流媒體開發(fā)者和創(chuàng)業(yè)型企業(yè)快速構(gòu)建流媒體服務(wù)平臺，更快、更簡單地實現(xiàn)最新的移動互聯(lián)網(wǎng)(安卓、iOS、H5、微信)流媒體直播與點播的需求，尤其是安防行業(yè)與互聯(lián)網(wǎng)行業(yè)的銜接[9]。它的RTSP開源流媒體直播服務(wù)，高效、穩(wěn)定、可靠、功能齊全，支持RTSP流媒體協(xié)議，支持安防行業(yè)需要的攝像機流媒體轉(zhuǎn)發(fā)功能、支持互聯(lián)網(wǎng)行業(yè)需要的多平臺(PC、Android、IOS)RTSP直播(H.264/MJPEG/MPEG4、AAC/PCMA/PCMU/G726)功能，底層(Select/Epoll網(wǎng)絡(luò)模型、無鎖隊列調(diào)度)和上層(RESTful接口、WEB管理、多平臺編譯)、遠程運維等方面優(yōu)化，這些都是全代碼完全開源的[10]。

它的核心部分是由一個父進程所fork出的一個子進程構(gòu)成，該父進程就構(gòu)成了整個流媒體服務(wù)器[11]。父進程會等待子進程的退出，如果在運行的時候子進程產(chǎn)生了錯誤從而退出，那么父進程就會fork出一個新的子進程。可以看出，網(wǎng)絡(luò)客戶和服務(wù)器直接的對接是由核心服務(wù)器來完成的。網(wǎng)絡(luò)客戶RTSPoverRTP來發(fā)送或者接受請求。服務(wù)器就通過模塊來處理相應(yīng)的請求并向客戶端發(fā)送數(shù)據(jù)包。核心流媒體服務(wù)通過創(chuàng)建4種類型的線程來完成自己的工作[12]，具體如下：

① 服務(wù)器自己擁有的主線程。當服務(wù)器需要關(guān)閉檢查，以及在關(guān)閉之前記錄相關(guān)狀態(tài)、打印相關(guān)統(tǒng)計信息時，一般都是通過這個線程來完成的。

② 空閑任務(wù)線程。這個任務(wù)線程是用來對一個周期任務(wù)隊列的管理，主要管理2種任務(wù)，即超時任務(wù)和Socket任務(wù)。

③ 事件線程。套接口相關(guān)事件由事件線程負責監(jiān)聽，當有RTSP請求或者收到RTP數(shù)據(jù)包時，事件線程就會把這些實踐交給任務(wù)線程來處理。

④ 任務(wù)線程。任務(wù)線程會把事件從事件線程中取出，并把處理請求傳遞到對應(yīng)的服務(wù)器模塊進行處理，比如把數(shù)據(jù)包發(fā)送給客戶端的模塊，在默認情況下，核心服務(wù)器會為每個處理器核創(chuàng)建一個任務(wù)線程。

本文在此基礎(chǔ)上增加了保存錄像功能，主要原理是在主線程接受到編解碼器推送來的視頻流后自動開啟一個RTSP客戶端線程；客戶端和服務(wù)器之間的連接是基于RTP/RTCP/RTSP協(xié)議，此線程在接收到視頻流后，按幀打包，再調(diào)用libmp4v2.dll來將H.264視頻流保存成MP4格式。在系統(tǒng)中MP4文件大小設(shè)計為每到整點和30分時自動保存一次，同時為了保障服務(wù)在服務(wù)異常斷開使MP4文件損壞時，仍然能夠得到有用的視頻信息，會同時生成一個H.264文件。當MP4文件保存正常時，對應(yīng)H.264文件會刪除，否則會保存H.264文件。在大量的試驗中發(fā)現(xiàn)只有機器異常斷電時，由于程序不能正常退出會造成MP4文件不完整無法播放，而H.264文件是由純粹加了頭的sps、pps和幀數(shù)據(jù)組成，不會被損壞。本系統(tǒng)選擇MP4格式的原因是它幾乎能被所有播放器識別，方便用戶使用，而H.264文件只能被極少數(shù)播放器播放(例如，VLC播放器正常模式不能播放H.264文件，但選擇“工具—首選項—(左下)全部—輸入/編解碼器中的去復(fù)用器—選擇H.264去復(fù)用器—確定”就可以播放H.264文件了)，因此只作為特殊情況的備用項。圖4為流媒體服務(wù)器模塊的主要框架圖。

圖4 流媒體服務(wù)器框架

流媒體服務(wù)器在運行時，接受流和發(fā)送流都是通過RTSP協(xié)議來進行，它們之間的流程如圖5所示。

圖5 RTSP流程

C表示rtsp客戶端,S表示rtsp服務(wù)端。

① C→S: ANNOUNCE request ∥提交媒體初始化描述信息(SDP)給S；

S→C: ANNOUNCE response ∥ S回應(yīng)該提交的信息；

② C→S:SETUP request ∥設(shè)置會話的屬性，以及傳輸模式，提醒S建立會話；

S→C:SETUP response ∥S建立會話，返回會話標識符，以及會話相關(guān)信息；

③ C→S:RECORD request ∥C請求錄像；

S→C: RECORD response ∥S回應(yīng)該請求的信息；

④ C→S: PLAY request ∥C請求播放(拉)；

S→C: PLAY response ∥回應(yīng)請求(拉)；

⑤ C→S:發(fā)送流媒體數(shù)據(jù)(推模式；)；

S→C:接受流媒體數(shù)據(jù)(拉模式)；

⑥ C→S:TEARDOWN request ∥C請求關(guān)閉會話；

S→C:TEARDOWN response ∥S回應(yīng)該請求。

4 客戶端模塊

如圖6所示，客戶端模塊是在Windows平臺上運行的一個實時視頻播放程序，采用VC++開發(fā)，與流媒體服務(wù)器模塊之間通過RTP/RTCP/RTSP協(xié)議連接，主要通過調(diào)用libvlc.dll庫來實現(xiàn)[13]。

圖6 RTSP流程

本系統(tǒng)支持多個客戶端接入，通告配置流媒體服務(wù)器IP地址，客戶端可在任意Windows電腦播放監(jiān)控視頻。系統(tǒng)研制過程中解決因緩存小而出現(xiàn)的播放高清視頻錄像時的半屏現(xiàn)象。原因是libvlc.dll接受視頻幀緩存初始值比較小，當存儲1080P高清視頻時，I幀數(shù)據(jù)超過緩存大小，系統(tǒng)先丟掉多余數(shù)據(jù)后再將緩存翻倍，這樣視頻的前幾秒會出現(xiàn)半屏現(xiàn)象。改進方法是在接受數(shù)據(jù)時判斷幀大小，根據(jù)需要設(shè)置緩存大小，同時重新設(shè)置緩存初始值，重新編譯libvlc.dll，解決了播放高清視頻時的短暫半屏的問題。

5 結(jié)束語

本系統(tǒng)設(shè)計的視頻監(jiān)控系統(tǒng)經(jīng)過測試能夠播放和保存1080P、720P、4CIF、VGA、CIF以及QCIF等6種分辨率的視頻，并且客戶端播放實時監(jiān)控視頻延時小于1 s，滿足絕大部分使用要求。本系統(tǒng)特地制作了分屏模式，能夠?qū)?個視頻制作成一個視頻實現(xiàn)分屏播放，經(jīng)測試視頻播放流暢，系統(tǒng)穩(wěn)定。此方案不僅可以部署在交通道路、商場、銀行等固定場所使用，也可以作為公安應(yīng)急、森林防護以及部隊演習等野外作業(yè)的現(xiàn)場與中心通信的臨時指揮系統(tǒng)來使用。

[1] 鐘辰.平安城市網(wǎng)絡(luò)視頻監(jiān)控組網(wǎng)解決方案以及發(fā)展趨勢研究[D].南京: 南京郵電大學,2015.

[2] 陳浩鑫.城市治安視頻監(jiān)控系統(tǒng)設(shè)計與實現(xiàn)[D].長沙:湖南大學,2014.

[3] 古前疆.基于IP網(wǎng)絡(luò)的視頻監(jiān)控系統(tǒng)的設(shè)計與實現(xiàn)[D].大連: 大連理工大學,2013.

[4] 王亞沛.面向智慧社區(qū)的智能視頻監(jiān)控系統(tǒng)設(shè)計與應(yīng)用研究[D].杭州:浙江理工大學,2015.

[5] 潘明.基于H.264的網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)的研究與實現(xiàn)[D].長春: 吉林大學,2014.

[6] 鄭陽.基于Hi3516A處理器的KVM終端軟件設(shè)計[D].杭州: 浙江工業(yè)大學,2016.

[7] 高春雷.視頻直播系統(tǒng)設(shè)計與實現(xiàn)[J].科技風,2016(18): 103.

[8] 文力.基于Android和云平臺的幼教系統(tǒng)的設(shè)計與實現(xiàn)[D].武漢: 華中師范大學,2016.

[9] 向華.流媒體服務(wù)系統(tǒng)核心技術(shù)的研究與實現(xiàn)[D].西安:西安電子科技大學,2014.

[10] 陳廣東.流媒體服務(wù)器集群負載均衡算法研究[D].武漢: 華中師范大學,2006.

[11] 林洪藝.流媒體組播服務(wù)器的構(gòu)建及軟件開發(fā)[D].廈門: 廈門大學,2008.

[12] 張洪宇.基于RTP協(xié)議流媒體服務(wù)器的研究[D].成都:電子科技大學,2007.

[13] 冀龍濤.基于Android手機的家用機器人控制技術(shù)研究[D].哈爾濱: 哈爾濱工業(yè)大學,2013.