基于DM8127全景視頻網(wǎng)絡(luò)監(jiān)控系統(tǒng)設(shè)計與實現(xiàn)

李 劍，王五桂，張 鶴

?

基于DM8127全景視頻網(wǎng)絡(luò)監(jiān)控系統(tǒng)設(shè)計與實現(xiàn)

李 劍，王五桂，張 鶴

（中國艦船研究設(shè)計中心，武漢 430060）

與傳統(tǒng)視頻監(jiān)控系統(tǒng)只能實現(xiàn)單向監(jiān)控不同，文章基于TMS320DM8127研究設(shè)計了一套反射式全景視頻網(wǎng)絡(luò)監(jiān)控系統(tǒng)，該系統(tǒng)由外殼體、拋物反射鏡面和DM8127數(shù)字處理平臺三部分組成。系統(tǒng)工作時，拋物反射鏡面可360度反射周視成像，DM8127數(shù)字處理平臺負責系統(tǒng)控制和任務(wù)調(diào)度，對采集圖像進行展開算法處理和壓縮編碼，然后進行網(wǎng)絡(luò)傳輸并遠程顯示。試驗結(jié)果表明，該全景視頻監(jiān)控系統(tǒng)可在單一嵌入式平臺上，實現(xiàn)1920x1080P分辨率、幀率約30幀/秒的實時圖像采集、算法處理、圖像編解碼、網(wǎng)絡(luò)傳輸?shù)纫惑w化功能。

全景 拋物面反射 視頻監(jiān)控 DM8127

0 引言

視頻圖像技術(shù)作為人類信息獲取的重要來源，在監(jiān)控安防領(lǐng)域得到了廣泛應(yīng)用。但視頻監(jiān)控技術(shù)發(fā)展至今，從第一代傳統(tǒng)模擬閉路電視監(jiān)控系統(tǒng)（CCTV）到當前“模擬-數(shù)字”監(jiān)控系統(tǒng)（DVR），均存在視場小等缺點，容易產(chǎn)生監(jiān)控死角。或者為了消除監(jiān)控死角，采用多臺相機組合或云臺監(jiān)控，增加了視頻數(shù)據(jù)量和結(jié)構(gòu)復雜性。目前，為了解決這一問題，國內(nèi)外在魚眼式全景視覺[1-2]、折反式全景視覺[3-5]和反射式全景視覺[6]展開了大量研究。本全景視頻監(jiān)控系統(tǒng)結(jié)合全景視覺技術(shù)[7]和第三代IP視頻監(jiān)控技術(shù)，采用拋物反射鏡面可單次水平方向360度視頻監(jiān)控，基于TI公司DM8127嵌入式數(shù)字處理平臺可片上實現(xiàn)視頻實時處理，壓縮編解碼并進行網(wǎng)絡(luò)傳輸和遠程輸出顯示，結(jié)構(gòu)簡單，功能完備，在空間探測、機器人導航、安防監(jiān)控以及船舶甲板監(jiān)控領(lǐng)域，具有很好的實用價值。

1 系統(tǒng)總體設(shè)計

1.1 系統(tǒng)結(jié)構(gòu)設(shè)計

為滿足集成化要求，系統(tǒng)采用一體化筒狀結(jié)構(gòu)，總體結(jié)構(gòu)設(shè)計如圖1所示。系統(tǒng)主要由三部分組成，即外殼體、拋物反射鏡面[2]和DM8127數(shù)字處理平臺。外殼體包括頂蓋、底座以及玻璃保護罩幾部分，起結(jié)構(gòu)支撐保護和透光作用，其中底座由兩部分組成，通過螺紋連接，與DM8127數(shù)字處理平臺通過螺栓固連，頂蓋、基座與玻璃保護罩通過強力膠粘接，系統(tǒng)可通過旋轉(zhuǎn)底座螺紋銜接處進行拆裝。拋物反射鏡面安裝時，必須保證鏡面中心與DM8127數(shù)字處理平臺遠焦鏡頭光軸重合，以避免采集的全景圖像偏心。系統(tǒng)工作時，光線穿過玻璃保護罩經(jīng)拋物反射鏡面反射，透過DM8127遠焦鏡頭在圖像傳感器表面成像。

圖1 DM8127全景視頻監(jiān)控系統(tǒng)總體示意圖

1.2系統(tǒng)方案設(shè)計

DM8127嵌入式全景視頻監(jiān)控系統(tǒng)可在片上對所獲取的全景圖像進行算法處理，處理后的圖像數(shù)據(jù)可直接通過方案一高清媒體接口HDMI輸出到顯示器顯示，或者方案二片上先對處理后的原始圖像數(shù)據(jù)進行壓縮編碼，然后將碼流數(shù)據(jù)基于網(wǎng)絡(luò)發(fā)送至上位機解碼顯示，具體如圖2所示。

圖2 DM8127全景視頻監(jiān)控系統(tǒng)總體方案

2 系統(tǒng)硬件設(shè)計

2.1 TMS320DM8127功能組成

TMS320DM8127是TI公司推出的一款高性能異構(gòu)多核芯片，立足系統(tǒng)高度完成功能設(shè)計，將系統(tǒng)級目標處理機制、算法模型、芯片架構(gòu)、模塊電路、乃至器件設(shè)計緊密結(jié)合在一起，單顆芯片即可實現(xiàn)整個系統(tǒng)的功能[8]。DM8127芯片內(nèi)部集成了1GHz的ARM Cortex-A8處理核心、750 MHz的C674x DSP運算核心以及VPSS M3和Video M3兩個圖像協(xié)處理器，各處理器核分工如表1所示。

表1 TMS320DM8127功能組成

DM8127數(shù)字處理平臺由DM8127處理單元、圖像采集模塊、存儲模塊、外設(shè)接口、電源模塊幾部分組成，硬件框圖如圖3所示。圖像采集模塊采用MT9J003高分辨率CMOS采集前端，圖像分辨率最高可達3856x2764。電源模塊采用12V外部直流供電。外圍集成了RS485、RS232、USB、HDMI、千兆網(wǎng)口等多種外部接口，其中RS232接口可通過轉(zhuǎn)接板供PC端進行用戶開發(fā)調(diào)試，HDMI接口可將未經(jīng)編碼或解碼后的圖像數(shù)據(jù)直接輸出到標準輸出設(shè)備進行輸出顯示，千兆網(wǎng)口可用于視頻流數(shù)據(jù)網(wǎng)絡(luò)傳輸。存儲模塊采用512MB大小的DDR3內(nèi)存，整個內(nèi)存可分為系統(tǒng)運行內(nèi)存、共享內(nèi)存及各處理器專屬內(nèi)存等多個部分。

3 系統(tǒng)軟件設(shè)計

為縮短TMS320DM8127軟件開發(fā)周期，TI公司提供了專門IPNC_RDK開發(fā)環(huán)境。該環(huán)境由驅(qū)動層、系統(tǒng)層、核間通信層、MCFW層以及應(yīng)用層等幾部分組成。程序開發(fā)時，需對IPNC_RDK開發(fā)環(huán)境進行交叉編譯移植，然后在MCFW層及應(yīng)用層進行修改。其中，MCFW層中最主要的是link組件和Chain數(shù)據(jù)鏈，link組件指TI封裝的最小功能組件，Chain數(shù)據(jù)鏈指具備完整功能的link組件的有機組合，兩者共同組成應(yīng)用層usecase程序。

3.1系統(tǒng)開發(fā)環(huán)境搭建

程序設(shè)計前，搭建TFTP及NFS開發(fā)環(huán)境，TFTP主要用于編譯后的uboot和內(nèi)核由linux本地向DM8127數(shù)字平臺網(wǎng)絡(luò)傳輸加載，NFS則是用于掛載本地文件系統(tǒng)便于在線調(diào)試，具體如圖4所示。

圖4 DM8127平臺調(diào)試示意圖

該過程可通過如下uboot命令實現(xiàn)，具體如下：

3.2系統(tǒng)應(yīng)用程序開發(fā)

為實現(xiàn)全景監(jiān)控視頻的網(wǎng)絡(luò)輸出遠程顯示，需要進行usecase應(yīng)用層程序設(shè)計。為實現(xiàn)上述總體方案，整個圖像數(shù)據(jù)需經(jīng)過VPSSM3核采集縮放，如需進行圖像算法，還需經(jīng)VPSSM3核傳送至DSP核進行算法處理，再傳給VideoM3核進行像素編碼，再將編碼后的碼流數(shù)據(jù)交給ARMA8進行網(wǎng)絡(luò)傳輸。

圖5 3路視頻輸出usecase程序設(shè)計

圖5所示，為針對本方案所設(shè)計的usecase程序，可支持720x480標清、1920x1080高清兩路視頻直接輸出顯示，還可支持1920x1080網(wǎng)絡(luò)輸出顯示。如圖所示，每個link可實現(xiàn)單一功能，圖像數(shù)據(jù)進出不同處理器核時，需通過IPCLink進行中轉(zhuǎn)，未編碼數(shù)據(jù)通過IPCFramesLink進行，已編碼數(shù)據(jù)通過IPCBitsLink進行核間傳遞，整個Chain數(shù)據(jù)鏈需經(jīng)過link組件的創(chuàng)建、啟動、控制、停止和銷毀等過程。然后還基于同心圓展開算法，對全景環(huán)形圖像進行了展開還原處理。

3.3上位機顯示程序設(shè)計

ARM A8將編碼后的碼流數(shù)據(jù)發(fā)送至上位機后，需開發(fā)上位機視頻碼流接收程序，并進行解碼顯示。其中，碼流接收程序主要是對接收到的RTP報文進行解協(xié)議操作，并將解析后的視頻數(shù)據(jù)單元重新打包重組成完整的視頻流數(shù)據(jù)，然后交給上位機進行FFmpeg解碼顯示，解碼顯示流程圖如圖6所示。

圖6 上位機FFmpeg解碼顯示流程圖

3.4試驗結(jié)果

樣機設(shè)計完成后，進行了試驗。圖7所示為階段一對未經(jīng)算法處理的數(shù)據(jù)通路試驗，圖中顯示器大圖分辨率為1920x1080P，顯示器屏幕右下角小圖分辨率為720x480，視頻幀率30幀/秒，中間部分為系統(tǒng)樣機，兩路視頻通過Mosaic組件同時輸出顯示。階段二，對灰度化后的原始圖像進行了DSP展開算法處理，并對展開后的圖像進行了網(wǎng)絡(luò)輸出解碼顯示，顯示圖像如圖8所示。

4 結(jié)論

本文研究設(shè)計了一套拋物反射式全景視頻監(jiān)控系統(tǒng)，并對系統(tǒng)樣機進行了試驗。試驗結(jié)果表明，本系統(tǒng)可在不增加視頻數(shù)據(jù)量條件下，快速實現(xiàn)水平方向360度范圍實時視頻監(jiān)控和片上解算處理，并進行壓縮編碼，實現(xiàn)視頻網(wǎng)絡(luò)輸出遠程顯示，具有很好的實際應(yīng)用價值和意義。但實驗過程中發(fā)現(xiàn)，環(huán)形全景圖像偏心，且解算圖像分辨率較高時視頻幀率較低，說明系統(tǒng)結(jié)構(gòu)和解算算法還有待進一步優(yōu)化。

圖7 樣機原始圖像采集2路輸出顯示

圖8 樣機展開圖像網(wǎng)絡(luò)輸出解碼顯示

[1] 廖訓佚. 魚眼圖像全景拼接系統(tǒng)[D]. 重慶大學, 2009.

[2] 李劉生. 基于嵌入式的全景視覺移動目標跟蹤系統(tǒng)[D]. 天津理工大學, 2012.

[3] 田曉東. 折反射全景成像系統(tǒng)分析與設(shè)計[J]. 儀表技術(shù)與傳感器, 2006(4): 48-50.

[4] 程鋼, 熊志輝, 陳立棟, 等. 一種DSP折反射全景圖像實時展開方法[J]. 計算機應(yīng)用, 2008, 28(9): 2285-2287.

[5] 朱齊丹, 徐從營, 蔡成濤. 船載折反射全景視覺系統(tǒng)電子穩(wěn)像算法[J]. 吉林大學學報(工), 2015, 45(4): 1288-1296.

[6] 袁于程. RoboCup中型組足球機器人全景視覺系統(tǒng)的研究[D]. 蘇州大學, 2009.

[7] 曾吉勇. 折反射全景立體成像[D]. 四川大學, 2003.

[8] 賈文全, 李勇, 王軍輝. 基于TMS320DM8168硬件平臺的智能網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)[J]. 計算機與數(shù)字工程, 2012, 40(9): 60-62.

Design and Implementation of a Panoramic Network Video Monitoring System Based on DM8127

Li Jian, Wang Wugui, Zhang He

(Chinese Ship Research and Design Center, Hubei Wuhan 430060, China )

TP39

A

1003-4862（2018）02-0057-04

2017-11-20

李劍（1991-），男，工程師。研究方向：計算機視覺。Email：1143286225@qq.com