基于達芬奇技術(shù)的嵌入式可定位視頻的研究與應用

［余翔　秦少鵬］

?

基于達芬奇技術(shù)的嵌入式可定位視頻的研究與應用

［余翔秦少鵬］

摘要隨著GIS技術(shù)的發(fā)展和應用，視頻多媒體信息在GIS系統(tǒng)中的應用也越來越廣泛，提出在嵌入式系統(tǒng)下，基于達芬奇技術(shù)，將視頻信息與GPS定位信息相融合形成可定位視頻的方法。通過在視頻幀分包處理中加入GPS定位信息分包，將視頻和GPS定位信息有機融合，并通過線性內(nèi)插的方法解決在采集過程中GPS信息接收頻率與視頻采集頻率不一致的問題，最后在達芬奇技術(shù)平臺TMS320DM3730上實現(xiàn)可定位視頻的采集和傳輸。

關(guān)鍵詞：可定位視頻 TMS320DM3730 GPS 視頻 達芬奇技術(shù)

余翔

重慶郵電大學，1999年于電子科技大學取得博士學位，教授。主要研究方向為寬帶無線通信。

秦少鵬

重慶郵電大學，碩士生，主要研究方向為應急通信系統(tǒng)。

引言

定位技術(shù)和視頻監(jiān)控技術(shù)在日常生產(chǎn)、生活中已經(jīng)被廣泛應用，同時隨著無線通信技術(shù)的日益發(fā)展，人們對實時無線視頻傳輸?shù)男枨笕找嬖鲩L。伴隨著智能移動終端的發(fā)展，基于GPS定位服務的相關(guān)應用在生產(chǎn)、生活中的各個領(lǐng)域也被廣泛應用。在搶險救災、治安防護、移動指揮等應急情況下，視頻傳輸與定位信息對處理應急事件都有重要作用，因此，將視頻與定位信息融合形成可定位視頻有著重要應用價值。目前，視頻與空間定位信息融合已成為研究的熱點問題，文獻［1］提出了視頻地圖系統(tǒng)，在視頻的一個聲道中記錄空間位置和時間數(shù)據(jù)，并提出了實際應用方案。文獻［2］主持的VideoGIS項目中，將視頻與空間信息相結(jié)合，建立視頻片段的地理索引，生成能在地理環(huán)境中調(diào)用的超視頻（hypervideo）。但是以上方案不能滿足視頻實時傳輸需求。

針對以上不足，本文提出了一種嵌入式系統(tǒng)下，基于達芬奇技術(shù)的視頻和GPS定位信息采集、融合、傳輸?shù)膽梅桨浮ｋS著DSP芯片技術(shù)的高速發(fā)展，TI公司推出了達芬奇技術(shù)，它為實現(xiàn)實時、高要求的音視頻信號處理提供了可能性，再加上高效的低碼率視頻編碼標準H.264的成熟應用與算法的不斷改進，為實時視頻的高質(zhì)量傳輸提供了數(shù)字視頻信號處理平臺和算法指導［3］。

本文采用TI公司推出的TMS320DM3730（以下簡稱DM3730）處理器，基于達芬奇技術(shù)的嵌入式系統(tǒng)，通過多線程結(jié)構(gòu)，實現(xiàn)視頻與GPS定位信息同步采集、視頻編解碼、視頻幀與GPS定位信息融合以及可定位視頻的無線傳輸，同時通過線性內(nèi)插的方法使視頻幀與GPS定位信息形成一一對應的關(guān)系，最終實現(xiàn)了可定位視頻采集融合和實時無線傳輸。

1　系統(tǒng)軟件架構(gòu)設計

1.1系統(tǒng)整體架構(gòu)

如圖1所示，該系統(tǒng)以DM3730達芬奇嵌入式視頻采集系統(tǒng)為核心，主要由視頻采集模塊、GPS信息采集模塊、DM3730系統(tǒng)處理模塊、無線網(wǎng)絡傳輸模塊以及硬盤儲存模塊五部分組成。

圖 1 可定位視頻系統(tǒng)結(jié)構(gòu)圖

功能模塊說明：

（1）CUP處理器模塊：本文選用的是德州儀器（TI）推出的達芬奇系列TMS320DM3730處理器。該處理器集成了1GHz的ARM Cortex – A8內(nèi)核及800MHz的高級數(shù)字信號處理的DSP核［4］。達芬奇技術(shù)平臺的ARM+DSP的雙核結(jié)構(gòu)即擁有DSP對數(shù)字信號的高速處理能力，又具有ARM對外圍設備的強大的管理能力。

（2）視頻采集模塊：攝像頭選用奧尼國際推出的酷睿高清版HD1080P攝像頭。該攝像頭具有業(yè)內(nèi)首創(chuàng)30f/ s（幀/秒）的采集速率，并支持多種分辨率，并通過高速USB2.0接口連接到板卡。

（3）無線網(wǎng)絡傳輸模塊：本文采用華為公司推出的TD-LTE無線上網(wǎng)模塊—E392U-92，該模塊是多模數(shù)據(jù)卡，支持LTE TDD /FDD/ UMTS/GSM/CDMA等多種網(wǎng)絡制式，并通過USB2.0接口連接到板卡。

（4）GPS信息采集模塊：本文選用基于ublox公司推出的GPS定位芯片的NEO-6M高性能GPS定位模塊。該模塊同外部設備的通信接口采用UART（串口）方式，串口波特率為9600BPS。

系統(tǒng)工作原理如下：通過攝像頭進行視頻采集，將采集到的模擬視頻數(shù)據(jù)經(jīng)過TVP5150轉(zhuǎn)換成數(shù)字信號，通過USB接口輸出到DM3730系統(tǒng)處理模塊；同時GPS信息采集模塊將接收到的GPS數(shù)據(jù)通過RS232串口轉(zhuǎn)USB傳送至DM3730系統(tǒng)處理模塊；DM3730系統(tǒng)處理模塊對接收到的視頻數(shù)據(jù)進行壓縮編碼，然后對編碼后視頻幀進行UDP分包處理，同時提取GPS信息中需要的相關(guān)參數(shù)，將提取出的定位信息參數(shù)加入UDP分包中；通過信息內(nèi)插的方法，將視頻幀數(shù)據(jù)同GPS定位信息進行匹配，形成可定位視頻，再進行無線傳輸至監(jiān)控指揮中心與地圖信息匹配，同時對可定位視頻進行本地儲存并可以實時播放。

1.2系統(tǒng)軟件設計

本文的系統(tǒng)軟件設計從嵌入式終端達芬奇平臺雙核架構(gòu)出發(fā)，采用基于POSIX（Portable Operating System Interface）接口的多線程的程序設計架構(gòu)。在使用多線程時需要處理線程的調(diào)度和線程的同步，本文采用基于實時的SCHED _FIFO（先進先出）調(diào)度策略解決線程的調(diào)度問題，而線程的同步則使用Rendezvou模塊來處理。

如圖2所示，嵌入式終端設備運行，首先進行系統(tǒng)初始化，然后主線程開始創(chuàng)建各個子線程。當所有子線程都結(jié)束時，各個子線程釋放占用的系統(tǒng)資源，主線程再釋放占用的系統(tǒng)資源，退出關(guān)閉。其中各個子線程的優(yōu)先級先后關(guān)系如排列所示：視頻采集回顯和GPS采集解析線程、視頻幀編碼線程、視頻儲存和視頻幀與GPS定位信息匹配融合線程、可定位視頻傳輸線程。各個子線程在執(zhí)行一段時間后都會阻塞、等待其他線程，從而避免高優(yōu)先級的線程一直占用內(nèi)存資源，而優(yōu)先級低的線程不去執(zhí)行的情況。

圖 2 可定位視頻系統(tǒng)軟件架構(gòu)關(guān)系圖

2　系統(tǒng)設計中的關(guān)鍵技術(shù)

2.1GPS信息提取

GPS接收模塊根據(jù)NMEA-1083協(xié)議，提供了多條語句，每個語句均以“$”開頭，然后是兩個字母的“標示符”和三個字母的“語句名”，接著以逗號分割的數(shù)據(jù)體，語句末尾為校驗和，整條語句以回車換行符結(jié)束。其中$GPGGA：輸出GPS的定位信息；$GPGLL：輸出大地坐標信息；$GPZDA：輸出UTC時間信息；$GPGSV：輸出可見的衛(wèi)星信息；$GPGST：輸出定位標準差信息；$GPGSA：輸出衛(wèi)星DOP值信息；$GPALM：輸出衛(wèi)星星歷信息；$GPRMC：輸出GPS推薦的最短數(shù)據(jù)信息等。然而在實際的開發(fā)應用中，通常只利用其中的幾個參數(shù)，在本研究中，主要提取經(jīng)度、緯度、高程以及方向這些參數(shù)信息。上述幾個參數(shù)主要存在于$GPGGA、$GPRMC兩條語句中，因此，從接收到的信息中提取出這兩條語句并進行解析即可，如圖3所示。

2.2視頻采集

本文視頻采集是基于Linux系統(tǒng)的V4L2 （Video4Linux2）設備驅(qū)動程序框架實現(xiàn)的。系統(tǒng)首先使用FifoUtil_open（）打開線程的讀寫通道，以便線程間進行通信，然后創(chuàng)建視頻采集回顯線程，最后采用V4L2設備驅(qū)動程序框架進行視頻采集：打開設備文件并獲取設備屬性，再設置視頻采集格式；申請幀緩沖并入隊列開始采集，將采集到的視頻數(shù)據(jù)出隊列并存入視頻圖像數(shù)據(jù)編碼線程的緩沖區(qū)；最后幀緩沖重新入隊列實現(xiàn)循環(huán)采集。

圖 3 GPS信息采集提取流程圖

2.3視頻編碼

視頻的編解碼是通過調(diào)用編解碼引擎（Codec Engine）來實現(xiàn)的。首先打開編碼引擎，創(chuàng)建H.264編碼器，然后通過調(diào)用FifoUtil_get（）讀管道獲取已采集的視頻數(shù)據(jù)并讀入緩沖區(qū)，進行一幀數(shù)據(jù)的編碼，同時調(diào)用FifoUtil_ put（）將編碼后的數(shù)據(jù)傳入視頻儲存線程和視頻幀與GPS定位信息匹配融合線程，最后將幀緩沖返回給編碼線程實現(xiàn)循環(huán)編碼。

2.4視頻幀與GPS定位信息匹配融合

在進行信息采集時，視頻的采集頻率一般是15～30 幀/s，而GPS接收的頻率是1s/次，視頻采集速率與GPS信息采集速率不匹配，因此視頻幀無法直接與GPS定位信息一一對應，因此本文采用內(nèi)插的方式進行視頻幀與GPS定位信息的匹配，并通過分包處理視頻幀加入GPS定位信息，最終形成可以無線傳輸?shù)目啥ㄎ灰曨l，如圖4所示。

2.4.1視頻幀與GPS定位信息融合

首先線程調(diào)用FifoUtil_get（）獲取視頻編碼線程后編碼的幀緩存，然后對這個緩存進行分包處理，將要插入的定位信息放入一幀數(shù)據(jù)的最后一個分包，對每個分包加上幀頭，放入UDP隊列中，等待發(fā)送。

圖 4視頻幀分包處理流程圖

在處理H.264編碼后的視頻幀時，根據(jù)當前的視頻幀是I幀還是P幀，對此視頻幀進行不同的分包處理。當檢查到是I幀時，每次取出此幀2K的圖像數(shù)據(jù)加入分包，并對取出的分包添加幀頭，當剩下的數(shù)據(jù)不足2K時，則將剩下的數(shù)據(jù)一次性加幀頭，放入UDP隊列，最后在圖像數(shù)據(jù)分包后面添加一個分包，此分包包含要添加的定位信息。圖5通過UDP隊列，將視頻幀與定位信息相融合。

圖 5可定位視頻幀分包結(jié)構(gòu)圖

對P幀的操作與I幀一樣，只是每個分包的大小變?yōu)?K。

2.4.2視頻幀與GPS定位信息匹配

由于視頻采集頻率與GPS接收頻率不一致，一秒時間內(nèi)視頻圖像的幀數(shù)遠遠多于GPS信息接收的次數(shù)，這將導致視頻每一幀圖像無法與GPS定位信息一一對應。因此本文基于內(nèi)插的方式對GPS定位信息與視頻幀圖像進行匹配。過程如圖6所示。

圖 6視頻幀與GPS定位信息匹配流程圖

根據(jù)視頻采集時的運動速率，匹配方式分為兩種模式，一種是步行模式，一種是行車模式。步行模式主要包括固定靜止時、步行時等低速行進的過程中的視頻采集方式，在此模式下，每秒時間間隔內(nèi)的空間位置的位移變化量很小或處于靜止不變狀態(tài)，因此對每秒間隔時間內(nèi)所采集的視頻幀圖像可以采用同一GPS定位信息。行車模式是指車載視頻時，高速行進過程中的視頻采集模式，由于設備處于高速行車狀態(tài)，此狀態(tài)下兩次接收的GPS定位信息的時間間隔內(nèi)位置變化比較大，如果繼續(xù)采用步行模式的方法進行匹配，將導致內(nèi)插的視頻幀的空間位置出現(xiàn)較大的誤差，不能反映真實的位置情況，因此對行車模式采用式（1）對定位信息和視頻幀進行線性匹配。其中，Latc是當前視頻幀的緯度坐標，Lonc是當前視頻幀的經(jīng)度坐標，F(xiàn)ramec是當前視頻幀在兩次GPS信息接收間隔時間內(nèi)，處在采集的所有視頻幀中的位置，F(xiàn)rame是視頻幀率，Lati+1和Loni+1分別是第i+1次接收到的緯度、經(jīng)度坐標值，Lati和Loni是第i次接收到的緯度、經(jīng)度坐標值。

2.5可定位視頻的無線傳輸

可定位視頻的傳輸是基于UDP協(xié)議的網(wǎng)絡傳輸完成的。首先創(chuàng)建一個UDP Socket并進行本地IP的綁定和相關(guān)的配置，同時設置監(jiān)控指揮中心的IP地址和端口號等相關(guān)屬性，然后讀取UDP傳輸循環(huán)鏈表進行發(fā)送，緩沖發(fā)送到監(jiān)控指揮中心。為了保障傳輸視頻圖像的質(zhì)量和傳輸?shù)目煽啃?，設置對編碼后的視頻幀的關(guān)鍵幀I幀進行監(jiān)聽，確保關(guān)鍵幀I幀被監(jiān)控指揮中心接收，當監(jiān)控指揮中心收到I幀時，返回給終端傳輸線程一個回復信息，如果沒有收到回復，則循環(huán)發(fā)送I幀數(shù)據(jù)直到收到監(jiān)控指揮中心的回復為止。

3　應用實例

可定位視頻采集終端設備選用天漠科技有限公司推出的基于德州儀器（TI）DM3730處理器的Devkit8500D評估套件，圖7是可定位視頻采集終端設備。監(jiān)控指揮中心是PC機Windows 7系統(tǒng)下基于MFC的Web GIS程序，該程序結(jié)合百度地圖，視頻播放器功能，對接收到的可定位視頻進行解碼回放和GPS定位顯示。攜帶可定位視頻采集終端設備在校園內(nèi)進行可定位視頻的采集，并通過TD-LTE網(wǎng)絡將數(shù)據(jù)發(fā)送至監(jiān)控指揮中心，在監(jiān)控指揮中心的PC上實時顯示視頻和位置移動。

圖 7采集終端實物圖

圖 8監(jiān)控指揮中心可定位視頻界面圖

圖8為可定位視頻播放界面，左上角實時播放終端設備采集的視頻圖像，右邊在百度地圖上顯示終端在采集視頻時的具體位置。

4　結(jié)束語

本文應用達芬奇技術(shù)平臺，介紹了嵌入式終端上可定位視頻的采集傳輸方法，實現(xiàn)了視頻幀與GPS定位信息一一對應以及融合傳輸。隨著無線網(wǎng)絡技術(shù)的發(fā)展，無線環(huán)境下對數(shù)據(jù)傳輸質(zhì)量的要求越來越高，人們對實時信息的需求也越來越精確?？啥ㄎ灰曨l作為一種將實時視頻多媒體信息與GPS空間地理信息相結(jié)合新型媒體，通過地理信息系統(tǒng)技術(shù)支撐，在監(jiān)控指揮、應急救援、信息采集等領(lǐng)域有廣泛的應用價值。

參考文獻

1BERRY JK . Capture “Where” and “When” on Video . Based GIS ［J］. GEOWORLD，2000，（9）

2NAVARRETE T， BLATJ. VideoGIS： Segmenting and Indexing Video Based on Geographic Information ［C］// 5thAGILE Conference on Geograp- hic Information Science. Palma Spain.2002

3TI Application report （SPRS283D） TMS320 DM6446 digital media system-on-chip ［R］. Dallas： Texas Instruments， 2005：1-212

4BERRY JK . Capture “Where” and “When” on Video . Based GIS ［J］. GEOWORLD，2000，（9）

5NAVARRETE T， BLATJ. VideoGIS： Segmenting and Indexing Video Based on Geographic Information ［C］// 5thAGILE Conference on Geograp- hic Information Science. Palma Spain.2002

6TI Application report （SPRS283D） TMS320 DM6446 digital media system-on-chip ［R］. Dallas： Texas Instruments， 2005：1-212

7向海波， 李波， 閆忠江. 基于TMS320DM373 -0的H.264編碼器移植與優(yōu)化方法［J］. 電子設計工程，2012（20）： 180-183

8吳勇， 劉學軍， 豐江帆. 具有定位信息的移動視頻采集系統(tǒng)［J］.測繪通報， 2009（07）

9吳勇， 劉學軍， 趙華，等. 可定位視頻采集方法研究［J］. 測繪通報， 2010，（1）：24-27

DOI：10.3969/j.issn.1006-6403.2016.04.013

收稿日期：（2016-01-20）