無人機(jī)高清視頻跟蹤監(jiān)控系統(tǒng)的設(shè)計(jì)

劉宏娟，賀若飛，馬麗娜，趙　娜

(1.西安愛生技術(shù)集團(tuán)公司，陜西 西安 710065；2.西北工業(yè)大學(xué) 第365研究所，陜西 西安 710065)

?

無人機(jī)高清視頻跟蹤監(jiān)控系統(tǒng)的設(shè)計(jì)

劉宏娟1，賀若飛2，馬麗娜1，趙娜1

(1.西安愛生技術(shù)集團(tuán)公司，陜西 西安 710065；2.西北工業(yè)大學(xué) 第365研究所，陜西 西安 710065)

針對(duì)無人機(jī)地面控制站上，操縱手實(shí)時(shí)監(jiān)測(cè)飛機(jī)飛行準(zhǔn)備、起飛和飛機(jī)回收階段的需求，提出了一種應(yīng)用在地面控制站內(nèi)的高清視頻跟蹤監(jiān)控系統(tǒng)的設(shè)計(jì)方案。該方案有效地解決了操作手在地面控制站內(nèi)視野狹隘，獲取飛機(jī)狀態(tài)信息量不足的問題，使得飛行起飛階段和回收階段操作更加簡(jiǎn)單直觀，且系統(tǒng)借用無人機(jī)系統(tǒng)數(shù)據(jù)鏈天線對(duì)準(zhǔn)功能與視頻跟蹤功能實(shí)現(xiàn)了自動(dòng)化監(jiān)控飛機(jī)狀態(tài)，系統(tǒng)硬件采用嵌入式平臺(tái)，尺寸小，經(jīng)濟(jì)、可靠，節(jié)約了地面控制站內(nèi)部的寶貴空間。

地面控制站；無線數(shù)據(jù)鏈；監(jiān)控系統(tǒng)；嵌入式

0　引言

地面控制站是無人機(jī)系統(tǒng)的重要組成部分，承擔(dān)著無人機(jī)系統(tǒng)的飛行監(jiān)控、導(dǎo)航監(jiān)控和任務(wù)載荷監(jiān)控等功能?，F(xiàn)有的地面控制站，在飛行準(zhǔn)備、起飛和回收階段，需要密切關(guān)注飛機(jī)的狀態(tài)，除了通過數(shù)據(jù)鏈交互的飛機(jī)參數(shù)外，還需要用目視的方式觀察飛機(jī)舵面是否按照指令動(dòng)作，飛機(jī)俯仰角度是否符合慣導(dǎo)參數(shù)，飛機(jī)起飛過程是否正常，火箭脫落是否正常等。傳統(tǒng)的方式是由飛機(jī)附近的工作人員使用對(duì)講機(jī)與地面控制站上的操作手進(jìn)行溝通，每個(gè)指令需要地面控制站告知指令發(fā)出，飛機(jī)端觀察飛機(jī)動(dòng)作，然后飛機(jī)端告知飛機(jī)動(dòng)作狀況。這種功能指令循環(huán)費(fèi)時(shí)費(fèi)力，對(duì)于地面控制站工作人員，十分不便；在回收階段，地面控制站工作人員觀察范圍有限，獲得的飛機(jī)信息量更加不足。

目前國(guó)內(nèi)將視頻監(jiān)控系統(tǒng)應(yīng)用在無人機(jī)地面控制站內(nèi)的設(shè)計(jì)不斷涌現(xiàn)[1]，但是僅僅是人工手動(dòng)控制攝像頭云臺(tái)，監(jiān)控飛機(jī)狀態(tài)，沒有實(shí)現(xiàn)實(shí)時(shí)自動(dòng)化監(jiān)控[2]，而且并無精確跟蹤飛機(jī)功能[3]。

本文將高清視頻跟蹤監(jiān)控系統(tǒng)應(yīng)用在無人機(jī)地面控制站上，操作手可以利用地面控制站上任意一臺(tái)計(jì)算機(jī)監(jiān)控視頻，實(shí)現(xiàn)實(shí)時(shí)自動(dòng)監(jiān)測(cè)飛機(jī)在地面起飛準(zhǔn)備狀態(tài)和飛機(jī)回收等情況，為操縱手提供了判定飛機(jī)真實(shí)狀態(tài)和飛行姿態(tài)的輔助信息功能，利用數(shù)據(jù)鏈的跟蹤引導(dǎo)功能，完成了攝像頭自動(dòng)對(duì)準(zhǔn)飛機(jī)，免去了在監(jiān)控飛機(jī)狀態(tài)時(shí)操作手的手動(dòng)控制操作，實(shí)現(xiàn)粗略跟蹤飛機(jī)，然后利用視頻跟蹤算法，精確跟蹤飛機(jī)，使操作手即使在飛機(jī)飛行時(shí)也能輕松觀察到飛機(jī)的飛行狀態(tài)。

該高清視頻監(jiān)控系統(tǒng)處理視頻數(shù)據(jù)量大、壓縮數(shù)據(jù)率高、傳輸碼流可自適應(yīng)不同帶寬，視頻顯示人機(jī)界面設(shè)計(jì)友好，可實(shí)現(xiàn)1080p和720p的實(shí)時(shí)高清視頻解壓存儲(chǔ)顯示，滿足操作手清晰地觀察飛機(jī)狀態(tài)的目標(biāo)。

1　系統(tǒng)工作原理

1.1系統(tǒng)組成

高清視頻跟蹤監(jiān)控系統(tǒng)的自動(dòng)監(jiān)控功能利用數(shù)據(jù)鏈的跟蹤功能與圖像跟蹤算法實(shí)現(xiàn)。視頻監(jiān)控部分包括視頻采集設(shè)備和視頻顯控軟件，視頻采集設(shè)備安裝在地面控制站內(nèi)，接收地面控制站數(shù)據(jù)鏈天線上的攝像頭數(shù)據(jù)，進(jìn)行編碼壓縮，通過網(wǎng)絡(luò)將壓縮碼流傳輸至地面控制站內(nèi)部計(jì)算機(jī)，操作手通過安裝在地面控制站內(nèi)部計(jì)算機(jī)上的視頻顯控軟件對(duì)高清視頻圖像進(jìn)行顯示與控制，系統(tǒng)組成如圖1所示。

圖1　系統(tǒng)組成

圖1中，視頻采集設(shè)備即視頻采集模塊，采用嵌入式軟件編程方式，完成攝像頭高清視頻的采集，編碼壓縮與傳輸?shù)裙ぷ鳌?/p>

視頻顯控軟件實(shí)現(xiàn)接收編碼碼流和解壓編碼碼流，進(jìn)行實(shí)時(shí)顯示或者存儲(chǔ)，并且可控制攝像頭焦距，視場(chǎng)變化等；圖像跟蹤算法嵌入視頻顯控軟件內(nèi)，實(shí)現(xiàn)精確跟蹤標(biāo)注飛機(jī)功能。

1.2工作原理

系統(tǒng)利用數(shù)據(jù)鏈系統(tǒng)的跟蹤引導(dǎo)功能捕捉到飛機(jī)，通過攝像頭采集視頻數(shù)據(jù)，直接傳輸至視頻采集設(shè)備，視頻采集設(shè)備對(duì)視頻數(shù)據(jù)進(jìn)行轉(zhuǎn)換編碼壓縮，通過網(wǎng)口輸出，傳輸至地面控制站內(nèi)路由器，地面控制站內(nèi)計(jì)算機(jī)可通過路由器獲得壓縮后的視頻流，視頻顯控軟件安裝在地面控制站內(nèi)各個(gè)計(jì)算機(jī)上，將獲得的視頻流進(jìn)行解壓顯示。

攝像頭云臺(tái)安裝于地面控制站天線上，可隨天線自動(dòng)引導(dǎo)粗略跟蹤飛機(jī)，然后在視頻顯控軟件內(nèi)利用圖像跟蹤算法，在圖像上自動(dòng)精確跟蹤標(biāo)注飛機(jī)，或者也可通過人工手動(dòng)控制攝像頭云臺(tái)查看飛機(jī)周邊狀態(tài)。系統(tǒng)工作原理如圖2所示。

圖2　系統(tǒng)工作原理

2　視頻采集模塊設(shè)計(jì)

視頻采集模塊將采集到的視頻數(shù)據(jù)經(jīng)攝像頭連線接口送入核心處理器中進(jìn)行圖像信號(hào)處理，利用處理器的硬件加速器(協(xié)處理器)進(jìn)行相應(yīng)的編碼壓縮等操作，得到編碼流數(shù)據(jù)；基于TCP/IP協(xié)議通過網(wǎng)絡(luò)將編碼后的數(shù)據(jù)傳輸至與它同網(wǎng)絡(luò)的地面控制站計(jì)算機(jī)中。

2.1硬件設(shè)計(jì)

視頻采集設(shè)備硬件平臺(tái)的核心處理器為TI公司片上系統(tǒng)TMS320DM365芯片[1]，集成有ARM等子系統(tǒng)。其中ARM子系統(tǒng)的內(nèi)核為ARM926EJ-S，是一個(gè)32位處理器內(nèi)核，主頻為300 MHz。為了保證系統(tǒng)的正常有效運(yùn)行，采用了一片容量為128 MByte的K9F1G08U0B-PIB0的NAND Flash芯片，以及一片容量為128 MByte的MT47H64M16HR-3的DDRII存儲(chǔ)器。以太網(wǎng)模塊則采用了10BASE-T/100BASE-TX/FX物理層收發(fā)器KS8001L。

視頻采集模塊硬件平臺(tái)核心電路板實(shí)物如圖3所示。

圖3　硬件電路板實(shí)物

2.2軟件設(shè)計(jì)

選用TI公司專門用于開發(fā)DaVinci系列產(chǎn)品的MontaVista Linux(MVL)操作系統(tǒng)，其內(nèi)核為2.6.18[4]。根文件系統(tǒng)采用特定制作的ramdisk，u-boot使用1.2.0版本，ubl作為系統(tǒng)的啟動(dòng)引導(dǎo)程序。應(yīng)用程序方面采用了AV SERVER的架構(gòu)，編寫?yīng)毩⒌亩嗑€程應(yīng)用程序核心代碼。

當(dāng)系統(tǒng)啟動(dòng)時(shí)，將激活4個(gè)主要線程：

① 數(shù)據(jù)獲取線程

通過圖像傳感器捕獲視頻數(shù)據(jù)，采用內(nèi)存映射方式，內(nèi)存映射返回的地址為存放圖像數(shù)據(jù)的起始地址。通過循環(huán)，不斷捕獲視頻。數(shù)據(jù)獲取線程流程如圖4所示。

圖4　數(shù)據(jù)獲取流程

② 編碼流線程

對(duì)視頻數(shù)據(jù)進(jìn)行處理(去噪等)并編碼，可進(jìn)行多種編碼方式[5]，包括CIF、H.264[6]、MPEG[7]和JPEG等，在循環(huán)緩沖區(qū)和高速緩存緩沖中管理和存儲(chǔ)編碼數(shù)據(jù)；接收視頻顯控軟件指令，執(zhí)行其他應(yīng)用的請(qǐng)求。

③ 系統(tǒng)服務(wù)線程

存儲(chǔ)和恢復(fù)系統(tǒng)參數(shù)，根據(jù)報(bào)警信息或者日程時(shí)間表保存或上傳視頻文件到FTP服務(wù)器或者本地磁盤。

④ http以及rtp線程

通過內(nèi)嵌Web Server創(chuàng)建相應(yīng)文件目錄生成ramdisk；根據(jù)TCP/IP協(xié)議，設(shè)置視頻采集設(shè)備為服務(wù)器，發(fā)送客戶端所需視頻碼流。

3　視頻顯控軟件設(shè)計(jì)

視頻顯控軟件采用面向?qū)ο蟮腃++設(shè)計(jì)，界面分為視頻顯示區(qū)和控制區(qū)，包括接收編碼流線程、編碼流解壓線程、視頻流播放線程和控制視頻采集功能。

3.1接收編碼流線程

設(shè)置TCP/IP協(xié)議網(wǎng)絡(luò)客戶端，實(shí)時(shí)監(jiān)聽網(wǎng)絡(luò)上的數(shù)據(jù)狀態(tài)，發(fā)送通知消息，循環(huán)獲取網(wǎng)絡(luò)上傳輸來的視頻信息頭與視頻編碼流。

3.2編碼流解壓線程

在網(wǎng)絡(luò)接收獲取的碼流中尋找視頻信息頭，提取信息頭后，對(duì)每一幀收到的編碼數(shù)據(jù)進(jìn)行數(shù)據(jù)解碼，形成可以播放的幀圖像。可自適應(yīng)選擇多種編碼解壓方式，包括H.264、MPEG、JPEG和CIF等編碼方式[5]。

3.3視頻流播放線程

利用DirectX11.0根據(jù)顯控軟件顯示區(qū)域大小，自適應(yīng)顯示每幀圖像。

3.4控制視頻采集

3.4.1控制視頻采集模塊

通過可視化界面控制區(qū)按鈕對(duì)編碼傳輸系統(tǒng)進(jìn)行相應(yīng)的控制操作，如將視頻數(shù)據(jù)通過FTP以文件的形式保存至地面控制站計(jì)算機(jī)上，或者選取何種編碼壓縮方式，視頻是否需要去噪去霧、視頻顯示大小的設(shè)置等。

3.4.2控制攝像頭

拖動(dòng)鼠標(biāo)控制云臺(tái)轉(zhuǎn)動(dòng)方向查看飛機(jī)狀態(tài)，滾動(dòng)鼠標(biāo)轉(zhuǎn)輪變化攝像頭的視場(chǎng)大小。

視頻顯控軟件界面布局除標(biāo)題欄外，整個(gè)窗口為攝像頭顯示視頻，控制攝像頭操作完全通過鼠標(biāo)拖拽和滾輪完成。對(duì)于視頻的其他設(shè)置通過菜單欄完成。視頻顯控軟件設(shè)計(jì)流程如圖5所示。

圖5　視頻顯控軟件設(shè)計(jì)流程

4　自動(dòng)跟蹤引導(dǎo)功能實(shí)現(xiàn)

本系統(tǒng)自動(dòng)跟蹤引導(dǎo)功能的實(shí)現(xiàn)利用了無人機(jī)系統(tǒng)數(shù)據(jù)鏈的跟蹤引導(dǎo)功能與圖像跟蹤算法實(shí)現(xiàn)。

無人機(jī)系統(tǒng)數(shù)據(jù)鏈具備2種對(duì)準(zhǔn)飛機(jī)的模式：模式1為搜索跟蹤模式[8]，即地面控制站天線自動(dòng)對(duì)無人機(jī)數(shù)據(jù)鏈信號(hào)進(jìn)行搜索并尋找最強(qiáng)信號(hào)方向進(jìn)行對(duì)準(zhǔn)跟蹤；模式2為數(shù)字引導(dǎo)模式[9]，即地面控制站根據(jù)飛機(jī)位置與地面控制站位置計(jì)算出地面控制站天線指向飛機(jī)天線的方位角和俯仰角，數(shù)據(jù)鏈系統(tǒng)根據(jù)這2個(gè)角度引導(dǎo)天線對(duì)準(zhǔn)飛機(jī)，達(dá)到粗略跟蹤飛機(jī)，實(shí)現(xiàn)自動(dòng)監(jiān)控飛機(jī)狀態(tài)的第1步。

攝像頭安裝在數(shù)據(jù)鏈天線上時(shí)，當(dāng)數(shù)據(jù)鏈天線對(duì)準(zhǔn)飛機(jī)時(shí)，則攝像頭自動(dòng)對(duì)準(zhǔn)了飛機(jī)方向。考慮到對(duì)準(zhǔn)的誤差，攝像頭云臺(tái)還具有微調(diào)功能，可以在視頻顯控軟件上利用鼠標(biāo)微調(diào)使飛機(jī)位于畫面中心。

第2步精確對(duì)準(zhǔn)監(jiān)控飛機(jī)狀態(tài)，采用圖像跟蹤算法，將開源Opencv[10]的代碼，嵌入在視頻顯控軟件中，直接對(duì)解壓后顯示的圖像，進(jìn)行算法實(shí)現(xiàn)尋找飛機(jī)目標(biāo)，進(jìn)行跟蹤標(biāo)注，實(shí)現(xiàn)精確跟蹤飛機(jī)，自動(dòng)監(jiān)控飛機(jī)狀態(tài)。

5　應(yīng)用結(jié)果分析

將本系統(tǒng)應(yīng)用在無人機(jī)地面控制站內(nèi)，由天線引導(dǎo)跟蹤飛機(jī)，獲得安裝在天線上的攝像頭圖像，經(jīng)過壓縮傳輸解壓后，顯示在地面控制站內(nèi)計(jì)算機(jī)上，飛行驗(yàn)證前的調(diào)試準(zhǔn)備階段在夜間，所以選用了夜間模式的紅外攝像頭，手動(dòng)控制鼠標(biāo)操作視頻顯控軟件，實(shí)時(shí)觀察飛機(jī)狀態(tài)。在視頻顯控軟件中，觀察飛機(jī)夜晚飛行前準(zhǔn)備狀態(tài)如圖6所示。

圖6　飛行準(zhǔn)備監(jiān)控

由天線引導(dǎo)粗略跟蹤飛機(jī)，捕獲安裝在天線上的攝像頭圖像，經(jīng)過壓縮傳輸解壓后，顯示在地面控制站內(nèi)計(jì)算機(jī)上，通過操作視頻顯控軟件，調(diào)用圖像跟蹤算法，精確跟蹤飛機(jī)，實(shí)時(shí)觀察飛機(jī)狀態(tài)，在白天起飛、回收和飛行階段，圖像清楚連續(xù)，均可清晰地觀察飛機(jī)的狀態(tài)，安排飛行驗(yàn)證一次，完整自動(dòng)跟蹤飛機(jī)回收過程，調(diào)用圖像跟蹤算法后，在視頻上用方框標(biāo)注出飛機(jī)，如圖7所示，自動(dòng)跟蹤監(jiān)控飛機(jī)回收狀態(tài)。

圖7　回收跟蹤監(jiān)控

6　結(jié)束語

經(jīng)過多次飛行試驗(yàn)驗(yàn)證，通過天線自動(dòng)引導(dǎo)粗略跟蹤飛機(jī)狀態(tài)與圖像跟蹤算法精確跟蹤飛機(jī)狀態(tài)配合應(yīng)用，將這種自動(dòng)化監(jiān)控系統(tǒng)應(yīng)用在無人機(jī)系統(tǒng)，很好地解決了操作手視野狹隘，在地面控制站內(nèi)獲得外界信息不足的情況，且此監(jiān)控系統(tǒng)組件靈活，自動(dòng)化程度高，功能擴(kuò)展性強(qiáng)，標(biāo)準(zhǔn)化程度高，方便在多型無人機(jī)系統(tǒng)地面控制站內(nèi)推廣使用。

[1]李曉慶，楊奇，高峰.基于FPGA的無人機(jī)多路視頻監(jiān)控系統(tǒng)設(shè)計(jì)[J].電子設(shè)計(jì)工程，2012，20(24)：51-52，56.

[2]李淼.基于H.264的無人機(jī)地面站視頻監(jiān)控終端研究[D].成都：電子科技大學(xué)，2011.

[3]GUO M,AMMAR M H,ZEGURA E W.V3:a Vehicle-to-vehicle Live Video Streaming Architecture[C]∥Third IEEE International Conference on Pervasive Computing and Communications,2005:171-180.

[4]NASCIMENTO J C,MARQUES J S.Performance Evaluation of Object Detection Algorithms for Video Surveillance[J].IEEE Transactions on Multimedia,2006,8(4):761-774.

[5]李娜，王中元，朱福喜.國(guó)際主流視頻編碼標(biāo)準(zhǔn)優(yōu)化代碼的對(duì)比測(cè)試[J].計(jì)算機(jī)應(yīng)用研究，2008，25(10)：3 075-3 077,3 087.

[6]WIEGAND T,SULLIVAN G J,BJONTEGAARD G,et al.Overview of the H.264/AVC Video Coding Standard[J].IEEE Transactions on Circuits and Systems for Video Technology,2003,13(7):560-576.

[7]RICHARDSON Iain E G.H.264 and MPEG-4 Video Compression-Video Coding for Next-generation Multimedia[M].New York:John Wiley & Sons Ltd.,2003.

[8]李瑞榜.地空高速數(shù)據(jù)鏈跟蹤測(cè)角技術(shù)研究[J].無線電工程，2005，35(2)：23-25.

[9]劉國(guó)棟，李華偉，底哲，等.Kalman濾波在天線數(shù)字引導(dǎo)跟蹤中的應(yīng)用[J].無線電工程，2010，40(8)：22-25.

[10]王福斌，李迎燕，劉杰，等.基于OpenCV的機(jī)器視覺圖像處理技術(shù)實(shí)現(xiàn)[J].機(jī)械與電子，2010(6)：54-57.

劉宏娟女，(1987—)，碩士，工程師。主要研究方向：無人機(jī)任務(wù)控制、無人機(jī)情報(bào)信息處理等。

賀若飛男，(1982—)，博士，助理研究員。主要研究方向：無人機(jī)自動(dòng)任務(wù)規(guī)劃、導(dǎo)航控制等。

Design of UAV High-definition Video Tracking and Monitoring System

LIU Hong-juan1,HE Ruo-fei2,MA Li-na1,ZHAO Na1

(1.Xi’anASNTechnologyGroupCo.,Ltd,Xi’anShaanxi710065,China;2.The365thResearchInstitute,NorthwestPolytechnicalUniversity,Xi’anShaanxi710065,China)

This paper introduces the design of a high-definition video tracking and monitoring system to satisfy the monitoring demand of UAV operator in the preflight take-off and recovery phases.The issues of narrow vision and insufficient UAV status information are solved effectively,which makes the take-off and recovery phases more simple and intuitive.By the functions of radio data link antenna alignment and target tracking in images,the UAV can be automatically monitored by the operator.And with the use of an embedded platform,the hardware is small,economical and reliable,thus the space of GCS is saved.The experiment results show that the proposed system provides an effective monitoring approach for GCS.

GCS;radio data link;monitoring system;embedded

10.3969/j.issn.1003-3106.2016.09.13

2016-05-13

國(guó)家自然科學(xué)基金資助項(xiàng)目(61074155)。

VTP311.1

A

1003-3106(2016)09-0051-04

引用格式：劉宏娟,賀若飛,馬麗娜,等.無人機(jī)高清視頻跟蹤監(jiān)控系統(tǒng)的設(shè)計(jì)[J].無線電工程,2016,46(9):51-54.