基于目標檢測的視頻圖像跟蹤監(jiān)控系統(tǒng)設計

馬昱弘

摘? 要： 針對傳統(tǒng)視頻圖像跟蹤監(jiān)控系統(tǒng)準確率低的問題，引入目標檢測技術，設計一種新的視頻圖像跟蹤監(jiān)控系統(tǒng)。利用DSP+FPGA構成硬件的核心部分，通過Camera Link，HD?SDI輸入接口將視頻信號轉換為FPGA能夠識別的TTL電平信號，應用驅動伺服技術實現(xiàn)目標的穩(wěn)定跟蹤，重點設計了圖像輸入采集模塊和圖像處理模塊。在硬件平臺上設計了軟件相關算法，通過雙邊濾波和跟蹤算法實現(xiàn)軟件編程。為檢測跟蹤監(jiān)控系統(tǒng)效果，與傳統(tǒng)系統(tǒng)進行實驗對比，結果表明，設計的系統(tǒng)能夠更加準確地定位出目標圖像，即使在復雜背景下也能夠穩(wěn)定地跟蹤目標，實時性高，采集能力強。

關鍵詞： 跟蹤系統(tǒng); 監(jiān)控系統(tǒng); 視頻圖像; 目標檢測; 視頻跟蹤; 圖像處理

中圖分類號： TN948.64?34; TN710? ? ? ? ? ? ? ? ? ? 文獻標識碼： A? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2020）11?0047?04

Design of video image tracking and monitoring system based on target detection

MA Yuhong

（East China University of Science and Technology， Shanghai 200237， China）

Abstract： In view of the low accuracy of the traditional video image tracking and monitoring system， a new video image tracking and monitoring system is designed by introducing target detection technology. In the system， DSP+FPGA is used to construct the core part of the hardware， the input interfaces of Camera Link and HD?SDI are used to convert the video signals into TTL level signals that FPGA can recognize， the drive servo technology is used to achieve stable tracking of the targets， and the image input acquisition module and image processing module are mainly designed. The software related algorithms are designed on the hardware platform. The bilateral filtering algorithm and tracking algorithm are used to achieve the software programming. In order to detect the effect of the tracking and monitoring system， contrastive experiments are performed between the designed system and the traditional system. The results show that the designed system can locate the target image more accurately， and can stably track the target even in a complex background. In addition， it is of excellent real?time performance and powerful acquisition capability.

Keywords： tracking system; monitoring system; video image; target detection; video tracking; image processing

0? 引? 言

視頻圖像跟蹤技術起源于20世紀60年代，視頻圖像跟蹤系統(tǒng)的設計過程應用了光學、機械學、電子科學，是一種機器視覺應用系統(tǒng)[1]。由于跟蹤監(jiān)控系統(tǒng)具有很強的直觀性，所以在軍事與民事活動上得到了廣泛的應用[2]。

最初的視頻圖像跟蹤系統(tǒng)在研制時僅對硬件進行設計，選擇的結構也是單一結構，通過模擬體制進行設計，很難處理復雜背景，也無法進行智能判斷，不具備靈活性[3]。隨著目標跟蹤技術的成熟，視頻圖像跟蹤系統(tǒng)也愈加多樣，目前研發(fā)的視頻圖像跟蹤系統(tǒng)不僅能夠接收可見光傳來的圖像，同時能夠接收紅外傳感器傳來的視頻圖像，利用傳感器修正位置誤差，從而實現(xiàn)對目標的全程跟蹤[4]。

雖然目前研究的跟蹤系統(tǒng)隱蔽性好，具有可成像顯示功能，但是依舊存在如下幾個問題：不能全天工作，成像光譜范圍相對狹隘;與智能技術連接不夠緊密，難以向著智能化方向發(fā)展;對于復雜背景的圖像，或者是被遮擋的圖像，難以精準預判，跟蹤能力依舊很弱[5]。

為了更好地提高系統(tǒng)的適應性、高效性和時效性，本文引入目標檢測技術，設計了一種新的視頻圖像跟蹤系統(tǒng)。詳細地闡述了系統(tǒng)硬件各設備組成以及模塊設計，根據硬件結構設計了系統(tǒng)軟件，最后通過對跟蹤系統(tǒng)進行實驗驗證，探討了系統(tǒng)性能。本文系統(tǒng)在算法設計上進行了強化處理，采取多模式跟蹤算法代替?zhèn)鹘y(tǒng)的簡單算法，使得系統(tǒng)即使在復雜多樣的背景下，也可以精準地完成跟蹤工作，具有高效性和實時性。

1? 系統(tǒng)硬件設計

本文設計的視頻圖像跟蹤監(jiān)控系統(tǒng)能夠同時實現(xiàn)接收數(shù)據、處理數(shù)據、分發(fā)數(shù)據和調度數(shù)據的工作，各個組件協(xié)同工作。系統(tǒng)以DSP+FPGA為設計思想，電路結構完整，工作性能可靠，計算能力優(yōu)越，開發(fā)難度適中，能夠高速地跟蹤目標圖像，同時進行邊緣增強[6]。系統(tǒng)硬件結構配置了多個高速數(shù)據口，隨時可以進行升級和擴展，也保障了系統(tǒng)跟蹤過程的精確性。

基于目標檢測的視頻圖像跟蹤監(jiān)控系統(tǒng)硬件結構如圖1所示。

觀察圖1可知，本文設計的跟蹤系統(tǒng)DSP芯片選用了2片TMS320C6455芯片，F(xiàn)PGA芯片選用了1片5SGXEA7N2740。系統(tǒng)硬件結構外部含有兩種輸入接口，分別為Camera Link，HD?SDI，能夠同時接收各種傳感器傳來的視頻信號，并將視頻信號轉換為FPGA能夠識別的TTL電平信號，根據系統(tǒng)設定的時鐘頻率完成信號采樣工作，對得到的數(shù)據進行篩選處理，確定有效數(shù)據[7]。存儲部件能夠同時完成數(shù)據緩存和數(shù)據處理工作，利用DSP芯片提取出來的灰度圖像完成目標跟蹤，由RS 422接口將輸出目標區(qū)偏離視場中心的誤差量上傳給控制機構，通過DSP配合FPGA實現(xiàn)可視信息疊加，利用驅動伺服技術實現(xiàn)目標的穩(wěn)定跟蹤。除此之外，系統(tǒng)還設置了通信模塊，通信模塊可以負責下達命令和收集反饋信息兩項工作。

不同的硬件負責不同的功能，系統(tǒng)的各個硬件部分相互配合，完成調度工作，確保順利實現(xiàn)跟蹤。系統(tǒng)硬件中的各設備所負責的工作如表1所示。

1.1? 圖像輸入和采集模塊設計

給出的圖像輸入和采集模塊能夠同時采集三種視頻信號：可見光視頻、紅外視頻和可見光照片?？梢姽庹掌诓杉罂梢灾苯哟嫒氲紻DR中進行緩存，而可見光視頻和紅外視頻在采集到信號后，還需要通過電平轉換，轉換成系統(tǒng)可以讀取的信號，再由FPGA將灰度圖像存入到SRAM中[8]。

通過HD?SDI接口接收可見光攝像機采集到的圖像，HD?SDI接口的幀頻設定為30 f/s，設定分辨率為1 980×1 020，接口的數(shù)據格式為YCbCr（4[∶]2[∶]2），像素深度的有效位為18 bit，可見光視頻輸入過程的詳細時序邏輯如圖2所示。

通過上述時序完成可見光視頻的輸入工作，利用SDI接口采集可見光視頻信號。本文采用的接口芯片為GS7921芯片，該芯片具有極快的采集速度，最高可以達到3.00 Gb/s，芯片外圍電路簡單，開發(fā)移植十分容易。GS7921芯片能夠在短時間內將SDI信號轉換成LVTTL電平，像素時鐘為78.21 MHz。

通過LVDS接口接收紅外視頻。由于LVDS消耗功率低，工作過程很少受到外界干擾，出現(xiàn)誤碼，所以很適合作紅外視頻接收接口[91]。LVDS接口的幀頻設定為50 f/s，設定分辨率為600×710，能夠在同一時刻輸出525行數(shù)據，每行含有的有效像素為500個，像素時鐘為18.25 MHz。

紅外視頻輸入過程的詳細時序邏輯如圖3所示。

硬件通過DS90CR288芯片完成編碼工作，采集紅外視頻信號，將像素時鐘設為基準，同時采集水平信號、垂直信號和圖像信號，最多能夠讀取8位數(shù)字信號，將讀取到的信號回傳給后續(xù)的處理模塊[10]。

采用Camera Link接口采集可見光照片，設定接口的分辨率為6 000×5 000，接口的最大工作速率為1.6 Gb/s。接口結構如圖4所示。

可見光照片采集過程芯片的詳細時序邏輯如圖5所示。

通過DS90CR288芯片對可見光照片進行編碼，設定像素時鐘為基準，同時采用水平信號、垂直信號和圖像信號，最多能夠讀取16位數(shù)字信號，篩選有效信號傳給后續(xù)的處理模塊。

1.2? 圖像處理模塊設計

圖像處理模塊主要負責處理輸出的圖像，篩選有效圖像，處理模塊結構示意圖如圖6所示。

觀察圖6可知，本文設計的跟蹤監(jiān)控系統(tǒng)通過FPGA完成預處理工作，采用的芯片為StratixV芯片，芯片內部擁有700個I/O接口，486個乘法器，乘法器為16×16，21個時鐘網絡，預處理模塊的容量為70 Mb，傳輸?shù)姆逯禐? Gb/s。該芯片能夠有效提高系統(tǒng)的靈活性，加強系統(tǒng)的集成度，降低工作成本和消耗功率[11]。單芯片的加入使處理模塊的密度更高，標準功能更豐富，處理過程中支持PCI EXPRESS接口協(xié)議，用戶可以使用40G/100G/400G等專用功能。相較于傳統(tǒng)系統(tǒng)的處理模塊，本文系統(tǒng)的處理模塊功耗降低超過30%。在預處理過程中，充分發(fā)揮了FPGA的靈活性和流水處理功能，系統(tǒng)能夠同時完成濾波和去噪，DSP算法的處理壓力也得到有效減少[12]。

DSP負責跟蹤處理工作，運行各類跟蹤算法，DSP跟蹤處理單元選擇的芯片為C6455芯片，該芯片由TI公司生產，具有極高的性價比和處理能力，處理過程的最高主頻為1.5 GHz，運算能力峰值為10 000 MIPS。豐富的外圍接口使系統(tǒng)能夠在同一時間段支持多種工業(yè)標準接口協(xié)議[13]，內部組成結構如圖7所示。

兩個DSP芯片負責不同的工作，DSP?1負責檢測可疑目標，并對可疑目標進行跟蹤，具有很高的時效性，利用系統(tǒng)的主CPU運行;DSP?2負責控制字符，輔助DSP?1工作，利用系統(tǒng)的協(xié)助CPU運行。

2? 系統(tǒng)軟件設計

在對圖像進行預處理時，采用的濾波算法為雙邊濾波算法，該算法在計算過程中能夠有效去除外界信息干擾，同時，能夠將圖像紋理等細節(jié)特征最大程度地保留下來。雙邊濾波同時利用了領域內圖像像素點局部加權的平均結果、灰度相似度信息、空間臨近度信息，防止處理過程對圖像的損壞。

雙邊濾波計算過程如下：

設定圖像[M]在坐標點[U=（x，y）]的灰度值為[MU]，經過濾波處理后得到的圖像[N]在坐標點[U=（x，y）]的灰度值為[NU]。

[NU=1WUZ∈SGσs（U-Z）Gσr（MU-NZ）MU] （1）

根據式（1）進而得到：

[WU=Z∈SGσs（U-Z）Gσr（MU-NZ）MU] （2）

式中：[Z=（a，b）]是中心像素[U]的圖像鄰域像素點;[S]表示圖像各個領域的像素點集合;[WU]表示被跟蹤圖像的歸一化因子;[Gσs]是圖像的灰度相似因子;[Gσr]是圖像的空間臨近度因子。

本文使用的跟蹤算法為模板匹配算法，通過設立模板，計算圖像與模板之間的相關系數(shù)，當相關系數(shù)達到最大，則二者最為相似。跟蹤算法流程圖如圖8所示。

3? 實驗研究

3.1? 實驗目的

為了檢測本文設計的基于目標檢測的視頻圖像跟蹤監(jiān)控系統(tǒng)的實際效果，與傳統(tǒng)跟蹤監(jiān)控系統(tǒng)進行了對比，并分析實驗結果。

3.2? 實驗參數(shù)設置

設置實驗參數(shù)見表2。

3.3? 實驗結果與分析

得到的跟蹤準確性實驗對比結果如圖9所示。

觀察圖9可知，在對三種輸入視頻進行跟蹤時，本文研究的系統(tǒng)跟蹤結果準確率始終高于傳統(tǒng)跟蹤系統(tǒng)的準確率。當跟蹤時間達到1.0 ms時，本文系統(tǒng)對于目標圖像的跟蹤能力最高可以達到90%，而傳統(tǒng)系統(tǒng)對于目標圖像的跟蹤能力最高僅為50%。由此可見，本文系統(tǒng)的跟蹤能力更強。

4? 結? 語

通過查找大量文獻總結當前目標檢測技術，并基于目標檢測技術設計了新的跟蹤監(jiān)控系統(tǒng)，對系統(tǒng)的基本設計原理和架構進行介紹，根據硬件結構給出了相關軟件算法。本文研究的圖像跟蹤系統(tǒng)具有實時采集和顯示的功能，即使在復雜背景下也能夠穩(wěn)定地跟蹤目標。當出現(xiàn)遮擋物時，跟蹤系統(tǒng)也可以及時地做出跟蹤判斷，當遮擋結束后，對目標進行重新定位并再次跟蹤。本文設計的跟蹤系統(tǒng)能夠應用在多種機載光電偵察設備中，系統(tǒng)內部選用的技術十分成熟，跟蹤能力強。

參考文獻

[1] 張亞昕.嵌入式監(jiān)控系統(tǒng)的運動目標檢測與跟蹤[J].系統(tǒng)仿真技術，2017，13（1）：38?42.

[2] 馮瑩瑩，趙莎莎.基于智能視頻監(jiān)控系統(tǒng)的運動目標檢測和跟蹤研究[J].赤峰學院學報（自然科學版），2017，33（2）：15?17.

[3] 魏國鵬.智能監(jiān)控系統(tǒng)中特殊背景下移動目標檢測跟蹤的設計與實現(xiàn)[J].信息通信，2018（10）：32?33.

[4] 傅赟，王桂麗，周旭廷，等.交通監(jiān)控系統(tǒng)中視頻運動目標檢測算法研究[J].計算機技術與發(fā)展，2017，27（8）：156?158.

[5] 梁興建，雷文，陳超.基于多路圖像融合的目標跟蹤系統(tǒng)設計[J].四川理工學院學報（自科科學版），2017，30（6）：40?46.

[6] 胡輝，黃思博，胡松，等.一種基于異常事件檢測的智能視頻監(jiān)控系統(tǒng)[J].現(xiàn)代計算機，2017（3）：30?33.

[7] 戴麗麗，杜蘭.應用于嵌入式視頻監(jiān)控系統(tǒng)的運動目標檢測方法[J].電子技術與軟件工程，2018（15）：178?179.

[8] 蔡映雪，胡輝，黃思博，等.一種基于視頻分析的異常事件檢測技術[J].現(xiàn)代計算機，2017（4）：42?45.

[9] 杜啟亮，曾東明，田聯(lián)房，等.基于IMX6的手扶電梯智能視頻監(jiān)控系統(tǒng)設計[J].現(xiàn)代電子技術，2017，40（21）：153?157.

[10] 張文杰，戚飛虎，江卓軍.實時視頻監(jiān)控系統(tǒng)中運動目標檢測和跟蹤的一種實用方法[J].上海交通大學學報，2017，36（12）：1837?1840.

[11] 趙向梅，蘇春莉，陳宏.基于視頻圖像的目標檢測技術研究[J].電子設計工程，2013，21（16）：114?116.

[12] 胡繼強.視頻圖像活動輪廓目標檢測跟蹤研究[J].計算機仿真，2012，29（1）：273?276.

[13] 楊陽.基于特定特征識別的運動視覺跟蹤系統(tǒng)設計[J].現(xiàn)代電子技術，2017，40（2）：94?98.

[14] 丁躍利，張波，張朗，等.多路遙感圖像高速小型化實時拼接的實現(xiàn)[J].西安工程大學學報，2017，31（5）：627?632.