基于視覺的無人機巡檢違章違停系統(tǒng)設計與實現(xiàn)

梁定康，錢 瑞，陳義豪，肖 建

(1. 南京郵電大學 電子與光學工程學院，江蘇 南京 210023；2. 南京郵電大學 通信與信息工程學院，江蘇 南京 210023)

隨著我國各大城市車輛保有量的大幅上升，交通問題已逐步成為城市管理的難題，制約著城市經濟的發(fā)展[1-3]。忽略汽車數(shù)量增多、道路窄等客觀原因，警力不足和車輛違章、違停是城市交通壓力增大的主要原因[4-6]。

目前，在城市主干道和快速路布設了大量固定的交通檢測設備，但這些設備存在監(jiān)控盲區(qū)，無法全方位監(jiān)控各相機獲取的圖像信息[7]。這種傳統(tǒng)的監(jiān)控手段已無法滿足城市快速發(fā)展的需求，急需更信息化的、更智能的監(jiān)督手段來緩解交通壓力[8]。

為了提高交管部門處理車輛違章和違停等問題的效率，本文設計并實現(xiàn)了一種基于視覺的無人機巡檢違章違停系統(tǒng)。該系統(tǒng)充分利用無人機空中機動靈活和響應快速的優(yōu)勢，將成像設備、影像傳輸模塊和云臺置于無人機上，實現(xiàn)了基于視覺的車輛違章違?？焖贆z測功能，大幅提升交管部門的執(zhí)法效率[9]。

1 系統(tǒng)總體設計方案

本系統(tǒng)包括無人機控制模塊、車輛違章違停檢測模塊和信息推送模塊3部分，無人機采用四旋翼無人機[10]。無人機控制模塊用于劃定禁停區(qū)域、采集圖像、控制相機云臺和數(shù)據(jù)通信，實現(xiàn)快速反應與巡檢功能，并根據(jù)指令將信息實時傳輸給檢控終端；車輛違章違停檢測模塊實現(xiàn)了違章和違停車輛的自動判別，包括運動目標檢測、車輛識別和車牌識別等功能；信息推送模塊能根據(jù)檢測識別出的車牌信息及時短信通知車主，實現(xiàn)交通違章的快速反應。通過有機結合這3大模塊，構建了如圖1所示的基于視覺的無人機巡檢違章違停系統(tǒng)。

圖1 基于視覺的無人機巡檢違章違停系統(tǒng)工作流程圖

圖2 車輛違章違停檢測模塊程序流程圖

2 車輛違章違停檢測

基于視覺的無人機巡檢違章違停系統(tǒng)的核心是車輛違章違停檢測模塊，該模塊使用各種圖像處理算法實現(xiàn)違章、違停車輛的實時檢測。首先，使用混合高斯模型[11]和背景差分法[12]快速檢測出運動目標；然后，使用Haar特征[13]和AdaBoost分類器[14]識別車輛區(qū)域；最后，使用形態(tài)學方法[15]分割出車牌區(qū)域，利用神經網絡[16]識別出具體的車牌。該模塊實現(xiàn)流程如圖2所示。

2.1 運動目標提取與違章檢測

本文首先建立背景的混合高斯模型，然后使用背景差分法檢測運動目標，具體流程如下：

(1)初始化高斯模型參數(shù)，將均值和方差設為0，權值設為1；

(2)用視頻的前T幀來訓練GMM模型。對每一個像素而言，建立高斯模型的最大數(shù)量為GMM_MAX_COMPONT。當獲取到第一個像素時，單獨為其在程序中設置好其固定的初始均值和方差，且權值設為1；

(3)對于非第一幀，獲取到后續(xù)像素時，將其與前面已有的高斯模型均值進行比較。若該像素點的值與其模型均值差在3倍的方差內，則認為其屬于該高斯模型。此時用下式更新

(1)

2.2 車輛與車牌識別

使用Haar特征和Opencv提供的AdaBoost分類器進行車輛識別。首先，提取出上文得到的運動目標區(qū)域的15種Haar特征；然后，將這些特征輸入到AdBoost分類器中，得到一個類別號，即可判斷該運動目標是否為車輛。

車牌識別模塊包括預處理、車牌區(qū)域分割、字符分割和字符識別4個步驟。為了減小光照、噪聲以及拍攝角度對車牌識別精度的影響，本文首先對檢測出的車輛區(qū)域進行預處理，包括灰度化、灰度拉升、梯度銳化、二值化、中值濾波和形態(tài)學運算等步驟。

由于車牌區(qū)域通常位于圖像的下部，因此本文使用投影法和統(tǒng)計特征定位車牌。分別對預處理后的圖像進行水平與垂直投影，然后沿著水平和垂直方向累加像素得到車牌的水平及垂直投影分布。由于車牌的長寬比一般為3.14，因此本文使用聚類的方式確定車牌的連通域。

車牌一般由1個漢字和6個字母或數(shù)字的組合組成，本文先使用字符的寬度和高度信息將車牌區(qū)域分成7個不連續(xù)的無聯(lián)系的字符圖像。然后使用Hildith算法細化字符圖像，并訓練神經網絡進行字符的分類與識別。

3 實驗與結果分析

首先控制無人機到達指定位置，拍攝現(xiàn)場圖片并傳輸給控制中心，在進行相關圖像處理和車牌識別后，將違章、違停的處罰信息發(fā)送給相關車主。

圖3所示為本文分割出的車牌圖像；圖4為字符細化后的車牌圖像；圖5為本文車輛違章違停檢測實時監(jiān)測界面。從圖3和圖4可以看出，本系統(tǒng)能較好地提取車牌信息；從圖5可看出，人眼難以識別的車牌，本系統(tǒng)仍可準確地識別出。對比人工識別結果，本文使用20組數(shù)據(jù)進行仿真測試，準確率可以達到75%～89%。由實驗結果可知，本文提出的基于視覺的無人機巡檢違章違停系統(tǒng)具有一定的實用性和可行性。適用于各種情況下的車牌識別及違章、違停檢測，并能將相關信息及時發(fā)送給車主。

圖3 分割出的車牌圖像

圖4 字符細化后的車牌圖像

圖5 車牌識別結果

4 結束語

設計并實現(xiàn)了一種基于視覺的無人機巡檢違章違停系統(tǒng)。該系統(tǒng)充分利用無人機空中機動靈活和響應快速的優(yōu)勢，將成像設備、影像傳輸模塊和云臺置于無人機上。從而實現(xiàn)了基于視覺的車輛違章違?？焖贆z測功能，大幅提升了執(zhí)法效率。

參考文獻

[1] 董晶,傅丹,楊夏.無人機視頻運動目標實時檢測及跟蹤[J].應用光學,2013,34(2):255-259.

[2] 季天慈.基于無人機航拍的車輛檢測系統(tǒng)[D].南京:南京理工大學,2017.

[3] 彭博,蔡曉禹,張有節(jié),等.基于對稱幀差和分塊背景建模的無人機視頻車輛自動檢測[J].南京:東南大學學報:自然科學版,2017,47(4):685-690.

[4] 姜運宇.旋翼無人機跟蹤地面移動目標的視覺控制[D].哈爾濱:哈爾濱工業(yè)大學,2014.

[5] 曾泉,譚北海.基于SVM和BP神經網絡的車牌識別系統(tǒng)[J].電子科技,2016,29(1):98-101.

[6] 周行,周東翔,彭科舉,等.大區(qū)域無人機圖像序列全局配準方法[J].現(xiàn)代電子技術,2015,38(21):14-19.

[7] 劉洋,韓泉泉,趙娜.無人機地面綜合監(jiān)控系統(tǒng)設計與實現(xiàn)[J].電子設計工程,2016,24(14):110-112.

[8] 侯陽陽.基于無人機航拍圖像的道路檢測[D].南京:南京理工大學,2017.

[9] 高澤軍,魏本杰,許睿.無人機圖像壓縮與實時傳輸系統(tǒng)設計[J].電子設計工程,2016,24(20):186-189.

[10] 趙夏君.車牌識別與檢測[J].湖南交通科技,2014(1):154-156.

[11] 張立增,曹行,趙瑤瑤.基于MATLAB的車牌識別[J].無線互聯(lián)科技,2016(4):65-68.

[12] 趙皓瑜.基于惡劣情況下的車牌識別[D].石家莊:河北科技大學,2013.

[13] 張銀蘋,葛廣英.基于HALCON的車牌識別研究[J].現(xiàn)代電子技術,2014,37(16):92-95.

[14] 沈澤政.車牌識別系統(tǒng)中車牌識別算法的分析與改進[D].武漢:華中科技大學,2016.

[15] 曾泉,譚北海.基于SVM和BP神經網絡的車牌識別系統(tǒng)[J].電子科技,2016,29(1):98-101.

[16] 馮知凡.基于圖像處理及BP神經網絡的車牌識別技術的研究[D].武漢:武漢科技大學,2011.