趙建宇,宋 捷,郭 瑞,王高平
武漢工程大學機電工程學院,湖北 武漢 430205
基于Cortex-M4的無人飛行器安防系統(tǒng)研究
趙建宇,宋捷,郭瑞,王高平*
武漢工程大學機電工程學院,湖北武漢430205
針對大型園區(qū)、廠區(qū)安防人工成本高,及時性差等問題,設計了無人飛行器安防系統(tǒng).飛行器采用四旋翼結構,其控制系統(tǒng)以Cortex-M4為架構,通過獲取慣性傳感器數(shù)據(jù),使用串級比例積分微分控制實現(xiàn)自平衡,并利用GPS與氣壓計獲取自身位置、高度信息,使其按照預定路線自動巡邏.控制中心通過無線網(wǎng)絡接收飛行器采集的視頻,使用跟蹤學習檢測算法對視頻數(shù)據(jù)進行分析,當鎖定目標后,遠程控制飛行器進行跟蹤.經(jīng)過試驗,飛行器具有很好的懸停能力,能夠按照預定軌跡飛行.跟蹤算法能鎖定動態(tài)目標,并對飛行器進行實時控制.結論表明無人器可以完成巡邏和跟蹤任務,自動化程度高,節(jié)省人力.
Cortex-M4;無人飛行器;目標跟蹤;安防系統(tǒng)
無人飛行器自誕生之日起,一直是航空領域研究的熱點,特別是小型多旋翼無人機因其體積小、飛行姿態(tài)靈活多變且易于操控,廣泛應用于完成偵察與營救任務、科學數(shù)據(jù)采集、地質和林業(yè)勘探、農(nóng)業(yè)病蟲害防治、影視制作等領域.通過無人飛行器來完成上述任務不僅大大降低成本而且提高人員安全保障[1].
在現(xiàn)有的安防監(jiān)控系統(tǒng)中,多采用固定攝像頭監(jiān)控與人員隨機巡邏相結合的方式進行,攝像頭通過無線或者有線的方式將視頻傳回監(jiān)控室,人員根據(jù)視頻信息隨機選擇巡邏路線,監(jiān)控與巡邏不同步.有研究將無人機用于視頻監(jiān)控領域,在飛行器上加裝攝像頭,通過射頻信號傳回視頻信息,人員觀看視頻并利用遙控器控制飛行器的運動,這種方式依賴于操作人員的嫻熟程度,且人工操控通常會受到遙控的通訊距離、人員疲勞程度的影響[2],因此飛行距離和作業(yè)復雜程度都會受到限制,使得無人機很難在智能化安防領域發(fā)揮作用,根據(jù)有人操作無人機的諸多弊端,結合視頻跟蹤與通訊技術設計了一種無人操作的無人機安防監(jiān)控系統(tǒng),該系統(tǒng)主要由飛行控制系統(tǒng),通訊系統(tǒng),目標跟蹤系統(tǒng)組成,利用無線網(wǎng)絡傳輸視頻與控制信息,無需遙控器在視距范圍內(nèi)操控,實現(xiàn)無人機在安防區(qū)域內(nèi)動態(tài)規(guī)劃飛行軌跡并自主飛行的功能,同時能對可疑目標進行跟蹤并進行遠程警告.
2.1飛行系統(tǒng)
由于4旋翼無人飛行器具有6個自由度,而自身只有4個輸入力,所以在這種欠驅動系統(tǒng)中,機身具有非常靈活的動作能力,非常適合懸?;蛘邉討B(tài)飛行.
通過對安防系統(tǒng)的實際應用進行需求分析,設計了一種鋁合金框架的機身,如圖1所示,該結構具有重量輕,強度高,緊湊性強等諸多優(yōu)點,有助于提高無人機的穩(wěn)定性和靈活性,并可延長其飛行時間[3].飛行控制芯片采用基于ARMcortex-M4 的STM32F41716浮點型MCU,該芯片采用多重AHB總線矩陣和多通道DMA,支持程序執(zhí)行和數(shù)據(jù)傳輸并行處理,多達1MB FLASH數(shù)據(jù)傳輸速率非???,足以滿足無人機控制算法的實時性要求.動力系統(tǒng)由1045的正反槳和KV980的無刷電機組成,并使用基于BLHELI固件的驅動器進行轉速控制.硬件設計如圖2所示.
圖1 飛行器的主體結構Fig.1 Main structure of UAV
圖2 總體硬件設計Fig.2 Overall hardwaredesign
其中各類型傳感器與STM32主控板通過IIC、UART接口相連,電機連接調(diào)速器間接與主控板相連,由PWM信號控制.
姿態(tài)控制傳感器采用MPU6050(陀螺儀)、HMC5883L(電子羅盤)、MS5611(氣壓計)、HC-SR04(超聲波)、Ublox NEO 6M(GPS)等器件,控制算法采用四路閉環(huán)PID控制,其中包含俯仰角、橫滾角、偏航角和高度四路閉環(huán)[4].
如圖3所示,u1、u2、u3、u4分別為4個控制量,x、y、z分別為無人機的空間坐標,θ、φ、ψ分別為地面坐標系下無人機的偏航角,俯仰角,翻滾角度.
機體自身坐標系各自坐標軸的角速度p、q、r 與θ、φ、ψ之間的關系通常由式1表示.
經(jīng)過簡化模型后,式1的近似表達如下:
另根據(jù)剛體的轉動定理,可以求出對應軸的合力矩,繼而得出4個旋翼的轉速與姿態(tài)的關系式,使得控制電機的轉速即可控制機身的姿態(tài)[5]. 2.2通訊系統(tǒng)
在安防系統(tǒng)中多架飛機在安防區(qū)域巡邏,須同時將監(jiān)控圖像傳回至監(jiān)控中心,因此選擇5.8 GHz的32通道無線圖像傳輸系統(tǒng).監(jiān)控中心將各架飛機回傳的視頻飛配到不同的地址進行視頻訪問.如圖4所示.
圖3 控制系統(tǒng)結構框圖Fig.3 Structurediagram ofcontrol system
圖4 監(jiān)控系統(tǒng)示意圖Fig.4 Schematicdiagram of monitoring system
由于處于實驗階段,為了簡化設計,只用一架飛行器進行實驗,并設計了一種基于Linux的嵌入式操作系統(tǒng)的大功率無線WiFi圖傳模塊,來完成視頻的采集、傳輸工作[6].圖5為其實物圖,為了提升視頻傳輸?shù)姆€(wěn)定性和流暢性,需要加大緩存的容量.
圖5 通訊模塊(a),(b),大功率無線WiFi通訊模塊的正反面;(c),(d)圖傳模塊通訊系統(tǒng)界面與實物Fig.5 Communication module(a)and(b),front and back of the high-powered WiFi;(c)and(d)System interface and prototype of thecommunication module
采用64M RAM提升系統(tǒng)運行緩存空間與系統(tǒng)內(nèi)存空間.由于系統(tǒng)中還存在通訊和控制程序,所以提升了程序存儲空間,采用8M FLASH閃存芯片并使用CH341芯片編程器,將Bootloader引導程序燒入其中,使得上層的Linux系統(tǒng)能方便的調(diào)試、更新.
整個系統(tǒng)由攝像頭、Linux圖傳模塊、Web服務器和客戶端(PC或手機等移動設備)組成,無線模塊除了上述無線視頻采集、傳輸功能外,還負責接收控制中心傳出的控制指令,并將控制指令通過串口傳給飛行控制板,同時也接收飛行控制板發(fā)送的飛行數(shù)據(jù)信息,回傳給控制中心,實現(xiàn)雙板聯(lián)通與雙核協(xié)同.
控制指令采用數(shù)據(jù)幀包的方式進行傳輸,因此建立“一問一答,不問不答”的通訊協(xié)議,即下位機不主動發(fā)送數(shù)據(jù)以減輕板載CPU的負載,上位機需要獲取數(shù)據(jù)的時候,向下位機發(fā)送指令,下位機則回傳相應的數(shù)據(jù).
通訊格式如下:上位機讀取數(shù)據(jù)信息$M>[data length][code][data][check sum];上位機發(fā)送控制 信 息 $M<[data length][code][data][check sum];圖6為指令的具體格式.
圖6 通訊指令格式Fig.6 Format ofcommunication instruction
2.3智能跟蹤系統(tǒng)
2.3.1區(qū)域巡邏系統(tǒng)運用地理圍欄技術將飛行器的巡邏范圍限定在安防區(qū)域內(nèi),對安防區(qū)域進行三維建模,將飛行器的GPS坐標信息與模型的相對位置相匹配,實時動態(tài)的生成飛行器的巡邏軌跡,多個飛行器的巡邏軌跡在三維空間上不重疊,且每隔一段時間重新規(guī)劃一次.
其中,由于傳統(tǒng)GPS定位時間長、信號穿透力弱、精度差等缺點.參考主流移動終端的定位方式,可以結合GPS、AGPS、WIFI進行精準定位.時下WIFI的普及,給WIFI定位技術提供了低成本的運行環(huán)境,無需再去投入資金安裝設備.
2.3.2可疑人員跟蹤系統(tǒng)TLD(Tracking-Learning-Detection)是一種單目標長時間的跟蹤算法,其包含跟蹤、學習、檢測這三部分[7],通過不斷的在線學習機制,實時對跟蹤目標的特征點進行提取,繼而對目標的數(shù)學模型和相關參數(shù)在線更新,可以解決由于跟蹤目標的形變、轉向、遮擋等情況導致的跟蹤失敗問題,相對于傳統(tǒng)的算法而言,這種結合跟蹤與檢測的新型算法將跟蹤過程中所涉及的核心問題統(tǒng)一化,使其穩(wěn)定性好,可靠度高[8].
基于安防監(jiān)控系統(tǒng)的使用特點,需要對目標進行長時間的監(jiān)控跟蹤,使用單一的跟蹤和檢測算法都無法滿足實際的需求,于是采用TLD算法對目標進行跟蹤,結合實際應用場景,對算法所涉及的三大部分進行合理安排,詳細的流程框圖如圖7所示[9].
圖7 TLD流程框圖Fig.7 Flowchart of TLD
視頻可以看作由一幀幀的圖像組成,算法分析每一幀圖像中不斷運動的目標,對目標的相對和絕對運動趨勢進行估計、檢測,若是相鄰圖像中的目標處于運動幅度無限狀態(tài),或者目標完全被遮擋,處于不可見狀態(tài),都將導致跟蹤無法繼續(xù).假設視頻幀之間都是獨立的,根據(jù)之前學習所生成的模型,在視頻幀圖像范圍內(nèi)全局搜索,找到相應目標后,對此時的目標特征點進行更新,并加入到新的學習模型中,對數(shù)據(jù)動態(tài)修改,以此不斷的檢測和跟蹤連續(xù)的運動目標[10].在此過程中,檢測跟蹤部分會產(chǎn)生錯誤的情況,學習模塊結合現(xiàn)有模型對錯誤進行比對修正,生成訓練樣本,更新到目標模型的參數(shù)中,并對其中的關鍵特征點刷新,避免再次出現(xiàn)相同的錯誤.實際視頻監(jiān)控效果如圖8所示.從圖8中可看出該算法對運動目標的跟蹤效果良好,在目標車輛不斷改變方位和姿態(tài)的情況下,此算法仍能精確鎖定目標.
圖8 對可疑目標的跟蹤結果Fig.8 Tracking results of suspicious objects
上述設計的無人機安防系統(tǒng),通過實際現(xiàn)場測試,飛行器在懸停時能控制在直徑為0.35 m的圓形區(qū)域內(nèi),高度浮動不超過±0.15 m,精確的懸停動作對于軌跡控制打下了良好的基礎.由于采用了循環(huán)時間為1.2 ms(0.84 kHz)的快速控制方式,使得飛行器4個電機反應迅速,在抗干擾能力方面有顯著提升.
在TLD算法中,對總幀數(shù)為2 665的視頻片段而言,正確識別的幀數(shù)為641,總時間為315 662 ms,平均時間為118 ms,由于視頻處理在PC機上完成,加上傳輸視頻、控制信號的滯后性,算法的實時性不夠高,若是移植到機載嵌入式平臺中,會使效果有很大的提升.
總體來說,該系統(tǒng)在提高安防系統(tǒng)的自動化水平和減輕人員勞動強度方面有較大的作用,并且該系統(tǒng)成本較低,抗干擾能力強,運營維護較為方便,適合大規(guī)模推廣運行,對提高我國的智能安防水平有較大的貢獻.
感謝曹鵬彬老師的支持!
[1]RITZ R,MULLER M W,HEHN M,et al.Cooperative quadrocopter ball throwing andcatching[C]//Intelligent Robots&Systems.Vilamoura:IEEE/RSJ Internationalconference,2012:4972-4978.
[2]LUPASHIN S,SCHOLLIG A,HEHN M,et al.The flying machine arena as of 2010[C]//Robotics and Automation.Shanghai:IEEEInternationalConference,2011:2970-2971.
[3]易先軍,周敏,謝亞奇,等.四旋翼飛行器控制系統(tǒng)的設計與實現(xiàn)[J].武漢工程大學學報,2014,36(11):59-62.
YI X J,ZHOU M,XIE Y Q,et al.Design and implementation of quadrotor aircraft'scontrol system[J]. Journa1 of Wuhan university of techno1ogy,2014,36(11):59-62.
[4]王曉初,盧琛.四旋翼姿態(tài)解算算法的對比與研究[J].制造業(yè)自動化,2015(2):120-122,138.
WANG Xc,LUc.Comparative study on attitude estimation of quadrotor aircraft[J].Manufacturing automation,2015(2):120-122,138.
[5]HEHN M,RITZ R,ANDREA R.Performance benchmarking of quadrotor systems using time-optimalcontrol [J].Autonomous robots,2012,33(1-2):69-88.
[6]應時彥,朱小挺,湯順,等.智能家居無線網(wǎng)絡通訊協(xié)議[J].計算機系統(tǒng)應用,2011,20(6):117-121,128.
YING S Y,ZHU X T,TANG S,et al.Wirelesscommunication protocol for smart home[J].Computer systems &applications,2011,20(6):117-121,128.
[7]周鑫,錢秋朦,葉永強,等.改進后的TLD視頻目標跟蹤方法[J].中國圖象圖形學報,2013,18(9):1115-1123.
ZHOU X,QIAN Q M,YE Y Q,et al.Improved TLD visual target tracking algorithm[J].Journal of image and graphics,2013,18(9):1115-1123.
[8]KALAL Z,MIKOLAJCZYK K,MATAS J.Tracking learningdetection[J].IEEE transactions on pattern analysis&machineintelligence,2011,34(7):1409-1422.
[9]申浩,李書曉,申意萍,等.航拍視頻幀間快速配準算法[J].航空學報,2013,34(6):1405-1413.
SHEN H,LI S X,SHEN Y P,et al.Fast interframe registration method in aerial videos[J].Acta aeronautica ET astronautica sinica,2013,34(6):1405-1413.
[10]GRABNER H,MATAS J,GOOL L V,et al.Tracking the invisible:learning where the object might be[C]//computer Vision&Pattern Recognition.San Francisco:IEEEconference,2010:1285-1292.
本文編輯:陳小平
Security System Based oncortex-M4 of Unmanned Aerial Vehicles
ZHAO Jianyu,SONG Jie,GUO Rui,WANG Gaoping
School of Mechanical and Electrical Engineering,Wuhan Institute of Technology,Wuhan 430205,China
A security and protection system using unmanned aerial vehicles(UAV)wasdesigned aiming at the high laborcost and poor promptness in protecting large industrial parks and factories.The UAV is a quadrotor with itscontrol system based oncortex-M4 architecture,and its self-balancing ability was realized bycollectingdata from the inertial sensor and applyingcascade proportion integrationdifferentiationcontrol.The UAVcan perform automatic patrol along planned routes by using a GPSdevice and barometer to obtain information on its location and height.Thecontrolcenter receives videos recorded by the UAV through wireless network and analyzes the videodata using the tracking learningdetection algorithm.Once locking a target,thecenter wouldcommand the UAV remotely to track it.It has been verified through experiments that the UAV has excellent hover performance andcan fly along planned routes,and the tracking algorithm performs well in locking mobile targets andcontrolling the UAV in real time.Results indicate that the highly automated UAV iscompetent for the tasks of patrolling and tracking,andcan economize on manpower.
Cortex-M4;unmanned aerial vehicle;target tracking;security system
V279
A
10.3969/j.issn.1674-2869.2016.02.016
1674-2869(2016)02-0189-06
2015-12-08
武漢工程大學研究生教育創(chuàng)新基金(CX2014034)
趙建宇,碩士研究生.E-mail:75451429@qq.com
王高平,博士,副教授.E-mail:gpwang28@sina.com