基于單目攝像機(jī)的無(wú)人機(jī)動(dòng)態(tài)目標(biāo)實(shí)時(shí)跟蹤

辛長(zhǎng)浩　常玉克　趙宏智　張彬

摘? 要：文章針對(duì)四旋翼無(wú)人機(jī)與動(dòng)態(tài)目標(biāo)組成的系統(tǒng)協(xié)同作業(yè)的任務(wù)，研究四旋翼無(wú)人機(jī)與動(dòng)態(tài)目標(biāo)的目標(biāo)識(shí)別和目標(biāo)跟蹤問(wèn)題。設(shè)計(jì)由單目相機(jī)、視覺(jué)計(jì)算機(jī)（樹(shù)莓派3B）和飛行控制系統(tǒng)組成的自主跟蹤控制系統(tǒng)框架，利用Camshift運(yùn)動(dòng)目標(biāo)識(shí)別算法對(duì)目標(biāo)位置進(jìn)行識(shí)別并預(yù)測(cè)動(dòng)態(tài)目標(biāo)運(yùn)動(dòng)軌跡，通過(guò)Mavlink協(xié)議將無(wú)人機(jī)的位置信息實(shí)時(shí)發(fā)送給飛行控制系統(tǒng)，從而控制無(wú)人機(jī)進(jìn)行動(dòng)態(tài)目標(biāo)跟蹤。實(shí)現(xiàn)無(wú)人機(jī)對(duì)動(dòng)態(tài)目標(biāo)的目標(biāo)識(shí)別，目標(biāo)跟蹤。

關(guān)鍵詞：四旋翼無(wú)人機(jī);動(dòng)態(tài)目標(biāo);目標(biāo)跟蹤

中圖分類(lèi)號(hào)：V279? ? ? ? ? 文獻(xiàn)標(biāo)志碼：A? ? ? ? ?文章編號(hào)：2095-2945（2020）08-0046-03

Abstract： Aiming at the task of cooperation between four-rotor UAV and dynamic target， this paper studies the target recognition and tracking of four-rotor UAV and dynamic target. An autonomous tracking control system framework is designed， which is composed of a monocular camera， a vision computer （raspberry pie 3B） and a flight control system. The Camshift moving target recognition algorithm is used to identify the target position and predict the dynamic target trajectory. The position information of the UAV is sent to the flight control system in real time through the Mavlink protocol， so as to control the UAV for dynamic target tracking and realize the target recognition and target tracking of the UAV to the dynamic target.

Keywords： four-rotor UAV; dynamic target; target tracking

引言

隨著現(xiàn)代科學(xué)技術(shù)的不斷發(fā)展，四旋翼無(wú)人機(jī)的單獨(dú)工作能力已逐步提高。但是現(xiàn)實(shí)中的很多問(wèn)題由單個(gè)無(wú)人機(jī)完成并不是完成任務(wù)的最佳方式，需要由四旋翼無(wú)人機(jī)和其他動(dòng)態(tài)目標(biāo)來(lái)組成一個(gè)系統(tǒng)共同完成。對(duì)空中無(wú)人機(jī)與動(dòng)態(tài)目標(biāo)構(gòu)成的系統(tǒng)協(xié)同合作問(wèn)題的研究，是當(dāng)前無(wú)人機(jī)技術(shù)領(lǐng)域研究的前沿課題之一。四旋翼無(wú)人機(jī)在執(zhí)行目標(biāo)識(shí)別與跟蹤任務(wù)時(shí)，需要重點(diǎn)解決以下兩個(gè)關(guān)鍵問(wèn)題：首先，傳統(tǒng)的無(wú)人機(jī)目標(biāo)跟蹤研究大多采用GPS定位技術(shù)，但是GPS信號(hào)受環(huán)境影響較大，無(wú)法對(duì)動(dòng)態(tài)目標(biāo)進(jìn)行穩(wěn)定的識(shí)別和跟蹤;其次，在進(jìn)行目標(biāo)跟蹤時(shí)，需要對(duì)無(wú)人機(jī)機(jī)載相機(jī)所拍攝視頻進(jìn)行實(shí)時(shí)分析，準(zhǔn)確識(shí)別并跟蹤動(dòng)態(tài)目標(biāo)。因此，本文對(duì)空中無(wú)人機(jī)與動(dòng)態(tài)目標(biāo)構(gòu)成的系統(tǒng)協(xié)同合作問(wèn)題進(jìn)行深入研究，進(jìn)而提高工作效率。

1 整體框架

目標(biāo)物體的搜索鎖定與跟蹤由硬件與軟件兩部分組成。硬件部分由單目相機(jī)，微型視覺(jué)計(jì)算機(jī)和飛控組成。單目相機(jī)將拍攝的周?chē)曨l信息傳輸?shù)轿⑿鸵曈X(jué)計(jì)算機(jī)中，微型視覺(jué)計(jì)算機(jī)在視頻中逐幀識(shí)別提取出目標(biāo)物，并將目標(biāo)在圖像中的位置轉(zhuǎn)化為無(wú)人機(jī)坐標(biāo)系下的位置，同時(shí)將轉(zhuǎn)化后的位置信息發(fā)送到四旋翼無(wú)人機(jī)飛控，以控制無(wú)人機(jī)實(shí)現(xiàn)目標(biāo)跟蹤。

1.1 單目相機(jī)

單目相機(jī)可以實(shí)時(shí)拍攝無(wú)人機(jī)周?chē)囊曨l信息，如周?chē)母鞣N障礙物，以及目標(biāo)物。由于無(wú)人機(jī)在飛行過(guò)程中會(huì)受到各種干擾因素導(dǎo)致機(jī)身輕微晃動(dòng)，使得相機(jī)拍攝畫(huà)面模糊不穩(wěn)定，因此需要選擇高清晰度，高幀率，具有防抖功能的運(yùn)動(dòng)相機(jī)。同時(shí)為了盡可能使拍攝內(nèi)容更多，最后我們選擇了山狗C4高清運(yùn)動(dòng)記錄儀。

1.2 微型視覺(jué)計(jì)算機(jī)

微型視覺(jué)計(jì)算機(jī)的功能是處理單目相機(jī)拍攝的視頻信息，并將相關(guān)信息傳送給飛控。因?yàn)闊o(wú)人機(jī)運(yùn)動(dòng)速度較快，運(yùn)動(dòng)形式較復(fù)雜，所以對(duì)視頻信息清晰度與視頻幀率要求較高。微型計(jì)算機(jī)要有快速的運(yùn)算處理能力，同時(shí)在重量體積上也有一定限制。最后我們選擇了RaspberryPi3b+開(kāi)發(fā)板，其具有64位1.4GHz的CPU，足以支持視覺(jué)跟蹤方面的計(jì)算。

我們選擇Apsync為RaspberryPi的操作系統(tǒng)，DroneKit-Python以控制飛控，Open-cv以進(jìn)行視頻圖像處理。Apsync是專(zhuān)用于無(wú)人機(jī)機(jī)載電腦的Linux發(fā)行版本。Apsync內(nèi)置很多實(shí)用功能，不必再對(duì)RaspberryPi進(jìn)行繁瑣配置，DroneKit提供了用于控制無(wú)人機(jī)的API，代碼獨(dú)立于飛控，單獨(dú)運(yùn)行在RaspberryPi上，通過(guò)串口或無(wú)線的方式經(jīng)MAVLink協(xié)議與飛控通信。

微型視覺(jué)計(jì)算機(jī)具有視頻讀取，目標(biāo)識(shí)別，目標(biāo)位置處理三個(gè)主要功能：

（1）視頻讀取

單目相機(jī)將拍攝的30幀/s的周邊視頻信息讀取到相關(guān)程序中，實(shí)現(xiàn)對(duì)無(wú)人機(jī)周邊環(huán)境信息和目標(biāo)信息的輸入。

（2）目標(biāo)識(shí)別

RaspberryPi對(duì)讀取到的視頻信息進(jìn)行分析處理，識(shí)別到目標(biāo)物，并加以鎖定標(biāo)記。

（3）目標(biāo)位置處理

RaspberryPi處理后的目標(biāo)位置信息是在圖像坐標(biāo)系下的位置，不能直接用于飛行控制，因?yàn)檫€需要將其通過(guò)坐標(biāo)轉(zhuǎn)換算法轉(zhuǎn)化為無(wú)人機(jī)坐標(biāo)系，最后發(fā)送到飛控中以控制無(wú)人機(jī)飛行。

1.3 飛行控制系統(tǒng)

在飛控方面，我們選擇的是Pixhawk，Pixhawk價(jià)格便宜、功能強(qiáng)大，是一款基于ARM芯片的32位開(kāi)源飛控，采用了ST先進(jìn)的處理器M4架構(gòu)，同時(shí)搭載了NuttX實(shí)時(shí)系統(tǒng)，且有一個(gè)自定義的PX4底層驅(qū)動(dòng)來(lái)確保全周期的實(shí)時(shí)處理，成熟典型的內(nèi)外環(huán)控制結(jié)構(gòu)來(lái)對(duì)無(wú)人機(jī)姿態(tài)和位置進(jìn)行控制調(diào)整。

（1）位置與速度控制器

如圖1所示，由位置控制器和速度控制器兩部分組成，均選擇GPS和光流傳感器作為反饋信號(hào)源。位置控制器通過(guò)反饋獲取無(wú)人機(jī)的位置信息x，y，并根據(jù)位置給定，通過(guò)PID控制方法計(jì)算處理，并作為速度環(huán)節(jié)的輸入。速度控制器通過(guò)反饋信號(hào)源獲取無(wú)人機(jī)的速度信息Vx，Vy，并根據(jù)位置環(huán)輸出的速度給定，通過(guò)PID控制方法計(jì)算處理，并作為姿態(tài)控制器的輸入。

（2）姿態(tài)控制器

如圖2所示，姿態(tài)控制器由兩個(gè)閉環(huán)組成。內(nèi)環(huán)基于載體坐標(biāo)系，是角速度控制環(huán)，采用P控制，其反饋信號(hào)為陀螺儀角速度輸出p，q，r。外環(huán)為角度控制環(huán)，采用PID控制，基于大地坐標(biāo)系，其姿態(tài)角采用歐拉角表示。

2 基于圖像的目標(biāo)跟蹤

為了實(shí)現(xiàn)無(wú)人機(jī)基于單目攝像頭的動(dòng)態(tài)目標(biāo)跟蹤，主要步驟分為：（1）四旋翼無(wú)人機(jī)在平穩(wěn)起飛后基于視覺(jué)識(shí)別系統(tǒng)和檢測(cè)算法自主搜索并識(shí)別地面目標(biāo)。（2）利用Meanshift算法對(duì)目標(biāo)位置進(jìn)行濾波和運(yùn)動(dòng)預(yù)測(cè)跟蹤地面運(yùn)動(dòng)平臺(tái)，實(shí)現(xiàn)無(wú)人機(jī)對(duì)運(yùn)動(dòng)平臺(tái)實(shí)時(shí)捕捉。（3）從Meanshift算法中獲取無(wú)人車(chē)的位置和速度信息，設(shè)計(jì)基于預(yù)測(cè)控制的無(wú)人機(jī)軌跡跟蹤控制器實(shí)現(xiàn)無(wú)人機(jī)對(duì)無(wú)人車(chē)的跟蹤。

2.1基于機(jī)器視覺(jué)的運(yùn)動(dòng)目標(biāo)識(shí)別

對(duì)于Meanshift算法可以快速找到領(lǐng)域目標(biāo)中相似的部分，面對(duì)需要自適應(yīng)跟蹤目標(biāo)的情況，最終采取了其改良算法Camshift?；贑amshift的原理，便于提高精度我們采取了黃色目標(biāo)作為其動(dòng)態(tài)識(shí)別的目標(biāo)。

軟件部分主要采用Python-Opencv及Camshift通過(guò)計(jì)算跟蹤目標(biāo)HSV空間下的HUE分量直方圖，通過(guò)分量直方圖反向投影得到目標(biāo)像素的概率分布，然后通過(guò)調(diào)用Opencv庫(kù)中的Camshift算法，自動(dòng)跟蹤并調(diào)整目標(biāo)窗口的大小與中心位置。其主要分為以下部分：

（1）對(duì)單目攝像頭攝取的視頻進(jìn)行反向投影。鑒于RGB顏色空間中對(duì)于亮度的變換較為敏感，便先對(duì)圖像進(jìn)行了RGB到HSV空間的轉(zhuǎn)變，從而減少光照亮度變化所帶來(lái)的對(duì)于目標(biāo)跟蹤效果的不良影響。

（2）對(duì)其中H分量做直方圖。假設(shè)攝取到的圖像中共有N個(gè)像素，每個(gè)像素都是有H、S、V三個(gè)部分組成，直方圖有M幀，黨像素的S和V值都處于初始閾值時(shí)，H值便被計(jì)入直方圖。

（3）利用目標(biāo)的顏色直方圖將攝像頭拍攝到的目標(biāo)畫(huà)面轉(zhuǎn)換為顏色概率分布圖，第一步初始一個(gè)搜索窗口，再根據(jù)上一幀圖像得到結(jié)果自適應(yīng)的調(diào)整搜索窗口的位置及其大小，從而定位到目標(biāo)的中心位置。

2.2 無(wú)人機(jī)自主控制算法

采用Python-Dronekit以及Ardupilot所提供的TISL模擬器在MissonPlanner及MAVproxy兩個(gè)地面站進(jìn)行基本操作模擬，后在樹(shù)莓派上使用Python-Dronekit通過(guò)MAVlink來(lái)向PIX飛控發(fā)送和獲取信息，通過(guò)運(yùn)動(dòng)目標(biāo)識(shí)別所得到的與無(wú)人機(jī)的坐標(biāo)關(guān)系，從而調(diào)整無(wú)人機(jī)運(yùn)動(dòng)狀態(tài)。

硬件部分主要由單目攝像機(jī)、視覺(jué)計(jì)算機(jī)（樹(shù)莓派3B）和飛控（PIX）組成，單目相機(jī)將拍攝的四旋翼無(wú)人機(jī)周?chē)曨l信息傳輸?shù)揭曈X(jué)計(jì)算機(jī)中;視覺(jué)計(jì)算機(jī)在視頻流中識(shí)別并提取被追蹤的目標(biāo)，計(jì)算出所追蹤目標(biāo)在圖像中的實(shí)時(shí)位置，同時(shí)將此位置信息通過(guò)Mavlink協(xié)議發(fā)送到無(wú)人機(jī)飛行控制系統(tǒng)，把圖像坐標(biāo)下的位置信息轉(zhuǎn)換到三維機(jī)體坐標(biāo)系中。采取通過(guò)計(jì)算無(wú)人機(jī)與目標(biāo)之間相對(duì)高度和偏航角度來(lái)精確預(yù)估地面目標(biāo)在無(wú)人機(jī)坐標(biāo)系下的三維位置信息。后通過(guò)xyz坐標(biāo)與期望xyz之間差值，及偏航角的前后差值做微分得到速度和角速度，通過(guò)Mavlink返回給飛控，以指導(dǎo)無(wú)人機(jī)實(shí)現(xiàn)動(dòng)態(tài)目標(biāo)跟蹤。

3 目標(biāo)追蹤實(shí)驗(yàn)過(guò)程

實(shí)驗(yàn)過(guò)程，總體分為計(jì)算機(jī)上的軟件模擬和實(shí)際中的目標(biāo)追蹤。為了提高追蹤的準(zhǔn)確性和有效性，所選擇的追蹤目標(biāo)為單一顏色的物體。在實(shí)驗(yàn)現(xiàn)場(chǎng)中，我們還適當(dāng)增加小物體從鏡頭前飛過(guò)，短暫擋住追蹤目標(biāo)，以測(cè)試無(wú)人機(jī)的抗干擾能力。此外，我們還設(shè)計(jì)了目標(biāo)物體的轉(zhuǎn)彎，測(cè)試無(wú)人機(jī)追蹤的小規(guī)模預(yù)測(cè)航線能力。

實(shí)驗(yàn)中，四旋翼無(wú)人機(jī)需要對(duì)地面上的物體進(jìn)行鎖定以及實(shí)時(shí)追蹤。實(shí)驗(yàn)的具體流程包括以下幾方面：

（1）在進(jìn)行實(shí)體操作演示之前，需要對(duì)程序的可靠性和準(zhǔn)確性進(jìn)行評(píng)估。采用Python-Dronekit以及TISL模擬器在Misson Planner及MAVproxy兩個(gè)地面站進(jìn)行基本操作模擬，模擬四旋翼無(wú)人機(jī)起飛、追蹤目標(biāo)、降落過(guò)程。

（2）進(jìn)行實(shí)際操作，對(duì)無(wú)人機(jī)進(jìn)行系統(tǒng)狀態(tài)檢查，其中包括校準(zhǔn)調(diào)試、GPS信號(hào)接收等。

（3）設(shè)定飛機(jī)距離地面2.5m處恒高度飛行。無(wú)人機(jī)先升高到指定高度，開(kāi)始搜索目標(biāo)物體;待無(wú)人機(jī)搜索到目標(biāo)物體后，無(wú)人機(jī)開(kāi)始計(jì)算目標(biāo)與無(wú)人機(jī)之間的距離目標(biāo)在機(jī)體坐標(biāo)下的位置等，目標(biāo)物體的必要坐標(biāo)信息，并開(kāi)始進(jìn)入追蹤模式，與目標(biāo)物體延同方向前進(jìn)。

（4）在無(wú)人機(jī)飛行途中，使用不透明紙板短暫遮擋攝像機(jī)鏡頭（或者短暫遮擋住目標(biāo)體），使無(wú)人機(jī)短暫失去追蹤物體的信息，無(wú)人機(jī)先維持原狀態(tài)飛行，若失去目標(biāo)信息時(shí)間超出設(shè)定時(shí)間10s，則發(fā)出報(bào)警指令;若追蹤目標(biāo)在指定時(shí)間內(nèi)復(fù)現(xiàn)，則重新進(jìn)行搜索模式，重新確定目標(biāo)物體的必要坐標(biāo)信息之后，繼續(xù)開(kāi)始進(jìn)入追蹤模式。

（5）在無(wú)人機(jī)飛行途中，檢測(cè)無(wú)人機(jī)對(duì)于飛行航線的預(yù)測(cè)能力，小幅度改變目標(biāo)物體的運(yùn)動(dòng)軌跡（適當(dāng)超出鏡頭的覆蓋范圍），無(wú)人機(jī)根據(jù)目標(biāo)物體“失蹤”前運(yùn)行軌跡、趨勢(shì)，重新進(jìn)入高級(jí)搜索模式，無(wú)人機(jī)以5°/s 的速度繞機(jī)體坐標(biāo)系Z 軸做旋轉(zhuǎn)運(yùn)動(dòng)搜索目標(biāo);若旋轉(zhuǎn)360°未搜索到目標(biāo)物體，則發(fā)出報(bào)警指令;若尋找到目標(biāo)物體，則重新進(jìn)行搜索模式，重新確定目標(biāo)物體的必要坐標(biāo)信息之后，繼續(xù)開(kāi)始進(jìn)入追蹤模式。

（6）將計(jì)算出的目標(biāo)相對(duì)位置信息通過(guò)Mavlink協(xié)議發(fā)送到無(wú)人機(jī)飛行控制系統(tǒng)中。該位置信息作為四旋翼無(wú)人機(jī)的位置控制系統(tǒng)的輸入，指導(dǎo)無(wú)人機(jī)到達(dá)該位置，實(shí)現(xiàn)對(duì)目標(biāo)的跟蹤。

4 結(jié)束語(yǔ)

本文對(duì)于四旋翼無(wú)人機(jī)的動(dòng)態(tài)目標(biāo)跟蹤進(jìn)行了研究，設(shè)計(jì)了基于Camshift的無(wú)人機(jī)跟蹤動(dòng)態(tài)目標(biāo)的系統(tǒng)，并得到了較好的實(shí)驗(yàn)效果。對(duì)于Camshift算法本身的問(wèn)題進(jìn)行了代碼優(yōu)化，例如面對(duì)遮擋物，容易出現(xiàn)丟失目標(biāo)物體的問(wèn)題，實(shí)驗(yàn)過(guò)程中也展現(xiàn)出了較好的可靠性，更加接近實(shí)際場(chǎng)景。但是依然有很多需要改進(jìn)的地方，例如為了提高精度對(duì)跟蹤目標(biāo)進(jìn)行了特殊顏色處理，僅能高效率地跟蹤個(gè)別物體，以及目前相機(jī)的抖動(dòng)帶來(lái)的準(zhǔn)確性問(wèn)題。我們會(huì)在后續(xù)的研究中從算法及機(jī)械結(jié)構(gòu)來(lái)改善實(shí)驗(yàn)結(jié)果。

參考文獻(xiàn)：

[1]連鑫，楊化斌.基于DSP的四旋翼飛行器視覺(jué)導(dǎo)航避障系統(tǒng)研究[J].信息通信，2017，179（11）：69-71.

[2]胡海兵，汪國(guó)慶，賴(lài)重遠(yuǎn)，等.四旋翼無(wú)人機(jī)自主避障系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)[J].現(xiàn)代電子技術(shù)，2018，41（22）：133-137.

[3]張舸，伊國(guó)興，高翔.基于視覺(jué)導(dǎo)航的旋翼無(wú)人機(jī)自主降落系統(tǒng)[J].傳感器與微系統(tǒng)，2018，37（9）：77-83.

[4]李國(guó)仁，年曉紅，周志豪.基于視覺(jué)的四旋翼無(wú)人機(jī)目標(biāo)跟蹤研究[J].控制與信息技術(shù)，2018（6）：68-72.