基于核相關(guān)濾波器算法的無人機(jī)目標(biāo)識別研究

□ 葛維桐 □ 郝永平 □ 有德義

沈陽理工大學(xué) 裝備工程學(xué)院 沈陽 110159

1 研究背景

隨著近年來無人機(jī)研究的迅速發(fā)展,計算機(jī)視覺技術(shù)、人工智能技術(shù)與智能控制的發(fā)展越來越快,在無人機(jī)平臺目標(biāo)識別與跟蹤功能中的應(yīng)用越來越廣泛。在民用領(lǐng)域,無人機(jī)應(yīng)用于三維地形測繪、野外搜救等方面。在軍事領(lǐng)域,無人作戰(zhàn)飛機(jī)具有強(qiáng)大的自主攻擊能力,可以通過成像分析技術(shù)實現(xiàn)對敵方目標(biāo)的精準(zhǔn)識別和跟蹤,從而實現(xiàn)有效的打擊。隨著開源硬件熱度的上升和固件的更新,無人機(jī)產(chǎn)業(yè)迎來快速發(fā)展的春天[1]。許多研究致力于無人機(jī)的自動跟蹤,但是能夠自主跟蹤機(jī)動目標(biāo)的無人機(jī)要求很高,研究大多集中在視覺圖像處理與控制追蹤算法方面,通過研究得到識別更多目標(biāo)、識別速度更快、識別準(zhǔn)確率和實時性更高的算法,解決由于遮擋、光線變化、位姿突變所造成的識別目標(biāo)丟失等問題[2]。目標(biāo)的幾何變形、旋轉(zhuǎn)和無人機(jī)姿態(tài)變換等造成的追蹤失敗問題是研究目標(biāo)識別的挑戰(zhàn)。當(dāng)前,對如何搭建無人機(jī)目標(biāo)識別追蹤的硬件系統(tǒng)研究較少。盡管仿真在一定程度上可以反映算法的可行性,但是將算法應(yīng)用于實際工程所展現(xiàn)出的效果與虛擬仿真相比,會出現(xiàn)不同的現(xiàn)象[3]。

筆者基于Pixhawk自動駕駛儀和Jeston NX機(jī)載計算機(jī),進(jìn)行硬件通信調(diào)試和目標(biāo)追蹤軟件開發(fā),使無人機(jī)實現(xiàn)對目標(biāo)的識別與追蹤功能,可以給研究人員搭建軟硬件系統(tǒng)提供思路與參考。

2 系統(tǒng)硬件設(shè)計

2.1 硬件結(jié)構(gòu)

Pixhawk是一款開源自動駕駛儀,原為APM,經(jīng)過改進(jìn)傳感器和主控芯片,更新PX4固件,并在此基礎(chǔ)上進(jìn)一步發(fā)展,最終成為Pixhawk。Pixhawk使用雙處理器架構(gòu),其中,STM32F765作為主數(shù)據(jù)處理器,STM32F100作為備用數(shù)據(jù)處理器,以實現(xiàn)更加高效、穩(wěn)定的飛行控制。在傳感器方面,選用BMI055和ICM-20689。BMI055為數(shù)字3軸12位加速度傳感器及數(shù)字3軸16位±2 000(°)/s陀螺儀,ICM-20689為3軸加速度計及陀螺儀[4]。同時采用MS5611氣壓計與IST8310磁力計。多傳感器獲得的數(shù)據(jù)通過程序融合后,得到更準(zhǔn)確的飛控位姿信息,保障無人機(jī)在飛行過程中的安全性。將主輸出接口與電調(diào)的信號接口連接,并將全球定位系統(tǒng)與串行外設(shè)接口連接,根據(jù)接收機(jī)接口發(fā)出的信號不同,選擇對應(yīng)信號類型的接收機(jī)[5]。選擇工作電壓為14.8～16.8 V的4S1P型鋰電池,經(jīng)分電板降壓后,向自動駕駛儀供電。

2.2 機(jī)載計算機(jī)

Jeston NX是全世界最小、最領(lǐng)先的嵌入式人工智能超級計算機(jī)系統(tǒng),可以用作獨立人工智能和邊緣計算工具,包括384個圖形處理器、48個張量核,6個264位中央處理器,可以實現(xiàn)高性能的運算和處理能力,從而提供更強(qiáng)大的功能和性能[6]。擁有8 GiByte 128位LPDDR4x內(nèi)存,搭載雙深度學(xué)習(xí)加速器引擎,配備4個通用串行總線接口,可以將通用串行總線接口與攝像頭連接。通用串行總線轉(zhuǎn)串口模塊的一端連接Jeston NX的通用串行總線接口,另一端連接自動駕駛儀的TELEM接口,再通過機(jī)器人操作系統(tǒng)運行腳本,實現(xiàn)兩者的通信。Jeston NX運行Ubuntu操作系統(tǒng),需要通過命令下載相關(guān)安裝包,搭建程序的運行環(huán)境,并連接顯示器,才能正常工作[7]。機(jī)載計算機(jī)需被攜帶到天空,顯示器的質(zhì)量與體積大,不方便攜帶,對此,可以使筆記本計算機(jī)和Jeston NX在同一網(wǎng)絡(luò)中,使用遠(yuǎn)程控制軟件實現(xiàn)地面端控制天空端。筆記本計算機(jī)只控制launch文件啟動,無人機(jī)框選目標(biāo)識別追蹤的過程全部由自動駕駛儀和Jeston NX實現(xiàn),筆記本計算機(jī)不參與運算。航模電池可通過XT60并聯(lián)線直接向Jeston NX和無人機(jī)供電。Jeston NX強(qiáng)大的性能為當(dāng)下大熱的深度學(xué)習(xí)程序運行及更深層次的目標(biāo)識別追蹤研究提供了硬件基礎(chǔ)[8]。

無人機(jī)如圖1所示。

圖1 無人機(jī)

3 系統(tǒng)軟件設(shè)計

3.1 核相關(guān)濾波器算法

核相關(guān)濾波器算法是一項用于識別目標(biāo)的追蹤技術(shù),通過訓(xùn)練目標(biāo)檢測器來估計下一幀幀中的定位,并將其作為新的檢測結(jié)果,以此來更新樣本,從而實現(xiàn)對總體目標(biāo)的準(zhǔn)確識別[9]。由于采用循環(huán)矩陣來收集正負(fù)樣本,并采用脊回歸技術(shù)訓(xùn)練目標(biāo)檢測器,因此能夠有效將矩陣數(shù)據(jù)的統(tǒng)計方式轉(zhuǎn)換為阿達(dá)馬積,即元素的點乘,從而大大減小統(tǒng)計量,提高計算速度,使統(tǒng)計方式能夠符合實時性的需要。將線性空間的脊回歸映射到非線性空間結(jié)構(gòu),能夠有效解決對偶問題,應(yīng)對常用約束,而且能夠采用循環(huán)矩陣傅里葉空間對角化來簡單統(tǒng)計,從而提高計算效率,由此大大提高算法的速度[10]。

3.2 總體程序

首先在第t幀中框選出待跟蹤的目標(biāo),若未得到待跟蹤的目標(biāo),則機(jī)載計算機(jī)讀取自動駕駛儀的位置信息,更新當(dāng)前位置并保持懸停。反之,在第t+1幀中在第t幀的目標(biāo)位置附近采樣,用訓(xùn)練出的回歸器在采樣位置對圖像進(jìn)行相關(guān)操作,記錄每個采樣點的響應(yīng)。響應(yīng)最強(qiáng)且滿足預(yù)先給定閾值條件的采樣被認(rèn)為是第t+1幀中目標(biāo)的位置,機(jī)載計算機(jī)獲取無人機(jī)當(dāng)前位置信息,計算目標(biāo)的位置。兩個位置通過算法處理后,得出無人機(jī)的期望位置。無人機(jī)在追蹤目標(biāo)的過程中,會存在目標(biāo)丟失的現(xiàn)象。設(shè)置丟失閾值為10,在追蹤目標(biāo)的過程中存在連續(xù)10次目標(biāo)丟失的現(xiàn)象,認(rèn)定目標(biāo)丟失。反之,認(rèn)定目標(biāo)存在,同時發(fā)送期望位置,完成目標(biāo)追蹤。系統(tǒng)實時追蹤流程如圖2所示。

圖2 系統(tǒng)實時追蹤流程

3.3 機(jī)器人操作系統(tǒng)節(jié)點程序

自動駕駛儀與機(jī)載計算機(jī)相互傳輸信息,需要通過相應(yīng)的節(jié)點來實現(xiàn)。使用 C++編程語言編寫節(jié)點程序,既可以保證程序的快速響應(yīng),又可以調(diào)用OpenCV庫進(jìn)行圖像處理識別目標(biāo)。機(jī)器人操作系統(tǒng)以節(jié)點對節(jié)點的方式編寫程序,這種方式高內(nèi)聚低耦合,單個節(jié)點的功能穩(wěn)定單一,各個節(jié)點之間聯(lián)系緊密,程序模塊的可重用性和可移植性高,程序更加穩(wěn)定可靠。

由web_cam節(jié)點讀取攝像頭的視頻信息,轉(zhuǎn)換為image_raw話題并發(fā)布。節(jié)點訂閱圖像話題,得到布爾型目標(biāo)檢測判斷值、目標(biāo)姿態(tài)四元數(shù)和目標(biāo)坐標(biāo),封裝為kcf_tracker話題,發(fā)布到目標(biāo)追蹤節(jié)點。

kcf_tracker節(jié)點在第一幀中框選出帶最終目標(biāo)的位置,通過循環(huán)矩陣對基礎(chǔ)樣本進(jìn)行行平移,獲得更多訓(xùn)練樣本。將圖像對應(yīng)的二維矩陣變換為n×1維向量,得到基礎(chǔ)樣本x1,x2,…,xn-1,xn,利用置換矩陣P對基礎(chǔ)樣本進(jìn)行循環(huán)移位n次,即可獲得當(dāng)前幀的訓(xùn)練樣本矩陣X:

(1)

利用循環(huán)矩陣可對角化的性質(zhì),使用離散傅里葉矩陣對樣本集合進(jìn)行對角化,有:

(2)

在跟蹤過程中,需要對目標(biāo)區(qū)域圖像提取適當(dāng)?shù)奶卣鞅磉_(dá)和目標(biāo)描述,以達(dá)到有效區(qū)分目標(biāo)和背景的目的。核相關(guān)濾波器算法使用方向梯度直方圖作為目標(biāo)特征,這一特征可以有效區(qū)分目標(biāo)輪廓邊緣與背景的灰度值變化。在提取過程中,先對目標(biāo)圖像進(jìn)行灰度化和歸一化處理,以減小光照變化和噪聲帶來的影響,再計算圖像中各個像素點(a,b)的梯度值:

G1(a,b)=I(a+1,b)-I(a-1,b)

(3)

G2(a,b)=I(a,b+1)-I(a,b-1)

(4)

式中:G1(a,b)、G2(a,b)分別為像素點(a,b)在水平和豎直方向的梯度值;I(a,b)為像素點(a,b)對應(yīng)的灰度值。

梯度幅值G(a,b)和梯度方向β(a,b)分別為:

(5)

β(a,b)=arctan[G1(a,b)/G2(a,b)]

(6)

最后統(tǒng)計梯度直方圖,得到目標(biāo)圖像最終的方向梯度直方圖特征。

設(shè)訓(xùn)練樣本為xi,回歸標(biāo)簽為yi,使用最小二乘法訓(xùn)練分類器f(x)=ωTx,ω為分類器權(quán)重因數(shù),使訓(xùn)練樣本xi與回歸標(biāo)簽yi之間平均誤差最小:

(7)

式中:λ為正則項因數(shù)。

為提高分類器的泛化能力,防止分類器出現(xiàn)過擬合現(xiàn)象,加入正則項λ‖ω‖2控制過擬合。令ω的偏導(dǎo)數(shù)為0,ω的表達(dá)式為:

ω=(XTX+λI)-1XTy

(8)

式中:I為單位矩陣;y為各樣本回歸標(biāo)簽yi組成的列向量。

對式(8)轉(zhuǎn)換到復(fù)數(shù)域:

ω=(XHX+λI)-1XHy

(9)

將經(jīng)過傅里葉變換后的樣本矩陣X代入式(9),得到頻域中的計算式:

(10)

由于目標(biāo)跟蹤為非線性問題,因此將x通過映射函數(shù)φ(x)映射到高維空間,可使非線性問題變?yōu)榫€性問題,分類器權(quán)重因數(shù)ω可表示為樣本映射后的線性組合:

ω=∑[αiφ(xi)]

(11)

式中:αi為線性組合因數(shù)。

(2)濾餅外在水分為25.80%，脫水率達(dá)82.98%，濾餅中所含水量僅是入料水量的17.02%。這與使用80網(wǎng)目單絲濾布有關(guān)，因為濾布的孔隙較大，過濾阻力減小，所以該廠還將壓濾機(jī)入料壓力控制在0.45 MPa水平。

將式(11)代入分類器,得到回歸函數(shù):

(12)

k(xi,xj)=kxixj=φT(xi)φ(xj)

(13)

式中:xi、xj分別為當(dāng)前幀和下一幀樣本。

核相關(guān)濾波器算法采用高斯核函數(shù),將k(xi,xj)組合成n×n維的核函數(shù)K,此時K滿足循環(huán)矩陣特性。將式(12)代入式(7),可導(dǎo)出由αi組成的因數(shù)向量α的表達(dá)式:

α=(K+λI)-1y

(14)

對式(14)進(jìn)行傅里葉變換,得:

(15)

在檢測階段,需要計算測試樣本序列與在線分類器的相關(guān)響應(yīng),以確定當(dāng)前幀的目標(biāo)位置。設(shè)x為當(dāng)前幀訓(xùn)練樣本序列,z為下一幀測試樣本序列,用kxz表示x和z的核函數(shù),在頻域中對響應(yīng)進(jìn)行求解,得:

(16)

object_tracking節(jié)點計算無人機(jī)的期望位置,并做出決策,發(fā)送給底層控制模塊。此節(jié)點訂閱了無人機(jī)的位置信息和目標(biāo)的位置信息。得到目標(biāo)坐標(biāo)后,將坐標(biāo)轉(zhuǎn)換至原點位于無人機(jī)質(zhì)心,0°為X軸正方向,90°為Y軸正方向,上方為Z軸正方向的坐標(biāo)系中。將需要的坐標(biāo)轉(zhuǎn)換至同一坐標(biāo)系后,求解無人機(jī)的期望位置。機(jī)器人操作系統(tǒng)節(jié)點圖如圖3所示。

圖3 機(jī)器人操作系統(tǒng)節(jié)點圖

4 識別追蹤測試

4.1 攝像頭標(biāo)定

首先打開終端,輸入指令roslaunch prometheus_de tection web_cam0.launch,啟動攝像頭節(jié)點。等候攝像頭啟動后,啟動攝像頭校準(zhǔn)程序。將黑白棋盤格的標(biāo)準(zhǔn)板移動,以收集數(shù)據(jù)。當(dāng)X、Y、Size、Skew的進(jìn)度條變?yōu)榫G燈時,calibration指示燈亮起,表明目前已有充足的信息可以用于攝像頭的校準(zhǔn)。按下calibration按鍵后,等候1 min,校準(zhǔn)界面會變?yōu)榛疑?。?shù)據(jù)采集界面如圖4所示,攝像頭標(biāo)定結(jié)果界面如圖5所示。

圖4 數(shù)據(jù)采集界面

圖5 攝像頭標(biāo)定結(jié)果界面

4.2 識別測試

啟動程序后,輸入指令roslaunch prometheus_detection KCF.launch打開窗口,對目標(biāo)進(jìn)行框選,查看識別結(jié)果。確認(rèn)識別目標(biāo)后,使用rostopic list指令查看已發(fā)布話題,包括目標(biāo)名稱、識別狀態(tài)、目標(biāo)位置等消息。目標(biāo)框選識別界面如圖6所示,話題消息界面如圖7所示。

圖6 目標(biāo)框選識別界面

圖7 話題消息界面

4.3 無人機(jī)目標(biāo)識別測試

無人機(jī)目標(biāo)識別測試流程如下:

(1) 啟動無人機(jī),遙控器切換至定點模式,使無人機(jī)起飛到一定高度,并保持懸停;

(2) 筆記本計算機(jī)通過軟件遠(yuǎn)程控制機(jī)載計算機(jī)啟動launch文件,確保機(jī)載計算機(jī)不斷向無人機(jī)發(fā)送控制量;

(3) 通過遙控器將無人機(jī)切換到離線模式;

(4) 手動對目標(biāo)進(jìn)行框選,無人機(jī)首次識別目標(biāo)發(fā)生偏航,對坐標(biāo)系進(jìn)行校正,追蹤目標(biāo);

(5) 取消框選,追蹤結(jié)束,降落。

4.4 數(shù)據(jù)分析

目標(biāo)識別位置變化如圖8所示,實際軌跡如圖9所示。在目標(biāo)前后左右移動距離較小、上下移動距離較大的情況下,無人機(jī)在向目標(biāo)追蹤的過程中前后左右方向的移動并不劇烈,上下移動變化則較為明顯。機(jī)載計算機(jī)發(fā)出的期望位置曲線與無人時實際位置曲線有較好的擬合,說明無人機(jī)確實按照機(jī)載計算機(jī)計算出的目標(biāo)位置向識別目標(biāo)飛去。

圖8 目標(biāo)識別位置變化

圖9 目標(biāo)識別實際軌跡

5 結(jié)束語

筆者基于核相關(guān)濾波器算法,對無人機(jī)目標(biāo)識別進(jìn)行研究。經(jīng)過飛行測試及試驗結(jié)果分析,所搭建的目標(biāo)追蹤系統(tǒng)可行,能使無人機(jī)自主識別追蹤目標(biāo),并且具有良好的識別效果與追蹤效果。通過研究證明核相關(guān)濾波器算法搭載到無人機(jī)上是完全可行的,為后續(xù)核相關(guān)濾波器算法搭載至更多設(shè)備的研究提供了參考。