視覺跟蹤機(jī)器人的設(shè)計(jì)與實(shí)現(xiàn)

廣州城市理工學(xué)院電子信息工程學(xué)院 張亦勛

針對(duì)視覺機(jī)器人功能單一、抗干擾能力差等問題，本文設(shè)計(jì)一款能夠?qū)θ我饽繕?biāo)進(jìn)行視覺識(shí)別和跟蹤的機(jī)器人，該系統(tǒng)的視覺跟蹤算法將TLD的中值流跟蹤器替換成KCF算法，同時(shí)融入融合HOG特征和顏色特征，提高TLD算法的目標(biāo)跟蹤速度，系統(tǒng)測(cè)試結(jié)果表明，改進(jìn)的跟蹤算法在背景產(chǎn)生變化、目標(biāo)的圖像信息發(fā)生形變、目標(biāo)被其他物體遮擋、目標(biāo)突然丟失等問題都具有較高的穩(wěn)定性和魯棒性，同時(shí)對(duì)靜態(tài)目標(biāo)跟蹤的幀數(shù)有所降低，能夠快速瞄準(zhǔn)目標(biāo)。

隨著計(jì)算機(jī)視覺算法技術(shù)的發(fā)展，計(jì)算機(jī)視覺算法成為眾多人工智能領(lǐng)域的重要部分，也是智能機(jī)器人的重要組成部分，由計(jì)算機(jī)視覺和機(jī)器人這兩方面所結(jié)合起來的視覺跟蹤機(jī)器人有著廣泛的應(yīng)用前景。但目前大多數(shù)視覺機(jī)器人由于所需的計(jì)算機(jī)視覺算法的算法運(yùn)算量大，但機(jī)器人自身的運(yùn)算能力十分有限，導(dǎo)致大多數(shù)機(jī)器人實(shí)現(xiàn)功能單一、抗干擾能力差。

本文針對(duì)此問題，在分析現(xiàn)有的實(shí)現(xiàn)視覺跟蹤機(jī)器人功能的基礎(chǔ)上，設(shè)計(jì)了一款以KCF與TLD相結(jié)合的計(jì)算機(jī)視覺算法，基于STM32單片機(jī)為下位機(jī)控制機(jī)器人實(shí)現(xiàn)目標(biāo)跟蹤的視覺跟蹤機(jī)器人。主要完成的工作包括了，計(jì)算機(jī)算法環(huán)境搭建，視覺跟蹤算法的測(cè)試，測(cè)試結(jié)果表明，該系統(tǒng)具有較好的魯棒性。

1 視覺跟蹤算法

1.1 KCF算法

KCF（Kernel Correlation Filter)核相關(guān)濾波算法通過目標(biāo)樣本去訓(xùn)練判別分類器，訓(xùn)練判別分類器分析當(dāng)前跟蹤的目標(biāo)是被跟蹤目標(biāo)周圍的背景信息還是被跟蹤目標(biāo)，如圖1所示。KCF通過嶺回歸分類器的學(xué)習(xí)來完成對(duì)目標(biāo)的跟蹤，通過快速傅里葉變化實(shí)現(xiàn)算法的加速運(yùn)算。KCF跟蹤算法在訓(xùn)練階段，利用循環(huán)矩陣?yán)碚摚瑢?duì)視頻目標(biāo)區(qū)域進(jìn)行稠密采樣，獲取正負(fù)樣本，提取方向梯度直方圖（HOG)特征，通過嶺回歸分類器分析所以樣本進(jìn)行訓(xùn)練。在檢測(cè)階段，以視頻前一幀目標(biāo)位置為中心進(jìn)行稠密采樣，將得到的所有樣本輸入到嶺回歸分類器，經(jīng)過嶺回歸分類器的分類，得到目標(biāo)的位置。

圖1 KCF算法流程圖

1.2 TLD算法

TLD（Tracking-Learning-Detection）目標(biāo)跟蹤算法由跟蹤模塊(Tracking）、檢測(cè)模塊(Detection)、學(xué)習(xí)模塊(Learning)三部分組成，如圖2所示。該算法首先由跟蹤模塊的作用是將被跟蹤目標(biāo)的運(yùn)動(dòng)軌道處理成軌道碎片提供給學(xué)習(xí)模塊進(jìn)行學(xué)習(xí)，學(xué)習(xí)模塊根據(jù)跟蹤模塊的處理結(jié)果進(jìn)行學(xué)習(xí)并對(duì)檢測(cè)模塊的錯(cuò)誤進(jìn)行分析，通過學(xué)習(xí)處理后生成訓(xùn)練樣本，檢測(cè)模塊在接收到訓(xùn)練樣本后對(duì)相關(guān)參數(shù)和目標(biāo)模型進(jìn)行跟新并對(duì)跟蹤模塊重新初始化，其中跟蹤模塊為中值流跟蹤器，學(xué)習(xí)模塊為P-N目標(biāo)模型學(xué)習(xí)。

圖2 TLD算法流程圖

1.3 視覺跟蹤算法改進(jìn)

圖3 KCF+TLD算法融合流程圖

KCF跟蹤算法的運(yùn)行速度方面和在目標(biāo)環(huán)境變化不大的情況下跟蹤速度表現(xiàn)優(yōu)異，但其在被跟蹤目標(biāo)出現(xiàn)遮擋、形變、跟丟后無法找回目標(biāo)，反觀TLD解決了被跟蹤目標(biāo)被遮擋、目標(biāo)跟丟無法重新找回的情況，因此將兩個(gè)算法互相融合，取長(zhǎng)補(bǔ)短能提高算法的運(yùn)算速度和追蹤效果。融合方法：利用KCF克服TLD的中值流跟蹤器的缺點(diǎn)，將KCF替換TLD的中值流跟蹤器，能夠加快TLD的目標(biāo)跟蹤速度。當(dāng)被跟蹤目標(biāo)在當(dāng)前圖像幀中消失后，KCF會(huì)把盲目地在背景中尋找被跟蹤目標(biāo)，當(dāng)被跟蹤重新出現(xiàn)時(shí)，KCF算法依然在背景中尋找被跟蹤目標(biāo)，導(dǎo)致跟蹤失敗，為了避免這個(gè)錯(cuò)誤的方法，KCF與TLD融合的算法包含了原TLD學(xué)習(xí)模塊，當(dāng)判斷目標(biāo)丟失時(shí)不再盲目地在背景內(nèi)尋找目標(biāo)，當(dāng)目標(biāo)重新出現(xiàn)時(shí)重新跟蹤目標(biāo)，進(jìn)一步提高算法的跟蹤性能。雖然這兩個(gè)算法的融合方法很簡(jiǎn)單，但融合后的算法確實(shí)解決了KCF不能跟蹤被遮擋的物體以及目標(biāo)跟蹤后不能找回的缺點(diǎn)，而且算法速度上高于原TLD算法，提高了算法的性能和適用性。

2 機(jī)器人控制系統(tǒng)設(shè)計(jì)

機(jī)器人系統(tǒng)總體框架如圖4所示，USB攝像頭拍攝到的圖像信以視頻幀的形式傳入到程序中。首先先進(jìn)行KCF的濾波和特征跟蹤，再經(jīng)由TLD算法的處理運(yùn)算出目標(biāo)狀態(tài)，再通過整合模塊把得到被跟蹤目標(biāo)的位置信息轉(zhuǎn)換為云臺(tái)舵機(jī)轉(zhuǎn)動(dòng)命令發(fā)送，通過CH340模塊將指令由USB轉(zhuǎn)為TTL電平，機(jī)器人下位機(jī)通過STM32單片機(jī)直接或間接地控制各個(gè)模塊實(shí)現(xiàn)機(jī)器人的各個(gè)功能。STM32單片機(jī)在接收到PS2手柄模塊和CH340模塊的控制信號(hào)后，根據(jù)程序存儲(chǔ)器對(duì)應(yīng)的指令執(zhí)行行動(dòng)，如前進(jìn)、水彈槍射擊等。STM32單片機(jī)實(shí)時(shí)接收各模塊的信息，例如編碼電機(jī)的電機(jī)轉(zhuǎn)速，陀螺儀的歐拉角等，根據(jù)各模塊的信息及時(shí)調(diào)整機(jī)器人的運(yùn)動(dòng)狀態(tài)實(shí)現(xiàn)機(jī)器人運(yùn)動(dòng)底盤的靈活移動(dòng)。攝像頭所拍攝的圖像信息并不會(huì)直接交給STM32單片機(jī)除了，而是先經(jīng)由上位機(jī)NUC通過視覺追蹤算法運(yùn)算過后所得的控制指令發(fā)送給單片機(jī)接收，單片機(jī)接收到通過CH340轉(zhuǎn)換的控制指令后控制舵機(jī)云臺(tái)轉(zhuǎn)動(dòng)追蹤目標(biāo)。

圖4 機(jī)器人系統(tǒng)總體框架設(shè)計(jì)

3 機(jī)器人目標(biāo)跟蹤算法軟件設(shè)計(jì)

目標(biāo)跟蹤算法軟件實(shí)現(xiàn)流程圖如圖5所示。由于該目標(biāo)跟蹤算法的運(yùn)算結(jié)果只返回一個(gè)跟蹤框，并沒有實(shí)際的跟蹤結(jié)果，所以需要獲取被跟蹤目標(biāo)所在圖像中的坐標(biāo)，獲取包圍被跟蹤目標(biāo)的矩形重心后，才能方便實(shí)現(xiàn)目標(biāo)跟蹤算法。計(jì)算出被跟蹤目標(biāo)的矩形包圍框的重心后，先對(duì)圖像幀區(qū)域進(jìn)行劃分，使用漸近式接近目標(biāo)區(qū)域?yàn)楹诵乃枷?，將每一幀的圖像劃分為許多相同的矩形區(qū)域。隨后根據(jù)KCF+TLD目標(biāo)跟蹤算法運(yùn)算得出的結(jié)果框的重心與圖像正中心對(duì)比，計(jì)算出被跟蹤目標(biāo)與圖像正中心坐標(biāo)的偏移量，再通過舵機(jī)控制算法計(jì)算出舵機(jī)云臺(tái)的轉(zhuǎn)動(dòng)量，逐幀接近目標(biāo)所在位置，達(dá)到跟蹤效果。

圖5 目標(biāo)跟蹤算法軟件實(shí)現(xiàn)流程圖

4 系統(tǒng)視覺跟蹤算法測(cè)試

為保證系統(tǒng)測(cè)試的可靠性，設(shè)置了遙控車為移動(dòng)目標(biāo)靶，機(jī)器人先對(duì)移動(dòng)目標(biāo)進(jìn)行框選獲得目標(biāo)樣本，隨后遙控移動(dòng)目標(biāo)測(cè)試機(jī)器人的實(shí)際追蹤效果。

通過測(cè)試可以發(fā)現(xiàn)在算法實(shí)際運(yùn)行時(shí)，跟蹤目標(biāo)的移動(dòng)會(huì)導(dǎo)致目標(biāo)的背景產(chǎn)生變化、目標(biāo)的圖像信息發(fā)生形變、目標(biāo)被其他物體遮擋、目標(biāo)突然丟失等問題，攝像頭拍攝目標(biāo)所在的圖像信息發(fā)生變化，KCF+TLD跟蹤算法通過在線不斷對(duì)目標(biāo)進(jìn)行樣本取樣學(xué)習(xí)目標(biāo)特征，能夠有效應(yīng)對(duì)移動(dòng)目標(biāo)的跟蹤瞄準(zhǔn)。

當(dāng)目標(biāo)因?yàn)槟撤N原因跟丟后（目標(biāo)被遮擋也算跟丟），目標(biāo)跟蹤算法會(huì)根據(jù)選取目標(biāo)時(shí)保留的原始樣本的特征值在圖像信息內(nèi)搜索。符合原始樣本目標(biāo)特征的圖像將被重新判斷為被跟蹤目標(biāo)。測(cè)試結(jié)果表1和表2所示。

表1 靜態(tài)目標(biāo)瞄準(zhǔn)測(cè)試結(jié)果

機(jī)器人對(duì)移動(dòng)目標(biāo)跟蹤、鎖定和瞄準(zhǔn)測(cè)試，測(cè)試結(jié)果表2所示。

表2 移動(dòng)目標(biāo)瞄準(zhǔn)測(cè)試結(jié)果

通過三個(gè)算法分別對(duì)靜態(tài)目標(biāo)的跟蹤算法幀數(shù)測(cè)試如圖6所示，得出數(shù)據(jù)結(jié)果表3所示，KCF算法的運(yùn)行幀數(shù)較高，TLD算法的運(yùn)行幀數(shù)較低，而KCF+TLD算法的運(yùn)行幀數(shù)比TLD算法有所降低。

圖6 三種算法跟蹤靜態(tài)目標(biāo)實(shí)際運(yùn)行幀數(shù)畫面

表3 三種算法對(duì)靜態(tài)目標(biāo)跟蹤算法幀數(shù)測(cè)試結(jié)果

基于視覺跟蹤機(jī)器人的設(shè)計(jì)與實(shí)現(xiàn)，采用了融合KCF+TLD的目標(biāo)跟蹤算法以及NUC作為視覺算法運(yùn)行環(huán)境，可以對(duì)任意目標(biāo)進(jìn)行跟蹤瞄準(zhǔn)并在目標(biāo)丟失并重新出現(xiàn)時(shí)自動(dòng)找回目標(biāo)，同時(shí)能夠長(zhǎng)時(shí)間穩(wěn)定地跟蹤目標(biāo)，該方案功能實(shí)現(xiàn)對(duì)視覺機(jī)器人的目標(biāo)識(shí)別與跟蹤具有一定的研究?jī)r(jià)值。