基于移動目標(biāo)檢測和目標(biāo)追蹤的全局視覺AGV的定位算法

劉澤平 劉明興 麻方達 李曉帆 姚明杰 符朝興

摘要：針對目前全局視覺定位算法無法對外形變化較大的自動導(dǎo)引運輸車（Automated Guided Vehicle，AGV）進行定位的問題，提出了一種基于移動目標(biāo)檢測和目標(biāo)追蹤的定位方式。選用基于高斯混合模型的背景建模法進行移動AGV檢測，當(dāng)初始選擇框太大時采用顯著性目標(biāo)檢測方式進一步提高精度，將移動目標(biāo)檢測與目標(biāo)追蹤相結(jié)合完成了AGV的定位。實驗結(jié)果表明，本文設(shè)計的定位算法滿足實際定位需求，可應(yīng)用于車間物流AGV。

關(guān)鍵詞：AGV;定位;移動目標(biāo)檢測;目標(biāo)追蹤;全局視覺

中圖分類號：TP249???????? 文獻標(biāo)志碼：A

針對全局視覺定位算法大都需要提前采集機器人外觀信息，如，利用模板匹配的方式對機器人定位，并利用橢圓區(qū)域檢測進一步提高速度和準(zhǔn)確率[1];基于混合高斯模型，對泊車緩沖區(qū)中的動態(tài)物體進行了有效檢測[2];采用Camshift組合SIFT定位為移動機器人設(shè)置一個標(biāo)準(zhǔn)模板，Camshift算法計算機器人坐標(biāo)，SIFT機器人計算與模板之間的角度確定機器人位姿，并針對SIFT特征點速度慢的情況使用BRISK特征進行改進[3]; 通過識別AGV頂部兩個色標(biāo)和圖像坐標(biāo)系與世界坐標(biāo)系的兩個參考點，計算機器人在實驗平臺位姿，從而完成定位[4];針對單目視覺全局定位算法復(fù)雜，提出一種識別標(biāo)定板的雙目視覺全局定位方法，考慮了雙目相機與移動機器人距離影響精度和準(zhǔn)確的情況，并對定位方案進行了實驗驗證[5];或通過在機器人上設(shè)置的三個標(biāo)記點與目的地組成三角形的邊長和夾角控制速度和方向，這種基于匹配和標(biāo)記的方法采集方便但定位結(jié)果受光照、環(huán)境和機器人外形建議影響放大[6]。利用基于深度學(xué)習(xí)的圖像分割方式實現(xiàn)了魚類的實時位姿識別[7];利用YOLO目標(biāo)檢測結(jié)果初始化跟蹤區(qū)域，提出了融合深度學(xué)習(xí)目標(biāo)提取方法的均值漂移跟蹤改進算法來實現(xiàn)對AGV的定位[8];利用支持向量機（JVM）模型預(yù)測區(qū)域內(nèi)AGV的再識別以及對長短期記憶（LSTM）網(wǎng)絡(luò)的預(yù)測結(jié)果進行校正，達到對目標(biāo)的持續(xù)追蹤效果，這種基于深度學(xué)習(xí)目標(biāo)檢測的方法定位準(zhǔn)確，但是需要提前采集大量素材進行訓(xùn)練[9]。因車間AGV可能在上方承載不同物料，導(dǎo)致AGV外形經(jīng)常變化且標(biāo)記物易被遮擋，此時無法采用基于匹配和標(biāo)記的定位算法，并且訓(xùn)練基于深度學(xué)習(xí)的檢測模型需要更多的素材，這在車間實際生產(chǎn)中不易實現(xiàn)。因此本文采用基于移動目標(biāo)檢測的方式對AGV進行定位，設(shè)計一種不需提前訓(xùn)練檢測模型就可定位未知外形AGV的算法，通過移動目標(biāo)識別算法確定AGV初始位置，利用目標(biāo)追蹤等方式不斷定位行進中的AGV，并實時矯正位置。

1 AGV定位方法選用

1.1 移動目標(biāo)檢測

本文選用基于背景差分法的移動目標(biāo)檢測方式[10]。常用的背景模型建立方法有GMM（Gaussian Mixture Modeling）[11]、KNN（K-nearest neigbours）[12]、VIBE（visual background extractor）[13]等，本文選取常用的基于高斯混合模型的方法檢測運動的AGV。高斯混合模型通過多個高斯概率分布函數(shù)線性組合來表示像素在時域概率分布模型，分布模型為

P（xti，j）=∑Nk=1ωtk·Gxti，j，μtk，（σtk）2（1）

其中，xti，j代表i，j位置的像素點x在t時刻的像素值，ωtk為t時刻第k個高斯分布的加權(quán)系數(shù)，且∑Nk=1ωtk=1，Gxti，j，μtk，（σtk）2表示t時刻期望值為μtk，標(biāo)準(zhǔn)差為（σtk）2，表達式為

Gxti，j，μtk，（σtk）2=12πσtke-（xti，j-μtk）22（σtk）2（2）

將每個像素點x與此時刻的背景模型進行比較，當(dāng)像素點與第k個高斯模型匹配時，像素為背景，否則為移動目標(biāo)，并與一個新的分布替換模型中權(quán)重最小分布

xti，j-μt-1k≤2.5×（σt-1k）（3）

權(quán)重更新公式為

ωt+1k=（1-α）ωtk+α×Dtk（4）

其中，α稱為更新因子，Dtk當(dāng)匹配成功時為1，否則為0。當(dāng)匹配成功后，模型更新參數(shù)為

μt+1k=（1-ρ）μtk+ρ×xti，j

（σt+1k）2=（1-ρ）（σtk）2+ρ×（xti，j-μtk）2（5）

ρ≈αωtk

1.2 目標(biāo)追蹤

本文對幾種常用跟蹤方法進行測試，結(jié)果如表1所示。其中除KCF、MOSSE、MIL外都有追蹤目標(biāo)丟失現(xiàn)象，MOSSE速度最快，KCF是在MOSSE算法基礎(chǔ)上采用HOG多通道特征和高斯核函數(shù)改善跟蹤效果，速度偏慢，但更精確。本文方法是在移動目標(biāo)檢測確定AGV初始位置后，再依靠目標(biāo)追蹤定位，在考慮速度的情況下，精度應(yīng)盡可能的高，因此本文采用KCF算法進行目標(biāo)追蹤。

KCF相關(guān)濾波操作計算了兩個信號在某個特定特征空間的相似度，其相似度越高相關(guān)響應(yīng)值越高[14]。KCF算法是將CSK算法由像素特征這種單特征通道拓展為多特征通道HOG特征，利用循環(huán)矩陣在頻域里可對角化的性質(zhì)將矩陣轉(zhuǎn)化為向量點乘運算，使得跟蹤速度大大提高，同時設(shè)計了多類特征融入該算法的通道模式[15]。

（1）線性回歸模型。通過最小化嶺回歸損失來學(xué)習(xí)追蹤線性回歸函數(shù)f（z）=ωTz，訓(xùn)練樣本集為（xi，yi）

argminω∑ifxi-yi2+λω2（6）

其中，xi與yi為第i個訓(xùn)練樣本及其對應(yīng)的回歸目標(biāo)，ω為預(yù)測模型權(quán)重系數(shù)矩陣，λ為正則化項的權(quán)重。該問題具有封閉解

ω=（XTX+λI）-1XTy（7）

其中，矩陣X的每行是一個樣本xi，I是單位矩陣。為了加速計算將訓(xùn)練樣本集轉(zhuǎn)換到復(fù)數(shù)域，則該預(yù)測模型為

ω=（XHX+λI）-1XHy（8）

其中，XH=（X*）T，X*是X的復(fù)共軛矩陣。

（2）非線性回歸模型。線性回歸函數(shù)f（z）=ωTz權(quán)重系數(shù)利用核技巧映射到非線性的高維空間φ（x）求解，即w=∑iαiφ（xi），φT（x）φ（x′）=k（xi，xj），f（z）=wTz=∑ni=1αik（z，xi），從而優(yōu)化變量α而不是w。核技巧的嶺回歸的解為

α=（K+λI）-1y（9）

其中，K為核矩陣，α是系數(shù)αi形成的向量。用K=C（kxx）循環(huán)矩陣帶入式（9）中，得樣本圖像z的檢測響應(yīng)計算公式為

f（z）∧=kxz∧⊙α∧（10）

其中，最大響應(yīng)值對應(yīng)的坐標(biāo)就是目標(biāo)位置。

2 AGV定位流程設(shè)計

通過移動目標(biāo)檢測定位AGV，確定移動物體為目標(biāo)AGV并標(biāo)記其初始位置選擇框，從而后續(xù)幀可進行目標(biāo)追蹤定位。為提高檢測速度和精度，本文基于圖像下采樣減少背景信息，去除噪點檢測目標(biāo)。AGV定位流程如圖1所示。

2.1 圖像下采樣

通過對圖像下采樣降低其分辨率，可將圖像中噪點過濾掉，雖然丟失了一部分細節(jié)信息，但大部分整體特征依舊保留。首先對上一層圖像進行高斯模糊，然后去除所有偶數(shù)行和列，即可得到下采樣圖像，如圖2所示。該方法輸出圖像為原圖四分之一，不僅減少了細節(jié)噪聲，而且對于高分辨率圖像可以提高程序運行速度。

2.2 移動AGV檢測

在下采樣圖像上利用高斯混合模型背景建模法進行移動目標(biāo)檢測，然后將選擇框位置投影到原圖像上。為了多個AGV工作時能夠準(zhǔn)確選擇目標(biāo)AGV，每次AGV到達一個目的地停止后，將該地址記錄到數(shù)據(jù)庫中，下次該位置AGV啟動時，調(diào)用該位置P，將檢測到的運動區(qū)域中心與點P計算距離，如果距離小于閾值T，則認為該區(qū)域位于P點附近，為AGV部分區(qū)域。

AGV在拍攝圖像中代表的面積可能會改變，但AGV一定會有一個最小面積，提前設(shè)定AGV最小面積為Smin，防止選擇框過小情況出現(xiàn)。在數(shù)據(jù)庫中每次停車時記錄小車位姿，可以有效縮小目標(biāo)AGV搜索范圍。本文設(shè)定AGV在像素坐標(biāo)系下最小面積為Smin=28 000像素，初始選擇框坐標(biāo)擴大兩倍，在原圖像上檢測結(jié)果如圖3所示，選擇框位置正確。

本文方法在大多數(shù)光照變化不劇烈的情況下可以準(zhǔn)確定位，但是由于背景減除法本身原理限制，在光照變化劇烈或相機抖動明顯時，出現(xiàn)圖4選擇框位置具有較大偏差的情況，為提高定位準(zhǔn)確度，通過顯著性目標(biāo)檢測進一步實驗提高檢測精度。

2.3 顯著性目標(biāo)檢測

AGV移動時，檢測出的目標(biāo)位置移動區(qū)域經(jīng)常比AGV實際區(qū)域大，運動框選區(qū)域內(nèi)可能存在部分其他物體，影響定位精度，但該區(qū)域面積已相對較小，運動框選區(qū)域內(nèi)最顯著的目標(biāo)為AGV，其余多是背景或小目標(biāo)，因此在進行移動目標(biāo)檢測后可以使用顯著性目標(biāo)檢測獲取位置。顯著性目標(biāo)檢測的目的是從圖像中識別出最明顯的物體，本文使用幾種常用的傳統(tǒng)顯著性目標(biāo)檢測和基于深度學(xué)習(xí)的顯著性目標(biāo)檢測效果如圖5所示。

由圖5可見，SaliencyFineGrained方法[16]和SpectralResidual方法作為傳統(tǒng)方法檢測效果不如基于深度學(xué)習(xí)的F3Net方法好。F3Net主要由交叉特征模塊（CFM）和通過最小化新像素位置感知損失（PPA）訓(xùn)練的級聯(lián)反饋解碼器（CFD）組成，來解決不同卷積層的接受域不同，生成的特征存在較大差異可能導(dǎo)致次優(yōu)解的問題，檢測一張圖像需要14.26 ms[17]。采用顯著性目標(biāo)檢測后，對比圖5（a）、（b）可知，目標(biāo)檢測精度會提高，但由于應(yīng)用顯著性目標(biāo)檢測會降低程序運行速度，故實際應(yīng)用時可根據(jù)車間環(huán)境選擇是否采用顯著性目標(biāo)檢測。

2.4 基于目標(biāo)追蹤的定位

通過移動目標(biāo)檢測算法可以得到在原圖像和下采樣圖像上的AGV中心點和形態(tài)，為了定位速度更快，后續(xù)幀采用目標(biāo)追蹤進行定位，效果如圖6所示。追蹤一段時間后需再次利用移動目標(biāo)檢測定位AGV，因此通過下采樣圖像中心點坐標(biāo)放大對應(yīng)的下采樣倍數(shù)，作為原圖像AGV中心點坐標(biāo)，將下采樣圖像上的追蹤結(jié)果投影到原圖像上。該方法速度快，但存在一定誤差。

3 實驗驗證

對本文設(shè)計的AGV定位算法進行定位精度和定位速度實驗，檢驗新算法能否滿足實際應(yīng)用要求。

3.1 環(huán)境搭建

本文定位系統(tǒng)主要分為圖像采集模塊、AGV、PC上位機三部分。本文實驗所使用的攝像頭為?？低旸S-IPC-T12-I，焦距為4 mm，分辨率為19 201 080，攝像頭拍攝的模擬實驗場景如圖7所示。可見圖像存在較大的畸變，產(chǎn)生定位誤差，因此對攝像頭去畸變。本文使用張正友攝像機標(biāo)定法結(jié)合OpenCV對攝像頭進行標(biāo)定，矯正后模擬場地如圖8所示。

為實驗AGV定位精度，需要計算每個像素點代表的實際距離，因此選取圖9中的A、B、C、D共4個點。經(jīng)測量AB，BD，DC，CA四條線段的實際長度為1 100 mm。4個點的像素坐標(biāo)數(shù)據(jù)見表2，計算得單位像素的寬度對應(yīng)實際距離2.3 mm。

3.2 誤差校正

由于攝像頭投影關(guān)系的影響，當(dāng)AGV行駛至邊緣時，在圖像上測量的中心點與實際中心點位置像素坐標(biāo)會不一致，需要進行誤差校正。AGV高度為29 cm，在行駛路徑上任取6個點，實際坐標(biāo)點與采集像素坐標(biāo)點誤差如表3所示。由表可知x軸方向誤差近似保持不變，平均誤差為9.17像素。測量結(jié)果y坐標(biāo)yc和y軸方向誤差擬合結(jié)果如圖10所示，誤差δ的擬合公式見式（11）。

δ=-0.08715yc+95.8（11）

控制AGV從（514，1344）沿直線行駛至（490，628），將本文算法測得的路徑坐標(biāo)校正結(jié)果為

x=xc+9.17y=yc+δ （12）

其中，（x，y）為校正后坐標(biāo)，（xc，yc）為算法測得定位坐標(biāo)。

3.3 定位精度及速度測定

本文的基于移動目標(biāo)檢測的定位方式主要由檢測移動目標(biāo)、目標(biāo)追蹤兩部分構(gòu)成，因此將實驗分為檢測移動目標(biāo)精度實驗和目標(biāo)追蹤算法定位精度實驗。

3.3.1 檢測移動目標(biāo)精度實驗 本文對移動目標(biāo)精度實驗采用交并比IOU進行評價，IOU為檢測框與原圖片中的標(biāo)記框的重合程度，計算方法即檢測結(jié)果與實際結(jié)果的交集與并集之比

IOU=DetectionResult∩GroundTruthDetectionResult∪GroundTruth（13）

在同一段視頻上分別采用MOG（Mixture of Gaussians，GMM的一種實現(xiàn)算法）、KNN實驗，實驗結(jié)果如表4所示。圖11中a表示MOG算法檢測框，b表示KNN算法檢測框，c表示真實框。實驗證明MOG背景減除法可以有效選擇出運動AGV，時間滿足要求。

3.3.2 目標(biāo)追蹤算法定位精度實驗 本文應(yīng)用KCF算法對AGV定位結(jié)果進行追蹤，AGV行進速度為0.15 m/s，使用本文方法檢測速度為28.56 fps，對KCF進行定位精度分析，定位精度見表5，追蹤過程路徑結(jié)果如圖12所示。

4 結(jié)論

針對AGV不易做標(biāo)記、負載后拍攝到的外形變化較大的情況，本文基于移動目標(biāo)檢測和目標(biāo)追蹤，設(shè)計了一套車間AGV定位流程。為提高定位速度及檢測效果，引入圖像金字塔模型，在下采樣圖像上進行移動目標(biāo)檢測。針對選擇區(qū)域過大的情況利用顯著性目標(biāo)檢測進一步提高定位精度，將檢測結(jié)果作為AGV初始選擇框，結(jié)合目標(biāo)追蹤實現(xiàn)AGV定位。通過定位精度和定位速度的實驗測定，證明本文算法可以滿足定位要求。

參考文獻

[1]張梟.C/S全局視覺仿生機器魚并行跟蹤定位控制系統(tǒng)的設(shè)計與實現(xiàn)[D].北京：中國地質(zhì)大學(xué)（北京），2016.

[2]寧志雄.泊車AGV的車輛位姿檢測系統(tǒng)設(shè)計[D].哈爾濱：哈爾濱工業(yè)大學(xué)，2019.

[3]黃瑞民.基于視覺的移動機器人全局定位算法設(shè)計與實現(xiàn)[D].秦皇島：燕山大學(xué)，2017.

[4]樊幫正.室內(nèi)移動機器人定位技術(shù)研究[D].成都：電子科技大學(xué)，2017.

[5]李鵬，張洋洋.室內(nèi)移動機器人雙目視覺全局定位[J].激光與光電子學(xué)進展，2020，57（4）：254-261.

[6]DONMEZ E，KOCAMAZ A F，DIRIK M. A vision-based real-time mobile robot controller design based on gaussian function for indoor environment[J].Arabian Journal for Science and Engineering， 2018，43（12）： 7127-7142.

[7]萬元芳.基于深度學(xué)習(xí)的在線多機器魚位姿識別系統(tǒng)開發(fā)[D].北京：北京化工大學(xué)，2018.

[8]陸瑋.基于全局視覺與自主視覺的復(fù)雜場景重建與目標(biāo)跟蹤[D].上海：上海工程技術(shù)大學(xué)，2020.

[9]段曉磊，劉翔，陳強， 等.基于粒子濾波與LSTM網(wǎng)絡(luò)對未標(biāo)記AGV的追蹤方法[J].傳感器與微系統(tǒng)，2020，39（2）：37-39+43.

[10] 康彬.面向智能監(jiān)控的目標(biāo)檢測、追蹤及圖像融合算法研究[D].南京：南京郵電大學(xué)，2015.

[11] ZIVKOVIC Z. Improved adaptive Gaussian mixture model for background subtraction[C]// 17th International Conference on Pattern Recognition， Cambridge，2004： 28-31.

[12] ZIVKOVIC Z， VAN DER HEIJDEN F. Efficient adaptive density estimation per image pixel for the task of background subtraction[J].Pattern Recognition Letters， 2006，27（7）： 773-780.

[13] BARNICH O， VAN DROOGENBROECK M. ViBe： A universal background subtraction algorithm for video sequences[J].IEEE Transactions on Image Process， 2011，20（6）： 1709-1724.

[14] 魏建.相關(guān)濾波架構(gòu)下魯棒視覺跟蹤算法研究[D].南京：南京郵電大學(xué)，2019.

[15] HENRIQUES J F， CASEIRO R， MARTINS P， et al. High-speed tracking with kernelized correlation filters[J].IEEE Transactions on Pattern Analysis and Machine Intelligence， 2015，37（3）： 583-596.

[16] MONTABONE S， SOTO A. Human detection using a mobile platform and novel features derived from a visual saliency mechanism[J].Image and Vision Computing， 2010，28（3）： 391-402.

[17] WEI J， WANG S H， HUANG Q M. F（3）Net：Fusion， feedback and focus for salient object detection[C]//34th AAAI Conference On Artificial Intelligence， 2020： 12321-12328.

A Positioning Algorithm for Global Vision Guided AGV Based on

Moving Target and Target Tracking

LIU Ze-ping， LIU Ming-xing， MA Fang-da， LI Xiao-fan，

YAO Ming-jie， FU Chao-xing

（School of Mechanical and Electrical Engineering， Qingdao University， Qingdao 266071， China）

Abstract：

AGV with large shape changes cannot be located by the current global vision positioning algorithm. A positioning method was proposed by moving tcrget detection and target tracking. The background modeling method based on Gaussian mixture model was used to detect the moving AGV. Salient target detection was used to further improve the accuracy when the initial selection box was too large. Then the moving target detection and target tracking was combined to complete the positioning of AGV. Experimental results show that the proposed algorithm can meet the actual positioning requirements and can be applied to AGV of workshop logistics.

Keywords：

AGV;location;moving target detection;target tracking;global vision

收稿日期：2021-07-17

通信作者：

符朝興，男，博士，副教授，主要研究方向為人工智能和機械振動。E-mail：cx_f@163.com

1734501186337