摘要:視覺目標(biāo)跟蹤技術(shù)是機(jī)器視覺、模式識(shí)別等相關(guān)領(lǐng)域中重要的研究內(nèi)容之一。受限于場景的復(fù)雜度、目標(biāo)速度、目標(biāo)的遮擋程度等狀況,其相關(guān)研究具有一定的難度和挑戰(zhàn)性,而均值漂移及其相關(guān)算法是解決該類問題的重要途徑。首先介紹視覺目標(biāo)跟蹤的研究方法和原理,然后介紹Camshift方法的前身Meanshift方法的原理和算法過程,并做出相應(yīng)的分析和闡述。再介紹針對(duì)Camshift算法的相關(guān)研究和改進(jìn)方法,最后總結(jié)Camshift方法的應(yīng)用情況以及后續(xù)可能的研究方向。
關(guān)鍵詞:機(jī)器視覺;模式識(shí)別;目標(biāo)跟蹤;Meanshift;Camshift
中圖分類號(hào):TP391 文獻(xiàn)標(biāo)識(shí)碼:A
文章編號(hào):1009-3044(2024)17-0011-04 開放科學(xué)(資源服務(wù))標(biāo)識(shí)碼(OSID) :
0 引言
實(shí)現(xiàn)視覺目標(biāo)跟蹤可能的前置步驟包括目標(biāo)分類、物體檢測以及圖像分割。目標(biāo)分類是指根據(jù)目標(biāo)在圖像中呈現(xiàn)的特征,將不同類別的目標(biāo)加以區(qū)分的圖像處理方法。物體檢測是指在某張圖像中,檢測出目標(biāo)出現(xiàn)的位置、尺度以及其對(duì)應(yīng)的類別。相較于目標(biāo)分類,物體檢測不僅需要指出其類別,還需返回該目標(biāo)在圖像中的物理坐標(biāo)信息,其量化度得到了增強(qiáng)。而圖像分割在物體檢測的基礎(chǔ)上提出了更加精細(xì)的要求,即不僅需要指出物體在圖像中的坐標(biāo)位置信息,還要標(biāo)注出目標(biāo)在圖像中的精準(zhǔn)輪廓,其難度和復(fù)雜度進(jìn)一步提升。
上述技術(shù)在圖像處理過程中,存在一些共性化的技術(shù)難點(diǎn),比如尺度變化、部分遮擋等[1-2]。針對(duì)物體尺度變化,一種常規(guī)的方式是采用尺度不變特征變換(SIFT) 技術(shù)[3],通過尺度空間極值計(jì)算、關(guān)鍵點(diǎn)定位、方向和幅值計(jì)算以及關(guān)鍵點(diǎn)描述等步驟完成目標(biāo)在尺度變化時(shí)的特征匹配。針對(duì)目標(biāo)部分區(qū)域被遮擋的問題,Wang B等[4]提出了一種通過網(wǎng)絡(luò)流優(yōu)化的軌跡片段(tracklet) 關(guān)聯(lián)中的在線目標(biāo)特定度量來忽略目標(biāo)被遮擋的時(shí)段,從而連續(xù)化目標(biāo)運(yùn)動(dòng)軌跡;Fir?ouznia Marjan[5]提出了一種改進(jìn)的粒子濾波方法,通過狀態(tài)空間重構(gòu),在有遮擋的情況下提升目標(biāo)跟蹤的精度。
在圖像中完成對(duì)目標(biāo)的檢測和標(biāo)定之后,需要對(duì)連續(xù)的圖像幀實(shí)現(xiàn)目標(biāo)搜索,其代表方法有均值漂移(Meanshift) 方法[6]。然而,目標(biāo)在視頻流中處于非靜止?fàn)顟B(tài),這種非靜止性可能導(dǎo)致其尺度、角度、形狀等特征的改變,進(jìn)而導(dǎo)致目標(biāo)的丟失。基礎(chǔ)的Camshift方法在一定程度上規(guī)避了目標(biāo)尺度變化對(duì)跟蹤效果的影響,但在環(huán)境因素復(fù)雜的場景中,其算法效果仍然得不到有效保證。
1 Meanshift 方法
Meanshift[7-8]方法是目標(biāo)跟蹤技術(shù)中目標(biāo)搜索技術(shù)的經(jīng)典算法之一,Comaniciu等[9-10]將其成果應(yīng)用于特征分析領(lǐng)域之中,不僅如此,該方法也被廣泛應(yīng)用于圖像等相關(guān)處理之中。
1.1 基本的Meanshift 算法
Meanshift 算法過程主要如下:在一個(gè)n 維空間中,假設(shè)有m 個(gè)樣本點(diǎn)(設(shè)為p1, p2, p3……pm),其中有h個(gè)在設(shè)定的區(qū)域之內(nèi),則在點(diǎn)px處的Meanshift向量可表示為:M( px ) =1hΣi= 1h ( pi - px )。
以二維坐標(biāo)點(diǎn)為例,生成隨機(jī)300個(gè)數(shù)據(jù)點(diǎn),分別取不同坐標(biāo)為質(zhì)心,實(shí)驗(yàn)?zāi)M6 次Meanshift 算法實(shí)現(xiàn),其迭代過程如圖1所示。
由圖1可知,在數(shù)據(jù)點(diǎn)質(zhì)心隨機(jī)的情況下,當(dāng)存在全局最優(yōu)時(shí),經(jīng)過Meanshift算法,最后都將收斂至相同的最高密度區(qū)域。
1.2 Meanshift 算法應(yīng)用
使用Meanshift算法跟蹤標(biāo)定圖像目標(biāo),首先根據(jù)第一幀圖像選取一個(gè)目標(biāo)窗口,即目標(biāo)物體區(qū)域的位置和尺度。然后計(jì)算該窗口內(nèi)圖像信息的直方圖分布,并與后續(xù)幀進(jìn)行相似性度量計(jì)算。最后,通過不斷迭代視頻流,尋找到新的目標(biāo)位置并更新目標(biāo)窗口位置[9]。通過構(gòu)建實(shí)際運(yùn)動(dòng)場景模擬該方法的運(yùn)行過程,圖2顯示了Meanshift方法在初始化目標(biāo)窗口后的跟蹤效果。通過抽取部分標(biāo)注圖像觀測目標(biāo)窗口的位置變化情況,可以看出目標(biāo)窗口隨著車輛的行駛其位置也隨之改變。但在目標(biāo)逐漸駛離區(qū)域時(shí),其在整個(gè)場景中的面積占比變小,而跟蹤窗口始終保持大小不變。
由圖2可知,在場景光線較為充足的前提下,當(dāng)人工選定搜索窗口后,Meanshift方法能有效地完成對(duì)搜索框內(nèi)物體的跟蹤。然而,由于搜索窗口尺度固定,在應(yīng)對(duì)目標(biāo)移速較快時(shí),其外在表現(xiàn)形式往往達(dá)不到預(yù)期的效果。此外,如果區(qū)域存在多個(gè)高密度區(qū)域,最終可能會(huì)收斂至局部最優(yōu)解,也將削弱其最終的標(biāo)定結(jié)果。
基于此,各專家學(xué)者對(duì)Meanshift 算法進(jìn)行了相應(yīng)的研究和改進(jìn)。針對(duì)Meanshift在距離度量上對(duì)集合數(shù)據(jù)和非線性數(shù)據(jù)的不可靠性,Qiangqiang C等[11]提出了基于鄰域顆粒運(yùn)算的顆粒向量相對(duì)距離和顆粒向量絕對(duì)距離,并在機(jī)器學(xué)習(xí)庫(UCI) 上從內(nèi)部度量和外部度量兩個(gè)方面得到了較好的聚類效果。Park Hanhoon 等[12]針對(duì)Meanshift 在每次迭代產(chǎn)生較大計(jì)算量的缺點(diǎn),提出了一種基于網(wǎng)格的Mean?shift++的改進(jìn)方法,通過Hash降低存儲(chǔ)冗余,再通過引入alpha 加速因子來減少迭代次數(shù),提高收斂速度,使得其比傳統(tǒng)的Meanshift++算法的平均速度提升了4 倍。Zou Yang 等[13]針對(duì)傳統(tǒng)Meanshift 算法目標(biāo)半徑固定易在物體大小或形狀變化時(shí)造成目標(biāo)丟失的問題,提出了基于相似函數(shù)值的模糊機(jī)制,大大提升了跟蹤效果。針對(duì)傳統(tǒng)Meanshift 方法在背景受到干擾或遮擋的情況下,陳薇等[14]提出了一種結(jié)合Kalman 濾波的Meanshift改進(jìn)算法,使其在復(fù)雜場景下仍能對(duì)目標(biāo)進(jìn)行有效的跟蹤。Irene Anindaputri Iswanto 等[15] 針對(duì)傳統(tǒng)Meanshift 及其衍生算法在跟蹤任務(wù)中的低效和局限性,將Kalman濾波器、粒子濾波器以及Meanshift結(jié)合起來,并提取圖像的直方圖特征和紋理特征來提高其準(zhǔn)確性,其實(shí)驗(yàn)效果較為理想。王廣龍等[16]融合五幀差分法,在目標(biāo)遮擋問題中,結(jié)合邊緣輪廓特征,從而對(duì)傳統(tǒng)的Meanshift 方法進(jìn)行了改進(jìn)。
2 Camshift 方法
2.1 Camshift 方法原理
Camshift(Continuously Adaptive Meanshift) 方法是對(duì)Meanshift方法的改進(jìn),在繼承Meanshift復(fù)雜度低、運(yùn)算量小等優(yōu)點(diǎn)的同時(shí),克服了Meanshift方法搜索窗口固定等不足,使實(shí)際跟蹤效果得到了顯著提升。
該方法首先將捕獲的圖像轉(zhuǎn)換為HSV空間,并以色調(diào)分量作為基礎(chǔ),提取其概率分布直方圖,作為相似性度量的依據(jù)。然后,使用基礎(chǔ)的Meanshift方法確定質(zhì)心位置。在移動(dòng)距離閾值的判定下,調(diào)整搜索窗口的位置和大小。
圖3 展示了Camshift 方法對(duì)目標(biāo)的跟蹤過程截圖。由圖可見,隨著目標(biāo)面積占比的減小,搜索窗口的大小也隨之縮小。
2.2 Camshift 改進(jìn)算法
2.2.1 結(jié)合Kalman 濾波算法的改進(jìn)算法
Camshift方法在搜索窗口自適應(yīng)性上對(duì)Meanshift 方法進(jìn)行了優(yōu)化,但在目標(biāo)受遮擋或背景干擾等情況下,跟蹤效果仍受到較大影響。為此,通常引入Kal?man濾波方法來適應(yīng)復(fù)雜場景和光照變化,通過觀測數(shù)據(jù)輸入輸出,對(duì)系統(tǒng)狀態(tài)進(jìn)行最優(yōu)估計(jì)?;谙噜弾瑘D像的連續(xù)性和平滑性,Kalman濾波能預(yù)測后續(xù)時(shí)態(tài)的狀態(tài)數(shù)據(jù)和誤差信息,從而在一定程度上緩解遮擋問題等引起的干擾。
在此基礎(chǔ)上,李建良等[17]針對(duì)傳統(tǒng)Camshift方法在目標(biāo)變速或顏色與背景接近的問題,提出了一種以目標(biāo)色度、飽和度以及邊緣幅值作為特征分量,結(jié)合Kalman濾波,并使用Bhattacharyya系數(shù)作為準(zhǔn)確度判別的量化指標(biāo),從而實(shí)現(xiàn)復(fù)雜場景下的目標(biāo)跟蹤。Guan Weipeng等[18]提出了一種改進(jìn)的Camshift方法,通過計(jì)算目標(biāo)在幀間的像素坐標(biāo)差值來估計(jì)目標(biāo)位置,從而更加準(zhǔn)確地完成對(duì)目標(biāo)的跟蹤。Pei Lili等[19]結(jié)合Accelerated-KAZE 特征匹配和Kalman 濾波,解決了背景干擾問題,實(shí)驗(yàn)分析表明其識(shí)別的有效幀率及圖像識(shí)別速率均有顯著提升。為了提高目標(biāo)跟蹤的抗遮擋能力,Liang Shuang等[20]在球類運(yùn)動(dòng)視頻應(yīng)用中,結(jié)合Kalman濾波,從目標(biāo)檢測、識(shí)別、軌跡和球員軌跡等方面改進(jìn)方法,通過搜索窗口中確定遮擋因子并簡化計(jì)算過程,實(shí)現(xiàn)了更加穩(wěn)健的目標(biāo)跟蹤。
2.2.2 結(jié)合多特征融合的Camshift 改進(jìn)算法
傳統(tǒng)的Camshift方法主要依據(jù)HSV空間中的色調(diào)分量進(jìn)行目標(biāo)特征提取,但在背景復(fù)雜且目標(biāo)本身與周圍物體色調(diào)區(qū)分不明顯的情況下,易丟失目標(biāo),影響最終的跟蹤效果。為了解決這一問題,通常引入如紋理、邊緣及相似度等特征與色調(diào)特征融合,綜合確定目標(biāo)。
基于特征融合的方式,黨海鑫等[21]結(jié)合紋理、邊緣特征,根據(jù)目標(biāo)物體的尺度和概率密度,提升了目標(biāo)跟蹤的抗干擾性和穩(wěn)定性,并在ROS系統(tǒng)中得到驗(yàn)證。段繼光等[22]借助FPGA技術(shù),提出了一種基于協(xié)方差的多特征融合策略,提升了Camshift方法對(duì)微小目標(biāo)的跟蹤效果。Du Sijie等[23]提取目標(biāo)的HSV特征中的色調(diào)和飽和度雙特征,并與LBP特征直方圖相結(jié)合,提升了目標(biāo)識(shí)別的精度,實(shí)驗(yàn)驗(yàn)證其實(shí)時(shí)性優(yōu)于傳統(tǒng)目標(biāo)跟蹤算法。
2.2.3 結(jié)合深度神經(jīng)網(wǎng)絡(luò)的改進(jìn)算法
隨著計(jì)算機(jī)硬件和算力的提升,人工智能技術(shù)在眾多領(lǐng)域得到廣泛應(yīng)用,其中深度神經(jīng)網(wǎng)絡(luò)在圖形圖像,尤其是目標(biāo)檢測和跟蹤中,相較于傳統(tǒng)計(jì)算機(jī)視覺方法在精準(zhǔn)度等方面有更好的識(shí)別效果。通過構(gòu)建相應(yīng)的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),并引入卷積層來提取顏色、紋理、形狀等特征,結(jié)合誤差反向傳播調(diào)整網(wǎng)絡(luò)結(jié)構(gòu)參數(shù),經(jīng)過若干次迭代,形成最優(yōu)解,從而實(shí)現(xiàn)目標(biāo)圖像的識(shí)別。
基于上述方式,解夢達(dá)等[26]通過提取YCbCr空間中的藍(lán)色色度分量和紅色色度分量,構(gòu)建Camshift顏色直方圖,采用支持向量機(jī)建立膚色分割模型實(shí)現(xiàn)人臉跟蹤,并使用拉依達(dá)準(zhǔn)則判定異常,提升了跟蹤準(zhǔn)確度。Li Xiaofeng等[27]提出一種基于多智能體強(qiáng)化學(xué)習(xí)的移動(dòng)機(jī)器人多模式濾波目標(biāo)跟蹤方法,通過機(jī)器人間狀態(tài)通信建立強(qiáng)化學(xué)習(xí)模型,經(jīng)過不斷訓(xùn)練更新和糾正,有效實(shí)現(xiàn)實(shí)時(shí)目標(biāo)跟蹤。Saada M等[28]設(shè)計(jì)了一種基于動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)的跟蹤器,通過實(shí)時(shí)濾波方法預(yù)測下一幀位置,使用YOLOv5對(duì)象檢測器評(píng)估對(duì)象檢測對(duì)跟蹤器性能的影響,并通過實(shí)驗(yàn)驗(yàn)證了其有效性。Shahbazi M等[29]基于遞歸神經(jīng)網(wǎng)絡(luò)的長短期記憶(LSTM) 結(jié)構(gòu),利用目標(biāo)的外觀特征和運(yùn)動(dòng)方式特征,構(gòu)建新型運(yùn)動(dòng)跟蹤模型,在低分辨率、快速運(yùn)動(dòng)、部分遮擋等情況下,能夠?qū)崟r(shí)有效地跟蹤目標(biāo)。
3 結(jié)束語
Camshift方法作為視覺目標(biāo)跟蹤技術(shù)的重要算法之一,憑借其低算法復(fù)雜度和強(qiáng)自適應(yīng)性,廣泛應(yīng)用于交通運(yùn)輸、建筑、機(jī)械、船舶等實(shí)際場景中,同時(shí)也在運(yùn)動(dòng)學(xué)與體育學(xué)的教學(xué)實(shí)踐中得到了體現(xiàn)。然而,Camshift方法在目標(biāo)跟蹤過程中存在穩(wěn)定性不足的問題,特別是在特征邊界模糊的情況下,如何更有效且均衡地利用特征融合以實(shí)現(xiàn)更高精度的跟蹤,成為當(dāng)前研究和實(shí)踐中的重點(diǎn)和難點(diǎn)。
目前,隨著硬件水平的發(fā)展,深度神經(jīng)網(wǎng)絡(luò)技術(shù)逐漸成為應(yīng)用于目標(biāo)跟蹤的主流技術(shù)。但其算法的實(shí)施依賴于海量數(shù)據(jù)集的支撐。因此,將Camshift方法與深度神經(jīng)網(wǎng)絡(luò)進(jìn)行更加有效的融合,一直以來都是研究的目標(biāo)。
參考文獻(xiàn):
[1] 朱偉杰,朱洪軍,伍祥,等.基于相關(guān)濾波技術(shù)的目標(biāo)跟蹤方法綜述[J].信息工程大學(xué)學(xué)報(bào),2019,20(6):684-688.
[2] WU Y,LIM J,YANG M H.Online object tracking:a benchmark[C]//2013 IEEE Conference on Computer Vision and PatternRecognition.Portland,OR,USA.IEEE,2013:2411-2418.
[3] LOWE D G.Object recognition from local scale-invariant fea?tures[C]//Proceedings of the Seventh IEEE International Confer?ence on Computer Vision.Kerkyra,Greece.IEEE,1999:1150-1157.
[4] WANG B,WANG G,CHAN K L,et al.Tracklet association withonline target-specific metric learning[C]//2014 IEEE Confer?ence on Computer Vision and Pattern Recognition.Columbus,OH,USA.IEEE,2014:1234-1241.
[5] FIROUZNIA M,KOUPAEI J A,F(xiàn)AEZ K,et al.Adaptive chaoticsampling particle filter to handle occlusion and fast motion invisual object tracking[J]. Digital Signal Processing, 2023, 134:103933.
[6] 閔志方,杜虎,朱雪瓊,等.單目標(biāo)跟蹤研究綜述[J].光學(xué)與光電技術(shù),2023,21(4):1-14.
[7] FUKUNAGA K,HOSTETLER L.The estimation of the gradientof a density function,with applications in pattern recognition[J].IEEE Transactions on Information Theory,1975,21(1):32-40.
[8] CHENG Y Z.Mean shift,mode seeking,and clustering[J].IEEETransactions on Pattern Analysis and Machine Intelligence,1995,17(8):790-799.
[9] COMANICIU D,MEER P.Mean shift:a robust approach towardfeature space analysis[J].IEEE Transactions on Pattern Analy?sis and Machine Intelligence,2002,24(5):603-619.
[10] COMANICIU D, RAMESH V, MEER P. The variable band?width mean shift and data-driven scale selection[C]//Proceed?ings Eighth IEEE International Conference on Computer Vi?sion.ICCV.Vancouver,BC,Canada.IEEE,2001:438-445.
[11] CHEN Q Q,HE L J,DIAO Y N,et al.A novel neighborhoodgranular meanshift clustering algorithm[J].Mathematics,2022,11(1):207.
[12] PARK H.α-MeanShift++:improving MeanShift++ for imagesegmentation[J].IEEE Access,2021,9:131430-131439.
[13] ZOU Y,XIAO Z K,WANG Z. Research on improved meanshiftalgorithm based on fuzzy control principle[C]//MIPPR 2019:Pattern Recognition and Computer Vision. November 2-3,2019. Wuhan, China. SPIE, 2020: 1-6.
[14] 陳薇,袁文定,方強(qiáng),等.基于自適應(yīng)卡爾曼濾波的Meanshift 跟蹤算法[J].制造業(yè)自動(dòng)化,2021,43(6):16-20,48.
[15] ISWANTO I A,CHOA T W,LI B.Object tracking based onmeanshift and particle-kalman filter algorithm with multi fea?tures[J].Procedia Computer Science,2019,157:521-529.
[16] 王廣龍,田杰,朱文杰,等.RGB-D與MeanShift相結(jié)合的實(shí)時(shí)目標(biāo)跟蹤[J]. 中南大學(xué)學(xué)報(bào)(自然科學(xué)版),2019,50(9):2163-2170.
[17] 李建良,張婷婷,陶知非,等.基于改進(jìn)Camshift與Kalman濾波融合的領(lǐng)航車輛跟蹤算法[J]. 電子測量與儀器學(xué)報(bào),2021,35(6):131-139.
[18] GUAN W P,LIU Z P,WEN S S,et al.Visible light dynamic po?sitioning method using improved camshift-kalman algorithm[J].IEEE Photonics Journal,2019,11(6):7906922.
[19] PEI L L,ZHANG H,YANG B.Improved Camshift object track?ing algorithm in occluded scenes based on AKAZE and Kal?man[J].Multimedia Tools and Applications,2022,81(2):2145-2159.
[20] LIANG S,LI Y.Using camshift and Kalman algorithm to trajec?tory characteristic matching of basketball players[J].Complex?ity,2021,2021:4728814.
[21] 黨海鑫,高嵩,曹凱,等.多特征自適應(yīng)融合的CamShift算法與ROS 跟隨小車實(shí)現(xiàn)[J]. 科學(xué)技術(shù)與工程,2021,21(10):4141-4147.
[22] 段繼光,周玉宏.多特征融合和深度信念網(wǎng)絡(luò)的紅外弱小目標(biāo)跟蹤方法[J].激光雜志,2023,44(7):143-148.
[23] DU S J,XU H X,LI T P.Implementation of camshift targettracking algorithm based on hybrid filtering and multifeaturefusion[J].Journal of Sensors,2020:8846977.
[24] LECUN Y,KAVUKCUOGLU K,F(xiàn)ARABET C.Convolutionalnetworks and applications in vision[C]//Proceedings of 2010IEEE International Symposium on Circuits and Systems.Paris,F(xiàn)rance.IEEE,2010:253-256.
[25] CHHETRI S, ALSADOON A, AL-DALA’IN T, et al. Deeplearning for vision-based fall detection system:enhanced opti?cal dynamic flow[J]. Computational Intelligence, 2021, 37(1):578-595.
[26] 解夢達(dá),孫鵬,張志豪,等.類膚色背景下的人臉追蹤改進(jìn)算法[J].計(jì)算機(jī)工程與應(yīng)用,2022,58(18):205-217.
[27] LI X F, REN J, LI Y B. Multi-mode filter target trackingmethod for mobile robot using multi-agent reinforcementlearning[J]f04054d45e6a1f437e6dd44b78ed6ed86abb8c695fcb980906d9aea4f6214a89.Engineering Applications of Artificial Intelligence,2024(127):107398.
[28] MOHAMAD S, CHRISTOS K, LI B H, et al. A multi-objecttracker using dynamic Bayesian networks and a residual neu?ral network based similarity estimator[J].Computer Vision andImage Understanding,2022(225):1-12.
[29] SHAHBAZI M,BAYAT M H,TARVIRDIZADEH B.A motionmodel based on recurrent neural networks for visual objecttracking[J].Image and Vision Computing,2022,126:104533.
【通聯(lián)編輯:唐一東】
基金項(xiàng)目:安徽省教育廳科學(xué)研究項(xiàng)目資助: 基于深度學(xué)習(xí)的路面缺陷檢測方法研究(2023AH052699) 、多模態(tài)數(shù)據(jù)驅(qū)動(dòng)的工業(yè)互聯(lián)網(wǎng)預(yù)知性維護(hù)決策技術(shù)研究(2022AH052367) ;蕪湖市科技重點(diǎn)項(xiàng)目:工業(yè)機(jī)器視覺虛擬仿真教學(xué)裝備平臺(tái)關(guān)鍵技術(shù)研發(fā)及應(yīng)用(2022yf65) ;安徽職業(yè)與成人教育重點(diǎn)研究項(xiàng)目:基于產(chǎn)教同頻共振的工業(yè)互聯(lián)網(wǎng)專業(yè)課教學(xué)質(zhì)量提升研究(AZCJ2023028)