基于SORT算法的圖像軌跡跟蹤混合控制方法

摘" 要： 當(dāng)目標物體被其他物體部分或完全遮擋時，目標的有效特征點數(shù)量會逐漸減少，跟蹤器無法繼續(xù)準確地鎖定目標，導(dǎo)致目標軌跡中斷。為此，文中研究基于SORT算法的圖像軌跡跟蹤混合控制方法。選取FCOS算法，利用特征金字塔結(jié)構(gòu)，依據(jù)檢測頭層輸出的目標分類得分、位置回歸結(jié)果以及中心度檢測圖像目標。將目標檢測結(jié)果作為卡爾曼濾波器的輸入，利用離散控制過程系統(tǒng)描述視頻圖像中的目標運動狀態(tài)，預(yù)測目標軌跡。利用SORT算法控制圖像目標檢測結(jié)果與目標軌跡預(yù)測結(jié)果進行級聯(lián)匹配與IoU匹配，輸出匹配成功的目標，即圖像目標軌跡跟蹤結(jié)果。實驗結(jié)果表明，該方法可有效地跟蹤視頻圖像目標軌跡，未出現(xiàn)ID變更情況，軌跡中斷占比低于0.2%。

關(guān)鍵詞： SORT算法； 圖像軌跡跟蹤； 混合控制方法； FCOS算法； 卡爾曼濾波器； 級聯(lián)匹配

中圖分類號： TN911.73?34； TP311" " " " " " " " "文獻標識碼： A" " " " " " " " " " 文章編號： 1004?373X（2024）13?0032?04

Image trajectory tracking hybrid control method based on SORT algorithm

DU Lei

（Taiyuan University of Science and Technology， Taiyuan 030024， China）

Abstract： When the object is partly or completely occluded by other objects， the number of effective feature points of the object will decrease gradually， and the tracker will not be able to target the object accurately， resulting in the interruption of the object trajectory. Therefore， an image trajectory tracking hybrid control method based on SORT （simple online and realtime tracking） algorithm is studied. The FCOS （fully convolutional one?stage object detection） algorithm is used to detect the image object based on feature pyramid structure according to the object classification score， the result of position regression and the center degree output by the layer of the detector. The object detection result is taken as the input of the Kalman filter. The discrete control process system is used to describe the object motion state in the video image and predict the object trajectory. The SORT algorithm is used to control the cascade matching and IoU matching between the image object detection result and the object trajectory prediction result， and output the successfully matched targets， that is， the image object trajectory tracking results. The experimental results show that the method can track the image object trajectory effectively without ID change， and its percentage of track interruption is below 0.2%.

Keywords： SORT algorithm; image trajectory tracking; hybrid control method; FCOS algorithm; Kalman filter; cascade matching

0" 引" 言

圖像軌跡跟蹤是通過分析連續(xù)的視頻圖像序列，精確地跟蹤并確定目標物體的位置、速度和運動軌跡，應(yīng)用領(lǐng)域廣泛，如體育訓(xùn)練、自動駕駛等[1?2]。復(fù)雜多變的背景環(huán)境下，目標物體的識別和跟蹤過程受到干擾，當(dāng)目標物體被其他物體遮擋時[3]，可能會丟失目標或產(chǎn)生錯誤的跟蹤結(jié)果，且目標物體的運動狀態(tài)也隨時發(fā)生變化，如速度變化、方向改變等，需要實時地適應(yīng)并調(diào)整跟蹤策略[4]。因此，有必要研究能夠在復(fù)雜的場景中保持穩(wěn)定的跟蹤方法。

文獻[5]將深度學(xué)習(xí)算法應(yīng)用于多目標運動軌跡預(yù)測中。利用深度學(xué)習(xí)模型捕捉復(fù)雜的非線性關(guān)系，解決具有時空依賴性的多目標運動軌跡跟蹤問題。利用深度學(xué)習(xí)模型處理高維的多目標運動軌跡數(shù)據(jù)，對于不同場景和任務(wù)，只需調(diào)整模型參數(shù)或結(jié)構(gòu)即可適應(yīng)。但是深度學(xué)習(xí)模型的訓(xùn)練需要大量的標注數(shù)據(jù)，對于多目標運動軌跡預(yù)測任務(wù)，獲取足夠的、高質(zhì)量的標注數(shù)據(jù)可能是一個挑戰(zhàn)，且多目標運動軌跡預(yù)測問題中，目標數(shù)量、類型、運動模式等都可能變化，容易導(dǎo)致目標跟蹤出現(xiàn)中斷。文獻[6]將Mobile Net方法應(yīng)用于多目標跟蹤中，Mobile Net采用輕量級網(wǎng)絡(luò)結(jié)構(gòu)，模型體積更小、運行速度更快，保持較好的跟蹤效果。但是由于Mobile Net的結(jié)構(gòu)相對簡單，難以在某些復(fù)雜任務(wù)上進行深度優(yōu)化。對于特定跟蹤場景和目標類型，需要針對Mobile Net進行專門的調(diào)整和改進。該方法處理遮擋和復(fù)雜場景的目標跟蹤任務(wù)時，容易出現(xiàn)跟蹤效果下降或丟失目標的問題。文獻[7]將改進的ByteTrack算法應(yīng)用于地面多目標跟蹤中，提高了目標跟蹤的穩(wěn)定性。但是該方法對目標特征的依賴性較高，對于細節(jié)和紋理過于匱乏的目標，其跟蹤性能受到嚴重影響。文獻[8]結(jié)合高速圖像處理技術(shù)和多相機系統(tǒng)，實現(xiàn)無縫的多目標跟蹤。通過多個相機的重疊視圖，解決單一相機視野受限問題，提高跟蹤連續(xù)性。但是該方法應(yīng)用時需要確保各相機之間的精確同步和校準，多個目標相互遮擋或交叉移動時，由于不同相機視角的限制，可能導(dǎo)致目標的視圖切換出現(xiàn)問題，以及目標丟失或跟蹤軌跡斷裂等情況的發(fā)生。

為提升圖像目標軌跡跟蹤效果，本文研究基于在線實時多目標跟蹤（Simple Online and Realtime Tracking， SORT）算法的圖像軌跡跟蹤混合控制方法，實現(xiàn)更精確、更穩(wěn)定的軌跡跟蹤效果。

1" 圖像軌跡跟蹤混合控制方法

1.1" 基于FCOS的圖像目標檢測

利用全卷積網(wǎng)絡(luò)的單階段目標檢測（Fully Convolutional One?stage Object Detection， FCOS）算法檢測圖像中的目標[9]，結(jié)構(gòu)如圖1所示。

FCOS算法采用三層的Backbone卷積網(wǎng)絡(luò)結(jié)構(gòu)。將圖像利用特征金字塔層生成特征圖，每個檢測頭對應(yīng)一個金字塔[10]。檢測頭層分別輸出目標的分類得分、位置回歸結(jié)果以及中心度。

每個檢測頭的輸出分別對應(yīng)分類損失函數(shù)[L1]、中心度損失函數(shù)[L2]以及回歸損失函數(shù)[L3]。依據(jù)檢測頭的輸出結(jié)果進行圖像目標檢測[11]。利用多次二分類器，在特征圖分類結(jié)果后，利用損失函數(shù)[L1]計算目標分類時全部樣本的損失[12]。FCOS算法的目標檢測訓(xùn)練時，設(shè)置[L2]作為位置回歸的損失函數(shù)；FCOS算法檢測目標的中心度時，設(shè)置[L3]作為損失函數(shù)。

圖像目標檢測的損失函數(shù)設(shè)置如公式（1）所示：

[Lpi，ti，si=1NiL1pic+iδL2tit?i+iL3ziz?i] （1）

式中：[N]與[pi]分別表示視頻圖像樣本數(shù)量以及圖像特征點[i]的類別分數(shù)；[c]與[δ]分別表示特征點[i]的真實類別標簽以及判定系數(shù)；[ti]與[t?i]分別表示[i]處的圖像目標邊界框預(yù)測結(jié)果與真實結(jié)果；[zi]與[z?i]分別表示圖像目標中心度預(yù)測結(jié)果與真實結(jié)果。

通過以上過程，利用FCOS算法檢測視頻圖像中的目標，作為卡爾曼濾波器的輸入，預(yù)測視頻圖像中的目標運動軌跡。

1.2" 基于卡爾曼濾波器的目標軌跡預(yù)測

對于通過FCOS算法成功檢測的目標，利用卡爾曼濾波器進行視頻圖像中目標軌跡的估計。視頻圖像的目標軌跡估計如下：

[x=u，v，s，r，u，v，sT] （2）

式中：[u]與[v]分別表示目標的水平與垂直像素坐標；[s]與[r]分別表示目標框占比及其長寬比；[u]、[v]與[s]表示[u]、[v]、[s]在時間上的差分[13]。

利用卡爾曼濾波器進行圖像目標軌跡跟蹤的迭代更新，實現(xiàn)目標軌跡的實時預(yù)測。利用離散控制過程系統(tǒng)描述視頻圖像中目標的運動狀態(tài)。離散控制過程系統(tǒng)根據(jù)隨機線性微分方程利用時間為[k-1]時的目標最優(yōu)估計結(jié)果預(yù)測時間為[k]時的目標運動狀態(tài)。用[ωk]與[rk]分別表示圖像目標軌跡跟蹤的過程噪聲以及測量噪聲，構(gòu)建離散控制過程系統(tǒng)的表達式如下：

[xk=Axk-1+Buk-1+ωk-1Lpi，ti，si] （3）

離散控制過程系統(tǒng)中，圖像目標測量值的表達式如下：

[gk=Hxk+rk] （4）

式中：[xk]與[uk]分別表示時間為[k]時的圖像目標狀態(tài)向量以及控制向量；[A]與[B]分別表示狀態(tài)轉(zhuǎn)移矩陣以及控制矩陣；[gk]與[H]分別表示時間為[k]時的[m]維測量向量以及大小為[m×n]的觀測矩陣。

先驗狀態(tài)估計[xk]與后驗狀態(tài)估計[x′k]的關(guān)系表達式如下：

[xk=x′k+Kgk-Hx′k] （5）

式中：[gk-Hx′k]表示圖像目標實際軌跡與預(yù)測軌跡的殘差；[K]表示殘余增益。

更新后驗協(xié)方差[Pk]的表達式如下：

[Pk=Ixk-KHP′k] （6）

式中[I]表示單位矩陣。

將利用公式（6）獲取的后驗協(xié)方差作為圖像目標軌跡預(yù)測的先驗估計協(xié)方差。通過卡爾曼濾波器的遞推過程，將下一步的目標軌跡數(shù)據(jù)與當(dāng)前目標軌跡數(shù)據(jù)關(guān)聯(lián)。通過卡爾曼濾波器迭代次數(shù)的更新，實現(xiàn)圖像目標軌跡預(yù)測的更新。

1.3" 基于SORT的目標軌跡跟蹤混合控制

傳統(tǒng)的SORT算法采用匈牙利算法關(guān)聯(lián)視頻圖像的目標框，視頻圖像中存在目標形變或遮擋情況時，無法準確地關(guān)聯(lián)目標框。引入級聯(lián)匹配算法，通過舊目標框與新目標框的關(guān)聯(lián)，構(gòu)建代價矩陣，控制圖像目標軌跡跟蹤時的匹配精度。設(shè)1.2節(jié)卡爾曼濾波器[i]得到的圖像目標軌跡預(yù)測結(jié)果為[yi]。圖像目標檢測結(jié)果與預(yù)測結(jié)果馬氏距離的表達式如下：

[d1i，j=dj-yiTΦidj-yi] （7）

圖像目標檢測結(jié)果與預(yù)測結(jié)果余弦距離的表達式為：

[d2i，j=min1-qTjqik] （8）

式中：[dj]表示FCOS算法獲取的目標框[j]的檢測值；[qTj]與[qik]分別表示目標檢測框[j]的特征向量以及跟蹤器[i]在歷史[k]幀中跟蹤結(jié)果的特征向量；[Φi]表示目標檢測結(jié)果與目標預(yù)測結(jié)果誤差的協(xié)方差矩陣。

分別對比目標檢測框與目標預(yù)測框的馬氏距離以及余弦距離。距離計算結(jié)果小于等于所設(shè)置的距離閾值時，表示目標被成功匹配。

目標成功匹配時的馬氏距離以及余弦距離的表達式為：

[b1ij=d1i，j≤ξ] （9）

[b2ij=d2i，j≤ξ2] （10）

構(gòu)建SORT算法的代價矩陣表達式如下：

[ci，j=βd1i，j+1-βd2i，j] （11）

式中[β]表示用于調(diào)節(jié)余弦距離與馬氏距離的調(diào)節(jié)因子。

當(dāng)式（11）代價矩陣內(nèi)的元素同時滿足式（9）與式（10）條件時，表示圖像軌跡跟蹤混合控制的目標匹配成功。

利用SORT算法進行圖像軌跡跟蹤混合控制的流程圖如圖2所示。

2" 實例分析

將所研究方法應(yīng)用于某體育院校學(xué)生的跑步訓(xùn)練中。利用視頻采集傳感器采集運動員的訓(xùn)練視頻作為原始數(shù)據(jù)集，視頻幀640×480像素，視頻幀率30 f/s，共獲得1 357張圖像，隨機選取一幅原始圖像如圖3所示。

實驗環(huán)境設(shè)置參數(shù)：FCOS算法學(xué)習(xí)率為0.01，批處理大小為8，訓(xùn)練周期為50個epoch，動量為0.9，權(quán)重衰減為0.000 5；卡爾曼濾波器狀態(tài)轉(zhuǎn)移矩陣為6×6單位，觀測矩陣為4×6單位，殘差閾值為0.5；SORT算法馬氏距離閾值為0.7，余弦距離閾值為0.2，最大丟失幀數(shù)為3幀，IoU閾值為0.5。

采用本文方法從圖3的運動員訓(xùn)練原始圖像中檢測目標，目標檢測結(jié)果如圖4所示。

分析圖3、圖4可知，本文方法可有效檢測視頻中的運動目標，目標檢測結(jié)果與實際目標相符，具有有效性。這是因為SORT算法利用FCOS算法具有的特征提取能力，可以滿足目標精準檢測的要求。

圖像目標運動軌跡跟蹤結(jié)果通常表現(xiàn)為一個或多個目標的連續(xù)位置序列，這些位置序列描述了目標在視頻或圖像序列中的運動路徑。依據(jù)本文方法對體育運動訓(xùn)練視頻中的目標檢測結(jié)果，利用目標檢測框跟蹤視頻圖像中的目標運動軌跡。隨機選取圖像中的某目標進行跟蹤，該目標的運動軌跡跟蹤結(jié)果如圖5所示。

分析圖5可知，本文方法能夠有效跟蹤體育訓(xùn)練視頻圖像中的目標運動軌跡。采用可視化的方式呈現(xiàn)了目標運動軌跡跟蹤結(jié)果。本文方法的軌跡跟蹤結(jié)果緊密地跟隨目標運動，準確地體現(xiàn)了體育訓(xùn)練視頻中目標的位移和方向變化。本文方法能夠有效控制目標軌跡跟蹤結(jié)果，具有較強的應(yīng)用性。

當(dāng)目標被遮擋或由于光照、噪聲等干擾因素導(dǎo)致跟蹤不穩(wěn)定時，軌跡可能會出現(xiàn)斷裂或偏移的情況。因此，評估跟蹤結(jié)果的好壞通常需要考慮軌跡的連續(xù)性、平滑性和準確性等方面。統(tǒng)計采用本文方法對圖像目標運動軌跡跟蹤混合控制的ID變更次數(shù)以及軌跡中斷占比，統(tǒng)計結(jié)果如表1所示。

分析表1可知，采用本文方法跟蹤視頻運動目標軌跡的中斷占比低于0.2%。本文方法跟蹤視頻中的運動目標軌跡時，并未出現(xiàn)ID變更情況，且僅出現(xiàn)極少量的跟蹤中斷情況，驗證了本文方法具有極高的跟蹤穩(wěn)定性，這是因為該方法結(jié)合了級聯(lián)匹配與交并比（IoU）匹配方法，在目標受到遮擋時，仍具有較強的圖像軌跡跟蹤控制性能，有效抑制了圖像軌跡跟蹤時的軌跡中斷以及ID變更等情況。

3" 結(jié)" 論

將SORT算法應(yīng)用于圖像軌跡跟蹤混合控制中，為圖像軌跡跟蹤提供了有效的解決方案。通過精確的目標檢測、穩(wěn)定的軌跡預(yù)測和高效的數(shù)據(jù)關(guān)聯(lián)，SORT算法能夠在復(fù)雜場景中實現(xiàn)目標的實時跟蹤。通過實驗驗證，該方法能夠?qū)崿F(xiàn)對圖像目標軌跡的精確控制，不僅能夠提高跟蹤的準確性和穩(wěn)定性，還能夠適應(yīng)不同場景變化，使得目標軌跡跟蹤更加靈活和可靠。

參考文獻

[1] 韓錕，彭晶瑩.基于改進YOLOX與多級數(shù)據(jù)關(guān)聯(lián)的行人多目標跟蹤算法研究[J].鐵道科學(xué)與工程學(xué)報，2024，21（1）：94?105.

[2] 高新聞，沈卓，許國耀，等.基于多目標跟蹤的交通異常事件檢測[J].計算機應(yīng)用研究，2021，38（6）：1879?1883.

[3] 馬永杰，馬蕓婷，程時升，等.基于改進YOLO v3模型與Deep?SORT算法的道路車輛檢測方法[J].交通運輸工程學(xué)報，2021，21（2）：222?231.

[4] 曹婷婷，侯進，鄧小豪，等.在線多行人圖像目標跟蹤算法設(shè)計與仿真[J].計算機仿真，2022，39（5）：172?175.

[5] 任條娟，陳鵬，陳友榮，等.基于深度學(xué)習(xí)的多目標運動軌跡預(yù)測算法[J].計算機應(yīng)用研究，2022，39（1）：296?302.

[6] 薛俊韜，馬若寒，胡超芳.基于MobileNet的多目標跟蹤深度學(xué)習(xí)算法[J].控制與決策，2021，36（8）：1991?1996.

[7] 王雒，李飚，傅瑞罡.基于改進ByteTrack算法的紅外地面多目標跟蹤方法[J].計算機科學(xué)，2023，50（9）：176?183.

[8] KIM H， YAMAKAWA Y， ISHIKAWA M. Seamless multiple?target tracking method across overlapped multiple camera views using high?speed image capture [J]. Journal of robotics and mechatronics， 2022， 34（5）： 1043?1052.

[9] 葛雯，姜添元.改進YOLO與Deepsort檢測跟蹤算法的研究[J].計算機仿真，2022，39（5）：186?190.

[10] 趙安新，楊金橋，楊浩波，等.基于改進DeepSORT和FastReID的室內(nèi)多目標人員跨鏡識別與跟蹤[J].西安科技大學(xué)學(xué)報，2023，43（3）：622?630.

[11] 曹玉東，陳冬昊，曹睿，等.融合Mask R?CNN的在線多目標行人跟蹤方法[J].計算機工程與科學(xué)，2023，45（7）：1216?1225.

[12] 朱軍，張?zhí)燹?，謝亞坤，等.顧及小目標特征的視頻人流量智能統(tǒng)計方法[J].西南交通大學(xué)學(xué)報，2022，57（4）：705?712.

[13] 趙元龍，單玉剛，袁杰.改進YOLOv7與DeepSORT的佩戴口罩行人跟蹤[J].計算機工程與應(yīng)用，2023，59（6）：221?230.