基于計算機視覺的藝術(shù)體操軌跡跟蹤研究

鄭亮

摘 要： 為了解決傳統(tǒng)基于卡爾曼濾波算法進行藝術(shù)體操軌跡跟蹤時存在的跟蹤漂移以及跟蹤效率低等問題，研究基于計算機視覺的藝術(shù)體操軌跡跟蹤方法，通過ViBe運動目標(biāo)檢索算法對圖像的顏色以及深度信息建模，基于圖像顏色以及深度的波動檢測出視頻中的運動目標(biāo)，采用KCF算法實現(xiàn)運動目標(biāo)的初步跟蹤，在該方法的基礎(chǔ)上，通過改進KCF算法解決運動目標(biāo)被遮擋出現(xiàn)的跟蹤漂移問題，提高運動目標(biāo)跟蹤的精度和穩(wěn)定性。通過Hermite插值運算運動目標(biāo)質(zhì)心，基于時刻[t]的運動模糊方向獲取瞬時質(zhì)心軌跡，得到最佳的運動目標(biāo)質(zhì)心軌跡，采用曲線擬合措施獲取精確的運動目標(biāo)質(zhì)心軌跡。實驗結(jié)果說明，所提方法可準(zhǔn)確跟蹤藝術(shù)體操運動軌跡，具有較高的跟蹤效率和穩(wěn)定性。

關(guān)鍵詞： 計算機視覺； 藝術(shù)體操； 軌跡跟蹤； 曲線擬合

中圖分類號： TN911.73?34； TP391.41 文獻標(biāo)識碼： A 文章編號： 1004?373X（2017）19?0086?05

Research on computer vision based trajectory tracking of rhythmic gymnastics

ZHENG Liang

（Chongqing Three Gorges University， Chongqing 404000， China）

Abstract： Since the traditional trajectory tracking of rhythmic gymnastics based on Kalman filtering algorithm exists tracking drifting and has low tracking efficiency， a trajectory tracking method of artistic gymnastics based on computer vision is studied， in which the ViBe moving target retrieval algorithm is used to model the color and depth information of the image， the moving target in video is detected according to the variation of the image color and depth， and KCF algorithm is adopted to realize the preliminary tracking of moving target. Based on this method， the KCF algorithm is improved to solve the problem of tracking drifting while the moving target is occluded， and improve the tracking accuracy and stability of the moving target. The Hermite interpolation is used to calculate the centroid of moving target to get the instantaneous centroid trajectory of motion blur direction at t moment， which can acquire the optimal centroid trajectory of moving target. The curve fitting method is employed to obtain the accurate centroid trajectory of moving target. The experimental results show that the method can track the trajectory of artistic gymnastics accurately， and has high tracking efficiency and high stability.

Keywords： computer vision； rhythmic gymnastics； trajectory tracking； curve fitting

當(dāng)前我國體育事業(yè)處于上升過程，體育科研工作逐漸受到人們的關(guān)注，特別是藝術(shù)體操運動項目成為熱門運動項目。采用合理的方法對藝術(shù)體操軌跡實施跟蹤，能夠協(xié)助教練以及運動員科學(xué)分析運動和比賽過程中的姿態(tài)準(zhǔn)確性，為提高運動質(zhì)量提供可靠分析依據(jù)。傳統(tǒng)基于卡爾曼濾波算法的藝術(shù)體操軌跡跟蹤過程存在跟蹤漂移以及跟蹤效率低的問題[1]。因此，提出基于計算機視覺的藝術(shù)體操軌跡跟蹤方法，實現(xiàn)藝術(shù)體操軌跡的準(zhǔn)確跟蹤。

1 基于計算機視覺的藝術(shù)體操軌跡跟蹤研究

1.1 基于ViBe的運動目標(biāo)檢測算法

ViBe運動目標(biāo)檢測算法是基于樣本背景模型的背景差分方法，向圖像的各像素位置采集[N]個近鄰樣本塑造背景模型，基于合理的調(diào)整方案存儲波動信息[2]，進而對藝術(shù)體操視頻圖像的背景變化實施描述，最終差分出前景目標(biāo)。具體過程為：

（1） 背景建模。基于首幀藝術(shù)體操運動視頻圖像中的各相似點隨機采集[N]個近鄰樣本填充背景模型[M（x）]。ViBe算法基于即刻像素點的8鄰域區(qū)域獲取背景樣本，在鄰域中任意采集20個像素塑造背景模型，如下：

[M（x）=v1，v2，…，vn-1，vn] （1）

（2） 模型修正。為了提高背景模型樣本集的真實性，ViBe算法采用隨機修正方案，各背景位置在時間維度上基于均衡分布概率實施修正[3]，修正概率基于像素波動的時間窗口大小實施控制，通常設(shè)置修正概率為[116]。ViBe算法通過背景采樣傳播方案確保背景模型空間維度的統(tǒng)一，如果某背景點模型實施修正，則隨機通過背景模型的某樣本位置對即刻像素實施填充，同時基于相應(yīng)的概率通過即刻像素值對其鄰域點背景模型進行填充。

（3） 前景檢測。為了對即刻像素點實施分類，在顏色空間設(shè)置一個以即刻像素[v（x）]為中心，半徑是[R]的球[SR（v（x））]，則背景模型內(nèi)與即刻像素[v（x）]距離低于[R]的樣本數(shù)是：

[#SR（v（x））?v1，v2，…，vN] （2）

即刻像素點顏色與背景模型集內(nèi)的全部采樣像素點，如果顏色空間的距離低于[R]高于最低匹配規(guī)范[Cmin，]則將即刻像素當(dāng)成背景，否則即刻像素是前景目標(biāo)，最終檢測出藝術(shù)體操運動目標(biāo)。

1.2 基于KCF的運動目標(biāo)跟蹤算法

基于計算機視覺的藝術(shù)體操研究領(lǐng)域需要解決的技術(shù)難關(guān)是視頻目標(biāo)跟蹤技術(shù)，當(dāng)目標(biāo)面對環(huán)境復(fù)雜、形變顯著、有遮擋物等不利因素時，視頻目標(biāo)跟蹤技術(shù)的提高需求迫切。本文采用KCF算法實現(xiàn)藝術(shù)體操運動目標(biāo)的初步跟蹤，在該方法的基礎(chǔ)上，采用改進KCF算法解決傳統(tǒng)KCF算法無法解決藝術(shù)體操運動目標(biāo)被遮擋而出現(xiàn)的跟蹤漂移問題，提高運動目標(biāo)跟蹤的精度。

1.2.1 KCF算法基本原理

KCF（Kernelized Correlation Filter）是一種利用與核相關(guān)的濾波器跟蹤算法，通過 Tracking By Detection完成跟蹤任務(wù)，實踐過程中設(shè)定跟蹤的藝術(shù)體操運動目標(biāo)為主樣本，再將運動目標(biāo)周圍的可視范圍設(shè)定為負樣本。采用判別分類器完成跟蹤任務(wù)時主樣本的回應(yīng)值達到最高點。根據(jù)目標(biāo)移動范圍收集樣本，主樣本位于中間，負樣本分布于周圍區(qū)間，運用矩陣迭代更新算法，排除矩陣逆值的出現(xiàn)，將求解變化到離散傅里葉變換域中得益于循環(huán)矩陣，從而提高運算效率。

目標(biāo)中心為收集主樣本提供資源，周邊影像為收集負樣本提供資源。基于樣本中心與目標(biāo)的距離將各樣本用不間斷的數(shù)值進行標(biāo)識記錄。數(shù)值接近1時與目標(biāo)距離小，數(shù)值接近0時與目標(biāo)距離大。

（1） 求解過程

KCF運算是通過收集藝術(shù)體操運動樣本的求解嶺回歸過程實現(xiàn)的，也稱為最小二乘法[4]，可表示為：

[minwxf（xi）-yi2+λw2] （3）

式中：[λ]表示嶺系數(shù)，求出一組權(quán)值[w]是實踐的最高目標(biāo)。

[w=（XTX+λI）-1XTY] （4）

在傅里葉域里計算共軛權(quán)值[w*：]

[w*=（XHX+λI）-1XHY] （5）

將藝術(shù)體操運動樣本矩陣[X]由循環(huán)矩陣替代，則得到的簡化運算式為：

[X=Cx=x1x2x3…xnxnx1x2…xn-1xn-1xnx1…xn-2?????x2x3x4…x1] （6）

如果藝術(shù)體操運動樣本矩陣[X]是循環(huán)矩陣，則有以下屬性：

[X=FdiagxFH， x=Fx] （7）

其中，[F]表示離散傅里葉變換矩陣。

將式（7）運用到權(quán)值的運算中：

[w*=FHdiagx*FFHdiagxF+λI-1FHdiagx*Fy=F-1diagx*·x+λI-1diagx*Fy=F-1diagx*x*·xλFy] （8）

如果把向量[w]的運算過程轉(zhuǎn)換到傅里葉域，將大大提高整個運算的效率。

借助于核函數(shù)，KCF會有更好的表達方式。如果設(shè)置核函數(shù)的映射是[?x]，那么權(quán)重[w]為：

[w=iαi?x] （9）

回歸函數(shù)可表示為：

[fz=wTz=i=1nαikz，xi，Kv=kxi，xj] （10）

（2） 運算過程

依據(jù)核函數(shù)的嶺回歸求解過程，則：

[α=K+λI-1y] （11）

利用核函數(shù)循環(huán)矩陣[K，]使離散傅里葉域的解成為：

[α=ykxx+λ] （12）

則由[K]的第一行元素構(gòu)成的向量是[kxx]。

（3） 檢測過程

藝術(shù)體操運動樣本的核函數(shù)矩陣?yán)醚h(huán)更新的方法組建：

[Kz=Ckxz] （13）

由第一行元素生成的向量用[kxz]表示。

與此同時，可依據(jù)藝術(shù)體操樣本[z]計算出藝術(shù)體操運動循環(huán)移動的響應(yīng)，實現(xiàn)藝術(shù)體操運動軌跡的跟蹤。

[fz=KzTα] （14）

處于DFT范圍內(nèi)的響應(yīng)[fz=kxz?α，]“[?]”表示元素之間相乘。

1.2.2 改進的融合深度信息的KCF算法

1.2.1節(jié)分析的KCF運動目標(biāo)檢測方法處理目標(biāo)長時間遮擋問題時，無法解決藝術(shù)體操運動員運動過程中的遮擋問題，因此本文采用融合深度信息的遮擋檢測和操作方法。遮擋會產(chǎn)生跟蹤漂移現(xiàn)象[5]，導(dǎo)致參加跟蹤器訓(xùn)練的樣本中融入遮擋物噪聲，使得跟蹤器漂移，跟蹤精度降低。因此，為了解決跟蹤漂移問題，采用如下兩種解決措施：

（1） 識別目標(biāo)遮擋。本文跟蹤的藝術(shù)體操運動員運動具有復(fù)雜性，識別目標(biāo)遮擋問題也較為復(fù)雜。普通的視頻序列無法獲取體操運動目標(biāo)遮擋特征，目標(biāo)遮擋主要是不同深度運動對象的混合，距離攝像機近的體操運動員肢體遮擋了距離遠的肢體，此時通過深度信息對遮擋問題進行識別。但是視頻深度檢測會形成錯誤數(shù)據(jù)，對這些信息實施操作的過程中應(yīng)進行特殊操作[6]。如果跟蹤過程初始化，則目標(biāo)區(qū)域的特征屬性較佳，跟蹤區(qū)域中被跟蹤的藝術(shù)體操運動目標(biāo)完整，跟蹤目標(biāo)不存在遮擋問題。本文基于原始視頻跟蹤范圍的深度分布特征，運算獲取藝術(shù)體操運動目標(biāo)深度和背景分割閾值。

（2） 減少負樣本噪聲。藝術(shù)體操運動目標(biāo)存在遮擋問題，使得訓(xùn)練集中存在遮擋物的像素，隨著跟蹤模型的不斷調(diào)整，導(dǎo)致對藝術(shù)體操運動軌跡跟蹤出現(xiàn)漂移問題。因此，在跟蹤模型不斷調(diào)整狀態(tài)時，為了提高對藝術(shù)體操運動目標(biāo)遮擋問題的適應(yīng)度，應(yīng)降低負樣本噪聲。在目標(biāo)訓(xùn)練樣本集內(nèi)降低目標(biāo)以往負樣本量[7]，避免跟蹤模型向背景以及遮擋物漂移。本文通過遮擋MASK對藝術(shù)體操運動目標(biāo)被遮擋范圍進行識別，采用完整的目標(biāo)圖像對被遮擋范圍實施填充，保留檢測范圍中不存在遮擋的區(qū)域。存在遮擋情況下藝術(shù)體操運動目標(biāo)的訓(xùn)練樣本是：

[trainSample（x）=detectSample（x）， MASK（x）=1originalSample（x）， MASK（x）=0] （15）

即刻檢測的目標(biāo)樣本是detectSample，遮擋前保留的完整目標(biāo)樣本是originalSample。

如果藝術(shù)體操運動目標(biāo)不存在遮擋，則對original Sample樣本進行調(diào)整，保留完整目標(biāo)，采用完整目標(biāo)樣本對跟蹤器進行訓(xùn)練；如果藝術(shù)體操運動目標(biāo)存在遮擋，則通過遮擋MASK得到新訓(xùn)練樣本trainSample。新的訓(xùn)練樣本中存在即刻目標(biāo)未被遮擋的區(qū)域以及目標(biāo)被遮擋前的區(qū)域，訓(xùn)練樣本存儲完整的目標(biāo)像素，降低遮擋的不利影響，確保目標(biāo)跟蹤過程不存在漂移。

1.3 藝術(shù)體操運動目標(biāo)軌跡重建

1.3.1 運動模糊目標(biāo)的處理

由于藝術(shù)體操運動員運動速度較快，運動變化幅度較大，使得運動出現(xiàn)模糊問題，不能獲取準(zhǔn)確的運動質(zhì)心，修正后的左右視圖目標(biāo)無法對齊。基于立體匹配的極線限制關(guān)系可得，在某個視圖中的點能夠在另一個視圖中的極線中檢索到匹配點[8]。若可獲取運動目標(biāo)質(zhì)心的大概位置，則可獲取運動目標(biāo)質(zhì)心的準(zhǔn)確位置。

圖像高頻成分在不同的運動方向上的波動具有一定的規(guī)律性，目標(biāo)運動方向中的高頻能力最低，偏離運動方向過程中的高頻能力不斷提升，運動目標(biāo)垂直方向中的高頻能力最高。通過方向微分方法運算不同方向的高頻能量和，基于高頻能量累積分布直方圖可得，如果圖像的微分灰度值最低，則高頻分量損失最高的角度則是運動模糊方向。

設(shè)置即刻運動圖像像素點灰度值以及插值像素灰度值分別是[g（i，j）]以及[g（i，j）]，微分距離是[Δr，]微分方向是[α，]則當(dāng)前像素和插值像素的位置關(guān)系為：

[i=i+Δr?sinαj=j+Δr?cosα] （16）

基于插值點坐標(biāo)相鄰的四個像素點灰度值二次樣條插值得到插值像素灰度值[g（i，j）]。

在不同方向中對圖像實施微分處理，獲取不同方向的圖像微分能量和，獲取能量直方圖，將直方圖中高頻分量最小的方向當(dāng)成目標(biāo)運動方向。

1.3.2 Hermite插值質(zhì)心軌跡

采用改進的融合深度信息的KCF方法獲取運動目標(biāo)區(qū)域后，通過Hermite插值運算運動目標(biāo)質(zhì)心，基于時刻[t]的運動模糊方向獲取瞬時質(zhì)心軌跡，最終得到最佳的運動目標(biāo)質(zhì)心軌跡。時刻[t]目標(biāo)投影區(qū)域中，目標(biāo)質(zhì)心處于經(jīng)過目標(biāo)投影中心以及經(jīng)過目標(biāo)投影的質(zhì)心軌跡中。對左右視圖實施對齊處理[9]，當(dāng)左右視圖目標(biāo)的預(yù)測質(zhì)心軌跡一致，則能夠得到大量的可能匹配的質(zhì)心點。獲取的可能匹配質(zhì)心軌跡因為目標(biāo)質(zhì)心位置以及速度方向存在一定的偏差，應(yīng)通過曲線擬合措施獲取精確的質(zhì)心軌跡。

1.3.3 目標(biāo)軌跡擬合

通過誤差向量[r]的2?范數(shù)方法，評估近似函數(shù)[p（x）]同對應(yīng)節(jié)點[（xi，yi），i=0，1，2，…，m]間的誤差[ri=p（xi）-yi，][i=0，1，2，…，m]。數(shù)據(jù)擬合的具體過程為：設(shè)置藝術(shù)體操運動數(shù)據(jù)[（xi，yi），i=0，1，2，…，m，]在函數(shù)類[?]內(nèi)，獲取[p（x）∈?，]確保誤差的2?范數(shù)最低，也就是使得式（17）最低，則為近似。

[i=1mr2i=i=1mp（xi）-yi2] （17）

在集合空間中檢索同點[（xi，yi），i=0，1，2，…，m]間具有最低距離的曲線[y=p（x）]，該曲線則是擬合函數(shù)，也就是最小二乘解。如果藝術(shù)體操運動數(shù)據(jù)[（xi，yi），i=0，1，2，…，m，]存在少于[n]次由多項式構(gòu)成的函數(shù)類[?]，則：

[pn（x）=k=0makxk∈?] （18）

確保式（19）中的[I]最小：

[I=i=0mpn（xi）-yi2=i=0mk=0nakxki-yi2] （19）

若[pn（x）]是多項式，則滿足式（19）的[pn（x）]為最小二乘擬合多項式。如果[n=1，]則該過程是線性擬合。

[I]是關(guān)于[a0，a1，a2，…，an]的多元函數(shù)，最小二乘擬合的過程則是獲取[I]極值的過程，對式（19）進行求導(dǎo)運算能夠獲?。?/p>

[?I?aj=2i=0mk=0nakxki-yixji=0， j=0，1，2，…，n] （20）

則有：

[k=0ni=0mxj+kiak=i=0mxjiyi， j=0，1，2，…，n] （21）

式（21）是關(guān)于[a0，a1，a2，…，an]的線性方程組，并且存在[ak（k=0，1，2，…，n）]，多項式為：

[pn（x）=k=0nakxk] （22）

其中，[pn（x）]滿足最小二乘約束，也就是待求解的多項式，則：

[r22=i=0mpn（xi）-yi2] （23）

式（23）稱為擬合的平方誤差。

2 實驗結(jié)果與分析

實驗對某體育學(xué)院藝術(shù)體操運動員的運動軌跡實施跟蹤監(jiān)測，將雙目攝像機架于某體育院校的藝術(shù)體操運動場地中，通過左右攝像機拍攝運動員的第1幀和350幀連續(xù)的運動圖像序列，如圖1所示。

采用本文跟蹤算法獲取實驗運動員的平面軌跡圖，如圖2所示。分析圖2可以看出，藝術(shù)體操運動員運行的平面軌跡同實際運動軌跡基本一致，說明本文方法跟蹤的藝術(shù)體操運動員平面軌跡具有較高的精確度。

實驗得到的藝術(shù)體操運動視頻幀率是18 f/s，則350幀圖像內(nèi)的運動員共運行14 s。為了提高運動員軌跡跟蹤精確度，將圖2中運動員的平均運動軌跡當(dāng)成運動員的部分運動軌跡，采用雙目視覺獲取部分藝術(shù)體操運動員運動軌跡后，分別采用本文算法和卡爾曼濾波算法實現(xiàn)運動員運動軌跡的跟蹤，結(jié)果如圖3所示。分析圖3能夠獲取實驗藝術(shù)體操運動員的實時運動狀態(tài)，能夠看出，本文算法跟蹤的運動員軌跡同實際運動軌跡更匹配，而卡爾曼濾波算法跟蹤的運動軌跡出現(xiàn)顯著的波動，同實際運動軌跡間存在較高的偏差，說明本文跟蹤算法具有較高的跟蹤精度和穩(wěn)定性。

為了客觀分析兩種跟蹤算法對實驗藝術(shù)體操運動員軌跡跟蹤的準(zhǔn)確度，兩種算法在300 m（200 s）內(nèi)對運動員運動狀態(tài)的預(yù)測誤差如圖4所示。其中圖4（a）和圖4（b）分別描述兩種算法對運動員軌跡的預(yù)測誤差以及運動速度的預(yù)測誤差。分析圖4可得，相對于卡爾曼濾波算法，本文算法軌跡預(yù)測誤差小，跟蹤精度高，在藝術(shù)體操運動員軌跡跟蹤中的性能較高，收斂效率較高。

為了更好地檢測兩種算法的藝術(shù)體操軌跡跟蹤精度，實驗通過蒙特卡洛迭代1 000次，預(yù)測兩種算法對實驗藝術(shù)體操運動員軌跡的預(yù)測誤差以及速度的預(yù)測誤差的均方根誤差（RMSE），結(jié)果如表1所示。

從表1中能夠看出，相對于卡爾曼濾波的軌跡跟蹤算法的軌跡跟蹤均方根誤差，本文算法的軌跡跟蹤均方根誤差更小，本文算法的藝術(shù)體操運動員軌跡跟蹤的準(zhǔn)確性更高，算法復(fù)雜度更低。

3 結(jié) 論

本文提出基于計算機視覺的藝術(shù)體操軌跡跟蹤方法，先通過ViBe運動目標(biāo)檢測算法獲取視頻中的運動目標(biāo)，再使用改進的KCF跟蹤方法跟蹤運動目標(biāo)，解決了跟蹤過程中存在的漂移問題，最后基于立體視覺原理得到目標(biāo)的三維空間位置，擬合軌跡點得到運動目標(biāo)軌跡。

參考文獻

[1] 熊建平.基于計算機視覺的墻地磚表面缺陷檢測[J].電子測量技術(shù)，2015，38（5）：53?55.

[2] 華貴山，梁棟，葛浩.基于改進光流算法的機器人目標(biāo)跟蹤系統(tǒng)[J].控制工程，2014，21（5）：634?637.

[3] 蔡壯，張國良，田琦.基于函數(shù)滑?？刂破鞯臋C械手軌跡跟蹤控制[J].計算機應(yīng)用，2014，34（1）：232?235.

[4] 李龍，白瑞林，吉峰，等.結(jié)構(gòu)光視覺引導(dǎo)的軌跡跟蹤系統(tǒng)的標(biāo)定技術(shù)[J].計算機工程與應(yīng)用，2014，50（16）：259?264.

[5] 于淼.基于行為視覺分析的運動角度規(guī)范性智能判斷[J].科技通報，2015，31（12）：199?201.

[6] 侯向丹，董永峰，坎啟嬌，等.基于運動軌跡的視頻目標(biāo)跟蹤算法[J].計算機工程與設(shè)計，2015（4）：995?998.

[7] 柯文德，彭志平，蔡則蘇，等.仿人機器人相似性運動軌跡跟蹤控制研究[J].自動化學(xué)報，2014，40（11）：2404?2413.

[8] 楊建華，劉衛(wèi)東.遙控潛水器軌跡跟蹤自適應(yīng)模糊滑?？刂品椒ㄑ芯縖J].計算機測量與控制，2014，22（8）：2447?2450.

[9] 于宏嘯，段建民.關(guān)于車道線圖像識別軌跡規(guī)劃跟蹤仿真[J].計算機仿真，2015，32（4）：144?148.