基于級聯(lián)特征的嵌入式籃球運(yùn)動視頻目標(biāo)跟蹤算法

黃 國 權(quán)

(蕪湖職業(yè)技術(shù)學(xué)院 體育教學(xué)部，安徽 蕪湖 241003)

嵌入式籃球運(yùn)動視頻是用于控制、監(jiān)視或輔助籃球運(yùn)動視頻播放的一種視頻類型[1]。當(dāng)前使用的嵌入式裝置體積較小，在跟蹤籃球運(yùn)動視頻過程中常常出現(xiàn)延遲的問題。因此，跟蹤算法在科學(xué)領(lǐng)域已經(jīng)成為一個(gè)熱點(diǎn)研究問題?；趬嚎s特征的魚眼視頻目標(biāo)跟蹤算法融合灰度特征與相對梯度特征以獲得高維特征，通過平均降維獲得壓縮特征，依據(jù)魚眼成像模型得到投影點(diǎn)運(yùn)動特性，確定運(yùn)動范圍[2]。該算法能夠有效處理目標(biāo)畸變，但成功跟蹤標(biāo)記目標(biāo)數(shù)量較少?；谀Ｐ腿诤虾吞卣麝P(guān)聯(lián)的視頻目標(biāo)跟蹤算法采用改進(jìn)對稱幀間差分法提取目標(biāo)輪廓，通過形態(tài)學(xué)腐蝕和膨脹確定運(yùn)動目標(biāo)質(zhì)心位置，根據(jù)修正卡爾曼濾波參數(shù)獲得運(yùn)動目標(biāo)的跟蹤軌跡[3]。該算法能夠有效提高跟蹤準(zhǔn)確率，但執(zhí)行時(shí)間較長。針對上述問題，提出了基于級聯(lián)特征的嵌入式籃球運(yùn)動視頻目標(biāo)跟蹤算法。通過提取籃球運(yùn)動視頻顏色級聯(lián)特征，檢測籃球運(yùn)動視頻目標(biāo)，構(gòu)建嵌入式籃球運(yùn)動視頻目標(biāo)跟蹤算法。實(shí)驗(yàn)結(jié)果表明，所提算法的跟蹤執(zhí)行時(shí)間較短且成功跟蹤標(biāo)記目標(biāo)的數(shù)量較多，跟蹤效果較好。

一、嵌入式籃球運(yùn)動視頻級聯(lián)特征提取

級聯(lián)特征是一種解決復(fù)雜環(huán)境中目標(biāo)優(yōu)化的特征，常用于目標(biāo)級聯(lián)分析方法中。目標(biāo)級聯(lián)法是解決非集中式層次協(xié)調(diào)問題的一種新方法，該方法允許層次結(jié)構(gòu)中的各元素自主決策，具有可并行優(yōu)化和強(qiáng)度較高的收斂性以及不受限制的優(yōu)點(diǎn)。為了實(shí)現(xiàn)嵌入式籃球運(yùn)動視頻目標(biāo)跟蹤，隨機(jī)選用嵌入式籃球運(yùn)動視頻作為級聯(lián)特征提取目標(biāo)[4]，設(shè)定Gabor濾波變換特征數(shù)量為64維，維度的頻率為四頻率，4個(gè)頻率構(gòu)成8個(gè)方向，設(shè)定方向值M為

(1)

在上述方向值下，分別提取該方向的特征值，設(shè)定方向值處理后的運(yùn)動視頻圖像為I(x,y)，運(yùn)動圖像的復(fù)數(shù)特征值可表示為

(2)

公式(2)中，λ表示正弦函數(shù)波長，σ表示高斯函數(shù)標(biāo)準(zhǔn)差，γ表示空間的高寬比，ψ表示相位移動。級聯(lián)特征提取時(shí)，將上述復(fù)數(shù)特征進(jìn)行級連，篩選復(fù)數(shù)特征的實(shí)部與虛部，篩選后的復(fù)數(shù)特征如下所示：

(3)

公式(3)中，i表示特征參數(shù)的方向，其余參數(shù)含義不變。采用籃球運(yùn)動視頻圖像復(fù)數(shù)特征的實(shí)部與虛部為級聯(lián)對象，將級聯(lián)對象表示為

(4)

公式(4)中，tx表示復(fù)數(shù)特征的級聯(lián)樣本集，n表示級聯(lián)特征維度。在上述計(jì)算公式搭建成的級聯(lián)集合中，構(gòu)建得到級聯(lián)過程(圖1)。

圖1 特征級聯(lián)過程

在圖1所示的級聯(lián)過程下，首先提取籃球運(yùn)動視頻顏色特征，利用RGB顏色空間法表示級聯(lián)過程中圖像中的顏色分量，計(jì)算公式可表示為

(5)

公式(5)中，SR，SG，SB分別表示不同顏色的濾波器，E(θ)表示射入過濾器的光線，θ表示光線的波長?；@球運(yùn)動視頻是一個(gè)運(yùn)動過程[5-6]，顏色分量在視頻播放過程中形成了顏色轉(zhuǎn)換，顏色轉(zhuǎn)換過程可表示為

(6)

公式(6)中，H，W，Y分別表示顏色轉(zhuǎn)換后的顏色空間，其余參數(shù)含義不變[7]。給定上述計(jì)算公式一個(gè)區(qū)間[0,1]，形成一個(gè)待檢測區(qū)域，整個(gè)嵌入式籃球運(yùn)動視頻就可劃分為3個(gè)扇形區(qū)域，該區(qū)域的面積可表示為

(7)

公式(7)中，A表示區(qū)域面積，r表示扇形半徑，其余參數(shù)含義不變。通過設(shè)定Gabor濾波變換特征數(shù)量及維度頻率控制誤差積累，篩選籃球運(yùn)動視頻圖像復(fù)數(shù)特征的實(shí)部與虛部為級聯(lián)對象，構(gòu)建級聯(lián)過程，提取籃球運(yùn)動視頻顏色特征，利用RGB顏色空間法表示級聯(lián)過程中圖像顏色分量，通過轉(zhuǎn)換顏色劃分嵌入式籃球運(yùn)動視頻扇形區(qū)域。將使用上述級聯(lián)特征構(gòu)成的扇形面積作為檢測區(qū)域，對嵌入式籃球運(yùn)動視頻目標(biāo)進(jìn)行檢測。

二、嵌入式籃球運(yùn)動視頻目標(biāo)檢測

在完成嵌入式籃球運(yùn)動視頻級聯(lián)特征提取后，上述級聯(lián)特征構(gòu)成的檢測區(qū)域?yàn)橹饕獧z測對象，定義扇形區(qū)域中任意像素點(diǎn)處的積分圖像值，計(jì)算公式可表示為

(8)

公式(8)中，x′,y′表示檢測區(qū)域的任意點(diǎn)的坐標(biāo)值。為了簡化積分圖像值的計(jì)算過程，將上述計(jì)算公式得到的像素點(diǎn)使用頂點(diǎn)積分圖相減，控制積分的計(jì)算量(圖2)。

圖2 像素點(diǎn)相減過程

由相減過程可知，籃球運(yùn)動視頻檢測區(qū)域經(jīng)過不斷剪切，最終形成一個(gè)目標(biāo)檢測區(qū)域D。為保證目標(biāo)檢測區(qū)域在籃球運(yùn)動視頻播放過程的檢測準(zhǔn)確[8]，采用加權(quán)疊加后的強(qiáng)分類器構(gòu)造視頻轉(zhuǎn)換判別規(guī)則，規(guī)則化公式可表示為

(9)

公式(9)中，ht表示分類器特征，αt表示轉(zhuǎn)換閾值，T為運(yùn)動視頻的幀頻。嵌入式籃球運(yùn)動視頻存在多種檢測因素，強(qiáng)分類器在實(shí)際使用時(shí)，過快的傳球速度會導(dǎo)致檢測速度產(chǎn)生遲滯[9-11]，無法滿足目標(biāo)跟蹤的要求。在嵌入式籃球運(yùn)動圖像子窗口可構(gòu)造一個(gè)強(qiáng)分類器級聯(lián)，識別檢測目標(biāo)(圖3)。

圖3 強(qiáng)分類器級聯(lián)結(jié)構(gòu)

在強(qiáng)分類器級聯(lián)結(jié)構(gòu)控制下，將籃球運(yùn)動視頻縮放為20*20的像素比例，進(jìn)入到強(qiáng)分類器級聯(lián)結(jié)構(gòu)中，分類器判定籃球運(yùn)動視頻區(qū)域，并拒絕部分圖像進(jìn)入到分類器中，被拒絕的圖像則被輸入到下一個(gè)分類器中，最終經(jīng)過逐層分類，完成對運(yùn)動視頻目標(biāo)的檢測。通過上述步驟，運(yùn)用加權(quán)疊加后強(qiáng)分類器建立視頻轉(zhuǎn)換判別規(guī)則，構(gòu)造強(qiáng)分類器級聯(lián)，檢測嵌入式籃球運(yùn)動視頻目標(biāo)。以上述檢測的嵌入式籃球運(yùn)動視頻目標(biāo)為基礎(chǔ)，構(gòu)建嵌入式籃球運(yùn)動視頻目標(biāo)跟蹤算法。

三、嵌入式籃球運(yùn)動視頻目標(biāo)跟蹤算法構(gòu)建

完成嵌入式籃球運(yùn)動視頻目標(biāo)檢測后，在構(gòu)建嵌入式籃球運(yùn)動視頻目標(biāo)跟蹤算法前，訓(xùn)練籃球運(yùn)動視頻目標(biāo)檢測的分類器[12]，形成檢測跟蹤過程，訓(xùn)練過程可表示為

(10)

公式(10)中，ε表示正則化參數(shù)，w表示分類器數(shù)量，f表示訓(xùn)練函數(shù)，xi，yi表示函數(shù)的自變量及因變量，i表示訓(xùn)練次數(shù)。為了防止分類器訓(xùn)練過程產(chǎn)生過度擬合，取上述計(jì)算公式(10)的最優(yōu)解，最優(yōu)解的計(jì)算公式可表示為

∑αiφ(xi)

(11)

公式(11)中，αi表示轉(zhuǎn)換求解的系數(shù)，φ(xi)表示訓(xùn)練樣本xi映射到高維度空間的核函數(shù)，在高維度特征空間中，兩個(gè)樣本間的相關(guān)性可計(jì)算為

(12)

α=(k+λδ)-1y

(13)

公式(13)中，K表示系數(shù)矩陣中的元素，δ表示單位矩陣，傅里葉變換上述計(jì)算公式(13)，得到：

(14)

公式(14)中，F(xiàn)表示離散傅里葉變換，kxx表示核矩陣的第一行向量，以經(jīng)過上述計(jì)算公式處理得到的最優(yōu)系數(shù)為目標(biāo)模板[13]，在進(jìn)行實(shí)際目標(biāo)跟蹤時(shí)，以目標(biāo)模板為新輸入圖像，采用高斯核計(jì)算輸入圖像與目標(biāo)模板的相似度，同時(shí)采用KCF對輸入圖像進(jìn)行循環(huán)位移處理，構(gòu)造籃球運(yùn)動視頻樣本集，定義循環(huán)位移的處理矩陣為Kz，可表示為

Kz=C(kxx)

(15)

公式(15)中，kxz表示Kz矩陣的第一行，C表示矩陣循環(huán)移動系數(shù)，候選圖像塊與跟蹤目標(biāo)間的相似度用f(z)表示為：

(16)

圖4 目標(biāo)跟蹤流程

由目標(biāo)跟蹤流程可知，根據(jù)嵌入式籃球運(yùn)動視頻的特殊性，以籃球運(yùn)動圖像單元中梯度方向幅度值的直方圖作為跟蹤目標(biāo)的輪廓和形狀信息，計(jì)算訓(xùn)練籃球運(yùn)動視頻目標(biāo)檢測分類器的最優(yōu)解，根據(jù)函數(shù)關(guān)系推導(dǎo)得到轉(zhuǎn)換系數(shù)數(shù)值，采用高斯核計(jì)算輸入圖像與目標(biāo)模板的相似度，構(gòu)造籃球運(yùn)動視頻樣本集，得到籃球運(yùn)動視頻的序列結(jié)果。綜合上述步驟和計(jì)算，實(shí)現(xiàn)嵌入式籃球運(yùn)動視頻目標(biāo)跟蹤。

四、仿真實(shí)驗(yàn)

為了驗(yàn)證基于級聯(lián)特征的嵌入式籃球運(yùn)動視頻目標(biāo)跟蹤算法的有效性，以算法1和算法2作為對比方法設(shè)計(jì)實(shí)驗(yàn)。在跟蹤執(zhí)行時(shí)間和成功跟蹤標(biāo)記目標(biāo)數(shù)量方面，驗(yàn)證該文所設(shè)計(jì)目標(biāo)跟蹤算法的時(shí)效性和跟蹤效果。

(一)實(shí)驗(yàn)準(zhǔn)備

為了驗(yàn)證設(shè)計(jì)目標(biāo)跟蹤算法的性能，采用配置為CPU-Intel Pentium(R)Dual-core 3.20 GHz，內(nèi)存為8 GB，Windows 7 64位系統(tǒng)的電腦，USB攝像頭分辨率為640*480像素。選取MATLAB 6.1的軟件環(huán)境，搭建實(shí)驗(yàn)所需的硬件框架(圖5)。

圖5 實(shí)驗(yàn)所需硬件設(shè)施

在圖5所示的硬件設(shè)施下，選取一段嵌入式籃球運(yùn)動視頻在目標(biāo)場景處播放，并整合為不同的數(shù)據(jù)集(表1)。

表1 籃球運(yùn)動視頻實(shí)驗(yàn)數(shù)據(jù)集

使用表1實(shí)驗(yàn)數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，分別對基于壓縮特征的魚眼視頻目標(biāo)跟蹤算法(以下簡稱算法1)、基于模型融合和特征關(guān)聯(lián)的視頻目標(biāo)跟蹤算法(以下簡稱算法2)與基于級聯(lián)特征的嵌入式籃球運(yùn)動視頻目標(biāo)跟蹤算法所提算法，進(jìn)行實(shí)驗(yàn)，對比3種算法的性能。

(二)實(shí)驗(yàn)結(jié)果及分析

基于上述實(shí)驗(yàn)準(zhǔn)備，以算法開始執(zhí)行為時(shí)間記錄點(diǎn)，以計(jì)算機(jī)出現(xiàn)跟蹤框?yàn)闀r(shí)間統(tǒng)計(jì)截止點(diǎn)，統(tǒng)計(jì)3種跟蹤算法執(zhí)行時(shí)間(圖6)。

圖6 不同算法跟蹤執(zhí)行時(shí)間

由實(shí)驗(yàn)結(jié)果可知，隨著數(shù)據(jù)集的增加，3種跟蹤算法的執(zhí)行時(shí)間隨之增加，當(dāng)數(shù)據(jù)集達(dá)到7個(gè)時(shí)，算法1的跟蹤執(zhí)行時(shí)間為8 s，算法2的跟蹤執(zhí)行時(shí)間為11 s，而所提算法的跟蹤執(zhí)行時(shí)間為4 s，由此可知，算法2的跟蹤執(zhí)行時(shí)間最長，算法1的跟蹤執(zhí)行時(shí)間次之，而所提算法的跟蹤執(zhí)行時(shí)間最短，具有較高的時(shí)效性。

保持上述實(shí)驗(yàn)環(huán)境不變，以實(shí)驗(yàn)數(shù)據(jù)集中的幀數(shù)作為實(shí)驗(yàn)對象，設(shè)置籃球運(yùn)動視頻在播放過程中，跟蹤目標(biāo)一直在跟蹤范圍內(nèi)，規(guī)定跟蹤目標(biāo)被遮擋后仍能鎖定跟蹤目標(biāo)為成功跟蹤過程，匯總統(tǒng)計(jì)3種跟蹤算法可跟蹤的標(biāo)記目標(biāo)數(shù)量，成功跟蹤的標(biāo)記目標(biāo)數(shù)量如表2所示。

表2 不同算法成功跟蹤標(biāo)記目標(biāo)數(shù)量

由實(shí)驗(yàn)結(jié)果可知，3種跟蹤算法針對實(shí)驗(yàn)準(zhǔn)備的籃球運(yùn)動視頻數(shù)據(jù)集表現(xiàn)出了不同的跟蹤效果，以實(shí)驗(yàn)準(zhǔn)備階段的標(biāo)記目標(biāo)為實(shí)驗(yàn)對象，算法1的平均成功跟蹤標(biāo)記目標(biāo)數(shù)量為15個(gè)，跟蹤成功的目標(biāo)數(shù)量最小。算法2的平均成功跟蹤標(biāo)記目標(biāo)數(shù)量為24個(gè)，比算法1的成功跟蹤標(biāo)記目標(biāo)數(shù)量更多，而所提算法與標(biāo)記目標(biāo)數(shù)量相差最小，能夠準(zhǔn)確跟蹤籃球運(yùn)動視頻的標(biāo)記目標(biāo)，跟蹤效果最佳。綜上所述，該文研究的跟蹤算法執(zhí)行時(shí)間最短，成功跟蹤的目標(biāo)數(shù)量較多，更適合在嵌入式籃球運(yùn)動視頻目標(biāo)跟蹤中使用。

運(yùn)動視頻跟蹤一直是人工智能與機(jī)器視覺領(lǐng)域的重點(diǎn)研究方向。研究基于級聯(lián)特征的嵌入式籃球運(yùn)動視頻目標(biāo)跟蹤算法能夠改善當(dāng)前目標(biāo)跟蹤算法執(zhí)行時(shí)間過長及成功跟蹤標(biāo)記目標(biāo)數(shù)量較少的問題，為研究視頻目標(biāo)跟蹤算法提供理論研究方向，可滿足籃球運(yùn)動視頻在實(shí)際運(yùn)用時(shí)的實(shí)時(shí)性需求。