基于深度學(xué)習(xí)算法的籃球運動技術(shù)特征目標(biāo)檢測與精細(xì)定位

羅 丹

(龍巖學(xué)院 體育與健康學(xué)院，福建 龍巖 364012)

現(xiàn)代籃球運動已經(jīng)不僅僅是運動員之間的競賽，它已經(jīng)逐漸成為各個國家技術(shù)發(fā)展的綜合競爭.籃球賽事中各項記錄的突破，不僅是人類突破生理極限的體現(xiàn)，也是體育技術(shù)創(chuàng)新的體現(xiàn)[1-2].因此，與體育科學(xué)交叉的學(xué)科越來越受到籃球運動員、裁判員、教練員的重視，主要包括生物力學(xué)、心理生理學(xué)、運動醫(yī)學(xué)和計算機科學(xué)等.其中在計算機科學(xué)方面，為了提高籃球運動訓(xùn)練中的科學(xué)技術(shù)分析能力，需要自動獲取籃球運動員訓(xùn)練過程中的各種技術(shù)參數(shù)[3-4].

傳統(tǒng)技術(shù)參數(shù)的獲取方法是在籃球運動員身上添加傳感器，但該方法的缺點是可能會影響籃球運動員的比賽成績[5].而籃球賽事的錄播影像通常有一個統(tǒng)一的拍攝模式，其保真度和實時交互性為獲取運動員的技術(shù)參數(shù)提供了強有力的支持，這樣既能使籃球運動員和教練員達(dá)到直觀教學(xué)和快速反饋的目的，又能大大降低運動員受傷的可能性[6].因此，各種體育動作識別跟蹤技術(shù)已經(jīng)被用來提取這些影像中的技術(shù)動作，以此實現(xiàn)人機交互，為進(jìn)一步提升運動員的技能并保護(hù)其免受運動傷害帶來了巨大的成效[7-8].

JI等[7]開發(fā)了一種用于人類行為識別的3D卷積神經(jīng)網(wǎng)絡(luò)(Convolutional neural network, CNN)架構(gòu)，在查看動作影像時，計算機實時捕捉人體運動軌跡和運動趨勢，以確定人體部位的位置和形態(tài)，然后通過計算機分析動作的技術(shù)特征，并將分析結(jié)果報告給教練或運動員.李睿敏[5]提出了一種基于深度殘差網(wǎng)絡(luò)和實例搜索的漸進(jìn)式動作檢測算法，重點實現(xiàn)了運動員動作的高精度精細(xì)定位.Ellis等[8]采用前一圖像中包含的所有關(guān)節(jié)之間的距離信息，和當(dāng)前圖像中每個關(guān)節(jié)點與參考動作對應(yīng)關(guān)節(jié)點的距離信息，來描述運動員的偏移特征、姿態(tài)特征和運動特征的信息.梅齊昌等[9]通過深度學(xué)習(xí)算法模型研究了遠(yuǎn)動員在長距離跑步時，后下肢關(guān)節(jié)的負(fù)荷與跑步的腳步姿態(tài)的變化，并分析了運動員膝關(guān)節(jié)接觸力的分布情況，提出了針對降低膝關(guān)節(jié)損傷的科學(xué)跑步訓(xùn)練方法.由此可以看出，隨著機器學(xué)習(xí)技術(shù)的快速發(fā)展，人們對自動識別和監(jiān)控各種運動影像對象的需求不斷增加，以此實現(xiàn)運動數(shù)據(jù)的統(tǒng)計，為運動員后期技能的提升帶來更加科學(xué)的訓(xùn)練方法.

然而，由于運動影像的高度復(fù)雜性和非線性特性，在復(fù)雜場景或景深變化較大的情況下，會降低關(guān)鍵幀提取的準(zhǔn)確性，容易造成人體運動識別錯誤，導(dǎo)致目前還沒有一種公認(rèn)的通用圖像算法，來實現(xiàn)對籃球動作在時間上的目標(biāo)檢測與精細(xì)定位.因此，本文針對籃球運動中動作評估自動化的需求，開發(fā)了一套視覺動作追蹤識別與目標(biāo)檢測模型，應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)籃球影響的逐幀分類，采用邊界定位算法準(zhǔn)確提取與視頻相關(guān)的籃球動作，用于同步記錄籃球運動員在賽場上的動作數(shù)據(jù)，以此來搭建籃球打法精細(xì)評估數(shù)據(jù)庫，設(shè)計得分評估算法，實現(xiàn)了精細(xì)動作的自動評估，為籃球運動員的技術(shù)提升提供新的技術(shù)服務(wù)平臺.

1 研究方法

國際籃球大賽或者高水平籃球?qū)官怤BA等通常有一個相對統(tǒng)一的拍攝模式系統(tǒng)，很容易提供一些籃球賽事的圖像語義.根據(jù)文獻(xiàn)[10]中提供的異構(gòu)多處理器分析方法，本文基于CNN異構(gòu)多處理器籃球運動圖像檢測的分析流程，如圖1所示，采用籃球運動中最重要的3個動作：籃板站位、投籃、傳球來進(jìn)行目標(biāo)檢測與精細(xì)定位評估.首先應(yīng)用卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)籃球影響的逐幀分類，保持已有的卷積神經(jīng)網(wǎng)絡(luò)模型的全連接層之前的層的結(jié)構(gòu)和參數(shù)不變，將最后一個全連接層的節(jié)點數(shù)設(shè)置為圖像類別數(shù)，使用遷移學(xué)習(xí)在 Imgae Net上預(yù)訓(xùn)練全連接層的參數(shù)，實現(xiàn)端到端的逐幀圖像分類，其網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示.其中CNN的輸入是影像幀，輸出是4維向量

O=[o1,o2,o3,o4].

這3類動作的評估任務(wù)與目前大多數(shù)動作的評估算法區(qū)別較大，更多的是手臂的精細(xì)動作，尤其是手與籃球的交互動作，技巧性較強.因此，現(xiàn)有的動作評估方法用于評估此類精細(xì)動作較為困難.為了充分利用人體在運動過程中的活動動態(tài)，需要進(jìn)行圖像的邊緣降噪預(yù)處理，此時原始圖像通過自適應(yīng)時域濾波器被激活，時域濾波是從原始圖像中減去模糊圖像，利用銳利邊緣公式對圖像進(jìn)行處理，得到銳利的圖像.

F(x,y)=2f(x,y)-f′(x,y)，

(1)

其中:f(x,y)為原始圖像;f′(x,y)為模糊圖像.

圖1 CNN精細(xì)動作評估流程

圖2 用于圖像分類的CNN結(jié)構(gòu)示意圖

盡管時域濾波提高了圖像序列分類的準(zhǔn)確率，但少量分類錯誤的影像幀仍然存在，這會導(dǎo)致找到錯誤的邊界，因此為了準(zhǔn)確提取與視頻相關(guān)的籃球動作識別的高級特征，采用如圖3所示的邊界定位算法對模型進(jìn)行了改進(jìn)，以適應(yīng)視頻數(shù)據(jù)，獲得更高的精度.

圖3 邊界定位算法

影像數(shù)據(jù)庫中共有20位國際頂級籃球運動員的比賽影像，每位運動員的籃球動作數(shù)據(jù)大約包含18 000張圖像，每個幀的大小調(diào)整為64×48，然后幀被輸入到設(shè)計的架構(gòu)中進(jìn)行特征提取.為了訓(xùn)練網(wǎng)絡(luò)的參數(shù)，本文利用隨機梯度下降算法，將初始學(xué)習(xí)率設(shè)為0.1，經(jīng)過10 000次迭代，學(xué)習(xí)率變?yōu)?.001，設(shè)置動量為0.9，重量衰減為0.000 2.本文訓(xùn)練模型，直到訓(xùn)練損失覆蓋.選用Res Net-50作為CNN模型的逐幀圖像分類模型，所有實驗均在具有NVIDIA Quadro K5300圖像處理器的Intel?Xeon(R)，32GB RAM計算機上建立.

2 結(jié)果與討論

本文目標(biāo)檢測系統(tǒng)對籃球運動員運動識別結(jié)果和預(yù)測結(jié)果見表1.預(yù)測的準(zhǔn)確性是指預(yù)測一個運動員的移動動作與真實值(Ground truth)相同的比率.從表1可以看出，本文方法對投籃動作的識別和預(yù)測精度達(dá)到85%以上.但是對籃板和傳球識別預(yù)測的準(zhǔn)確率較低.測試集上的識別精度和預(yù)測精度略低于有效集，說明通過更顯著的訓(xùn)練實例可以進(jìn)一步提高本文目標(biāo)檢測系統(tǒng)模型的性能.

針對特定的籃球運動，基于人體關(guān)鍵點重構(gòu)目標(biāo)檢測系統(tǒng)中相應(yīng)的動作——籃板、投籃、傳球.本文提出的方法可以在一定程度上幫助籃球運動員更好地適應(yīng)各種訓(xùn)練方法、戰(zhàn)術(shù)訓(xùn)練，快速提高運動員的成績.分別對籃板、投籃、傳球和精細(xì)運動評估中的目標(biāo)檢測系統(tǒng)自動評分(本文提出的算法)和傳統(tǒng)人工評分進(jìn)行線性回歸分析，以研究其相關(guān)性，如圖4所示.圖4中每個點代表一次測試的結(jié)果，橫坐標(biāo)表示自動評估算法得到的評估分?jǐn)?shù)，縱坐標(biāo)表示傳統(tǒng)訓(xùn)練方法評估的真實值，從圖4可以看出，自動評估算法和傳統(tǒng)的訓(xùn)練方法評分成線性關(guān)系.與傳統(tǒng)的訓(xùn)練方法相比，本文目標(biāo)檢測系統(tǒng)得到的精細(xì)動作(圖4d)具有一定的優(yōu)勢，能夠帶來更好的教學(xué)效果.這種講解與演示的結(jié)合，可以極大地刺激運動員的感官，使其有更深的記憶，對技術(shù)有更深的理解.

表1 籃球運動員運動的識別結(jié)果與預(yù)測結(jié)果比較

(a)籃板；(b)投籃；(c)傳球；(d)精細(xì)動作 圖4 目標(biāo)檢測系統(tǒng)自動評分和傳統(tǒng)人工評分的相關(guān)性分析

此外，傳統(tǒng)的模型一般無法恢復(fù)籃球運動的一些手臂姿勢特征，如嚴(yán)重遮擋、高移動速度、突然的方向變化、球員之間大量的身體對抗，這些特征對個體球員和團(tuán)隊的檢測效率的準(zhǔn)確性提出了挑戰(zhàn).因此，本文提出的目標(biāo)檢測與精細(xì)定位方法在對球員進(jìn)行檢測后，對被檢測球員所在區(qū)域進(jìn)行裁剪，并通過對手臂姿勢特征的統(tǒng)計劃分出五個運動通道來表征手臂姿勢分布的特征，以識別籃球打法的隸屬關(guān)系，以此獲得更為精細(xì)的檢測與精細(xì)定位方法.由于獲得了統(tǒng)一手臂姿勢的先驗條件，本方法無需在數(shù)據(jù)集構(gòu)建時進(jìn)行額外標(biāo)注，即可對籃球打法隸屬關(guān)系進(jìn)行分類，可以更精確的識別出籃球遠(yuǎn)動員的技術(shù)技巧.與積分通道特征(Integral channel features，ICF)[11]、快速遞歸卷積神經(jīng)網(wǎng)絡(luò)(Faster Recurrent Convolution Neural Network，RCNN)[12]、單激發(fā)多盒探測器(Single Shot Multibox Detector，SSD 512)[13]模型中檢測的準(zhǔn)確率進(jìn)行了比較，其結(jié)果如圖5所示.可以看到，本文方法在所有算法中精確率最高，達(dá)到了95.6%，這表明本文設(shè)計的目標(biāo)檢測系統(tǒng)是有效的.

圖5 本文方法與其他方法比較

3 結(jié)論

本研究采用深度卷積神經(jīng)網(wǎng)絡(luò)方法進(jìn)行目標(biāo)識別，提取運動員動作姿勢行為數(shù)據(jù)，對3種籃球運動中的籃板、投籃、傳球復(fù)雜技術(shù)動作行為進(jìn)行了跟蹤研究.結(jié)合CNN圖像提取和動作識別算法的特點，通過與3種經(jīng)典分類算法的比較，表明該識別方法是可行的.且研究發(fā)現(xiàn)，深度卷積神經(jīng)網(wǎng)絡(luò)的高難度動作識別可以提高目標(biāo)識別的準(zhǔn)確率，可以達(dá)到95.6%，并能充分發(fā)揮其作用.這些特點促進(jìn)了高難度技術(shù)動作的訓(xùn)練應(yīng)用，避免了運動損傷，為更好地提升籃球運動員的動作技巧提供理論支持.