基于質(zhì)心的籃球運(yùn)動(dòng)員跟蹤與檢測

邵靜雯，孟朝暉

（河海大學(xué) 江蘇 南京 211100）

基于質(zhì)心的籃球運(yùn)動(dòng)員跟蹤與檢測

邵靜雯，孟朝暉

（河海大學(xué) 江蘇 南京 211100）

在現(xiàn)代職業(yè)籃球比賽中，視頻注釋、裁判規(guī)則驗(yàn)證和自動(dòng)跟蹤統(tǒng)計(jì)是熱門話題。本文在攝像頭靜止的基礎(chǔ)上，提出了一種基于質(zhì)心的籃球運(yùn)動(dòng)員跟蹤與檢測。這篇文章分為3個(gè)部分:首先利用最大后驗(yàn)概率（MAP）檢測器來分割場地和檢測球員；然后利用球員的質(zhì)心來進(jìn)行跟蹤；最后用單應(yīng)性變換將球員的位置自上而下地映射到球場中。該算法用MATLAB搭建實(shí)驗(yàn)平臺(tái)，采用C語言進(jìn)行編程。在一個(gè)125幀的視頻樣本中，在不出現(xiàn)場上球員重疊的情況下，該算法能夠準(zhǔn)確的檢測和跟蹤每個(gè)球員。

球員跟蹤與檢測；MAP檢測器；質(zhì)心；單應(yīng)性矩陣；MATLAB

在體育視頻中檢測和跟蹤運(yùn)動(dòng)員具有非常重要的意義，它有助于實(shí)現(xiàn)體育視頻的自動(dòng)分析，從而為體育訓(xùn)練提供先進(jìn)的工具和手段。運(yùn)動(dòng)員的運(yùn)動(dòng)是不規(guī)則的，他們?cè)谶\(yùn)動(dòng)過程中姿態(tài)會(huì)發(fā)生各種變化，運(yùn)動(dòng)員與場景的顏色可能會(huì)比較相似。運(yùn)動(dòng)員之間還經(jīng)常存在相互遮擋，體育視頻的特殊性給運(yùn)動(dòng)員的檢測與跟蹤過程帶來了許多挑戰(zhàn)。在當(dāng)代體育世界中，籃球運(yùn)動(dòng)占了很重要的比重?；@球運(yùn)動(dòng)員的自動(dòng)跟蹤與檢測，對(duì)職業(yè)和高校體育有很大好處。通過自動(dòng)統(tǒng)計(jì)數(shù)據(jù)，可以了解對(duì)方球員的組成、策略等團(tuán)隊(duì)信息。實(shí)時(shí)圖像分析也可以加強(qiáng)對(duì)裁判判斷的驗(yàn)證，減少對(duì)比賽的人為誤判。為了有效實(shí)現(xiàn)體育視頻中運(yùn)動(dòng)員的檢測和跟蹤功能，并驗(yàn)證算法的正確性。本文提出一種基于質(zhì)心的跟蹤算法來實(shí)現(xiàn)該功能。

1　算法介紹

1.1場地分割

本文利用最大后驗(yàn)概率（MAP）檢測器來進(jìn)行場地分割。

假設(shè)給定兩幀fk（當(dāng)前幀）和fk-1（搜索幀），根據(jù)我們定義的運(yùn)動(dòng)場（V），顏色場（G），以及它們與最后的分割標(biāo)記場（L）之間的關(guān)聯(lián)性，在一定的運(yùn)動(dòng)矢量場和顏色均值場的條件下求取計(jì)算分割標(biāo)記場的最大后驗(yàn)概率密度。利用貝葉斯公式，其后驗(yàn)概率密度函數(shù)可表示為

上式中，分母p（V，G/fk-1）相對(duì)于其他標(biāo)記場來說是不變的常數(shù)，因此其最大后驗(yàn)概率的標(biāo)記場可表示為

上式右邊第1個(gè)p為條件概率密度函數(shù)提供了在第k-1幀情況下，當(dāng)前位移和分割估計(jì)與第k幀相一致的程度。

在描述圖像條件概率密度函數(shù)中，馬爾可夫隨機(jī)場（MarkovRandomField，MRF）模型提供了一種有力的工具。在MRF中，隨機(jī)場中某個(gè)點(diǎn)的局部條件概率密度僅僅依賴于該點(diǎn)領(lǐng)域內(nèi)的隨機(jī)場分布，而且MRF可以將局部相關(guān)性加以傳播，MRF模型還可有效地描述圖像的許多屬性。但是MRF一般都是通過條件分布或聯(lián)合分布來表達(dá)的，這帶來了計(jì)算上的不便。根據(jù)Gibbs分布與MFR之間等價(jià)性的理論，可以用Gibbs分布來描述MRF。因此上式中的條件概率可以用Gbibs分布模型可表示成

其中Q1是分割函數(shù)（常量），且

稱為Gibbs勢能。式（2）中第2個(gè)p是在給定運(yùn)動(dòng)分割和搜索幀的條件下，運(yùn)動(dòng)場的條件概率密度函數(shù)，忽略其對(duì)搜索幀的依賴性，用Gibbs分布作為模型，可表示為

其中Q2是常量，U2（·）由下式給出：

式中Nm，n是像素點(diǎn)（m，n）的鄰域。δ（·）是沖激函數(shù)。

式（2）中第3個(gè)p是分割場的先驗(yàn)概率模型，忽略其對(duì)當(dāng)前幀和搜索幀的依賴性，為了鼓勵(lì)形成連續(xù)的區(qū)域，用Gibbs分布模型可表示為

Q3是常量，U3由下式給出：

γ是能量控制項(xiàng)。上式中二階鄰域勢能能量為

基于以上分析，其后驗(yàn)概率密度函數(shù)可重新表示為

本文首先在視頻前十幀使用訓(xùn)練掩碼訓(xùn)練MAP檢測器，通過在這些幀中分割已知場地像素，我們利用MAP檢測器來確定場地像素的平均RGB值。經(jīng)過測定RGB的平均值后，MAP檢測器對(duì)每個(gè)像素的二值閾值的平均值在10%以內(nèi)，產(chǎn)生一個(gè)嘈雜但是輪廓清晰的場地。如圖1為原始樣本視頻的第一幀。我們通過形態(tài)學(xué)運(yùn)算來填充黑洞和光滑邊緣，產(chǎn)生一個(gè)清晰的二值掩碼圖（如圖2）。這里存在兩個(gè)干擾：第一個(gè)是有球員多次出現(xiàn)在球場邊緣，因此他的身體在球場邊界外，正如右上方的紅隊(duì)球員（如圖1）。為了保留這些在球場邊緣的球員，要擴(kuò)大整個(gè)場地的二值圖的范圍。第二個(gè)是每個(gè)籃筐上的記分板，由于計(jì)分的顏色和球員球衣的顏色類似，這會(huì)導(dǎo)致錯(cuò)誤的檢測。但是，由于記分牌在每個(gè)視頻幀處于靜態(tài)位置，可以利用二值掩碼［3］過濾掉。

1.2球員檢測

這一步是檢測每一個(gè)球員個(gè)體以及區(qū)分他是哪支球隊(duì)的。類似于場地分割，通過使用二值掩碼，訓(xùn)練MAP檢測器來確定每個(gè)球隊(duì)球衣的平均YCbCr值。

圖1　原始樣本視頻的第一幀F(xiàn)ig．1　The original first frame of the sample video

圖2　第一幀中球場的二值掩碼圖Fig．2　The final binary court mask of the first frame

訓(xùn)練MAP檢測器之后，球員檢測的每一幀都要用到圖像處理。首先，圖像乘以一個(gè)二值掩碼來消除干擾噪（如圖3），然后在每個(gè)球隊(duì)的預(yù)期YCbCr值的基礎(chǔ)上確定圖像的二值閾值（如圖4）。接著，形態(tài)學(xué)相似運(yùn)算通過使用一個(gè)25*20的矩形結(jié)構(gòu)化元素來增加最大檢查的規(guī)模（圖4）。使用25*20的矩形結(jié)構(gòu)化元素是考慮到它與運(yùn)動(dòng)員的相似之處，因?yàn)榍騿T相較于體寬，身高總是更長。最后，10個(gè)最大的相連白點(diǎn)被用來檢測其中一隊(duì)球員們?cè)谇蜿?duì)中的位置。用10個(gè)最大的點(diǎn)代替5個(gè)是因?yàn)樽畲蟮狞c(diǎn)不一定總是正確的球員。通過檢測更多的對(duì)象，才能在跟蹤函數(shù)上實(shí)現(xiàn)過濾（圖5）。

圖3　增加了球場二值掩碼的一幀視頻Fig．3　A video frame multipliedby the binary court mask

圖4　用紅隊(duì)訓(xùn)練過的YCbCr值來界定閾值之后的球場二值掩碼圖Fig．4　The binary court masked video frame after beingthresholded based on Ohio St．'s trained YCbCrvalues

圖5　經(jīng)過形態(tài)學(xué)閉運(yùn)算之后的二值閾值圖Fig．5　The binary thresholded image after a morphologicalclose operation

圖6　標(biāo)記后的圖Fig．6　A video frame marked

1.3球員跟蹤

在其中一個(gè)球隊(duì)中可能的球員檢測出來之后，系統(tǒng)建立新的跟蹤，并且自動(dòng)關(guān)聯(lián)到另外一個(gè)球隊(duì)的軌跡上。在第一幀中，最大的5個(gè)相連區(qū)域是球員的正確位置。球員的像素坐標(biāo)（X，Y）就是這些相連區(qū)域的幾何中心位置，在Y方向額外增加30個(gè)像素，這個(gè)偏移使得重心下降，這樣能使像素點(diǎn)位置接近球員的腳，而不是他們的腰。

第一幀中的五個(gè)球員檢測出來之后，系統(tǒng)通過后續(xù)幀循環(huán)進(jìn)行軌跡關(guān)聯(lián)。對(duì)于檢測到的10個(gè)可能球員，它檢測了10個(gè)可能的（X，Y）位置，與文獻(xiàn)［1］，［2］，［5］中提到的球員跟蹤類似，它與10個(gè)已經(jīng)建立的軌跡比較坐標(biāo)位置（X，Y）。如果（X，Y）間的歐氏距離是在50個(gè)像素內(nèi)，且檢測到是同一球隊(duì)的，那么跟蹤函數(shù)與軌跡相關(guān)，將跟新當(dāng)前的像素位置。如果在已經(jīng)建立的跟蹤軌跡的50像素內(nèi)沒有檢測到球員，那么重復(fù)之前（X，Y）位置的軌跡構(gòu)建。

1.4視頻幀的單應(yīng)性變換

最后一步是將每幀中球員的位置映射到球場自上而下視圖的實(shí)際位置。一個(gè)關(guān)鍵的假設(shè)是，視頻有一個(gè)靜態(tài)攝像機(jī)角度，不需要單應(yīng)性矩陣的動(dòng)態(tài)計(jì)算。通過這樣的假設(shè)，要使用仿射變換，需要預(yù)先計(jì)算一個(gè)3*3的單應(yīng)矩陣。每個(gè)球員的（X，Y）像素的位置乘以單應(yīng)矩陣，就對(duì)應(yīng)到他們?cè)谧陨隙乱晥D球場中的真正位置（圖7）。

圖7　經(jīng)過仿射變換后紅隊(duì)和藍(lán)隊(duì)球員的位置Fig．7　The detected player positions for red and blue after projection using an affine transformation

2　實(shí)驗(yàn)結(jié)果

如圖6顯示，基于質(zhì)心的球員檢測是相當(dāng)清晰明了和可靠的。在一個(gè)125幀的視頻樣本中，球員檢測捕獲了兩支球隊(duì)中95．6%的球員。如圖8所示，黃色路徑跟丟了一個(gè)球員，是由于同一個(gè)球隊(duì)中的球員有交叉路徑，降低了系統(tǒng)的整體精度。

水平質(zhì)心方差近似達(dá)到了30像素，垂直質(zhì)心方差達(dá)到了15像素。投影到2D的場地中，大約有1米的未經(jīng)過濾的跟蹤誤差（圖8和圖9）。

圖8　視頻樣例中紅隊(duì)球員的運(yùn)動(dòng)軌跡（①和②代表球員開始和結(jié)束的位置）Fig．8　Player in the red detections and tracking for a frame of the samplevideo（Large①and②dots represent the players starting and endingpositions，respectively）

圖9　視頻樣例中藍(lán)隊(duì)球員的運(yùn)動(dòng)軌跡（①和②代表球員開始和結(jié)束的位置）Fig．9　Player in the blue detections and tracking for a frame of the samplevideo（Large①and②dots represent the players starting and endingpositions，respectively）

3　結(jié)　論

對(duì)于固定攝像機(jī)跟蹤，球員的位置跟蹤精度控制在一米，這個(gè)值的偏差達(dá)到了項(xiàng)目的既定目標(biāo)。細(xì)化和過濾球員檢測和跟蹤，精度可以作為有效的標(biāo)準(zhǔn)。說明基于質(zhì)心的球員跟蹤有很大的應(yīng)用前景。該方法不考慮改變相機(jī)的角度，因此它不支持移動(dòng)攝像的觀點(diǎn)。目前的算法下，當(dāng)兩個(gè)球員完全重疊，將跟丟一個(gè)球員，或者使得兩個(gè)球員的跟蹤被交換。目前缺少的關(guān)鍵功能是自動(dòng)球場單應(yīng)性測定。有幾種方法可以實(shí)現(xiàn)，包括SIFT關(guān)鍵點(diǎn)的球場以及球場掩碼邊緣及角點(diǎn)檢測的匹配。這兩種方法都有自身的復(fù)雜性以及與之相關(guān)的問題。

球員的位置過濾可以大大提高系統(tǒng)的保真度。球員的貝葉斯過濾將大大減少基于質(zhì)心檢測的抖動(dòng)。在同一隊(duì)中，在屏幕或攝像機(jī)角度切換的時(shí)候，為了消除球員交叉軌跡歧義，確定替換和恢復(fù)球員的時(shí)候，必須區(qū)分使用SIFT檢測或其他類似的識(shí)別技術(shù)。

［1］WL L，JA T，JJ L，et al．Learning to track and identify players from broadcast sports videos［J］．IEEE Transactions on Pattern Analysis and Machine Intelligence，2013，35（7）: 1704-1716．

［2］Ekin，A．；Tekalp，A．M．；Robust dominant color region detectionand color-based applications for sports video［C］//Image Processing，International Conference，2003．

［3］Hu M，Chang M，Ja-Ling Wu，et al．Robust camera calibration and player tracking in broadcast basketball video［J］．Multimedia，IEEE Transactions on，2011，13（2）:266-279．

［4］J X，H A，L L，et al．Multiple player tracking in sports video: a dual-mode two-way bayesian inference approach with progressive observation modeling［J］．IEEE Trans Image Process，2011，20（6）:1652-1667．

［5］Nebehay G，Pflugfelder R．Consensus-based matching and tracking of keypoints for object tracking［C］//Applications of Computer Vision（WACV），IEEE Conference，2014．

［6］Nebehay G，Pflugfelder R．TLM:Tracking-learning-matching of keypoints［C］//Distributed Smart Cameras（ICDSC），Seventh International Conference，2013

［7］Kuan C，Huang M，Chen D．Capturing and Tracking Performance of patent portfolio using complement area centroid［J］．NgnrngManagmnRanaon on，2013，60（3）:496-505．

［8］林輝．基于MATLAB/Simulink的感應(yīng)電機(jī)控制系統(tǒng)仿真［J］．工業(yè)儀表與自動(dòng)化裝置，2015（1）:89-93．

［9］高靜，楊楠，賀元康．基于Matlab/Simulink的直流輸電系統(tǒng)異常引起的發(fā)電機(jī)組失步保護(hù)動(dòng)作仿真分析［J］．陜西電力，2014（2）：70-73．

［10］康海龍，姜秀杰．基于MATLAB的探空火箭測控系統(tǒng)仿真［J］．電子設(shè)計(jì)工程，2014（10）:1-3．

Basketball player tracking and detecting based on centroids

SHAO Jing-wen，MENG Zhao-hui
（HoHai University，Nanjing 211100，China）

In themodern game of professional and collegiate basketball，automated stat tracking，referee rule verification，and video annotation are popular topics．This paperpresents techniques for players’tracking and detecting based on players’centroid when the camera is still．This article is divided into three parts:First，using themaximum posteriorprobability（MAP）detector to cut the field and detect players；Then extracting the player's centroid for tracking；Finally，usinghomography to project each player’sframe position to their actual position on a top-down view ofthe court．Thisalgrithmbuild the experimental platformon MATLAB by C language．In a video sample of 125 frames，until morecomplex situations arose，such as players overlapping on thecourt．In ideal situations，these techniques provided reliabledetection and tracking．

player tracking and detection；the MAP detector；the centroid；homography；MATLAB

TN99

A

1674－6236（2016）02-0176-04

2015-03-26稿件編號(hào)：201503368

邵靜雯（1991—），女，江蘇蘇州人，碩士研究生。研究方向：計(jì)算機(jī)視覺，圖像處理。