基于視頻的排球智能分析系統(tǒng)的研究與實現(xiàn)

劉苗苗，李增男，張永生

（東北石油大學(xué)，黑龍江 大慶 163318）

隨著計算機視覺技術(shù)和圖像處理技術(shù)的飛速發(fā)展，基于視頻的運動目標檢測及跟蹤技術(shù)在排球等體育項目中應(yīng)用越來越廣泛.針對排球比賽技術(shù)分析和指導(dǎo)的應(yīng)用需求，本文以排球的檢測跟蹤及運動軌跡為研究對象，將計算機視覺技術(shù)、圖像處理技術(shù)相結(jié)合，提出基于視頻的排球檢測、跟蹤、軌跡獲取整體解決方案，采用Intel OpenCV及matlab開發(fā)一套排球智能分析系統(tǒng).系統(tǒng)采用雙攝像機同步讀取兩個攝像頭實時捕獲的視頻，獲取不同方位的排球運動圖像信息.通過標定兩臺攝像機的內(nèi)外參數(shù)獲得排球的三維坐標.從系統(tǒng)實時性和魯棒性要求出發(fā)，使用背景差分法實現(xiàn)對排球的快速檢測.同時結(jié)合排球的形狀、顏色、亮度等特性實現(xiàn)對排球的識別與空間定位.利用排球的運動特性，建立并修正其運動軌跡方程.通過兩個攝像頭同步獲得的軌跡曲線實現(xiàn)排球三維運動軌跡的曲線合成.該曲線不僅可以記錄每一時刻球體的位置信息，而且包含球體的運動方向、運動速度、輪廓參數(shù)等信息.最后，分析球體軌跡曲線特征，并將軌跡模型包含的信息作為智能分析系統(tǒng)的輸入，用于戰(zhàn)略戰(zhàn)術(shù)分析、隊員動作分析等，為排球運動研究提供準確依據(jù)和決策支持，進而提高了比賽研究人員的工作效率.

1 關(guān)鍵技術(shù)分析實現(xiàn)

基于視頻的排球智能分析系統(tǒng)的設(shè)計與實現(xiàn)主要涉及視頻幀處理、運動目標檢測識別、運動軌跡提取等幾方面技術(shù).整個系統(tǒng)的工作流程如下：

(1)進行攝像機標定和場地標定，獲得攝像機內(nèi)外參數(shù)以及場地邊界數(shù)據(jù)，同時將圖像的像素坐標映射成實際場地坐標.

(2)接收由攝像機和圖像采集卡等視頻設(shè)備獲取的數(shù)字信號，并將采集到的每幀數(shù)據(jù)保存為靜態(tài)圖像.

(3)比賽開始后啟動系統(tǒng)，利用運動目標檢測算法檢測是否有運動目標.

(4)通過特定的運動目標跟蹤識別算法從圖像中分割并提取出運動目標.

(5)根據(jù)雙目攝像機所獲取的目標質(zhì)心坐標得到排球的三維坐標值，記錄其運動軌跡數(shù)據(jù)和軌跡特征，建立運動軌跡方程.

(6)將軌跡曲線特征作為智能分析系統(tǒng)的輸入，用于比賽訓(xùn)練等的裁判決策和智能分析.

1.1 視頻信息的獲取

本系統(tǒng)要根據(jù)采集到的視頻信息獲得排球的運動軌跡曲線圖，因此要通過攝像機標定實現(xiàn)從視頻設(shè)備中獲得的二維圖像到運動目標三維坐標信息的對應(yīng)轉(zhuǎn)換[1].系統(tǒng)首先采用線性標定或張正友標定等傳統(tǒng)標定法對攝像機進行標定，獲取攝像機的內(nèi)外參數(shù)以及雙目攝像機的位姿關(guān)系[2].完成攝像機和場地的標定后，接收由視頻設(shè)備獲取的數(shù)字信號，按一定的采樣間隔進行采樣，得到時變序列圖像集，并將采集到的每幀數(shù)據(jù)保存為靜態(tài)圖像.系統(tǒng)通過雙目攝相機可同時從不同角度獲取兩幅圖像，然后基于視差原理恢復(fù)運動目標的三維幾何信息[3].視頻在生成以及傳輸過程中，會因外界環(huán)境的影響產(chǎn)生一些噪聲，預(yù)處理階段可采用圖像濾波方法等對圖像幀進行去噪處理，提高視頻幀的質(zhì)量，便于后期的分析處理.

1.2 運動目標檢測

由于攝像機和運動場地背景處于相對靜止狀態(tài)，而當前在靜止背景下常用的運動目標檢測方法有背景差分法、幀間差分法、光流法和運動能量法等[4].背景差分法是基于圖像序列和參考背景模型相減實現(xiàn)運動目標檢測的，是當前最常用的運動目標檢測方法之一.它首先抓取圖像作為背景圖像，之后利用當前圖像與背景圖像差分從而檢測出運動物體.該方法能夠較完整地提取出運動目標，位置精確，實時性好，因此本系統(tǒng)設(shè)計中采用了背景差分法來提取排球運動模型，使用Intel公司提供的計算機視覺函數(shù)庫OpenCV進行圖像處理和計算機視覺方面的算法.首先采集圖像，然后統(tǒng)計特征點，檢測當前系統(tǒng)狀態(tài)下是否有運動目標.若有，則采集視頻數(shù)據(jù)，并保存成序列圖像.若無運動目標則保存背景繼續(xù)檢測判斷.得到背景圖像和含有目標的一幀圖像后，利用圖像減運算可得到背景差分圖像.之后進行噪音去除、連通區(qū)域標記、基于排球亮度形狀顏色等的特征匹配，對連續(xù)圖像中的排球目標進行檢測，通過分析排球?qū)ο笤诒荣愐曨l中的面積、形態(tài)等屬性范圍目標區(qū)域邊緣提取等篩選出候選排球?qū)ο螅罱K將目標識別出來.

1.3 運動目標跟蹤識別

國內(nèi)外相關(guān)研究人員已經(jīng)在球體的檢測與識別方面做了相應(yīng)的研究.劉斐等人提出一種混合顏色空間查找表的顏色分類方法，用于對圖像進行顏色分割，并建立顏色查找表，依據(jù)顏色信息實現(xiàn)在線快速分類，識別球體.也有依據(jù)形狀進行邊緣信息提取來識別球體的.常用的邊緣提取方法有Prewitt算子、Sobel算子、Laplacian算子和Canny算子等，其中Canny算子能很好地提取出圖像的單邊緣信息，具有較快的速度.賽場上常用的“鷹眼”技術(shù)已經(jīng)發(fā)展得比較成熟，主要用于體育賽事的即時回放，但回放時間的長度有限，且需要多個高速攝像機，價格比較昂貴.Lipton等使用空間差減法在真實的視頻流中檢測并跟蹤運動目標.此外，有一種改進方法是使用三幀差分代替兩幀差分.該算法計算非?？?，在圖像序列中檢測運動對象非常有效.

1.4 軌跡曲線提取

近年來，在眾多學(xué)者的努力下，多種軌跡提取方法得以誕生.清華大學(xué)劉曉東等人成功研制了一種基于計算機系統(tǒng)的運動目標檢測、目標跟蹤及目標分類的智能監(jiān)控系統(tǒng).湖南大學(xué)萬琴等人提出一種針對固定監(jiān)控場景的運動檢測與目標跟蹤方法，利用運動預(yù)測技術(shù)實現(xiàn)目標匹配，但該方法在復(fù)雜環(huán)境下對多個目標進行跟蹤時算法精確度大幅度降低[5].北航郝久月等人研究了監(jiān)控場景中運動目標軌跡聚類算法.浙江大學(xué)的肖俊等人利用單個攝像機對人體未被遮擋部位的動作進行跟蹤.熊榮炎等人通過分析視頻序列圖像的灰度特征，結(jié)合背景差分減法，提出一種靜止攝像機條件下，基于特征值快速檢測與跟蹤目標的方法.

本文著重研究排球比賽視頻中球體檢測與軌跡提取的精確性、魯棒性以及實時性等方面的問題.系統(tǒng)針對實際需要建立了基于球體運動方向、運動速度、輪廓參數(shù)等信息的多元組軌跡模型.分析并總結(jié)了經(jīng)典的軌跡提取算法的優(yōu)缺點，有針對性地研究如何利用候選球體的X、Y坐標值分布建立排球軌跡方程，并利用軌跡方程輔助、矯正排球的檢測和跟蹤，將識別出的球體的運動軌跡提取出來，提升算法運行速度，實現(xiàn)運動軌跡魯棒提取，并將跟蹤結(jié)果及運動軌跡以視頻幀的形式展示出來.

1.5 智能分析模塊

智能分析模塊可依據(jù)對排球運動軌跡變化情況的分析，研究排球比賽中運動員擊球行為的檢測、擊球動作的分類、識別與分析技術(shù)等.

2 基于視頻的排球智能分析系統(tǒng)

2.1 系統(tǒng)軟硬件架構(gòu)

基于視頻的排球智能分析系統(tǒng)的硬件組成主要是由兩個攝像機和計算機組成的雙目視覺系統(tǒng).兩臺智能攝像機與上位機組成一個局域網(wǎng)，其中PC機作為服務(wù)器，兩臺智能相機作為客戶端，系統(tǒng)主要的運算任務(wù)如視頻圖像的采集處理等都在兩臺攝像機中并行完成，極大地分擔了上位機的運算負荷，起到了平衡負載的作用，解決了常規(guī)兩目視覺中的運算瓶頸問題.本系統(tǒng)中上位機不進行圖像處理，只進行簡單的運算如三維坐標計算、曲線擬合等.

軟件部分使用Intel公司支持的開源計算機視覺庫OpenCV提供的函數(shù)進行計算機視覺算法方面的開發(fā)，采用VC++編程實現(xiàn)運動目標的檢測跟蹤算法，完成了攝像機及場地的標定、圖像序列的獲取、排球目標的檢測、排球運動軌跡的提取、軌跡特征信息的分析等.

2.2 系統(tǒng)實現(xiàn)

系統(tǒng)深入研究雙攝像頭下排球的識別檢測跟蹤與軌跡提取方法，為裁判輔助智能分析系統(tǒng)提供有效的數(shù)據(jù)輸入和決策支持，同時滿足系統(tǒng)的精確性、魯棒性、實時性等方面的問題.

本系統(tǒng)采用張氏標定法對攝像機進行標定，分別獲取兩個攝像機的內(nèi)外參數(shù)，進而用于排球三維坐標的獲取.排球視頻的采集采用高性能視頻采集卡，采集方式有多種，常用的是采用VFW(Video For Windows)硬件驅(qū)動開發(fā)包提供的接口或源代碼開發(fā).VFW使用簡單方便，但可控性差.因此，系統(tǒng)采用基于源碼的DirectX完成視頻采集，它是微軟開發(fā)的基于Windows的一組API，通過DirectShow對象創(chuàng)建視頻端口，可以靈活方便地操作硬件并獲得各種所需的視頻數(shù)據(jù)，實現(xiàn)視頻流的壓縮傳輸.系統(tǒng)使用Intel公司支持的開源計算機視覺庫OpenCV提供的函數(shù)進行計算機視覺算法方面的開發(fā)[6]，排球檢測與跟蹤模塊采用VC++編程實現(xiàn)，運行于Windows操作系統(tǒng)上.背景差分法的實現(xiàn)過程中結(jié)合了排球的形狀顏色等特征信息，及時更新背景圖像，提高了排球的檢測精度.運用形態(tài)學(xué)濾波去除噪音，并進行高斯濾波平滑圖像，實現(xiàn)了排球的檢測識別.最后通過卡爾曼預(yù)測原理對排球運動軌跡進行跟蹤預(yù)測，得到排球運動軌跡曲線方程，并將軌跡曲線作為特征信息輸入智能分析系統(tǒng).整個智能分析系統(tǒng)的人機交互界面中可以設(shè)定攝像機的幀速率、場地信息等參數(shù).攝像機控制區(qū)可控制兩個雙目攝像機的啟動、關(guān)閉、捕獲和載入視頻等.同時，運用Matlab在人機交互界面還可以顯示通過雙目攝像機得到的排球運動軌跡曲線圖[7].

3 小結(jié)

由于排球比賽視頻背景復(fù)雜，鏡頭切換頻繁，排球運動過程中其顏色、大小等特征信息會經(jīng)常變化，且運動目標提取容易受到背景、光線變化、陰影、運動速度等因素影響，因此很難以單個球為對象建立一個有效的模型來檢測運動球體.且許多運動對象或者某些區(qū)域在外形上與排球很相似，當球與球員和球場線接觸或被球員遮擋時，會給球的檢測造成很大的困難.因此，為了提高排球跟蹤算法的精確性和魯棒性，降低算法復(fù)雜性，必須提出新的目標識別檢測跟蹤算法，并保證系統(tǒng)的實時、準確、穩(wěn)定等.此外，由于排球運動中存在自旋以及外界不確定因素的干擾，難以建立準確的運動學(xué)方程.因此，如何對一些經(jīng)典的濾波算法進行改進，提出魯棒性更高的軌跡獲取方法，根據(jù)視頻幀信息獲得排球每時每刻的位置坐標和瞬時速度值等生成排球運動軌跡，也是系統(tǒng)的一個技術(shù)關(guān)鍵難題.結(jié)合排球軌跡信息，對視頻進行更高層的語義分析是下一步需要研究的內(nèi)容.

〔1〕張虎.機器視覺中二維圖像的三維重建[D].北京:北方工業(yè)大學(xué),2006.

〔2〕田原嫄,張云輝,譚慶昌.CCD攝像機標定的研究[J],微計算機信息,2008,5(3):06-207.

〔3〕牟雅丹.基于雙目立體視覺系統(tǒng)的攝像機標定技術(shù)[J],SCIENCE&TECHNOLOGY INFORMATION,2009,33.