基于顏色分布特征的足球視頻禁區(qū)檢測

基于顏色分布特征的足球視頻禁區(qū)檢測

侯小剛，王曉宏

(中國傳媒大學 計算機學院，北京 100024 )

摘要：足球視頻影響著人們的日常生活，人們對足球視頻的關(guān)注更多地體現(xiàn)在對其中進球、射門等精彩事件上。而這些事件大都發(fā)生在左右禁區(qū)附近，顯然左右禁區(qū)的準確檢測在足球視頻處理中起著關(guān)鍵的作用。本文在研究當前主流檢測算法的基礎(chǔ)上提出了一種基于顏色分布特征的足球視頻禁區(qū)檢測算法，該算法利用SVM對足球左右禁區(qū)顏色分布特征進行監(jiān)督學習，進而檢測出左右禁區(qū)。通過實驗證明該方法高效并且可以達到較高精準度。

關(guān)鍵詞：足球視頻；禁區(qū)；SVM；顏色分布

SoccerPenaltyAreaDetectionBasedontheColorDistribution

HOUXiao-gang，WANGXiao-hong

(SchoolofComputer，CommunicationUniversityofChina，Beijing100024)

Abstract：Football video is affecting people's daily lives.People pay close attention to the football video of them reflected in the scoring，shooting and other exciting events .What is more，these events take place all around the penalty area nearby. Obviously，the accurately detection of penalty area plays a key role in the football video processing. Based on the study of the current mainstream detection algorithm，this paper presents an algorithm of soccer penalty area detection，which using color distribution characteristics by SVM supervised learning. Experiments show that this method can achieve high efficiency and accuracy.

Keywords：football video；soccer penalty；SVM；color distribution

1引言

關(guān)鍵詞當前基于內(nèi)容的圖像的搜索已經(jīng)逐漸被應(yīng)用到各個領(lǐng)域，人們已經(jīng)逐漸從過往基于的文本搜索向基于內(nèi)容的搜索過渡，越來越多的學者開始關(guān)注基于視頻的內(nèi)容檢索。然而因為各類視頻的復雜性和不規(guī)則性決定了其研究進展的緩慢。足球廣播視頻，因其龐大的觀眾群體和巨大的市場潛力而受到學術(shù)界和工業(yè)界的關(guān)注，并且因為足球廣播視頻有著與其他視頻不同的規(guī)則性，更容易處理，所以更多的學者開始把研究重點放在對足球廣播視頻的處理上面來。研究的重點基本是通過檢測禁區(qū)、球門、球場線、足球位置這些底層的特征，對鏡頭進行語義分類進而對比如進球、射門、犯規(guī)等高層事件進行推理判斷。

中圖分類號：TN941.1文獻標識碼：A

收稿日期：2015-01-19

作者簡介：侯小剛(1986-)，男(漢族)，河北邯鄲人，中國傳媒大學計算機學院研究生.E-mail：xgengine@sina.com

足球場地的禁區(qū)作為一個關(guān)鍵位置，它檢測的準確度和效率直接決定著后續(xù)鏡頭分類和事件推理

的結(jié)果好壞。文獻[8]提出了一種基于場線特征的禁區(qū)檢測技術(shù)，通過提取球場線的數(shù)目、傾角的分布、位置等特征，用SVM進行機器學習檢測。雖然取得了很好的檢測結(jié)果，但是因為足球視頻中有時快速晃動的鏡頭會干擾場線檢測的準確度，所以本文提出了一種基于顏色特征分布特征的禁區(qū)檢測方法。該算法對劇烈晃動的鏡頭有更強的適應(yīng)性，且檢測效率更高效。

2場區(qū)主顏色提取

在足球視頻中綠色場地是其主要顏色特征，如何準確地提取是對場地進行分割的關(guān)鍵步驟。但是因為綠色草地因場地的不同往往呈現(xiàn)出不同的色調(diào)偏差，并且因為光照因素的影響，如何自適應(yīng)地確定顏色閾值非常困難。目前圖像視頻多采用基于相加混色原理的RGB顏色空間來描述其數(shù)據(jù)，盡管該顏色空間具有清楚的物理意義，且適合顯像設(shè)備，但是RGB顏色空間在感知上具有不均勻的特性，它所描述的是一個三維的顏色空間，而HSV顏色空間恰好與之相反。它是根據(jù)顏色的直觀特征而創(chuàng)建的一種顏色空間，顏色參數(shù)分別是色調(diào)(H)，飽和度(S)，亮度(V)。可以看到該顏色模型把色調(diào)和亮度進行了分離，所以在基于色調(diào)進行圖像分割時能在一定程度下減小光照的干擾。本文算法是先把足球視頻幀圖像轉(zhuǎn)換到HSV顏色空間，建立基于色調(diào)H的直方圖，如圖1，可以看到含有足球場地的圖像綠色成分構(gòu)成一個主峰，從而可以分析直方圖主峰兩側(cè)的峰谷從而計算出分割的高低閾值。但是因為光照的因素，所計算的直方圖有時會呈現(xiàn)雙峰值的現(xiàn)象，如圖2，可以看到在直方圖中綠色軸附近有兩個峰值，本文判斷算法如下：

圖1　沒光照的色調(diào)直方圖

圖2　有光照影響的色調(diào)直方圖

(1)計算直方圖最大值M1和次大值M2。

(2)如果M2>M1*1/3 并且兩個值的位置在綠色軸附近，則為雙峰，否則為單峰。

3足球場地分割

判斷出主顏色的高低閾值后就可以對場地進行分割，因為本文采用的是基于全局閾值的圖像分割，這種分割雖然簡單高效但是分割的結(jié)果會有很多小的干擾區(qū)域，如圖3，為了使分割的結(jié)果更加精準，需要對分割的圖像進行形態(tài)學的開閉運算。形態(tài)學的開閉運算的基本操作是腐蝕和膨脹。

圖3　形態(tài)學處理前場區(qū)分割圖

腐蝕：A被B腐蝕的結(jié)果是所有使B平移Z后仍在A中的元素的集合

AΘB={z|(B)z?A}

膨脹：A被B膨脹的結(jié)果是，先對B做關(guān)于原點的映射，然后平移至少有一個非零元素相交時B的圖像的原點的位置的集合。

開運算是對圖像先腐蝕后膨脹的過程，可以用來消除小物體，在纖細點出分離物體，平滑較大物體的邊界的同時并不明顯改變其面積。閉運算是對圖像先膨脹后腐蝕的過程，可以用來填充小空洞，連接鄰近物體，平滑其邊界并不明顯改變其面積。

本文對分割好的圖像用圓形結(jié)構(gòu)分別進行開運算和閉運算，結(jié)果如圖4 ，可以看到經(jīng)過開閉運算，分割的結(jié)果有了很大的改善。

圖4　形態(tài)學處理后場區(qū)分割圖

4場地綠色分布特征提取

場地分割后，得到如圖4的分割圖像，其中白色代表綠色場地區(qū)域，黑色為非綠色區(qū)域，為了提取更好的具有代表性的綠色分布特征，本文把圖像等分成4*6總共24個小的區(qū)域，分別計算各個小區(qū)域的綠色像素的百分比，這樣就會得到關(guān)于場地綠色分布的24個特征向量。為了提高算法的魯棒性，使分類算法結(jié)果更好，本文對這24個特征進行如下處理：

如果綠色百分比大于0.8，則設(shè)置特征值為1。

如果綠色百分比大于0.5 并且小于0.8，則設(shè)置特征值為0.5。

如果綠色百分比大于0.2 并且小于0.5，則設(shè)置特征值為0.3。

如果綠色半分比小于0.2 ，則設(shè)置特征值為0。

5基于SVM的機器學習及檢測結(jié)果

支持向量機，簡稱SVM，它并不是一臺機器，而是一種算法，并且一直被認為是效果最好的現(xiàn)成可用的分類算法之一，這里“現(xiàn)成可靠”其實是很重要的，因為一直以來學術(shù)界和工業(yè)界，甚至學術(shù)界做的理論和工業(yè)界做的應(yīng)用之間都有一種“鴻溝”，有些非?？犰呕蛘邚碗s的算法，在抽象出來的模型里很完美，然而在實際問題上卻顯得脆弱，效果很差，然而SVM卻在兩邊都混得開。

SVM有著嚴謹?shù)臄?shù)學推導模型，可以說它有理可依，在此就不再贅述了，討論它將超出本文的主題。不過它的原理卻非常簡單，簡單地來說它是對線性可分的問題的一種擴展，把任何線性不可分的問題，通過擴展維數(shù)從而達到線性可分。就好比對一間房子內(nèi)的人進行分類，你剛開始可能一籌莫展，但一旦對每個人加上性別、職業(yè)等類似于這樣的標簽、那么這就是一個線性可分的問題了。

本文實驗用的視頻圖片來自2014巴西世界杯，分別從各場比賽中提取包含左禁區(qū)，總共1000張圖片，包含右禁區(qū)的圖片1000張作為正樣本，提取其他鏡頭圖片1000張作為負樣本。左右禁區(qū)是分別用1000張的正樣本和1000張的負樣本單獨進行訓練。因為在SVM進行機器學習時，SVM對錯誤樣本非常敏感，所以為了保證訓練的質(zhì)量，本文將會詳盡整個訓練過程，學習過程如下：

(一)生成隨機樣本文件列表文件，并分別對其打上正樣本 “+1”，負樣本“-1”標簽，之所以一開始不生成特征向量文本，而是生成包含“樣本文件名”和正負標簽這樣一種文件，是為了以后對錯誤推測分析做準備。文件格式可以如下：

[[“/n/1.jpg”，“-1”]，[“/p/2.jpg”，“+1”}...]

這是一種標準的json格式，整個文件存儲的是一個大隨機正負樣本文件目錄的列表，子列表中有兩項內(nèi)容，分別是文件目錄和標簽。

(二) 生成特征文本，用步驟(一)得到的文件，通過上面已經(jīng)論述的方法分布提取各樣本圖像的24維的特征向量，存儲為特征文本文件，為訓練做準備。生成文本格式如下：

+1 1：0 2：0.5 3：0.5 4：0....23：0 24：0

-1 1：1 2：1 3：0.3 4：1 ...23：1 24：1

(三)用SVM對特征進行訓練，本文采用的是libsvm，它是臺灣大學林智仁教授開發(fā)的一個簡單、易于使用和快速有效的SVM模式識別與回歸的軟件包，它可以直接讀取一定格式的特征文件，進行訓練，可以保存訓練好的模型，并且可以返回模型的識別率以及各個測試樣本的識別結(jié)果。本文采用1500張樣本做訓練，另外500張作為測試樣本，進而對訓練好的分類模型進行評估，對判斷出錯的測試樣本通過第一個步驟的樣本文件列表進行定位，并進行后續(xù)的二次分析，進而更好地改進算法。

本文進行了多次隨機測試結(jié)果如下：

右禁區(qū)：

訓練正樣本723，負樣本777

測試正樣本277，負樣本223

檢測結(jié)果正確462錯誤38準確率92.4

右禁區(qū)：

訓練正樣本735，負樣本765

測試正樣本265，負樣本235

檢測結(jié)果正確449錯誤51準確率89.8

上面僅列舉了一次結(jié)果，多次測試結(jié)果基本都在90%左右，且90%以上的居多，有時甚至能達到96%的精準度。

6結(jié)語

本文提出了一種基于SVM的足球廣播視頻左右禁區(qū)的檢測算法，通過對足球場地的主顏色進行進行自適應(yīng)閾值提取，進而對整個綠色場地進行分割，通過形態(tài)學后續(xù)處理提高分割精度，然后把圖片分成4*6=24個小區(qū)域，分別統(tǒng)計其顏色分布特征，組成24維特征向量，用SVM進行監(jiān)督的機器學習，進而對足球視頻左右禁區(qū)進行檢測。實驗證明該方法有一定的魯棒性和精準度。但是算法也有其應(yīng)用的局限性，本文中算法把場地綠色作為主特征，其要求視頻中足球場區(qū)的綠色覆蓋質(zhì)量要好，不然會直接影響算法的精準度。因為算法中涉及的圖像處理都是基本操作，處理效率非常高，可以用來對視頻禁區(qū)鏡頭進行粗分類，從而大大提高視頻圖像處理的速度。下一步，將會聯(lián)合其他一些底層特征，比如球場線、球門柱等，通過整合和度量這些特征，來提高算法的精度和適用性。

參考文獻：

[1]LiSun，GuizhongLiu.Fieldlinesandplayersdetectionandrecognitioninsoccervideo[J].Acoustics，SpeechandSignalProcessing，ICASSP2009，IEEEInternationalConferenceon2009，1237-1240.

[2]GaoL.Content-awarebroadcastsoccervideoretargetingusingfuzzylogic[J].ElectronicsLetters，2011，9：694-695.

[3]Zawbaa，HMEl-Bendary，NellaHassanien，AAbraham.ASVM-basedSoccerVideoSummarizationSystem[J].NatureandBiologicallyInspiredComputing(NaBIC)，2011ThirdWorldCongresson2011，10：7-11.

[4]岡薩雷斯.數(shù)字圖像處理[M].北京：電子工業(yè)出版社.

[5]吳鵬，林新棋，李海濤，高智，詹曉珊.基于顏色紋理和SVM的體育視頻分類[J].福建師范大學學報，2014，3.

[6]李玉珍，何欣，王建宇，戴躍維，范伯超.一種基于SVM的高效球門檢測方法[J].南京理工大學學報，2010，2，第34卷，第1期.

[7]張強.基于回放場景的足球視頻精彩鏡頭檢測[D].華中科技大學碩士論文.

[8]閆龍川，杜軍.基于SVM的足球場地禁區(qū)檢測[J].計算機應(yīng)用，第27卷，2007，12.

[9]嚴紅平.模式識別簡述[J].自動化博覽，2006，2.

[10]王磊.特征標志檢測與場景識別技術(shù)在體育視頻中的應(yīng)用研究[D].杭州電子科技大學碩士論文，2009，12.

[11]殷偉良，陳臨強，李偉.體育視頻中場地自動檢測方法[J].計算機系統(tǒng)應(yīng)用，2012，第21卷，第5期.

[12]林彬，劉群，王群，聶燕柳.足球視頻鏡頭分類方法[J].計算機工程與設(shè)計，2012，4，第33卷，第4期.

(責任編輯：宋金寶)