基于主顏色結(jié)合本體的網(wǎng)球視頻幀分類(lèi)

摘 要：本文以網(wǎng)球視頻作為研究對(duì)象，對(duì)其場(chǎng)地幀和非場(chǎng)地幀進(jìn)行分類(lèi)。首先通過(guò)計(jì)算圖像的直方圖提取出每幀圖像的主顏色，其次利用protégé進(jìn)行本體構(gòu)建，最后通過(guò)分析并提取主顏色的值用swrl規(guī)則寫(xiě)出可以對(duì)視頻幀序列進(jìn)行場(chǎng)地幀與非場(chǎng)地幀分類(lèi)的規(guī)則。實(shí)驗(yàn)證明該方法可以取得良好的實(shí)驗(yàn)結(jié)果。

關(guān)鍵詞：網(wǎng)球視頻；Ontology；主顏色

中圖分類(lèi)號(hào)：TP391.41

每一種體育比賽有其特定的場(chǎng)地，場(chǎng)地特征提供了體育視頻類(lèi)別的重要信息，研究網(wǎng)球視頻過(guò)程中發(fā)現(xiàn)網(wǎng)球比賽視頻是比賽幀與非比賽幀穿插播放的，所有的精彩片段都是發(fā)生在比賽鏡頭中，而且一組比賽幀序列總是由發(fā)球事件開(kāi)始，因此對(duì)網(wǎng)球視頻幀進(jìn)行比賽幀與非比賽幀分類(lèi)對(duì)發(fā)球動(dòng)作識(shí)別顯得尤為重要。本文中對(duì)網(wǎng)球視頻比賽場(chǎng)地幀與非比賽場(chǎng)地幀的分類(lèi)通過(guò)對(duì)幀圖像的底層特征提取結(jié)合語(yǔ)義分析進(jìn)行分類(lèi)。

1 底層特征提取

本文主要提取的底層特征為主顏色。對(duì)主顏色的提取首先將對(duì)圖像的顏色模型進(jìn)行轉(zhuǎn)換，即從RGB模型轉(zhuǎn)換到HSV模型。之后對(duì)HSV模型的三個(gè)分量分別進(jìn)行量化，再把三個(gè)顏色分量合成為一維特征矢量。通過(guò)對(duì)一維特征矢量統(tǒng)計(jì)計(jì)算出圖像的顏色直方圖，再通過(guò)顏色直方圖提取出圖像的主顏色。

1.1 RGB顏色模型轉(zhuǎn)換HSV顏色模型

最常用的顏色空間為RGB[1]顏色空間，大部分的數(shù)字圖像都是采用這種顏色空間表達(dá)的，然而RGB空間并不符合人們對(duì)顏色相似性的主觀(guān)判斷。在這里，根據(jù)文獻(xiàn)[2]給出的公式把RGB顏色空間轉(zhuǎn)換為HSV[3]顏色空間，它是直方圖最常用的顏色空間。

1.2 HSV顏色模型量化

將H、S、V三個(gè)分量按照人的顏色感知特性進(jìn)行非等間隔的量化。按照視覺(jué)分辨能力，把色調(diào)H空間分成16份，飽和度S分成4份，明度值V分成4份；根據(jù)色彩的不同范圍進(jìn)行非等間隔量化，量化后的色調(diào)、飽和度和明度值分別為H、S、V。

通過(guò)對(duì)H、S、V三個(gè)分量進(jìn)行非等間隔量化后，把三個(gè)顏色分量合成為一維特征矢量，即L=HQsQv+SQv+V。其中，和Qv分Qs別是S和V的量化級(jí)數(shù)，Qs=4，Qv=4。對(duì)色調(diào)H取的權(quán)重為16，對(duì)飽和度S取的權(quán)重為4，對(duì)亮度V取的權(quán)重為1，這就大大減輕了圖像亮度V對(duì)檢索結(jié)果的影響，而且也減少了飽和度S對(duì)檢索結(jié)果的影響。同時(shí)，根據(jù)式上式可知，L的取值范圍是[0，1，2，……，255]，計(jì)算L獲得256柄的一維矢量，即可獲得圖像的顏色直方圖。

1.3 顏色直方圖獲取

直方圖[4]反映了圖像像素亮度在圖像中隨機(jī)分布情況的統(tǒng)計(jì)特性。這種統(tǒng)計(jì)特性可以用P概率分布函數(shù)來(lái)刻畫(huà)和描述。灰度直方圖是灰度級(jí)的函數(shù)，灰度直方圖表示數(shù)字圖像中每一灰度級(jí)與此灰度級(jí)對(duì)應(yīng)的圖像中的像素點(diǎn)數(shù)之間的統(tǒng)計(jì)關(guān)系。

計(jì)算顏色直方圖需要將顏色區(qū)間劃分成若干個(gè)小的顏色區(qū)間，每個(gè)區(qū)間成為直方圖的一個(gè)bin。這個(gè)過(guò)程稱(chēng)為直方圖量化。然后，通過(guò)計(jì)算顏色落在每個(gè)小區(qū)間內(nèi)的像素?cái)?shù)量可以得到顏色直方圖。選擇合適的顏色小區(qū)間（即直方圖的bin）數(shù)目和顏色量化方法與具體應(yīng)用的性能和效率要求有關(guān)。本文中的bin數(shù)目為256。

1.4 主顏色提取

圖像的色彩極其豐富，但視覺(jué)系統(tǒng)能夠忽略次要的細(xì)節(jié)，抓住起重要作用的主色。在本文中，主顏色提取描述如下：

（1）對(duì)于每幅圖片設(shè)置一個(gè)初值record1，初始化為0；每得到一個(gè)量化值L，通過(guò)比較賦值，將最大的量化值L賦值給record1。

（2）為了便于觀(guān)察提取結(jié)果，將每幅圖片的record1導(dǎo)回HSV空間，由于場(chǎng)地特征中，顏色特征最為明顯，因此在提取的H、S和V分量中后續(xù)只用到H分量。轉(zhuǎn)化方法如下：

H=record/16取整

（3）對(duì)導(dǎo)回的HSV空間再進(jìn)行量化，將H分量分為16個(gè)量化等級(jí)。

（4）通過(guò)以上步驟得到每幅圖片的主顏色。

2 基于Ontology的語(yǔ)義分析

視頻內(nèi)容分析領(lǐng)域的主要挑戰(zhàn)是如何建立視頻高層語(yǔ)義內(nèi)容和低層時(shí)空特征間的關(guān)聯(lián)，即經(jīng)典的語(yǔ)義鴻溝問(wèn)題。為解決這一問(wèn)題，有必要應(yīng)用領(lǐng)域知識(shí)將視頻高層語(yǔ)義與自動(dòng)分析獲取視頻語(yǔ)義的技術(shù)集成到統(tǒng)一的框架中。恰恰本體[5]是領(lǐng)域知識(shí)確定的、形式化的規(guī)范描述，是一種有效的語(yǔ)義建模和知識(shí)表示工具。

2.1 本體的建立

本文中利用OWL語(yǔ)言[6]創(chuàng)建本體。OWL語(yǔ)言為描述概念之間的關(guān)系提供了豐富且實(shí)用的建模元素。OWL語(yǔ)言由類(lèi)（Class）、屬性（Property）和個(gè)體（Individual）三部分組成。其中類(lèi)是個(gè)抽象的概念，是由一些特征或?qū)傩韵嗨频膫€(gè)體組成的集合。個(gè)體是我們所感興趣的具體某個(gè)事物。屬性是反映個(gè)體之間的二元關(guān)系。

（1）類(lèi)的建立。本文根據(jù)網(wǎng)球場(chǎng)地幀與非場(chǎng)地幀分類(lèi)的需要，建立了6個(gè)類(lèi)：TennisVideo（表示網(wǎng)球比賽視頻場(chǎng)地幀集）、PlayAction（表示網(wǎng)球比賽視頻場(chǎng)地幀集）、Break（表示網(wǎng)球比賽視頻非場(chǎng)地幀集）、RedClayCourt（表示場(chǎng)地幀集中紅土場(chǎng)地幀集）、RedClayCourt（表示場(chǎng)地幀集中紅土場(chǎng)地幀集）、GrassCourt（表示場(chǎng)地幀集中綠茵場(chǎng)地幀集）和HardCourt（表示場(chǎng)地幀集中硬地場(chǎng)地幀集）。在Protégé工具中建立的類(lèi)，如圖1（a）所示。

（2）屬性的建立。本文定義了2個(gè)數(shù)據(jù)類(lèi)型屬性，hasDcolor和hasNCourt。根據(jù)上一節(jié)提取出網(wǎng)球視頻幀的主顏色，經(jīng)過(guò)大量實(shí)驗(yàn)，本文得出紅土場(chǎng)、綠茵場(chǎng)和硬地場(chǎng)的主顏色的經(jīng)驗(yàn)值，如紅土場(chǎng)的主顏色值一般為H=0或H=20；綠茵場(chǎng)的主顏色值一般為H=95或H=125；硬地場(chǎng)的主顏色值一般為H=205或H=235。因此，hasDcolor表示一個(gè)個(gè)體主顏色值；hasNCourt表示一個(gè)個(gè)體不含有場(chǎng)地特征。在Protégé工具中建立的屬性，如圖1（b）所示。

2.2 SWRL規(guī)則的制定

表示當(dāng)一幀圖像的主顏色（hasDColor）的值為0或20時(shí)把該幀歸為PlayAction類(lèi)中的RedClayCourt子類(lèi)中，同樣的道理，根據(jù)主顏色（hasDColor）的值把圖像歸類(lèi)到PlayAction類(lèi)中的GrassCourt子類(lèi)和HardCout子類(lèi)中。若一幅幀圖像其主顏色值并不等于這三種場(chǎng)地類(lèi)型主顏色值時(shí)，把該幀的hasNCourt屬性值設(shè)為1，并歸類(lèi)到Break類(lèi)中。Protégé中規(guī)則的建立如圖2所示。

（3）規(guī)則推導(dǎo)及展示。對(duì)于制定好的規(guī)則是需要加載到解析器才能推導(dǎo)，本文使用的推導(dǎo)工具為Jess（Java Expert Systems Shell）推導(dǎo)引擎[7]，是基于Java平臺(tái)上的規(guī)則引擎。

推導(dǎo)結(jié)果是由個(gè)體的移動(dòng)來(lái)展示的。例如，如果某幀圖像其主顏色值與紅土場(chǎng)的主顏色屬性值一樣，則把代表該幀的個(gè)體移動(dòng)到PlayAction類(lèi)的子類(lèi)RedClayCourt類(lèi)中，圖3為移動(dòng)后的結(jié)果展示；如果某幀圖像主顏色值與任何一種場(chǎng)地的主顏色屬性值都不一致時(shí)，把代表該幀的個(gè)體移動(dòng)到Break類(lèi)當(dāng)中。

3 實(shí)驗(yàn)結(jié)果分析

由于網(wǎng)球視頻幀中網(wǎng)球場(chǎng)地占主導(dǎo)位置，而且往往出現(xiàn)在幀的中間部分，因此，為了提高算法效率和準(zhǔn)確度，對(duì)每幅幀圖像先進(jìn)行預(yù)處理即讀取幀的中間部分。具體做法為：讀一幅幀圖像的像素值時(shí)起始值設(shè)為0.2*寬*高，終值設(shè)為0.8*寬*高。這樣便把一幅幀圖像的上下兩端去掉只保留中間段。

比較常見(jiàn)的評(píng)價(jià)算法的方法有兩種：查全率和查準(zhǔn)率，本文使用該兩種方法評(píng)價(jià)網(wǎng)球場(chǎng)地幀分類(lèi)的算法。

本文選取了三場(chǎng)網(wǎng)球比賽視頻（一場(chǎng)紅土場(chǎng)上比賽視頻、一場(chǎng)硬地場(chǎng)上比賽視頻和一場(chǎng)綠茵場(chǎng)上比賽視頻）作為實(shí)驗(yàn)素材進(jìn)行了實(shí)驗(yàn)。結(jié)果如表1所示。

實(shí)驗(yàn)結(jié)果表明本算法較正確的歸類(lèi)了網(wǎng)球視頻幀場(chǎng)地幀與非場(chǎng)地幀。誤檢是由于比賽過(guò)程中球員或裁判員的衣服與場(chǎng)地的主顏色相一致而產(chǎn)生誤檢。漏檢是由于拍攝角度的原因球場(chǎng)并不出現(xiàn)在一幅幀圖像的中間部分而產(chǎn)生漏檢。

4 結(jié)束語(yǔ)

本體學(xué)習(xí)雖然是一個(gè)新興的研究領(lǐng)域，但是它的應(yīng)用前景是不容小覷的，此次應(yīng)用于本實(shí)驗(yàn)中也著實(shí)大材小用了。希望通過(guò)這次這個(gè)嘗試為以后的研究積累經(jīng)驗(yàn)。本實(shí)驗(yàn)中由于只利用主顏色這個(gè)特征對(duì)場(chǎng)地幀和非場(chǎng)地幀進(jìn)行分類(lèi)，所以實(shí)驗(yàn)結(jié)果還有誤差，今后想通過(guò)使用更多特征和對(duì)本體優(yōu)勢(shì)的充分利用來(lái)提高實(shí)驗(yàn)結(jié)果。

參考文獻(xiàn)：

[1]莊越挺，潘云鶴，吳飛.網(wǎng)上多媒體信息分析與檢索[M].北京：清華大學(xué)出版社，2002.

[2]趙志誠(chéng).故事視頻的語(yǔ)義分析與提取[D].北京：北京郵電大學(xué)，2008.

[3]程珺.基于相關(guān)顏色的圖像檢索[D].武漢：華中科技大學(xué)，2006.

[4]駱珊，徐勝榮.基于多分辨率直方圖的圖像檢索[J].江南大學(xué)學(xué)報(bào)，2007（01）：31-34.

[5]章勇，呂俊白.基于protégé的本體建模研究綜述[M].福建電腦，2011（01）：43-45.

[6]紀(jì)兆輝，李存華.基于SWRL和Jess構(gòu)造語(yǔ)義及其web規(guī)則及其對(duì)策分析[M].淮海工學(xué)院學(xué)報(bào)（自然科學(xué)版），2009（04）：26-29.

[7]龐偉正，金瑞琪等.一種規(guī)則引擎的實(shí)現(xiàn)方法[J]，哈爾濱工程大學(xué)學(xué)報(bào)，2008（32）：59-62

作者簡(jiǎn)介：海日漢（1989.06-），女，蒙古族人，研究生，研究方向：數(shù)字圖象處理。

作者單位：內(nèi)蒙古師范大學(xué)計(jì)算機(jī)與信息工程學(xué)院，呼和浩特 010022

基金項(xiàng)目：內(nèi)蒙古師范大學(xué)研究生科研創(chuàng)新基金項(xiàng)目（CXJJS12058）。