最小二乘支持向量機和證據(jù)理論融合的體育視頻分類

曹愛春，楊曉艇，侯旭東

1.南昌大學 體育系，南昌 330029

2.江西師范大學 體育學院，南昌 330027

3.上海鑫磊信息技術有限公司，上海 200233

最小二乘支持向量機和證據(jù)理論融合的體育視頻分類

曹愛春1，楊曉艇2，侯旭東3

1.南昌大學 體育系，南昌 330029

2.江西師范大學 體育學院，南昌 330027

3.上海鑫磊信息技術有限公司，上海 200233

1 引言

隨著Internet和體育運動不斷發(fā)展，產生大量的體育視頻，形成了海量的視頻庫，對體育視頻庫中的數(shù)據(jù)進行有效管理，可以為用戶提供快捷、高效的體育視頻瀏覽和檢索服務，而體育視頻分類是體育視頻瀏覽和檢索的基礎，因此視頻分類成為體育研究領域中的一個重要課題[1]。

針對體育視頻分類問題，國內外學者進行了比較深入的研究，已提出了很多有效的分類方法[2]。體育視頻分類主要包括特征提取和分類器設計等內容，目前主要有靜態(tài)特征、運動特征和兩者組合的多特征等體育視頻提取方法[3-5]，單一靜態(tài)特征或運動靜態(tài)特征只能描述體育視頻類別的部分、片段信息，易出現(xiàn)錯分現(xiàn)象，因此多特征成當前主要的體育視頻分類方法[6]。相對單一特征，多特征方法可以從多個角度對體育視頻類別信息進行描述，體育視頻分類正確率相應提高，但是傳統(tǒng)特征組合方法只是簡單地將多個特征進行綜合，而沒有實現(xiàn)有效融合，致使特征空間的復雜度和分類器輸入維數(shù)過高，體育視頻分類的準確性、實時性和穩(wěn)定性較差[7-8]。除了特征提取外，體育視頻分類結果還與分類器設計相關，當前體育視頻分類器采用支持向量機（SVM）進行構建[9-10]。對于海量的數(shù)據(jù)，SVM的訓練速度慢，而最小二乘支持向量機（LSSVM）是一種改進的支持向量機，有效克服了傳統(tǒng)機器學習算法過擬合、SVM訓練速度慢等缺陷[11]，因此本文選擇LSSVM構建體育視頻分類器。

為了提高體育視頻分類正確率，提出一種LSSVM和DS證據(jù)理論相融合的體育視頻分類模型（DS-LSSVM）。利用D-S證據(jù)理論組合不完全、不清晰信息的優(yōu)勢以及LSSVM在小樣本情況下良好的分類推廣能力，融合單特征的LSSVM體育視頻識別信息，根據(jù)決策規(guī)則得到最終的識別結果，并通過仿真實驗測試DS-LSSVM的體育視頻分類效果。

2 DS-LSSVM的體育視頻模型

2.1 體育視頻特征提取

2.1.1 提取運動矢量場

（1）設體育視頻大小為M×N×T，M×N表示分辨率，T表示視頻序列長度，把視頻分為K×L個塊，每塊大小為h×v，其中h=M/K，以C表示每個塊內的塊數(shù)目，如圖1所示(K=L=4)。

（2）建立直角坐標系統(tǒng)，將運動矢量映射到此坐標系中，如圖2所示。MV(i，j)表示位置為(i，j)的塊，θ∈[0，2π)表示運動矢量C的方向，若以Cx表示第C個塊運動矢量在水平(x)方向上的分量，Cy表示第C個塊在垂直(y)方向上的分量，ρ表示塊C的運動強度，則

（3）將連續(xù)視頻幀的坐標系統(tǒng)按時間順序排列，并沿x正方向將它分成Q個等角扇形，將 p量化到R個區(qū)間，再分別對 p、θ作直方圖，可得：

（4）采用塊內運動矢量在x和y方向上的期望和方差對塊內運動情況進行評估，即

圖1 體育視頻幀塊劃分示意圖

圖2 運動矢量場映射圖

2.1.2 提取亮度特征

假設幀分辨率為 M×N，將每幀分為k×k塊，每塊大小為h×v，其中h=M/K，v=N/K，x表示塊內第i個像素點的亮度值，每個塊的亮度均值為l∈[1，k×k]，則

以y表示塊亮度比較編碼值，則幀內第m塊與第n塊之間的亮度比較結果編碼值可用式（5）表示，其中l(wèi)≤m≤k×k，2≤n≤k×k-1。

通過式（5）可對幀按塊亮度均值比較并進行“1”、“0”編碼。

2.1.3 提取顏色特征

假設幀大小為M×N，將幀轉換為HSV模型，并劃分為k×k塊，每塊大小為h×v，其中h=M/K，v=N/K，以xi，m，n表示視頻中第n塊內第i個像素點m分量的像素值，其中n∈[1，k×k]，i∈[1，h×v]，m∈[H，S，V]，則體育視頻顏色特征如下所示：

式中，μm，n，xi，m，n，Sm，n分別表示第 n塊內 m分量的均值、方差、三階矩。

2.1.4 提取紋理特征

設體育視頻f有L個灰度級，G表示一個灰度共生矩陣，其元素 pij是灰度為i和灰度為 j的像素對在f中的次數(shù)，pij計算公式為：

式中，f(x，y)為像素點(x，y)處的灰度級，?x，?y反映了兩點之間的距離d和方向θ。

采用最常用的5種紋理特征作為體育視頻分類特征[12]，它們分別定義如下：

2.2 DS理論

證據(jù)理論是Dempster提出并經(jīng)Shafer完善的，故又稱為DS理論。DS理論通過合成規(guī)則，將來自兩個或多個證據(jù)體的信任函數(shù)融合為一個新的信任函數(shù)，以融合后的函數(shù)作為決策依據(jù)[13]。其原理如下：

設Θ為檢測框架，定義函數(shù)m:2Θ→[0，1]滿足條件：m(?)=0（?為空集），∑m(A)=1(A∈2Θ)，那么m(A)被稱為框架Θ上的基本概率指派（BPA），則有當A≠Θ時，m(A)表示對命題A的精確信任程度，m(Θ)表示證據(jù)的不確定性。

2.3 傳統(tǒng)多特征的LSSVM體育視頻分類模型

設訓練集為(xi，yi)，i=1，2，…，n，n表示訓練樣本數(shù)，xi∈Rm為樣本輸入，yi∈{1，-1}為輸出，LSSVM在高維特征空間的線性函數(shù)為：

式中，ω為權值向量，b為偏置量[14]。

根據(jù)結構風險最小化原則，綜合考慮擬合誤差和函數(shù)復雜度，式（12）變?yōu)椋?/p>

式中，γ為正則化參數(shù)；ei為預測誤差。

引入Lagrange乘子將式（13）變成無約束對偶優(yōu)化問題：

式中，ai拉格朗日乘子。

根據(jù)KKT條件，可得到：

對非線性分類問題，通過引入核函數(shù)轉換到高維特征空間求解，相對于其他核函數(shù)，徑向基核函數(shù)（RBF）參數(shù)少，且性能更好，因此選擇其作為LSSVM的核函數(shù)，最后，LSSVM分類決策函數(shù)為：

式中，σ為徑向基核函數(shù)的寬度參數(shù)。

體育視頻分類是一種多分類問題，但LSSVM只能求解兩分類問題，本文采用有向無環(huán)圖將LSSVM分類器組合在一起，構造體育視頻分類器。傳統(tǒng)多特征的LSSVM體育視頻分類過程如圖3所示。

圖3 傳統(tǒng)多特征的LSSVM體育視頻分類示意圖

傳統(tǒng)多特征組合方法只是簡單地將多個單一特征進行混合，特征信息之間很可能存在一定的冗余性，特征之間可能有沖突，導致LSSVM的輸入維數(shù)較高，分類器訓練過程比較耗時和分類結果的不穩(wěn)定性，因此需要通過一定的融合處理消除或降低這些不確定性，達到提高體育分類識別速度和精度的目。

2.4 DS-LSSVM的體育視頻分類過程

式中，AS，BS為后驗概率；g為LSSVM的輸出值。

采用最大似然算法計算AS，BS，然后訓練集進行學習，得到相應檢測準確率ri，那么BPA函數(shù)可定義為：

（3）體育視頻分類結果融合及最終結果判決。通過式（18）計算證據(jù)的信度，并通過式（11）計算所有證據(jù)聯(lián)合信度，從而得到最終體育視頻分類結果。決策規(guī)則為：

①最大信度的類是目標類；

②目標類與其他類之間的信度差大于某一門限(ε1)；

在體育視頻分類過程中，顏色、紋理、亮度、運動矢量場特征相互獨立的，可利用DS理論對分類結果進行融合，并根據(jù)決策規(guī)則和判決門限得到最優(yōu)的體育視頻分類結果。DS-LSSVM的體育視頻分類過程如圖4所示。

DS-LSSVM的體育視頻分類步驟為：

（1）首先提取顏色、紋理、亮度、運動矢量場等4種反映體育視頻類別特征，然后采用LSSVM對單一特征進行分類，得到相應的體育視頻分類結果。

（2）為了構造證據(jù)體的BPA，將LSSVM輸出作為一個證據(jù)體，則LSSVM輸出形式變?yōu)椋?/p>

圖4 DS-LSSVM的體育視頻分類示意圖

③目標類的信度與不確定性信度指派值的差大于某一門限(ε2)；

④不確定性信度指派值必須小于某一門限(ε3)。

3 仿真實驗

3.1 數(shù)據(jù)來源

數(shù)據(jù)通過視頻采集卡從電視上截取的足球、排球、網(wǎng)球及乒乓球等視頻，各種類型視頻訓練集和測試集的樣本數(shù)分布見表1，實驗在Intel PIV 3.0 GHz CPU、2 GB RAM，Windows XP平臺采用VC++編程實現(xiàn)。

表1 不同體育視頻類型的樣本數(shù)

3.2 對比算法及評價指標

為了使DS-LSSVM分類結果更具說服力，選擇5個對比模型，它們分別為：顏色特征+LSSVM（LSSVM1）、紋理特征+LSSVM（LSSVM2）、亮度特征+LSSVM（LSSVM3）、運動矢量場特征+LSSVM（LSSVM4）、傳統(tǒng)組合特征+ LSSVM（LSSVM5）。采用分類正確率、誤分率、訓練時間和測試時間作為模型性能評價指標。

3.3 特征歸一化處理

LSSVM對在[0，1]的數(shù)據(jù)最為靈敏，為了提高訓練效率，對體育視頻特征進行歸一化處理，具體為：

式中，x表示原始特征，x′表示歸一化后特征，xmax和xmin分別表示最小值和最大值。

3.4 LSSVM的體育視頻初步分類

將顏色、紋理、亮度、運動矢量場特征向量分別輸入LSSVM進行學習，LSSVM參數(shù)γ=100，σ=0.195，分別建立LSSVM1、LSSVM2、LSSVM3、LSSVM4的體育視頻分類模型，并對測試集進行測試，得到的結果見表2。

表2 單一特征的體育視頻分類正確率

從表2可知，利用運動矢量場特征進行分類時，乒乓球和網(wǎng)球分類效果較差；利用顏色特征進行分類時，羽毛球、網(wǎng)球、排球分類效果較差；利用亮度特征進行分類時，羽毛球、網(wǎng)球、排球、乒乓球分類效果較差；利用紋理特征進行分類時，羽毛球、網(wǎng)球、排球分類效果較差，這表明采用單一特征難以準確、全面描述體育視頻類別信息，分類可靠性和準確性比較差。

3.5 計算信度函數(shù)值

決策規(guī)則判決門限分別為ε1=0.50，ε2=0.65，ε3=0.25，計算各種特征以及信度函數(shù)值，具體見表3。

表3 檢測框架的信度值

3.6 結果與分析

采用建立的LSSVM1、LSSVM2、LSSVM3、LSSVM4、LSSVM5和DS-LSSVM的體育視頻分類模型對測試集進行分類，得到平均分類正確率和誤分率如圖5、圖6和表4所示。從圖5、圖6和表4可知，在所有體育視頻算法中，DS-LSSVM的分類結果最優(yōu)，可以得到如下結論：

（1）單特征分類模型訓練和分類時間短，分類速度快，但單一特征難以揭示體育視頻類別信息，單一特征體育視頻分類正確率低，誤分率大，分類結果不可靠。

（2）傳統(tǒng)多特征組合模型（LSSVM5）的分類性能要優(yōu)于單一特征模型，說明將多個特征組合在一起，能夠提供更多反映體育視頻的信息，能夠較好描述體育視頻類別與特征向量之間的映射關系，一定程度上提高了分類正確率，但是由于特征向量的維數(shù)較高，訓練和識別時間長，體育分類效率低，說明采用傳統(tǒng)多特征組合LSSVM分類器不能滿足述體育視頻分類的實時性、在線識別要求，其應用范圍受限。

（3）DS-LSSVM檢測結果穩(wěn)定性好，分類正確率高達到95.61%，誤分率大幅度下降，主要是因為采用LSSVM分類結果構造D-S證據(jù)理論的信度指派，并根據(jù)證據(jù)組合規(guī)則融合了來自顏色、紋理、亮度、運動矢量場等特征的多個分類結果，實現(xiàn)了弱分類（單特征）決策向較強分類（多特征融合）決策有效轉化，有效提高了體育視頻分類正確率，而且分類結果更加穩(wěn)定和可靠。同時DS-LSSVM對每一類體育視頻特征（顏色、紋理、亮度、運動矢量場），設計相應子分類器，各子分類器分別完成各自的特征參數(shù)子空間到體育視頻類別空間的映射，這樣單特征分類器輸入維數(shù)較低，訓練時間和測試時間少，體育視頻分類速度快。

圖5 不同模型的分類正確率

圖6 不同模型的誤分率

表4 各模型的體育視頻分類速度比較s

4 結束語

針對單一特征和傳統(tǒng)簡單特征難以準確、全面描述體育視頻類別信息，提出DS-LSSVM的體育視頻分類模型。仿真結果表明，DS-LSSVM的平均分類正確率達到95.61%，顯著提高了體育視頻分類的正確率和穩(wěn)定性。

[1]張龍飛，曹元大，周藝華，等.基于支持向量機元分類器的體育視頻分類[J].北京理工大學學報，2006（1）：41-44.

[2]宋剛，肖國強，代毅，等.基于視頻區(qū)域特征及HMM 的體育視頻分類研究[J].西南師范大學學報：自然科學版，2010，35（2）：180-185.

[3]Snoek C M，Worring M.Multi modal video indexing：a review of the state-of-the-art[J].Multimedia Tools and Applications，2005，25（1）：5-35.

[4]Yu X G，Tian Q，Kong W W.A novel ball detection framework for real soccer video[C]//ICME 2003.Baltimore，Washington DC：The Computer Society，2003：265-268.

[5]Zhou W S，Vellaikal A，Kuo C J.Rule-based video classification system for basketball video indexing[C]//ACM Multimedia Workshops，2000：213-216.

[6]Ma Y F，Zhang H J.Motion pattern based video classification and retrieval[J].EURASIP Journalon Applied Signal Processing，2003（2）：199-208.

[7]Kalaiselvi M，Palanivel S.A novel block intensity comparison code for video classification and retrieval[J].Expert Systems with Applications，2009，36：6415-6420.

[8]Liu J，Tong X F，Li W L，et al.Automatic player detection，labeling and tracking in broadcastsoccervideo[J].Pattern Recognition Letters，2009，30：103-113.

[9]Luo Y.Object-based analysis and interpretation of human motion in sports video sequences by dynamic Bayesian networks[J].Computer Vision and Image Understanding，2003，92：196-216.

[10]Li Y X，Tan C L.Contextual post processing based on the confusion matrix in offline handwritten Chinese script recognition[J].Patten Recognition，2004，37：1901-1912.

[11]Lin W H，Haupt M.News video classification using SVM-based multi modal classifiers and combination strategies[C]// MULTIMEDIA’02.New York：ACM，2002：323-326.

[12]儲岳中.基于支撐矢量機的自動視頻分類方法[J].安徽工業(yè)大學學報，2008，25（3）：315-318.

[13]張捍東，王翠華.基于改進證據(jù)理論和神經(jīng)網(wǎng)絡的故障診斷模型[J].計算機應用研究，2010，27（4）：1277-1279.

[14]劉姝瓊，孔英會.基于LSSVM和證據(jù)理論的電力系統(tǒng)暫態(tài)穩(wěn)定評估[J].電力科學與工程，2010，26（1）：34-38.

[15]Zhao Y，Zhu Z.TSVM-HMMI：transductive SVM based hidden Markov model for automatic image annotation[J].Expert System with Applications，2009，36：9813-9818.

CAO Aichun1,YANG Xiaoting2,HOU Xudong3

1.Department of Sports,Nanchang University,Nanchang 330029,China
2.College of Sports,Jiangxi Normal University,Nanchang 330027,China
3.Shinsoft Information Co.,Ltd,Shanghai 200233,China

The correct rate of sports video classification for single feature is very low and stability is poor,this paper proposes a sports video classification method combining Least Squares Support Vector Machine（LSSVM）with evidence theory（DS-LSSVM）. The color,texture,brightness,motion vector features of sports video are extracted,and then the extracted features are input into LSSVM to learn and get the preliminary classification results which are taken as evidence to establish the basic probability assignment,and DS is used to decide level fusion,the final sports video classification results are got according to the classification threshold,the simulation experiment is carried out.The simulation results show that the classification rate of the proposed algorithm reaches 97.90%,compared with the reference algorithms,the proposed algorithm has high video classification rate and good stability advantages.

sports video;least squares support vector machine;classifier design;feature extraction;evidence theory

針對單一特征的體育視頻分類的正確率低和穩(wěn)定性差等缺陷，提出一種最小二乘支持向量機（LSSVM）和證據(jù)理論相融合的體育視頻分類模型（DS-LSSVM）。提取顏色、紋理、亮度、運動矢量場等4種反映體育視頻類別特征，將4種單特征的LSSVM初步分類結果作為獨立證據(jù)構造基本概率指派，運用DS組合規(guī)則進行決策級融合，根據(jù)分類判決門限給出最終的體育視頻分類結果，最后進行仿真實驗。結果表明，DS-LSSVM的體育視頻分類正確率高達97.90%，相對于參比模型，DS-LSSVM具有體育視頻分類正確率高、穩(wěn)定性好等優(yōu)勢。

體育視頻；最小二乘支持向量機；分器設計；特征提??；證據(jù)理論

A

TP391

10.3778/j.issn.1002-8331.1306-0105

CAO Aichun,YANG Xiaoting,HOU Xudong.Sports video classification based on evidence theory and improved support vector machine.Computer Engineering and Applications,2013,49（23）：95-99.

江西省自然科學基金（No.0105100900100012）。

曹愛春（1973—），女，副教授，主要研究領域為體育教育、體育產業(yè)；楊曉艇（1972—），男，副教授，主要研究領域為體育教育、體育產業(yè)；侯旭東（1978—），男，主要研究領域為計算機方面。

2013-06-13

2013-08-05

1002-8331（2013）23-0095-05