基于改進(jìn)支持向量機的運動視頻內(nèi)容分類算法研究

許淑賢

摘? 要： 針對現(xiàn)有運動視頻內(nèi)容分類算法中使用支持向量機分類器難以提高分類精度問題，提出基于改進(jìn)支持向量機的運動視頻內(nèi)容分類算法。首先采用稀疏表示方法進(jìn)行運動視頻內(nèi)容去噪，在降低噪聲的同時去除無用靜止信息，將去噪后的運動視頻內(nèi)容進(jìn)行非重疊切分，采用主成分分析法提取運動視頻內(nèi)容像素點特征描述項并建立特征向量空間;然后引入主動學(xué)習(xí)機制改進(jìn)支持向量機分類器，使用改進(jìn)的分類器建立特征向量空間與運動視頻類別之間的聯(lián)系。針對多類運動視頻內(nèi)容分類問題，提出使用后驗概率計算改進(jìn)的分類器對未標(biāo)記樣本的置信度進(jìn)行運動視頻樣本選取。實驗結(jié)果表明，所提算法與現(xiàn)行分類算法相比，具有更好的類別區(qū)分度。

關(guān)鍵詞： 運動視頻; 內(nèi)容分類; 改進(jìn)支持向量機; 內(nèi)容特征提取; 主動學(xué)習(xí); 實驗分析

中圖分類號： TN948.4?34; TP391? ? ? ? ? ? ? ? 文獻(xiàn)標(biāo)識碼： A? ? ? ? ? ? ? ? ? ? ? ?文章編號： 1004?373X（2020）04?0127?03

Research on motion video content classification algorithm based on

improved support vector machine

XU Shuxian

（Guilin University of Technology， Guilin 541004， China）

Abstract： As the support vector machine classifier is difficult to improve the classification accuracy in the existing motion video content classification algorithm， a motion vector content classification algorithm based on improved support vector machine is proposed. The motion video content is de?noised by means of the sparse representation method， at the same time the unwanted static information is removed. The de?noised motion video content is divided into non?overlapping segments， the feature description items of pixels in the motion video content are extracted by means of the principal component analysis method， and the feature vector space is established. The support vector machine classifier is improved by introducing the active learning mechanism， and the improved classifier is used to establish the relation between the feature vector space and the motion video category. In allusion to the problem of multi?class motion video content classification， an improved classifier based on posterior probability calculation is proposed to select motion video samples with confidence of unlabeled samples. The experimental results show that， in comparison with the current classification algorithm， the proposed algorithm has better class discriminative degree.

Keywords： motion video; content classification; Improved support vector machine; content feature extraction; active learning; experiment analysis

0? 引? 言

在眾多領(lǐng)域的運動視頻分析中，視頻內(nèi)容分類是研究的關(guān)鍵問題之一，其分類性能的好壞直接影響運動目標(biāo)分析和移動軌跡跟蹤的精度[1]。移動場景中的任何肉眼難以察覺的運動都會體現(xiàn)在視頻圖像流的變化上，對運動視頻內(nèi)容進(jìn)行有效分類，就可以分析運動目標(biāo)的運動特性[2]。運動視頻內(nèi)容分類的首要目的是從運動視頻幀中獲取有用內(nèi)容，濾除無用的噪聲及靜止信息，為接下來要進(jìn)行的運動視頻內(nèi)容分類奠定基礎(chǔ)[3]。對于如何有效分類運動視頻內(nèi)容，國內(nèi)很多學(xué)者進(jìn)行了大量研究。文獻(xiàn)[4]所采用的運動視頻特征為含有顏色、編輯信息的多維特征向量;文獻(xiàn)[5]采用超過兩種以上特征，將運動視頻內(nèi)容劃分為多個類型。這兩種算法均采用決策樹作為運動視頻內(nèi)容的分類器。文獻(xiàn)[6]基于兩級編碼后的運動視頻內(nèi)容時域、空域聯(lián)合深度特征，采用分層的支持向量機對運動視頻內(nèi)容進(jìn)行自動分類。

以上所描述的運動視頻內(nèi)容分類算法使用的都是被動監(jiān)督學(xué)習(xí)的方式，根據(jù)用戶事先標(biāo)記的運動視頻訓(xùn)練樣本來訓(xùn)練分類器，之后對未知類別的運動視頻內(nèi)容進(jìn)行分類。這種方式需要有大量的訓(xùn)練樣本做支撐，才能獲得較好的分類效果，費時費力。本文針對未知類別運動視頻內(nèi)容，采用融合主動學(xué)習(xí)方式的改進(jìn)支持向量機，對運動視頻內(nèi)容進(jìn)行分類。實驗結(jié)果表明，所提算法相比現(xiàn)存其他分類算法在運動視頻上具有更好的分類性能。

1? 基于稀疏表示的運動視頻內(nèi)容去噪

依據(jù)稀疏表示理論可知，運動視頻中噪聲信息含有兩部分：一部分是運動視頻內(nèi)容中的稀疏成分，代表運動視頻的結(jié)構(gòu)信息;另一部分為運動視頻內(nèi)容除稀疏成分外的部分，即無用噪聲信息，噪聲信息中不含有運動視頻幀的結(jié)構(gòu)信息[7]。本文提出的基于稀疏表示的運動視頻內(nèi)容去噪，依據(jù)運動視頻中的稀疏成分劃分結(jié)構(gòu)信息、噪聲信息和無用的靜止信息，完成噪聲信息和無用的靜止信息的有效濾除。通過運動視頻內(nèi)容的稀疏分解可獲得視頻內(nèi)容的一種線性描述，即：

[f=k=0∞Rkf，gγkgγk] （1）

式中，[Rkf，gγk]表示運動視頻內(nèi)容[Rkf]或內(nèi)容殘差[Rkf]在相應(yīng)原子[gγk]上的分量，對于含有噪聲的運動視頻內(nèi)容[f]可描述如下：

[f=fs+fn]? ?（2）

式中：[fs]表示運動視頻中的有用信息即稀疏成分;[fn]表示視頻中的噪聲信息或無用靜止信息。

與以往視頻圖像去噪方式不同，本文提出的基于稀疏分解的運動視頻圖像去噪是根據(jù)所提取的稀疏成分重構(gòu)運動視頻圖像，以此達(dá)到噪聲濾除的目的[8]。使用KSVD算法完成運動視頻圖像的自適應(yīng)稀疏表示。KSVD算法可將超完備字典的訓(xùn)練過程和優(yōu)化過程相結(jié)合，使訓(xùn)練獲得的超完備字典能夠更全面地描述運動視頻內(nèi)容。

2? 運動視頻內(nèi)容特征提取

將第1節(jié)去噪后的運動視頻內(nèi)容進(jìn)行非重疊切分，得到大小為[h×h]的不相重疊的小塊。采用主成分分析法提取切分后視頻片段中各個像素點[（i，j）]的特征構(gòu)造特征向量[U（i，j）]。設(shè)定集合[（x，y）]表示視頻圖像塊[h×h]內(nèi)像素點的坐標(biāo)，經(jīng)過上述操作后，可構(gòu)建協(xié)方差矩陣：

[Σ=1M（ikd（x，y）-Γ）（ikd（x，y）-Γ）T] （3）

式中：

[Γ=1Mk=1Mikd（x，y）]? （4）

[T]表示矩陣轉(zhuǎn)置;[Γ]表示元素[id（x，y）]的均值向量，滿足[1≤k≤M]，[M=（H×W）（h×h）]。所描述的矩陣大小為[h2×h2]，且含有[r（r=h2）]個特征向量。

采用[Σ]可獲得運動視頻片段中像素點[（i，j）]的投影向量[U（i，j）]。設(shè)定[λl]表示[Σ]的第[l]個特征描述項，根據(jù)特征描述項大小進(jìn)行排序，即[λ1≥λ2≥…≥λr]，這些特征描述項對應(yīng)的特征向量可描述為[wi]，從中選擇[S（S≤r）]個特征向量可獲得：

[W（i，j）=[w1，w2，…，wS]]? （5）

將元素[id（x，y）]投影至特定的特征向量空間中，在此空間中經(jīng)降維處理可獲得特征向量空間[W]。由于運動視頻內(nèi)容中的每一個像素點[（i，j）]均可以向特征向量空間[U（i，j）]投影[9]，因此可以獲得該像素點在特征向量空間的投影向量，即構(gòu)造空間像素點[（i，j）]維度為[S]的特征向量：

[U（i，j）=[u1，u2，…，uS]T] （6）

[uS=wTS（id（x，y）-Γ）]? （7）

主成分分析法構(gòu)造的特征向量空間[W]與其相應(yīng)的均值向量[Γ]均可以將空間內(nèi)的每一個像素點映射至低維空間[10]。與其相應(yīng)的[r-S]個特征向量被除去，致使高維空間結(jié)構(gòu)與低維空間結(jié)構(gòu)不同。當(dāng)運動視頻幀受到噪聲影響時，視頻內(nèi)容相應(yīng)的特征描述項對應(yīng)的特征向量通常與噪聲相關(guān)，將這部分?jǐn)?shù)據(jù)去除可以達(dá)到濾除噪聲的效果。

3? 基于改進(jìn)支持向量機的運動視頻內(nèi)容分類算法

3.1? 支持向量機分類器

假設(shè)，線性可分的運動視頻內(nèi)容樣本集合為[S={（xi，yi）i=1，2，…，n}]，其中[xi∈Rd]，[yi={+1，-1}]表示[xi]相應(yīng)的類別標(biāo)簽。[g（x）=w?x+b]表示[d]維特征空間中線性判別函數(shù)，其相應(yīng)的分類面方程可描述為[w?x+b=0]，將判別函數(shù)[g（x）]標(biāo)準(zhǔn)化處理后可使不同類別的運動視頻樣本均滿足[g（x）≥1]，此時分類間隔等同于[2w]。可知，若使分類間隔面最大就等同于使[w]為最小。這就要求分類超平面對全部運動視頻樣本均能正確劃分，滿足：

[yi[（w?x）+b]-1≥0] （8）

滿足式（8）的條件的分類超平面即最優(yōu)分類面。而兩類運動視頻內(nèi)容中距離分類面較近的點且與最佳分類面[H1]，[H2]相平行的訓(xùn)練樣本，即式（8）中等號成立的那些樣本，可將其描述為支持向量。最佳分類面問題可描述成在式（8）的約束下，求取目標(biāo)函數(shù)[?（w）]的極小值問題。

[?（w）=12w2=12（w?w）] （9）

對于運動視頻內(nèi)容線性不可分情況，引入松弛變量[ξi]以及懲罰因子[C]，將目標(biāo)函數(shù)轉(zhuǎn)換為：

[?（w，ξi）=12（w?w）+Ci=1Nξi] （10）

引入拉格朗日乘子[（α1，α2，…，αN）]，可將式（10）變換為具有約束條件的求解最優(yōu)分類面問題，所得解為[w=iαiyixi]，則運動視頻內(nèi)容最佳分類函數(shù)可描述為：

[f（x）=sgn{（w?x）+b}=sgni=1Nαiyi（xi?x）+b] （11）

支持向量機本身為一個兩類的分類器，而本文所研究的運動視頻內(nèi)容類別是未知的，可將其視為多分類問題。解決支持向量機多分類問題通常采用1?against?1，

1?against?rest，SVM決策樹法等方法，本文采用1?against?1方法構(gòu)建多類分類器。

3.2? 融合主動學(xué)習(xí)機制的改進(jìn)支持向量機

本文研究的一個[k]類運動視頻內(nèi)容的分類問題，目的是估測各個運動視頻樣本[x]對應(yīng)于第[i]類的后驗概率[pi]，首先計算運動視頻樣本成對的類概率估計：

[rij=p（y=iy=i 或 j，x）]? ?（12）

式中，[pi]可根據(jù)求解式（13）給出的優(yōu)化問題獲得：

[minp12i=1kj≠i（rjipi-rijpj）2s.t. i=1Mpi=1，pi≥0]? ? （13）

記錄[pi]最大的[i]為[imax]，從其后驗概率角度分析，可將分類器對運動視頻樣本的置信度[Con]設(shè)定為：

[Con=pimax-max1≤i≤k，i≠imaxpi] （14）

通過上述過程，確定運動視頻樣本選取機制后，本文所提出的融合主動學(xué)習(xí)機制的改進(jìn)支持向量機分類算法流程如下：

1） 初始化[n]，[N];

2） 依據(jù)初始條件構(gòu)建運動視頻訓(xùn)練樣本集合，確保不同類別的運動視頻至少有一個樣本;

3） 依據(jù)所構(gòu)建的運動視頻訓(xùn)練樣本集訓(xùn)練融合主動學(xué)習(xí)機制的改進(jìn)的支持向量機分類器[C];

4） 使用改進(jìn)的支持向量機分類器[C]對剩余運動視頻樣本進(jìn)行分類并預(yù)測其后驗概率，經(jīng)過式（14）的計算，將置信度較低的[n]個運動視頻樣本提交給用戶，用戶對其進(jìn)行標(biāo)記。

5） 將用戶標(biāo)記過的[n]個運動視頻樣本加入訓(xùn)練集中，重復(fù)步驟3），假設(shè)當(dāng)前運動視頻訓(xùn)練集中的樣本數(shù)量大于[N]，則算法終止。

4? 實驗結(jié)果與分析

4.1? 實驗環(huán)境和實驗數(shù)據(jù)

為了驗證本文提出的基于改進(jìn)支持向量機的運動視頻內(nèi)容分類算法的綜合性能，在Windows Server 2012R2 Intel[?]XeonTM CPU E5?2650@2.30 GHz，with 32.0 GB of RAM環(huán)境下，采用Matlab 2014a編程平臺進(jìn)行仿真實驗。實驗選取300 min的不同類別的運動視頻集，可劃分為517個運動視頻片段，如表1所示。對不同類別的運動視頻，隨機選取30個片段作為訓(xùn)練樣本構(gòu)建訓(xùn)練樣本集合，剩余片段作為測試樣本集合。

4.2? 分類性能

本文提出的基于改進(jìn)支持向量機的運動視頻內(nèi)容分類算法中，各個分類器通過對100個正例和100個反例進(jìn)行訓(xùn)練后，對剩余運動視頻樣本構(gòu)造測試樣本集。為了檢驗基于改進(jìn)支持向量機的運動視頻內(nèi)容分類算法的性能，選取常用的查全率（NR）和查準(zhǔn)率（NC）來度量分類算法的性能。

[NR=NCNC+NM×100%]? ? ? ? ? （15）

[NP=NCNC+NF×100%] （16）

式中，[NC]，[NM]，[NF]分別表示運動視頻內(nèi)容正確分類的個數(shù)、漏檢的個數(shù)以及誤檢的個數(shù)。依據(jù)式（15）、式（16）計算得到不同指標(biāo)數(shù)據(jù)，如表2所示。

由表2可知，不同類別的運動視頻內(nèi)容查全率和查準(zhǔn)率均高于90%，平均可達(dá)到94%。這說明本文提出的基于改進(jìn)支持向量機的運動視頻內(nèi)容分類算法是有效的。進(jìn)一步對誤判的運動視頻片段進(jìn)行分析可知，很多誤判運動視頻內(nèi)容都屬于觀眾、裁判這一類視頻內(nèi)容構(gòu)成的視頻片段。對這類視頻片段進(jìn)行濾除，能夠進(jìn)一步提高查全率和查準(zhǔn)率。

5? 結(jié)? 語

運動視頻內(nèi)容的分類可以幫助人們更快速、準(zhǔn)確地對視頻內(nèi)容進(jìn)行管理和查詢。本文提出基于改進(jìn)支持向量機的運動視頻內(nèi)容分類算法。將主動學(xué)習(xí)策略融入到運動視頻內(nèi)容分類中，并提出根據(jù)擬合后驗概率來計算支持向量機分類器，選取運動視頻樣本置信度樣本。這種融合主動學(xué)習(xí)策略的改進(jìn)支持向量機可在不降低運動視頻內(nèi)容分類精度情況下減少費時費力的人工標(biāo)注。實驗結(jié)果表明，所提算法能夠有效地對運動視頻內(nèi)容進(jìn)行高精度分類。

參考文獻(xiàn)

[1] 潘丹，關(guān)衛(wèi)軍.基于隱馬爾可夫模型的體育視頻分類方法[J].湘潭大學(xué)自然科學(xué)學(xué)報，2017，39（1）：73?77.

[2] 吳梓尚，林輝，孫華，等.基于MODIS影像的森林類型決策樹分類方法研究[J].中南林業(yè)科技大學(xué)學(xué)報，2017，37（9）：80?85.

[3] 肖艷芬，陶寶峰，張華麗.基于熱成像數(shù)據(jù)與FLD的體育運動分類方法[J].湘潭大學(xué)自然科學(xué)學(xué)報，2017，39（1）：91?94.

[4] 卞建勇，徐建閩.基于C4.5決策樹的視頻車輛車型分類算法[J].微電子學(xué)與計算機，2017，34（5）：104?109.

[5] 陳麗萍，孫玉軍.基于不同決策樹的面向?qū)ο罅謪^(qū)遙感影像分類比較[J].應(yīng)用生態(tài)學(xué)報，2018，29（12）：3995?4003.

[6] 智洪欣，于洪濤，李邵梅.基于時空域深度特征兩級編碼融合的視頻分類[J].計算機應(yīng)用研究，2018，35（3）：926?929.

[7] 趙小強，張露.一種改進(jìn)的數(shù)據(jù)挖掘模糊支持向量機分類算法[J].蘭州理工大學(xué)學(xué)報，2017，43（5）：94?99.

[8] 冷強奎，劉福德，秦玉平.一種基于混合二叉樹結(jié)構(gòu)的多類支持向量機分類算法[J].計算機科學(xué)，2018，45（5）：220?223.

[9] 楊志民，王甜甜，邵元海.面向不均衡分類的隸屬度加權(quán)模糊支持向量機[J].計算機工程與應(yīng)用，2018（2）：68?75.

[10] 邵元海，楊凱麗，劉明增，等.從支持向量機到非平行支持向量機[J].運籌學(xué)學(xué)報，2018，22（2）：55?65.