視頻語義上下文標簽樹及其結(jié)構(gòu)化分析

余春艷， 蘇晨涵

（福州大學數(shù)學與計算機科學學院，福建 福州 350108）

視頻高層語義解析是視頻內(nèi)容理解的重要研究內(nèi)容，也是視頻管理、組織、檢索等眾多視頻應(yīng)用的基礎(chǔ)性工作[1]。形式上，視頻呈現(xiàn)為一組靜態(tài)圖像幀的序列；但為了呈現(xiàn)物體運動、事件發(fā)展等動態(tài)信息，視頻在內(nèi)容上具有非常強的時間關(guān)聯(lián)和邏輯結(jié)構(gòu)[2]。一般認為視頻內(nèi)容層次從高到底可分為視頻、場景、鏡頭組、鏡頭等[3]，該層次性模型是視頻內(nèi)容理解的重要基礎(chǔ)。

一般認為，由同一攝像機連續(xù)拍攝得到的若干幀圖像組成鏡頭(shot)是視頻的基本物理單元[4]?？蓮膱D像、音頻等模態(tài)分析鏡頭的底層特征、物理對象等時空信息，獲得的語義表征即為鏡頭語義。以視頻鏡頭作為基本單位，將視頻分解形成視頻鏡頭序列，逐一提取其鏡頭語義，形成順序排列的鏡頭語義序列。

從符合人類認識理解視頻內(nèi)容的角度來看，鏡頭語義與鏡頭語義間還隱含著時間上、語義上、結(jié)構(gòu)上的關(guān)聯(lián)。這種關(guān)聯(lián)稱為鏡頭語義上下文。合理地描述和使用這種上下文信息，有助于更好地從局部的鏡頭語義引導至整體的視頻語義，本文主要圍繞著這一問題展開。

目前，用時序關(guān)系表征鏡頭語義上下文[5-11]較為普遍，運用各種時序分析方法從鏡頭語義序列中提取上下文，形成鏡頭語義上下文的序列化表征。文獻[7]與文獻[8]以本體論為基礎(chǔ)，構(gòu)建了能夠描述鏡頭語義間時序關(guān)系的語義本體，并運用該語義本體對足球體育視頻鏡頭語義序列中的時序上下文進行分析；文獻[9-11]分別使用具有時序信息處理能力的隱馬爾科夫模型(hidden Markov model,HMM)和動態(tài)貝葉斯網(wǎng)絡(luò)(dynamic Bayesian network,DBN)實現(xiàn)視頻鏡頭語義序列中時序上下文關(guān)系的建模和分析，并較好地運用于乒乓球和足球體育視頻。

然而，考慮到以鏡頭為底層基礎(chǔ)的視頻內(nèi)容層次化表征，時序關(guān)聯(lián)下的鏡頭語義上下文序列化表征并不完備。以視頻內(nèi)容層次化結(jié)構(gòu)為基礎(chǔ)，視頻具有鏡頭、場景等多種粒度；其內(nèi)容感知依賴于不同粒度層次上語義間上下文交互[12]。因此，鏡頭語義在不同粒度層上的交互可形成上下文的層次化結(jié)構(gòu)，而非時間維度上的簡單序列表征。

例如足球視頻中的一個進球片段包含4個鏡頭，其語義序列為“普通遠景”、“禁區(qū)遠景”、“特寫”、“回放”。簡單的時序關(guān)系局限于“普通遠景”與“禁區(qū)遠景”、“特寫”與“回放”間的時空依賴關(guān)系。事實上，其中“普通遠景”與“禁區(qū)遠景”、“特寫”和“回放”又兩兩組合，前一個組合表征了“比賽進行”的內(nèi)容，后一個組合表征了“比賽暫?！逼陂g的慶祝、歡呼和精彩回放等內(nèi)容。4個鏡頭組合在一起表征一個完整的進球片段，其鏡頭語義上下文層次化表示如圖1所示。因此，鏡頭語義上下文結(jié)構(gòu)化表征可以得到更顯著的信息增益，有助于視頻內(nèi)容理解的效率和正確性。

圖1 鏡頭語義上下文的層次化結(jié)構(gòu)

為此，本文提出采用一棵帶有上下文標簽的視頻語義上下文標簽樹(video semantic context labeled tree,VSCLT)作為鏡頭語義上下文層次結(jié)構(gòu)的表征模型，其根節(jié)點為視頻標簽結(jié)點，每個葉節(jié)點代表一個鏡頭及其語義，每個內(nèi)結(jié)點為上下文標簽結(jié)點，代表其子節(jié)點間的上下文信息。VSCLT的樹形結(jié)構(gòu)與視頻內(nèi)容層次化表征形式一致，符合用戶理解視頻內(nèi)容的方式。

然而，VSCLT的層次化構(gòu)建是一個具有挑戰(zhàn)性的問題。該問題以順序排列的鏡頭語義序列為基礎(chǔ)，需要分析鏡頭語義在不同粒度層上復(fù)雜的依賴關(guān)系，本質(zhì)上是以鏡頭語義為基本元素的結(jié)構(gòu)化分析。該結(jié)構(gòu)化分析問題的重點在于鏡頭語義從其序列結(jié)構(gòu)——鏡頭語義序列向樹形層次結(jié)構(gòu)——VSCLT的轉(zhuǎn)化。前述的時域邏輯本體、HMM或DBN鏡頭語義上下文分析方法僅適用于解決鏡頭語義序列中的時序關(guān)系，均無法完成鏡頭語義上下文的結(jié)構(gòu)化分析。

Tsochantaridis等[13-15]提出了結(jié)構(gòu)化支持向量機(SVM-Struct)用于結(jié)構(gòu)化數(shù)據(jù)分析，利用分解與選塊的思想對數(shù)據(jù)內(nèi)部元素之間的依賴關(guān)系進行分析，實現(xiàn)數(shù)據(jù)內(nèi)部結(jié)構(gòu)的預(yù)測。例如，SVM-Struct可應(yīng)用于句子的句法分析以生成對應(yīng)的句法樹，實現(xiàn)單詞序列結(jié)構(gòu)空間到句法樹型結(jié)構(gòu)空間的映射[13-17]。

為此，本文為VSCLT的構(gòu)建，引入了SVM-Struct的分析方法，根據(jù)鏡頭語義序列和VSCLT的聯(lián)合特性構(gòu)造了語義上下文結(jié)構(gòu)化函數(shù)和損失函數(shù)，基于SVM-Struct實現(xiàn)了鏡頭語義上下文的結(jié)構(gòu)化分析，并應(yīng)用于足球體育視頻。實驗結(jié)果表明，VSCLT在時序性、結(jié)構(gòu)性、領(lǐng)域性、邏輯性等方面表征能力良好；基于SVM-Struct的結(jié)構(gòu)化分析方法準確率、召回率和F1值上性能良好。

1 結(jié)構(gòu)化支持向量機

結(jié)構(gòu)化數(shù)據(jù)的復(fù)雜性在于構(gòu)成其整體的內(nèi)部數(shù)據(jù)元素之間存在較為復(fù)雜的依賴關(guān)系，例如樹形結(jié)構(gòu)[15-16]。結(jié)構(gòu)化數(shù)據(jù)分析的目的在于對輸入結(jié)構(gòu)化數(shù)據(jù)x∈X給出其結(jié)構(gòu)y∈Y，其關(guān)鍵是映射函數(shù)f:X→Y。SVM-Struct的基本思路就是根據(jù)標注數(shù)據(jù)集S找到映射函數(shù)f:X→Y。

為此，假定映射函數(shù)形為[13]：

其中，判別函數(shù)F可以表示為F(x,y;w)=＜w,ψ(x,y)＞，w是權(quán)向量，結(jié)構(gòu)化函數(shù)ψ(x,y)代表了輸入的結(jié)構(gòu)化數(shù)據(jù)與輸出的結(jié)構(gòu)彼此之間特性合并的一個向量，一般根據(jù)具體應(yīng)用問題結(jié)合輸入與輸出數(shù)據(jù)特性提取得到[13-15]。

SVM-Struct的訓練目標設(shè)定為找到映射函數(shù)f，使得期望風險最小化。其中，P(x,y)為樣本的分布，Δ(y,f(x))為量化預(yù)測結(jié)構(gòu)損失度的損失函數(shù)[13]。

通常樣本分布P(x,y)無法直接獲得，只能計算訓練數(shù)據(jù)集S={(x,y)∈(X×Y)n:i=1,…,n}的經(jīng)驗風險并使之最小化[13-14]。

在訓練數(shù)據(jù)集S上訓練SVM-Struct得到權(quán)向量w，使得：

其中，δψi(y)≡ψ(xi,yi)-ψ(xi,y)。

采用最大間隔法，并引入松弛變量ξi后，訓練SVM-Struct的軟間隔最優(yōu)化問題為：

其中，C＞0為設(shè)定的懲罰因子。

結(jié)構(gòu)化數(shù)據(jù)的通常很大，因此式(3)不適用于求解訓練SVM-Struct的軟間隔最優(yōu)化問題，通常采用兩種方法予以修訂[13]：

方法1使用損失函數(shù)Δ(yi,y)調(diào)整松弛變量：

方法2使用損失函數(shù)Δ(yi,y)調(diào)整分類間隔：

由于約束條件規(guī)模非常大，因此需要將上述的軟間隔最優(yōu)化問題改寫為對偶形式：

其中，αiy是拉格朗日乘子。為了處理線性不可分情況，SVM-Struct同樣使用核函數(shù)在高維空間計算2個向量的內(nèi)積。

SVM-Struct根據(jù)式(6)訓練后得到權(quán)向量w后，即可確定映射函數(shù)f。

給定結(jié)構(gòu)信息未知的數(shù)據(jù)x，通過SVM-Struct進行結(jié)構(gòu)預(yù)測時，首先生成測試數(shù)據(jù)的所有候選結(jié)構(gòu){,…,}，然后將所有候選結(jié)構(gòu)輸入式(1)，將具有最優(yōu)值的候選結(jié)構(gòu)作為預(yù)測的結(jié)構(gòu)y。

SVM-Struct的學習和預(yù)測過程中，結(jié)構(gòu)化函數(shù)和損失函數(shù)的構(gòu)造和具體應(yīng)用問題緊密相關(guān)。首先，結(jié)構(gòu)化函數(shù)的構(gòu)造依賴于輸入數(shù)據(jù)與其內(nèi)部結(jié)構(gòu)特點，不同的應(yīng)用問題，其數(shù)據(jù)內(nèi)部元素的依賴關(guān)系是各不相同的。其次，傳統(tǒng)的0-1損失在SVM-Struct中不再適用，通常需要以數(shù)據(jù)內(nèi)部節(jié)點為單位計算損失，因此，需針對具體應(yīng)用合理設(shè)計損失函數(shù)[13-17]。

2 視頻語義上下文標簽樹

按照視頻內(nèi)容理解的層次，視頻可以分為鏡頭、鏡頭組、場景和視頻等。圖1中，鏡頭“普通遠景”和“禁區(qū)遠景”組合為一個表征“比賽進行”的鏡頭組；鏡頭“特寫”和“回放”組合為一個表征“比賽暫停”的鏡頭組；兩個鏡頭組組合為一個場景。

視頻分解為鏡頭序列后，每一個鏡頭可提取其語義標簽，形成順序化鏡頭語義序列。鏡頭語義上下文層次結(jié)構(gòu)需要標記鏡頭間、鏡頭組間、場景間的依賴關(guān)系及鏡頭與鏡頭組間、鏡頭組和場景間、鏡頭與場景間、場景和視頻間的層次關(guān)系。因此，鏡頭語義上下文層次結(jié)構(gòu)涉及4種不同類型的標簽：鏡頭語義標簽、普通上下文標簽、場景標簽scene和視頻標簽video。其中后3種為上下文標簽。鏡頭語義標簽由鏡頭語義決定，所有鏡頭語義標簽組成鏡頭語義標簽集合L，所有普通上下文標簽組成普通上下文標簽集合NL。鏡頭語義上下文依賴關(guān)系可根據(jù)形如p:cp←c1,…,cj(j＞1,cj∈L∪NL,cp∈video∪scene∪NL)的上下文生成規(guī)則判定。

給定鏡頭語義標簽集合L，給定n個鏡頭組成的視頻V={shot1,…,shotn}，鏡頭shoti具有語義標簽li。Lv={l1,…,ln}是視頻V對應(yīng)的鏡頭語義序列，其中l(wèi)i∈L。給定上下文生成規(guī)則集P，即可生成得到Lv所對應(yīng)的視頻語義上下文標簽樹VSCLTV，具體過程如下：

(1) 鏡頭語義序列Lv中每一個鏡頭語義標簽li依次生成一個葉節(jié)點，從左到右生成初始標簽節(jié)點序列Curr={c1,…,cn}，其中ci=li，序列Curr長度為n；

(2) 從左到右遍歷標簽節(jié)點序列Curr，對于其中子序列{ck,…,ck+m}，若符合上下文生成規(guī)則p∈P，以子序列中每一個標簽節(jié)點為子節(jié)點，以標簽cp生成的新標簽結(jié)點為父節(jié)點，{ck,…,ck+m}中每個節(jié)點為標簽節(jié)點cp的子節(jié)點，并以cp替換Curr序列中{ck,…,ck+m}部分；

(3) 遍歷結(jié)束生成新的標簽節(jié)點序列Curr；

(4) 回到步驟(2)，直至Curr序列長度為1。

圖2給出了VSCLT示例。以上步驟構(gòu)建的上下文標簽樹一定以視頻標簽video為根節(jié)點，根結(jié)點有若干棵子樹，均以scene標簽為子樹根節(jié)點，以鏡頭語義標簽為葉結(jié)點，剩余內(nèi)部節(jié)點為普通上下文標簽；因此，整個樹形結(jié)構(gòu)表征了鏡頭語義之間的層次關(guān)系。此外，鏡頭語義標簽生成葉節(jié)點時，從左到右按照時序關(guān)系依次排列；因此，上下文標簽樹中每一個層次的內(nèi)部結(jié)點間從左到右具有時序排列的特點。

圖2 視頻語義上下文標簽樹示例圖

VSCLT由鏡頭語義序列采用自底向上的方式逐層構(gòu)建而成，可采用BNF范式自頂向下形式化定義如下：

VSCLT::="video"＜scene標簽樹＞{＜scene標簽樹＞}

＜scene標簽樹＞::="scene"(＜普通上下文標簽樹＞|＜鏡頭語義標簽＞){＜普通上下文標簽樹＞|＜鏡頭語義標簽＞}

＜普通上下文標簽樹＞::=＜普通上下文標簽＞(＜普通上下文標簽樹＞|＜鏡頭語義標簽＞){＜普通上下文標簽樹＞|＜鏡頭語義標簽＞}

3 面向VSCLT的SVM-Struct構(gòu)建

已知上下文生成規(guī)則集P，給定視頻V={shot1,…,shotn}及其鏡頭語義序列Lv={l1,…,ln}，若鏡頭語義間上下文依賴關(guān)系已知，則可根據(jù)第2節(jié)中自底向上的VSCLT生成方法，將Lv轉(zhuǎn)化為VSCLT層次結(jié)構(gòu)。

實際應(yīng)用中，Lv語義上下文關(guān)系有待分析。因此，本文引入SVM-Struct構(gòu)建方法實現(xiàn)鏡頭語義上下文的結(jié)構(gòu)化分析，實現(xiàn)鏡頭語義從鏡頭語義序列到VSCLT的轉(zhuǎn)化。

根據(jù)SVM-Struct的基本原理，構(gòu)建視頻V對應(yīng)的上下文標簽樹VSCLTV需要解決2個核心問題，一是結(jié)構(gòu)化函數(shù)的構(gòu)造；二是損失函數(shù)的構(gòu)造。

考慮到鏡頭語義序列到VSCLT的轉(zhuǎn)化是一種序列結(jié)構(gòu)空間向樹結(jié)構(gòu)空間的映射。其中序列結(jié)構(gòu)空間的特點以節(jié)點之間的先后順序關(guān)系為體現(xiàn)，而樹結(jié)構(gòu)空間的特點主要以父節(jié)點和子節(jié)點之間的層次關(guān)系為表征。VSCLT中，上下文生成規(guī)則不僅描述了其父、子節(jié)點間的層次關(guān)系，還描述了子節(jié)點彼此間的先后順序關(guān)系。因此，本文將結(jié)構(gòu)化函數(shù)ψ(x,y)構(gòu)造成VSCLTV結(jié)構(gòu)中上下文生成規(guī)則應(yīng)用頻數(shù)的向量，具體形式如下：

其中，D是P中上下文生成規(guī)則的總數(shù)，pd與ad(d∈[1,D])分別是其中第d條規(guī)則及其在VSCLTV結(jié)構(gòu)中應(yīng)用的頻數(shù)。

結(jié)構(gòu)化問題中，通常以數(shù)據(jù)內(nèi)部節(jié)點為單位計算預(yù)測結(jié)果的損失度。為了在訓練過程中計算預(yù)測結(jié)構(gòu)y的損失度，還需要計算預(yù)測結(jié)構(gòu)y和真實結(jié)構(gòu)yi的相似度。通常計算樹結(jié)構(gòu)數(shù)據(jù)的相似度的評價指標有準確率(P)、召回率(R)與F1值，具體計算方法見式(7)：

其中，E(yi)為yi的邊集，E(y)為y的邊集。

考慮到F1值是統(tǒng)一了P與R的評價指標，本文使用F1值為預(yù)測VSCLT與真實VSCLT間相似度的評價指標。參考文獻[13]、[14]中的方法，令損失函數(shù)為Δ(yi,y)=(1-F1(yi,y))。當yi與y相等時Δ(yi,y)=0，否則Δ(yi,y)＞0。

結(jié)構(gòu)化函數(shù)與損失函數(shù)構(gòu)造完成后，面向VSCLT構(gòu)建的SVM-Struct具體訓練步驟[13]如下：

步驟1.輸入訓練樣本S={(x,y)∈(χ×γ)n:i=1,…,n}，設(shè)置參數(shù)C,ε，其中xi為鏡頭語義序列，yi為對應(yīng)的VSCLT。

步驟2.確定表示鏡頭語義序列和VSCLT聯(lián)合特性向量的ψ(x,y)和計算預(yù)測VSCLT損失度的Δ(yi,y)，并令H(y)≡(1-〈δψi(y),w〉)Δ(yi,y)。

步驟3.初始化工作集Qi為空集。

步驟4.計算H(y)，其中權(quán)向量

步驟5.計算

步驟6.如果H(y?)≥ξi+ε則Qi←Qi∪{y?}，Q=∪iQi，在Q上繼續(xù)二次優(yōu)化更新αQ，返回步驟4。否則轉(zhuǎn)至步驟7。

步驟7.完成訓練，輸出權(quán)向量w。

訓練結(jié)束，得到權(quán)向量w并確定式(1)所表示的映射函數(shù)。

給定視頻V={shot1,…,shotn}及其鏡頭語義序列Lv={l1,…,ln}，鏡頭語義上下文結(jié)構(gòu)未知，為預(yù)測其語義標簽樹VSCLTv，首先通過CKY算法[10]生成鏡頭語義序列可能的候選VSCLT集r為候選結(jié)構(gòu)的總數(shù)。然后將候選結(jié)構(gòu)集合輸入式(1)，選取具有最優(yōu)值的候選上下文標簽樹作為預(yù)測結(jié)果。

4 實驗與分析

4.1 實驗設(shè)置

本文以足球比賽視頻為實驗數(shù)據(jù)，采集了2010年南非世界杯的五場比賽（共400個視頻片段）的鏡頭語義序列，其中每個鏡頭語義序列平均包含25個鏡頭語義；進一步采用VSCLT結(jié)構(gòu)對每個鏡頭語義序列進行人工標注，由此得到400個樣本數(shù)據(jù)。

鏡頭語義是分析語義上下文的基礎(chǔ)，根據(jù)足球視頻的領(lǐng)域特點[7,9-10]，實驗中提取的鏡頭語義見表1。

圖3(a)～(f)為6個鏡頭語義及關(guān)鍵幀實例。

表1 鏡頭語義標簽

圖3 鏡頭語義及關(guān)鍵幀實例

足球賽視頻中存在大量比賽規(guī)則和視頻編輯規(guī)范。如回放鏡頭出現(xiàn)在精彩事件后，球員犯規(guī)后裁判會吹哨暫停比賽等。這些規(guī)則有助于鏡頭語義上下文信息的獲取。根據(jù)足球視頻特有的比賽規(guī)則和視頻編輯規(guī)范，本文所使用的普通上下文標簽見表2，部分上下文生成規(guī)則見表3。

表2 上下文標簽

表3 部分上下文生成規(guī)則

4.2 實驗結(jié)果與分析

實驗分為2個層次：①就視頻語義標簽樹作為鏡頭語義層次化表征模型的表征能力進行了對照分析；②就SVM-Struct構(gòu)建VSCLT有效性和準確性進行了驗證分析。

4.2.1 足球視頻語義上下文標簽樹表征能力

通常，鏡頭語義的表征最為基本的方式按其時序順序排列；文獻[18]指出視頻的語義結(jié)構(gòu)化解析是視頻高層語義分析的一部分，比如可以就體育視頻進行結(jié)構(gòu)化分析，粗粒度地組合為play/break鏡頭組，類似地，結(jié)合不同體育節(jié)目的不同領(lǐng)域知識可以得到更具體、有意義的結(jié)構(gòu)，比如網(wǎng)球視頻可以粗粒度地組合為“分/局/盤”鏡頭組；本文方法將鏡頭語義序列解析為VSCLT，以此作為鏡頭語義層次化表征結(jié)構(gòu)。圖4給出了一個足球視頻的鏡頭語義序列和對應(yīng)VSCLT實例。

鏡頭語義表征模型的表征能力可以從時序有效性、結(jié)構(gòu)完整性、領(lǐng)域關(guān)聯(lián)性和邏輯劃分性等方面[19]進行評估。鏡頭語義時序序列、鏡頭組表征和VSCLT表征模型的表征能力評價結(jié)果見表4。

圖4 足球視頻VSCLT實例

表4 語義模型表征能力評價

鏡頭語義之間的時序關(guān)系是最重要的上下文信息之一，常作為推理復(fù)雜視頻語義的主要依據(jù)[1,7-11]。時序有效性指表征模型能否有效表達鏡頭語義之間的時序關(guān)聯(lián)關(guān)系。鏡頭語義的時序序列、鏡頭組表征以及VSCLT均能有效描述鏡頭語義間的時序上下文，具備時序有效性。

如前所述，視頻在不同的粒度層會形成鏡頭組、場景、視頻等層次結(jié)構(gòu)。因此，鏡頭語義之間的層次關(guān)系稱為結(jié)構(gòu)上下文。結(jié)構(gòu)完整性指表征模型能否合理描述鏡頭語義間的層次關(guān)系。鏡頭語義時序序列中層次關(guān)系是完全缺失的；鏡頭組表征中將語義相關(guān)的鏡頭語義組合為一個鏡頭組，描述了鏡頭和鏡頭組間的層次關(guān)系，但是未能進一步描述鏡頭組與場景、場景與視頻間的層次關(guān)系，僅具有部分結(jié)構(gòu)完整性。VSCLT利用樹形結(jié)構(gòu)對視頻不同粒度層間的層次關(guān)系進行完整地描述。圖4中前兩個鏡頭語義標簽“nv”、“nvga”具有共同的父節(jié)點“pl”，表示這兩個鏡頭語義組合隸屬于“比賽進行”鏡頭組；第一個“cu”的父節(jié)點是“st”，表示該“cu”鏡頭獨立成組，表征“比賽暫?！?；同時，“pl”與“st”具有共同的父節(jié)點“scene”，表示“nv”、“nvga”與“cu”隸屬同一個場景。

鏡頭語義與鏡頭語義上下文具有非常強的領(lǐng)域性。同樣為體育視頻，足球視頻的鏡頭組可采用“play/break”組合，而網(wǎng)球視頻的鏡頭組需采用“分/局/盤”組合。類似的領(lǐng)域知識有助于鏡頭語義上下文描述的準確度。領(lǐng)域關(guān)聯(lián)性表示表征模型能夠合理引入領(lǐng)域知識以幫助鏡頭語義上下文分析。鏡頭語義時序序列只強調(diào)其時序關(guān)系排列，不具有領(lǐng)域相關(guān)性。鏡頭組表征需引入鏡頭組語義組合，而VSCLT則可根據(jù)領(lǐng)域知識構(gòu)建上下文標簽和上下文生成規(guī)則，具有較強的領(lǐng)域關(guān)聯(lián)性。

鏡頭語義之間的依賴關(guān)系，可作為視頻邏輯單元劃分的主要依據(jù)。邏輯劃分性表示表征模型能否描述鏡頭語義之間的依賴關(guān)系并輔助邏輯單元劃分。鏡頭語義時序序列本身來自鏡頭劃分和語義提取，無法為邏輯單元劃分提供進一步的輔助；鏡頭組表征將語義相關(guān)的鏡頭語義組合，其組合可以為視頻提供更高層次的邏輯劃分輔助；VSCLT對視頻結(jié)構(gòu)描述完整，其結(jié)構(gòu)化上下文信息能為視頻劃分提供豐富的信息增益。

綜合時序有效性、結(jié)構(gòu)完整性、領(lǐng)域關(guān)聯(lián)性和邏輯劃分性四方面指標，VSCLT表征模型蘊含了更豐富的上下文信息，具有更優(yōu)秀的上下文表達能力，有助于充分理解視頻語義內(nèi)容，提高視頻內(nèi)容分析的準確率。

4.2.2 面向VSCLT的SVM-Struct構(gòu)建性能結(jié)果與分析

為了進一步檢驗，采用SVM-Struct方法構(gòu)建的VSCLT的有效性及魯棒性，本文從400個樣本數(shù)據(jù)中隨機抽取一定數(shù)量的樣本組成了10個訓練集和5個測試集。其中訓練集1～5樣本數(shù)為70，訓練集6～10樣本數(shù)為100；測試集1～5對應(yīng)由訓練集6～10選取后的剩余300個樣本而組成。

實驗1～實驗10分別在訓練集1到10上訓練得到SVM-Struct后在測試集1～測試集5上評估其預(yù)測能力（懲罰因子C設(shè)為1.0）。實驗采用的評價準則為精確率、召回率及F1值，其定義見式(7)。由于F1是將P與R統(tǒng)一到一個全面的度量尺度中的評價指標，因此實驗將F1值作為主要的評價準則，在每組實驗中計算5個測試集上的F1值的平均值和方差。實驗結(jié)果見表5，其中num表示訓練樣本數(shù)，CO表示集合中的上下文生成規(guī)則數(shù)的完備度，數(shù)值上等于該訓練集中包含的上下文生成規(guī)則數(shù)除以數(shù)據(jù)集中總的上下文生成規(guī)則數(shù)（本文從視頻數(shù)據(jù)中提取上下文生成規(guī)則的總數(shù)為81）。

從中可以看出，當訓練集樣本數(shù)相同時，預(yù)測結(jié)果的平均F1值正相關(guān)于訓練集中上下文生成規(guī)則的完備度CO，說明CO對SVM-Struct構(gòu)建方法的平均性能影響較大，訓練集中上下文生成規(guī)則越完備本文方法的有效性就越高。從SVM-Struct構(gòu)建方法的魯棒性來看，F(xiàn)1的方差隨著CO的降低而急劇升高，說明CO越高SVM-Struct構(gòu)建方法的魯棒性就越強。其原因主要是當測試數(shù)據(jù)中出現(xiàn)了訓練集中未學習到的上下文生成規(guī)則，SVM-Struct將生成錯誤節(jié)點較多的VSCLT，甚至不能生成VSLCT。

此外，實驗10的訓練樣本數(shù)比實驗5的訓練樣本數(shù)多43%，但F1平均值僅略高于實驗5的F1平均值。這說明訓練集包含完備的上下文生成規(guī)則時，SVM-Struct繼承了傳統(tǒng)SVM小樣本學習特點，在訓練樣本數(shù)較小的情況下依然能夠獲得較好的預(yù)測能力。

SVM-Struct構(gòu)建VSCLT標的過程中需要在眾多候選VSCLT中選擇最優(yōu)結(jié)構(gòu)才能保證其性能。因此，為了驗證SVM-Struct構(gòu)建VSCLT方法最優(yōu)選擇機制的有效性，實驗11在訓練集10上采用隨機選取的方式從候選VSCLT中隨機選取一個作為預(yù)測結(jié)果，作為對照。

對比實驗5、實驗10與實驗11可以看出，VSCLT隨機選擇方法性能不佳，實驗5與實驗10的F1平均值均達到95%，顯著高于實驗11。即，當訓練集上下文生成規(guī)則完備時，SVM-Struct構(gòu)建VSCLT時能夠有效地從候選VSCLT中選取最優(yōu)的VSCLT作為預(yù)測結(jié)構(gòu)。

表5 基于SVM-Struct的VSCLT構(gòu)建實驗結(jié)果

式(3)中C是錯誤樣本的懲罰因子，一般經(jīng)驗值為1.0[13]。本文選擇不同的C值以考察其對于結(jié)構(gòu)預(yù)測結(jié)果的影響。實驗結(jié)果見表6，其中訓練集11樣本數(shù)為54，訓練集12樣本數(shù)為100，兩個訓練集上下文生成規(guī)則完備度CO均為100%，表中P/R/F1為5個測試集上的實驗均值。實驗結(jié)果表明，懲罰因子對于結(jié)構(gòu)預(yù)測結(jié)果影響并不顯著，其中部分原因在于結(jié)構(gòu)預(yù)測中損失度的計算并非傳統(tǒng)的0-1損失。

綜合來看，訓練集中上下文生成規(guī)則的完備度對于文中SVM-Struct方法構(gòu)建的VSCLT的性能影響最為顯著。因此，實際應(yīng)用中，應(yīng)盡可能地選擇具有較完備上下文生成規(guī)則的樣本集作為訓練集，這是保證結(jié)構(gòu)預(yù)測性能的重要前提。

表6 懲罰因子C的不同取值對結(jié)構(gòu)預(yù)測的影響

5 結(jié) 論

視頻內(nèi)容具有層次結(jié)構(gòu)，該特點意味著將視頻以鏡頭為基本單元劃分后，鏡頭語義與鏡頭語義之間還隱含著時間上、語義上、結(jié)構(gòu)上的各種上下文關(guān)聯(lián)信息。

著眼于鏡頭語義間上下文信息的合理表描述，本文提出了VSCLT作為鏡頭語義上下文層次化表征模型，從而在時序有效性、結(jié)構(gòu)完整性、領(lǐng)域關(guān)聯(lián)性、邏輯劃分性等方面保證表征模型的表達能力。

以鏡頭語義序列為基礎(chǔ)，合理構(gòu)建VSCLT是隨之產(chǎn)生的一個關(guān)鍵問題。該問題本質(zhì)上是一個序列結(jié)構(gòu)空間到樹結(jié)構(gòu)空間的映射問題。本文提出了基于SVM-Struct的VSCLT構(gòu)建方法，該方法根據(jù)鏡頭語義序列和VSCLT的聯(lián)合特性構(gòu)造了語義上下文結(jié)構(gòu)化函數(shù)和損失函數(shù)，足球體育視頻上的實驗結(jié)果表明，精確率、召回率及F1值等多項指標表現(xiàn)良好。

[1] Ballan L,Bertini M,Bimbo A D,et al.Event detection and recognition for semantic annotation of video [J].Multimedia Tools and Applications,2011,51(1):279-302.

[2] 鐘岑岑.基于上下文的音視頻標注研究 [D].北京: 北京交通大學.2014.

[3] Yong Rui,Huang T S,Mehrotra S.Exploring video structure beyond the shots [C]//Proceedings of IEEE International Conference on Multimedia Computing and Systems.Austin,TX,USA,1998: 237-240.

[4] Dai Xiaowen,Cai Zhiping,Zhong Guiying.An algorithm of video shot detection based on partitioning image wavelet entropy [J].Acta Photonica Sinica,2008,37(7):1492-1496.

[5] Wang Zhiyong,Guan Genliang,Qiu Yu,et al.Semantic context based refinement for news video annotation [J].Multimedia Tools and Applications,2013,67(3):607-627.

[6] Zarka M,Ammar A B,Alimi A M.Fuzzy reasoning framework to improve semantic video interpretation [J].Multimedia Tools and Applications,2015,DOI 10.1007/s11042-015-2537-1.

[7] Liang Bai,Lao Songyang,Jones G J F,et al.Video semantic content analysis based on ontology [C]//International Machine Vision and Image Processing Conference.IMVIP,Maynooth,Ireland,2007,117-124.

[8] Gómez-Romero J,Patricio M A,García J,et al.Ontology-based context representation and reasoning for object tracking and scene interpretation in video [J].Expert Systems with Applications,2011,38(6):7494-7510.

[9] Huang Y P,Chiou C L,Sandnes F E.An intelligent strategy for the automatic detection of highlights in tennis video recordings [J].Expert Systems with Applications,2009,36(6): 9907-9918.

[10] Qian Xueming,Wang Huan,Liu Guizhong,et al.HMM based soccer video event detection using enhanced mid-level semantic [J].Multimedia Tools and Applications,2012,60(1): 233-255.

[11] Huang C L,Shih H C,Chao C Y.Semantic analysis of soccer video using dynamic bayesian network [J].IEEE Transactions on Multimedia,2006,8(4): 749-760.

[12] Xu Gu,Ma Yufei,Zhang Hongjiang,et al.An HMM-based framework for video semantic analysis [J].IEEE Transactions on Circuits and Systems for Video Technology,2005,15(11): 1422-1433.

[13] Tsochantaridis I,Hofmann T,Joachims T,et al.Support vector machine learning for interdependent and structured output spaces [C]//Proceedings of the Twenty-First International Conference on Machine Learning,ICML.Alberta,Banff,Canada,2004,104-111.

[14] Tsochantaridis I,Joachims T,Hofmann T,et al.Large margin methods for structured and interdependent output variables [J].Journal of Machine Learning Research,2005,6(12): 1453-1484.

[15] Nowozin S,Lampert C H.Structured learning and prediction in computer vision [J].Foundations and Trends in Computer Graphics and Vision,2011,6(3-4): 185-365.

[16] Joachims T,Finley T,Yu C N J.Cutting-plane training of structural SVMs [J].Machine Learning Journal,2009,77(1): 27-59.

[17] 肖 鋒,周 杰.訓練結(jié)構(gòu)化支持向量機的優(yōu)化切平面法[J].清華大學學報(自然科學版),2013,53(7):1053-1063.

[18] 童曉峰,劉青山,盧漢清.體育視頻分析[J].計算機學報,2008,31(7): 1242-1251.

[19] 王 煜,周立柱,邢春曉.視頻語義模型及評價準則[J].計算機學報,2007,30(3): 337-351.