基于深度網(wǎng)絡(luò)的多模態(tài)視頻場景分割算法

蘇筱涵，豐洪才，吳詩堯

(1.武漢輕工大學(xué) 數(shù)學(xué)與計(jì)算機(jī)學(xué)院，湖北 武漢 430023；2.武漢輕工大學(xué) 網(wǎng)絡(luò)與信息中心，湖北 武漢 430023)

視頻場景分割是基于內(nèi)容的視頻檢索中的一個(gè)重要環(huán)節(jié)，以鏡頭為研究對象，根據(jù)鏡頭內(nèi)容的相關(guān)性和時(shí)間上的鄰近性把語義相似的鏡頭劃分到同一個(gè)場景中，將一段完整的視頻分割成若干個(gè)有意義的邏輯故事單元[1]。國內(nèi)外學(xué)者已對視頻場景分割進(jìn)行了大量研究，主流的視頻場景分割方法包括基于規(guī)則的方法、基于圖的方法和基于多特征融合的方法。其中，基于規(guī)則的方法是利用視頻制作人員使用的視頻規(guī)則作為計(jì)算鏡頭相似度的指導(dǎo)從而識別視頻場景。CHASANIS等[2]以關(guān)鍵幀表示鏡頭，用譜聚類和低層顏色特征聚類并根據(jù)所屬聚類進(jìn)行標(biāo)記，使用Needleman-Wunsch算法從符號序列的對齊分?jǐn)?shù)中檢測場景邊界。但在不嚴(yán)格遵守編輯規(guī)則的視頻中，或當(dāng)兩個(gè)相鄰的場景相似且遵循相同規(guī)則時(shí)，該算法往往會造成場景分割錯(cuò)誤。在基于圖的方法中，鏡頭轉(zhuǎn)換圖(shot transition graph，STG)[3]模型以節(jié)點(diǎn)表示鏡頭或鏡頭簇，邊緣表示連接節(jié)點(diǎn)之間的相似性或時(shí)間接近度，應(yīng)用圖形分割算法構(gòu)造的圖形被分成子圖，每個(gè)子圖表示場景。SU等[4]使用顏色和運(yùn)動特征來表示鏡頭相似度，通過應(yīng)用歸一化的切分將STG劃分為子圖。SIDIROPOULOS等[5]引入STG近似的方法，利用視覺和聽覺通道的特征。但該方法在對視覺特征和聽覺特征相近似的鏡頭進(jìn)行聚類時(shí)，沒有考慮到上下文，從而不利于對生成子圖的分析和分割有意義的場景?；诙嗵卣魅诤系姆椒ㄟ\(yùn)用了多特征融合技術(shù)，可以避免提取到的場景圖像特征單一的問題，是一種解決場景分類的新思路。賈澎濤等[6]通過多特征融合技術(shù)獲取場景視頻的綜合特征，再設(shè)定閾值對場景進(jìn)行分類。雖充分考慮了場景的區(qū)域位置屬性，減小了信息冗余，但未從多角度對視頻特征進(jìn)行融合，同時(shí)相對于部分傳統(tǒng)分類器來說，閾值判定分類器不需要進(jìn)行訓(xùn)練集訓(xùn)練，分類過程易于實(shí)現(xiàn)。

針對使用低層顏色特征聚類、引入STG近似計(jì)算鏡頭相似度及多特征融合的問題，筆者提出了基于深度網(wǎng)絡(luò)的多模態(tài)視頻場景分割算法，整體框架如圖1所示。該方法的創(chuàng)新之處在于提出了一種從視頻視覺內(nèi)容及文本中提取語義概念特征的策略，該策略結(jié)合了視頻鏡頭的底層特征，通過三重深度網(wǎng)絡(luò)學(xué)習(xí)多模態(tài)語義嵌入空間，利用這些特性實(shí)現(xiàn)多模態(tài)視頻場景分割。

圖1 整體框架圖

1 鏡頭檢測及特征提取

筆者采用多模態(tài)深度網(wǎng)絡(luò)方法，將視頻場景分割任務(wù)作為一個(gè)有監(jiān)督的時(shí)間約束聚類問題來處理。首先，從每個(gè)鏡頭中提取豐富的底層特征和語義特征；其次，為了獲得鏡頭特征之間的相似性度量，在歐氏空間中嵌入這些特征；最后，通過最小化時(shí)間段內(nèi)距離的平方和來檢測最優(yōu)的場景邊界，并使用一個(gè)懲罰項(xiàng)來自動選擇場景的數(shù)量，解決了視頻檢索時(shí)場景結(jié)構(gòu)的自動提取問題，實(shí)現(xiàn)了多模態(tài)視頻場景分割。

1.1 鏡頭邊界檢測

為了進(jìn)行鏡頭檢測，使用文獻(xiàn)[7]提出的將視頻快速分割成鏡頭的方法。該算法使用HSV直方圖和SURF描述符來表示視頻幀的視覺內(nèi)容，并通過量化和比較幀對之間的不相似性與預(yù)定閾值來檢測突變和漸變的轉(zhuǎn)換。細(xì)化步驟消除了由于物體、相機(jī)移動和閃光燈引起的異常值，進(jìn)一步提高了檢測精度。

1.2 視頻底層特征

視頻的多模態(tài)特征是由視頻中圖像、音頻、文本3種媒體數(shù)據(jù)對應(yīng)的底層特征構(gòu)成的，不同模態(tài)的選擇、融合與協(xié)作對于縮減視頻底層特征與高層語義之間的“語義鴻溝”起著重要作用[8]。筆者提出了一組基于視覺圖像、聽覺、文本的底層特征，又提出了兩種語義特征，它們依賴于對視覺內(nèi)容和文本的聯(lián)合概念分析，并解釋了無法通過純粹的底層線索識別的場景變化。

1.2.1 視覺特征

視頻中的鏡頭從視覺內(nèi)容的角度來看往往是統(tǒng)一的，因此依靠關(guān)鍵幀來描述視覺外觀是合理的。同時(shí)，使用單一的關(guān)鍵幀可能會導(dǎo)致短鏡頭和長鏡頭的描述都很差，原因在于視覺質(zhì)量可能不令人滿意，或者其內(nèi)容可能不足以描述鏡頭的時(shí)間演化。因此，筆者提出了一種解決方案，該方案保留了卷積神經(jīng)網(wǎng)絡(luò)提取高層特征的能力，同時(shí)考慮了鏡頭的時(shí)間演化。即構(gòu)建了一個(gè)時(shí)間池化全卷積神經(jīng)網(wǎng)絡(luò)，可以將多個(gè)關(guān)鍵幀的可視外觀編碼為一個(gè)固定大小的描述符。該網(wǎng)絡(luò)是完全卷積的，只包含卷積和池化階段，不包含完全連接的層。此外，網(wǎng)絡(luò)的最后一個(gè)階段執(zhí)行時(shí)間池化操作，從而將可變數(shù)量的關(guān)鍵幀減少到固定的維度。網(wǎng)絡(luò)架構(gòu)遵循VGG[9]的16層模型，保持全卷積架構(gòu)，去掉最后的全連接層，添加時(shí)間池化層，通過對ILSVRC2016數(shù)據(jù)集[10]進(jìn)行預(yù)訓(xùn)練，初始化網(wǎng)絡(luò)參數(shù)。

給定一組尺寸為l×l的關(guān)鍵幀{I1,I2…,It}，每個(gè)關(guān)鍵幀都由網(wǎng)絡(luò)的卷積和空間池化層獨(dú)立處理，從而每幀Ip將獲得一個(gè)形狀為|l/f|×|l/f|×k的三維張量CNN(Ip)， 其中f為網(wǎng)絡(luò)空間池化層調(diào)整輸入圖像大小的因子，k為最后一層卷積過濾器數(shù)量。在這k個(gè)激活圖中，每個(gè)激活圖都包含特定高級特征檢測器在輸入圖像上的空間響應(yīng)。

1.2.2 音頻特征

視頻音頻是檢測場景邊界的另一種有意義的線索，因?yàn)橐纛l效果和音軌通常用于專業(yè)視頻制作，以強(qiáng)調(diào)場景內(nèi)容的發(fā)展，而音軌的變化通常強(qiáng)調(diào)內(nèi)容的變化。因此筆者采用基于短時(shí)功率譜的標(biāo)準(zhǔn)音頻描述符[11]，在10 ms窗口內(nèi)提取了MFCCs(mel frequency cepstral coefficients)描述符[12]。

1.2.3 文本特征

視頻人物話語中的停頓也可識別場景的變化，因此通過視頻字幕構(gòu)建一個(gè)文本特征，計(jì)算一個(gè)鏡頭中的詞匯量。但當(dāng)視頻制作者沒有直接提供視頻字幕文本時(shí)，可通過現(xiàn)有的語音識別技術(shù)[13]獲得。對于每個(gè)鏡頭，詞匯量被定義為該鏡頭中出現(xiàn)的字?jǐn)?shù)，并對在完整視頻的鏡頭中找到的最大字?jǐn)?shù)進(jìn)行標(biāo)準(zhǔn)化。

1.3 視頻語義特征

從視頻文本中提取概念并將其投射到語義空間中，然后通過鏡頭的視覺內(nèi)容來驗(yàn)證每個(gè)概念。為了收集候選概念，對文本中句子進(jìn)行解析，并使用Stanford CoreNLP[14]詞性標(biāo)記器收集標(biāo)注為名詞、專有名詞和外來詞的字母組合。所選字母組合包含可能存在于視頻中的術(shù)語，并且可能有助于利用視覺概念檢測場景主題的變化。有些術(shù)語沒有具體的視覺概念，但仍可從文本中推斷出主題的變化。因此筆者將描述兩個(gè)特性來解釋這兩種情況。

1.3.1 視覺概念特征

將視頻文本中的每個(gè)概念映射到外部語料庫后，可以構(gòu)建分類器來檢測一個(gè)鏡頭中的視覺概念是否存在。由于從文本數(shù)據(jù)中挖掘的術(shù)語數(shù)量很大，因此分類器需要高效。來自外部語料庫的圖像使用預(yù)先訓(xùn)練的深度卷積神經(jīng)網(wǎng)絡(luò)的特征激活來表示[15]。利用隨機(jī)采樣的負(fù)訓(xùn)練數(shù)據(jù)對每個(gè)概念進(jìn)行線性SVM訓(xùn)練[16]，再將每個(gè)分類器的概率輸出作為鏡頭中一個(gè)概念是否存在的指示符。使用VGG的16層模型在ILSVRC-2016數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，并使用來自fc6層的激活。

由于產(chǎn)生的術(shù)語集可能存在冗余且包含大量同義詞，因此根據(jù)術(shù)語的成對相似性對其進(jìn)行聚類，以獲得一組語義上不相關(guān)的聚類。將每個(gè)詞都映射到一個(gè)1 000維的特征向量，兩個(gè)詞的語義相似度定義為嵌入學(xué)習(xí)之間的余弦相似度。并將得到的相似矩陣與譜聚類方法[17]結(jié)合使用，將挖掘到的詞匯聚類成K個(gè)概念組。

建立一個(gè)特征向量來編碼每個(gè)概念組對鏡頭的影響。考慮到視頻的時(shí)間連貫性，一個(gè)視覺概念不太可能出現(xiàn)在遠(yuǎn)離概念發(fā)現(xiàn)點(diǎn)的鏡頭中，同時(shí)文字記錄中所表達(dá)的概念不僅與其出現(xiàn)的單個(gè)鏡頭有關(guān)，還與其鄰域有關(guān)。因此，根據(jù)時(shí)間距離對每一項(xiàng)應(yīng)用歸一化高斯加權(quán)，則鏡頭s中出現(xiàn)u項(xiàng)的概率為：

(1)

式中：Q為到外部語料庫的映射函數(shù)；fQ(u)(s)為基于概念Q(u)訓(xùn)練的SVM分類器在鏡頭s上測試得到的概率；tu和ts分別為術(shù)語u和鏡頭s的時(shí)間戳。

根據(jù)P(s,u)的定義，可知鏡頭的視覺概念特征為K維向量，其定義式為：

(2)

式中：T為視頻中所有術(shù)語的集合；K為挖掘到的詞匯所聚類的概念組的數(shù)量；δu,q∈{0,1}，用于判斷術(shù)語u是否屬于第q個(gè)概念組。

1.3.2 文本概念特征

文本概念對于檢測場景的變化同樣重要，且檢測到的概念組為描述文本中的主題變化提供了一種理想的方法。因此，構(gòu)建文本概念特征向量t(s)，將其作為視覺概念特征向量v(s)的文本對應(yīng)項(xiàng)，從而得到每個(gè)概念組在一個(gè)鏡頭的文字記錄及其鄰近區(qū)域中出現(xiàn)數(shù)量的表示。

(3)

最后，將鏡頭s的整體特征向量X作為所有底層特征和語義概念特征的串聯(lián)。對于每一個(gè)鏡頭，其整體特征向量X都是三重深度網(wǎng)絡(luò)的輸入，三重深度網(wǎng)絡(luò)再進(jìn)行嵌入學(xué)習(xí)?；诙嗄B(tài)的方法主要是為了提高分析視頻語義內(nèi)容的可靠性和效率。

2 深度網(wǎng)絡(luò)結(jié)構(gòu)嵌入

2.1 嵌入網(wǎng)絡(luò)

考慮到視頻流中同一場景內(nèi)的鏡頭通常具有統(tǒng)一的內(nèi)容，因此場景分割問題也被視為將相鄰鏡頭分組在一起的問題，目的是最大化相似鏡頭的語義一致性。為了反映了語義相似性，需要計(jì)算鏡頭特征向量X之間的距離，因此構(gòu)建了一個(gè)嵌入函數(shù)φ(X)，可將一個(gè)鏡頭的特征向量映射到歐幾里得距離具有所需語義屬性的空間。成對的距離矩陣為：

[‖φ(Xi)-φ(Xj)‖2]=[1-αi,j]

(4)

其中,αi,j是一個(gè)二元函數(shù)，表示鏡頭Xi和鏡頭Xj是否屬于同一個(gè)場景，i,j=1,2,…,N。

(5)

(6)

式中：w為網(wǎng)絡(luò)權(quán)重；θ為偏差。N個(gè)三元組的總體損失由每個(gè)三元組的平均損失加上網(wǎng)絡(luò)權(quán)重的L2正則項(xiàng)所給出，以減少過度補(bǔ)償。N個(gè)三元組總體損失的定義式為：

(7)

2.2 深度網(wǎng)絡(luò)嵌入空間學(xué)習(xí)

在學(xué)習(xí)過程中，進(jìn)行小批量隨機(jī)梯度下降。在每次迭代中，隨機(jī)抽取N個(gè)訓(xùn)練三元組作為樣本。對于每一個(gè)三元組，計(jì)算其分量上的梯度并根據(jù)式(7)進(jìn)行反向傳播。

3 多模態(tài)視頻場景分割

因?yàn)閳鼍靶枰跁r(shí)間上連續(xù)，所以具有相似語義內(nèi)容但在時(shí)間上距離較遠(yuǎn)的鏡頭是應(yīng)該可以被區(qū)分的。將視頻場景分割任務(wù)作為一個(gè)有監(jiān)督的時(shí)間約束聚類問題來處理，首先從每個(gè)鏡頭中提取豐富的底層特征和語義特征；其次為了獲得鏡頭特征之間的相似性度量，在歐氏空間中嵌入這些特征；最后通過最小化時(shí)間段(候選場景)內(nèi)距離的平方和來檢測最優(yōu)的場景邊界，并使用一個(gè)懲罰項(xiàng)來自動選擇場景的數(shù)量。

為了獲得視頻的場景分段，要求鏡頭在語義上盡可能一致。受K-Means的啟發(fā)，聚類同質(zhì)性可以用聚類元素與其質(zhì)心之間的平方距離之和來描述，稱為組內(nèi)平方和(within-cells sum of squares，WSS)。因此，合理的目標(biāo)是最小化組內(nèi)平方和，即所有聚類的WSS。與K-Means不同，筆者希望找到視頻鏡頭的數(shù)量，附加的約束是時(shí)間上連續(xù)的間隔。僅最小化組內(nèi)平方和，將導(dǎo)致每個(gè)序列中只有一個(gè)鏡頭的瑣碎解決方案，因此需要添加懲罰項(xiàng)以避免過度分割，則需要解決的問題是：

(8)

式中：M為輸入視頻被分割的變化點(diǎn)的數(shù)量；tm為第m個(gè)變化點(diǎn)的位置(t0和tM+1分別為視頻的開始和結(jié)束)；WSSm,tm+1為嵌入空間中第m個(gè)分段的組內(nèi)平方和；g(M,N)=M(ln(N/M)+1)為貝葉斯信息標(biāo)準(zhǔn)懲罰[19]，用視頻中的片段數(shù)M和鏡頭數(shù)N進(jìn)行參數(shù)化，其目的是減少過度分割效應(yīng)；參數(shù)C是用于調(diào)節(jié)懲罰的相對重要性，較高的懲罰值C會造成太多的分段，因而C值的選擇依賴于視頻，使用0.001的步長調(diào)整C值，直到集群的數(shù)量小于視頻中的鏡頭數(shù)量。

一組點(diǎn)與其平均值之間的平方距離之和可以表示為單獨(dú)點(diǎn)之間的成對平方距離的函數(shù)。因此，組內(nèi)的平方和可以表示為：

(9)

其中,μm為每個(gè)場景鏡頭特征的平均值：

(10)

(11)

視頻場景分割的算法中，輸入為場景視頻流，其中視頻鏡頭總數(shù)為N、鏡頭整體特征向量為X。輸出為場景邊界(鏡頭編號Si)。具體算法步驟為：

(1)利用文獻(xiàn)[7]的鏡頭檢測器對輸入的視頻流進(jìn)行鏡頭分割，通過計(jì)算所有鏡頭內(nèi)幀的平均距離，找出鏡頭內(nèi)幀的距離大于平均值倍數(shù)的幀作為該鏡頭的關(guān)鍵幀。對所有分割后的鏡頭和關(guān)鍵幀進(jìn)行編號，即Si、Sf。

(2)利用CNN提取高層特征的能力并考慮鏡頭的時(shí)間演化，對視頻底層特征中的視覺特征進(jìn)行提取。采用MFCCs描述符對其音頻特征進(jìn)行提取。根據(jù)視頻直接提供視頻字幕文本并結(jié)合現(xiàn)有的語音識別技術(shù)對其文本特征進(jìn)行提取。

(3)根據(jù)式(1)和式(2)分別對鏡頭的視覺概念特征向量v(s)和文本概念特征向量t(s)進(jìn)行提取。然后將其所有特征進(jìn)行串聯(lián)得到其整體特征向量X。

(4)利用深度網(wǎng)絡(luò)學(xué)習(xí)一個(gè)嵌入函數(shù)φ(X)，通過在歐式空間中嵌入視頻鏡頭特征，并根據(jù)式(4)～式(7)計(jì)算鏡頭間的成對距離矩陣，獲得鏡頭特征之間的相似性度量值，從而得到視頻鏡頭間語義相似度。

(5)針對每個(gè)段起始點(diǎn)r和段持續(xù)時(shí)間d利用式(9)計(jì)算WSSr,r+d。

(6)令j∈[1,N]、M∈[0,N-1]，通過式(11)計(jì)算一個(gè)包含j個(gè)鏡頭和M個(gè)變化點(diǎn)的最佳目標(biāo)值來最小化目標(biāo)DM,j。若r

(7)通過計(jì)算選擇最佳變化點(diǎn)數(shù)量M*，并根據(jù)分割點(diǎn)位置輸出對應(yīng)場景邊界的鏡頭編號Si，最終得到視頻場景分割結(jié)果。

4 實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證所設(shè)計(jì)算法對視頻場景分割的有效性，選擇了具有代表性的5種不同類型和風(fēng)格的視頻片段進(jìn)行實(shí)驗(yàn)，分別為新聞、動畫、電影、戲劇和體育視頻。實(shí)驗(yàn)素材涵蓋了不同類型的場景，視頻總時(shí)長為128′19″，共2 760個(gè)鏡頭，98個(gè)場景，實(shí)驗(yàn)詳細(xì)信息如表1所示。

表1 視頻片段詳細(xì)信息

采用信息檢索領(lǐng)域廣泛使用的查全率(Recall)、查準(zhǔn)率(Precision)及對兩者進(jìn)行綜合度量的指標(biāo)F，對算法的性能進(jìn)行評測。

(12)

(13)

(14)

式中：nc為檢測出正確的場景總數(shù)；nm為未檢測出的場景總數(shù)；nf為錯(cuò)誤檢測出的場景總數(shù)；na為實(shí)際場景總數(shù)；nd為檢測到的場景總數(shù)。

將筆者算法與文獻(xiàn)[2]中利用底層顏色特征與NW(needleman-wunsch)算法相結(jié)合的方式、文獻(xiàn)[5]中利用鏡頭轉(zhuǎn)換圖(STG)中融合各種視覺和音頻特性所實(shí)現(xiàn)的視頻場景分割方法進(jìn)行比較，進(jìn)而說明筆者算法的優(yōu)劣。實(shí)驗(yàn)結(jié)果如表2所示。

表2 不同算法的實(shí)驗(yàn)結(jié)果

由表2可以看出，與文獻(xiàn)[2]及文獻(xiàn)[5]的算法相比，筆者算法的查全率、查準(zhǔn)率及F值均有較大提高。這主要因?yàn)槲墨I(xiàn)[2]僅僅考慮了視頻底層顏色特征與NW算法相結(jié)合，文獻(xiàn)[5]也僅在STG中融合了各種視覺和音頻特性，都未全面考慮視頻數(shù)據(jù)中多種模態(tài)之間的時(shí)序關(guān)聯(lián)共生的特性。筆者則提出了一個(gè)深度學(xué)習(xí)框架，從視頻中分別提取不同的底層特征并結(jié)合語義概念特征，通過三重深度網(wǎng)絡(luò)學(xué)習(xí)多模態(tài)語義嵌入空間，用于對鏡頭分組并將視頻分割成連貫的場景，有效縮小了視頻底層特征與高層語義之間的“鴻溝”。由此可見，筆者算法所實(shí)現(xiàn)的場景分割效果更好，且該算法對于不用類型視頻的通用性也更強(qiáng)。

5 結(jié)論

(1)筆者提出基于深度網(wǎng)絡(luò)的多模態(tài)視頻場景分割算法，從每個(gè)鏡頭中提取豐富的底層特征和語義概念特征，將鏡頭整體特征向量作為三重深度網(wǎng)絡(luò)的輸入并進(jìn)行嵌入空間學(xué)習(xí)，通過計(jì)算兩個(gè)鏡頭整體特征向量之間的距離得到語義相似性的度量值，然后最小化時(shí)間段內(nèi)距離的平方和來對鏡頭進(jìn)行聚類處理，實(shí)現(xiàn)了對視頻場景的快速分割，并取得了較好的實(shí)驗(yàn)結(jié)果。

(2)視頻的多模態(tài)特征融合對縮減視頻底層特征與高層語義之間“語義鴻溝”的作用不容小覷，利用深度網(wǎng)絡(luò)學(xué)習(xí)一個(gè)嵌入函數(shù)并通過在歐式空間中嵌入視頻鏡頭特征，使得視頻場景分割準(zhǔn)確度更高、通用性更強(qiáng)。