視頻檢索中的鏡頭邊界檢測方法研究

王紅霞,晏杉杉

(沈陽理工大學(xué) 信息科學(xué)與工程學(xué)院,沈陽 110159)

近年來,隨著網(wǎng)絡(luò)的飛速發(fā)展和多媒體技術(shù)的普及,大量日益增長的視頻數(shù)據(jù)不斷進(jìn)入日常的生活。從海量視頻中尋找所需要的視頻,成為關(guān)注的熱點(diǎn)問題。傳統(tǒng)的視頻檢索是基于文本檢索,不僅費(fèi)時(shí)費(fèi)力,還存在由于人的主觀性標(biāo)注造成檢索效率低下的問題。基于內(nèi)容的視頻檢索根據(jù)視頻的低層特征解決了基于文本檢索方法存在的檢索效率不高的問題,相對提高了視頻檢索的查準(zhǔn)率和查全率,但依然可以進(jìn)一步改進(jìn)。視頻檢索,對視頻進(jìn)行鏡頭分割是第一步。對視頻進(jìn)行邊界檢測,將視頻從檢測到的邊界處依次分割開,形成一個(gè)個(gè)獨(dú)立鏡頭的過程即為鏡頭分割。

鏡頭的轉(zhuǎn)換方式分為突變鏡頭和漸變鏡頭兩種。突變鏡頭算法包括:基于直方圖的鏡頭切變檢測方法、基于像素比較的鏡頭邊界檢測方法、基于邊緣檢測的鏡頭邊界檢測方法和基于壓縮視頻的鏡頭邊界檢測方法。漸變鏡頭算法包括:雙閾值法[1]、模型法、聚類和模糊聚類法。文獻(xiàn)[2]提出了基于多特征的視頻鏡頭檢測方法,降低了閃光序列和字幕邊緣等因素的影響,增強(qiáng)了算法的通用性和魯棒性,但存在自適應(yīng)閾值難確定的不足。文獻(xiàn)[3]提出基于累積幀的自適應(yīng)雙閾值鏡頭邊界檢測算法,利用塊匹配補(bǔ)償物體運(yùn)動,減少了物體運(yùn)動對鏡頭分割的影響,但存在由于閃光造成的誤差缺陷。文獻(xiàn)[4]提出了基于顏色直方圖的視頻突變鏡頭邊界檢測方法,該方法能有效的檢測突變和漸變,但當(dāng)運(yùn)動速度較快時(shí),存在大運(yùn)動對檢測的影響,導(dǎo)致漏檢和誤檢。針對已有算法存在的不足,本文提出一種基于HSV(Hue、Saturation、Value)和互信息量的視頻鏡頭邊界檢測算法,來提高鏡頭檢測的正確率。

1 基于HSV和互信息量的視頻鏡頭邊界檢測算法

1.1 概述

首先選取HSV顏色空間來提取視頻幀的顏色特征。一般情況下,每幀圖像的4個(gè)角及4條邊的內(nèi)容相對中心內(nèi)容而言,不是非常重要,且?guī)瑘D像底部的字幕或右上角的時(shí)間會降低鏡頭邊界檢測的準(zhǔn)確性,因此利用分塊加權(quán)得到的HSV顏色直方圖通過歐式距離計(jì)算相鄰視頻幀間的距離,把大于設(shè)定閾值的幀放入鏡頭邊界集合中。由于HSV顏色直方圖具有在背景顏色相似的情況下,無法獲取正確特征和對閃光、平移、旋轉(zhuǎn)敏感的缺點(diǎn),因此會導(dǎo)致漏檢或錯(cuò)檢的情況,影響查全率和查準(zhǔn)率。所以,選取信息學(xué)特征互信息量來進(jìn)行二次鏡頭邊界檢測。其次,利用信息熵作為視頻幀間的相似度度量來對通過HSV顏色直方圖法得到的鏡頭邊界集合做二次檢測,計(jì)算視頻幀間的相似度,這樣可去除錯(cuò)檢的鏡頭邊界,得到一組新的鏡頭邊界集合。最后,由于雙閾值法既能檢測鏡頭的突變又能檢測鏡頭的漸變,所以,定義一個(gè)較大和一個(gè)較小的閾值來分別檢測視頻幀鏡頭的突變和漸變。

1.2 HSV顏色空間

顏色信息是圖像的一種重要的視覺特征,且是任何一幅圖像都具有的特征,所以,可以采用顏色特征對視頻進(jìn)行鏡頭檢測,這需要用到顏色空間模型[5]。常見的顏色空間模型有RGB、CMY/CMYK、HSV和YUV/YIQ/YCrCb模型。通過比較可知,HSV顏色空間更適合比較彩色圖像的相似程度,因此本文選取HSV顏色空間模型,其具有與人類描述色彩方式的一致性和允許對色調(diào)、飽和度及強(qiáng)度值的獨(dú)立控制等優(yōu)點(diǎn)。

HSV模型是一個(gè)由人類感知來描述顏色的均勻顏色空間,利用線性的標(biāo)尺,彩色之間的距離同HSV模型坐標(biāo)上點(diǎn)的歐幾里德距離成正比。HSV顏色空間中,H(Hue)表示色調(diào);S(Saturation)表示飽和度;V(Value)表示亮度。色調(diào)是指紅、綠、藍(lán)、紫等基本色;飽和度是指顏色的純度,鮮紅色飽和度高,粉紅色飽和度低;亮度就是光的強(qiáng)度。

在HSV顏色空間模型中,每種顏色和其補(bǔ)色都相差180°。模型的頂面是V=1,其包含著RGB模型中的R=1、G=1、B=1所對應(yīng)的三個(gè)面。HSV空間的坐標(biāo)系統(tǒng)可采用六棱錐來表示,如圖1所示。0°對應(yīng)的是紅色,120°對應(yīng)的是綠色,240°對應(yīng)的是藍(lán)色。在六棱錐的頂點(diǎn)處,V為0;H與S沒有定義,表示的是黑色。

一般情況下,將視頻進(jìn)行解壓縮,得到一系列RGB模式的幀圖像,RGB值可直接從幀圖像中得到,通過公式(1)把RGB值轉(zhuǎn)換為HSV值。

當(dāng)B≤G時(shí),

當(dāng)B>G時(shí),

(1)

把HSV顏色空間非等間隔量化為7、2、2個(gè)等級,量化公式見式(2)。

K=9H+3S+V

(2)

圖1 HSV顏色空間坐標(biāo)系圖

如果只是簡單的提取圖像幀的顏色特征,難免會忽略顏色在不同位置的分布情況。一般情況下,圖像幀的主要內(nèi)容都放在鏡頭中央,無太大意義且無實(shí)質(zhì)影響的部分,則放在四個(gè)角落或四邊的邊緣位置。為突出視頻幀的主要內(nèi)容,減少無關(guān)信息對于圖像幀整體特征的影響,可將視頻幀圖像在水平和垂直兩個(gè)方向以文獻(xiàn)[6]按1∶6∶1的比例分割成3×3的子塊。此按比例分塊的方法考慮了像素的位置信息,但忽略了每一個(gè)分塊的重要性。在很多視頻中,由于鏡頭晃動使圖像幀四周的內(nèi)容略微改變,但并不出現(xiàn)鏡頭切換,所以,由每一個(gè)分塊的重要程度為相應(yīng)位置以文獻(xiàn)[7]按1∶2∶1、2∶4∶2、1∶2∶1的比例賦予不同權(quán)重,權(quán)重W可表示為式(3)。

(3)

相鄰幀之間的幀間差值可用對應(yīng)分塊間的直方圖距離的加權(quán)和表示,每對應(yīng)分塊間的距離見式(4)[8]。

(4)

計(jì)算出相鄰兩幀對應(yīng)分塊間的直方圖差值,分別記為D1、D2、…、D9。則相鄰兩幀間差值Dij由加權(quán)系數(shù)和區(qū)間直方圖差值計(jì)算得到,見式(5)。

(5)

1.3 互信息特征

隨著信息論在視頻檢索領(lǐng)域越來越廣泛的應(yīng)用,用互信息量[9]MI(Mutual Information)來進(jìn)行鏡頭檢測的方法越來越普遍。互信息量是信息論里的一種有用的信息度量,可以看成一個(gè)隨機(jī)變量中包含另一個(gè)隨機(jī)變量的信息量。互信息是統(tǒng)計(jì)兩個(gè)隨機(jī)變量相關(guān)性的測度,具有非負(fù)性、獨(dú)立性和對稱性。互信息量指從兩個(gè)事件中獲得信息量去表現(xiàn)兩個(gè)事件的相關(guān)性,分析前后兩幀的某種特征的信息量變化來判斷鏡頭變換與否,通過相鄰幀的互信息量的差異比較相似度的指標(biāo)來檢測鏡頭,這一特性使得其可以很方便的運(yùn)用到鏡頭分割中。如果兩個(gè)關(guān)鍵幀的相似性很大,則兩個(gè)關(guān)鍵幀之間的MI值也很大,反之,MI值較小。

目前,作為圖像配準(zhǔn)的一個(gè)準(zhǔn)則,用互信息量來測量兩個(gè)隨機(jī)變量,統(tǒng)計(jì)相關(guān)性。假設(shè)X是一個(gè)離散型的隨機(jī)變量,其n個(gè)取值分別為a1、a2、…、an。各個(gè)取值出現(xiàn)的概率分別為p1=p(a1)、p2=p(a2)、…、pn=p(an)且p1到pn的概率求和為1,見式(6)。

(6)

隨機(jī)變量的出現(xiàn)是不確定的,且出現(xiàn)的概率大小不同,但存在一個(gè)概率分布的函數(shù)f(p1,p2,…,pn),在滿足連續(xù)性、等概率時(shí)為單調(diào)函數(shù)和可加性三個(gè)條件時(shí),函數(shù)形式確定,見式(7)。

(7)

通常把式(7)稱為熵,用Hs表示,其可對隨機(jī)變量的不確定程度進(jìn)行度量,用式(8)表示。

(8)

若設(shè)定圖像A和B,其互信息量MI可定義為式(9)。

MI(A,B)=Hs(A)+Hs(B)-Hs(A,B)

(9)

式中,Hs(A)和Hs(B)分別為圖像A和B的熵;Hs(A,B)為二者的聯(lián)合熵。

隨機(jī)變量X和Y的平均互信息和聯(lián)合熵的關(guān)系可表示為式(10)。

I(X,Y)=Hs(X)+Hs(Y)-Hs(XY)

(10)

式中Hs(X)和Hs(Y)分別為X、Y的邊界熵。

平均互信息可通過其信息量和條件熵來定義,見式(11)。

I(X,Y)=Hs(X)+Hs(X|Y)

(11)

將互信息量推廣到二維空間,可求出兩幅圖像之間的互信息量。視頻相鄰兩幀圖像相似性較大,則互信息量較大;相似性較小,互信息量則較小。分別計(jì)算相鄰兩幀圖像對應(yīng)位置HSV的互信息量,見式(12)。

(12)

1.4 具體算法

算法的具體流程如圖2所示。

圖2 算法的具體流程圖

算法步驟如下:

(1)啟動算法,計(jì)算所有相鄰視頻幀的幀間差值,求出均值和方差分別為m和σ,T代表閾值,T=m+S×σ,經(jīng)過大量實(shí)驗(yàn),S設(shè)定為1和7,得到小的最佳閾值為3,大的最佳閾值為6,分別用來檢測漸變和突變。

(2)對視頻幀分塊,加權(quán)求和后得到顏色直方圖,用歐式距離得到的幀間差值與較小的閾值3做比較,若幀間差值大于3,則認(rèn)為鏡頭發(fā)生了變化。

(3)對上述得到的變化鏡頭幀序列進(jìn)行基于互信息量的二次檢測,若兩幀之間的相似度大于上述得到的幀的平均相似度,則認(rèn)為此幀為錯(cuò)檢的幀。

(4)突變檢測,二次檢測后得到的幀序列,若存在第一次檢測時(shí)幀間差值大于6的視頻幀,則直接判斷此處為鏡頭切變的位置。

(5)漸變檢測,二次檢測后得到的幀序列中,把第一次檢測到的第一個(gè)幀間差值大于3且小于6的幀,判斷可能是漸變鏡頭的起始位置;下一幀幀間差值同樣大于3小于6,以此類推,直到小于3為止,判斷該幀為漸變鏡頭的結(jié)束幀;把這一段視頻幀序列作為鏡頭漸變的位置。

2 仿真實(shí)驗(yàn)

本文采用查準(zhǔn)率和查全率兩個(gè)性能評價(jià)指標(biāo)[10]。根據(jù)式(13)、式(14)對查準(zhǔn)率和查全率的定義來衡量算法的性能。

查準(zhǔn)率=

(13)

查全率=

(14)

用Matlab做實(shí)驗(yàn),較小的最佳閾值為3,較大的最佳閾值為6。在確定了最佳閾值后,先對突變鏡頭進(jìn)行檢測,再對漸變鏡頭進(jìn)行檢測。在對突變鏡頭進(jìn)行檢測時(shí),先利用HSV顏色直方圖檢測發(fā)生突變鏡頭的位置,再利用互信息量進(jìn)行二次檢測,對顏色直方圖得到的結(jié)果進(jìn)行更新。在對漸變變鏡頭進(jìn)行檢測時(shí),綜合利用兩種特征,進(jìn)行漸變檢測。

選取10組AVI格式,其中包含淡入、淡出、造化、疊化等編輯手法的不同視頻序列,利用本文提出的算法,來檢測視頻中對突變鏡頭邊界和漸變鏡頭邊界,同時(shí),對手工標(biāo)注的鏡頭數(shù)得到的查準(zhǔn)率和查全率進(jìn)行比較,驗(yàn)證本文方法的可行性和準(zhǔn)確性,檢測效果如表1所示。

表1 不同視頻段查準(zhǔn)率和查全率

從表1實(shí)驗(yàn)數(shù)據(jù)來看,本文提出的鏡頭分割算法對于每一段視頻都得到了較高的查準(zhǔn)率和查全率,方法可行。

選取不同方法,對于以上提供的視頻序列求其平均查準(zhǔn)率和平均查全率,與本文方法的結(jié)果進(jìn)行比較,結(jié)果如表2所示。

表2 不同方法平均查準(zhǔn)率和查全率

由表2數(shù)據(jù)可知,本文方法的平均查準(zhǔn)率和查全率分別為82.7%和88.5%,本文方法較其它幾種方法,查準(zhǔn)率和查全率有一定程度的提高,由此可以得出,本文方法對于鏡頭邊界檢測有較好的適用性。

3 結(jié)論

本文所提出的基于HSV和互信息量的鏡頭邊界檢測算法對于查準(zhǔn)和查全都有較好的數(shù)據(jù)顯示;提高了分割鏡頭準(zhǔn)確率,對漏檢鏡頭情況有所補(bǔ)充;對于移速較高、光照影響較大的鏡頭存在的錯(cuò)檢有所改進(jìn),為后續(xù)提取關(guān)鍵幀的查準(zhǔn)率和查全率有一定的借鑒作用。