基于顏色和灰度熵的視頻鏡頭檢測(cè)方法

亓玉嬌，杜海清，徐靜濤，劉 勇

(網(wǎng)絡(luò)體系構(gòu)建與融合北京市重點(diǎn)實(shí)驗(yàn)室;北京郵電大學(xué)，北京 100876)

隨著數(shù)據(jù)通信的日益發(fā)達(dá)，大量的視頻傳輸出現(xiàn)在日常生活中。視頻數(shù)據(jù)處理、管理和檢索等成為現(xiàn)在信息時(shí)代必要的手段之一。而視頻檢索和視頻分類(lèi)管理的結(jié)構(gòu)單元正是視頻鏡頭，因此視頻鏡頭檢測(cè)具有重要意義。

視頻的一個(gè)鏡頭是由一個(gè)攝像機(jī)連續(xù)拍攝得到的時(shí)間上連續(xù)的若干圖像幀組成。視頻鏡頭變換可以分為突變和漸變兩大類(lèi)。視頻鏡頭變換時(shí)，視頻數(shù)據(jù)會(huì)發(fā)生一系列變化，表現(xiàn)在幀間顏色差異突然增大、對(duì)象形狀的變化和運(yùn)動(dòng)[1]的不連續(xù)等，而同一鏡頭內(nèi)各幀之間的以上特征差異較小。因此，可以通過(guò)分析視頻特征的變化規(guī)律，找到圖像幀間差異較大的位置作為鏡頭變換點(diǎn)。鏡頭檢測(cè)的基本思想就是檢測(cè)鏡頭的邊界，根據(jù)視頻中相鄰兩圖像幀或是非相鄰的圖像幀的差異來(lái)檢測(cè)本鏡頭是否結(jié)束。

目前提出的鏡頭檢測(cè)算法主要有基于像素比較的方法、基于直方圖的方法、基于運(yùn)動(dòng)的方法和基于輪廓的方法等[2]?；谥狈綀D的方法能夠降低對(duì)攝像機(jī)運(yùn)動(dòng)和噪聲的敏感性，基于直方圖的方法計(jì)算復(fù)雜度低，易于實(shí)現(xiàn)，成為鏡頭檢測(cè)中比較常用的方法。

由于基于直方圖的方法存在如下缺陷:對(duì)直方圖類(lèi)似的不同鏡頭的檢測(cè)無(wú)效;并且對(duì)物體和攝像機(jī)運(yùn)動(dòng)的穩(wěn)健性有限。本文在特征選取上，除了顏色直方圖還添加了圖像的灰度熵，有效地克服了基于直方圖方法的上述兩個(gè)問(wèn)題。

1 基于顏色和灰度熵的視頻鏡頭檢測(cè)方法

1.1 HSV顏色直方圖

本文采用與人眼視覺(jué)感知比較相符的HSV顏色空間模型，它采用色調(diào)、飽和度、明度來(lái)表示色彩。

色調(diào)(H)[3]是色彩的基本屬性，就是平常所說(shuō)的顏色名稱，如紅色、藍(lán)色等，取0～360°的數(shù)值。飽和度(S)是指色彩的純度，飽和度越高色彩純度也越高，低則逐漸變灰，可以取0～100%的數(shù)值。而明度(V)是顏色的明暗程度，取值也是0～100%之間。HSV顏色空間的展開(kāi)平面模型如圖1所示。將RGB顏色空間轉(zhuǎn)換為HSV[4]后，將顏色的色調(diào)H、飽和度S和明度V分別進(jìn)行非均勻量化

圖1 HSV空間的平面模型

為了簡(jiǎn)化計(jì)算的復(fù)雜度，將H，S，V三維空間的顏色特征組合為一維顏色特征矢量:C=m×n×H+n×S+V，其中m，n分別為飽和度S和亮度V的量化級(jí)數(shù)。因此，本文中的圖像幀的顏色特征為C=9H+3S+V[5]，將HSV顏色空間劃分為72個(gè)顏色區(qū)間，量化后顏色直方圖的總bin數(shù)為72。

1.2 圖像灰度熵

先將圖像進(jìn)行灰度轉(zhuǎn)換，設(shè)圖像的灰度級(jí)取0，1，…，L －1，對(duì)應(yīng)的灰度級(jí)概率分布為 p0，p1，…，pi，…，pL－1。其中pi表示圖像中灰度為i的像素所占的比例數(shù)。則圖像的灰度熵定義為

式中，L為圖像像素的灰度級(jí)數(shù)，這里L(fēng)=255(沒(méi)有將灰度進(jìn)行量化)。

灰度熵表示了圖像中灰度分布的聚集特征所包含的信息量，是圖像的一種統(tǒng)計(jì)特征。被廣泛應(yīng)用到圖像區(qū)域分割，不同圖像區(qū)域的灰度級(jí)分布不同，各個(gè)區(qū)域內(nèi)部灰度級(jí)是均勻的，文獻(xiàn)[6]還利用了二維灰度熵進(jìn)行圖像閾值選取。因此灰度熵可以很好地代表圖像的灰度特征，由于是一種圖像的統(tǒng)計(jì)特征，對(duì)光線和攝像機(jī)及物體運(yùn)動(dòng)具有很好的穩(wěn)健性，因此在進(jìn)行視頻鏡頭檢測(cè)的特征選取上添加了圖像的灰度熵。

1.3 圖像的幀間相似度

前面已經(jīng)得到每一幅圖像HSV顏色空間的72 bin顏色直方圖。兩幀圖像的顏色分布的相似度定義為兩圖像顏色直方圖的交集。

設(shè)兩幀圖像的顏色直方圖為Ht，Ht+1，定義他們之間的相似度[7]為

兩幀圖像灰度熵的熵差定義為

式中，Et，Et+1分別是視頻序列中第t，t+1幀的灰度熵。

為了消除物體運(yùn)動(dòng)和光照影響帶來(lái)的誤檢，將(1－Dt)作為權(quán)值加權(quán)兩幀圖像(t，t+1)間的顏色相似度SIMt

式中，SIMt為前面得到的兩幀圖像的顏色相似度。由顏色直方圖的交集和灰度熵的加權(quán)最終得到(t，t+1)兩幀圖像的相似度St。

由于在鏡頭內(nèi)部視頻序列在顏色、灰度等信息上有比較強(qiáng)的相似性，因而相鄰幀的相似度St較大;而在鏡頭變換時(shí)，顏色和灰度信息會(huì)有很大變化，則幀間相似度較小，因此幀間相似度St可以作為視頻鏡頭檢測(cè)的標(biāo)準(zhǔn)。

圖2為一段飲料廣告視頻中的幀截圖，第34，35，36幀是一個(gè)鏡頭內(nèi)的視頻幀，第37，38，39幀是相鄰鏡頭內(nèi)的視頻幀。圖3是廣告視頻相鄰兩幀圖像之間的相似度曲線。從圖3可以看出，鏡頭突變時(shí)相鄰幀的相似度很低，如廣告視頻中第36幀與第37幀的相似度低于0.8;而鏡頭漸變時(shí)相似度也有明顯變化，連續(xù)處于較低的數(shù)值，如第145～156幀。

圖2 視頻截圖

2 鏡頭邊界檢測(cè)的步驟

鏡頭邊界檢測(cè)步驟為:

1)首先依次讀入一段視頻的各幀圖像，利用公式(2)計(jì)算各幀圖像的灰度熵。將圖像進(jìn)行RGB顏色空間到HSV顏色空間的轉(zhuǎn)換，非均勻量化HSV顏色空間進(jìn)一步得到每幀圖像的顏色直方圖。

圖3 視頻幀間相似度

2)利用公式(3)，(4)，(5)計(jì)算視頻相鄰兩幀的相似度St(t，t+1幀的相似度)。

3)當(dāng)St＜T1時(shí)，第t幀即為突變鏡頭。(T1為突變鏡頭檢測(cè)的閾值)如果St≥T1，進(jìn)行步驟4)，檢測(cè)是否出現(xiàn)鏡頭漸變。

4)如果St＜T2，從第t幀開(kāi)始統(tǒng)計(jì)相鄰兩幀之間相似度 St，St+1，St+2，St+3…，St+M，連續(xù)M幀是否都滿足Sj＜T2，若都滿足，則第t幀認(rèn)為是漸變鏡頭。這里為防止?jié)u變緩慢而漏檢漸變鏡頭，設(shè)置一容忍窗口，窗口大小為T(mén)w。即第t幀開(kāi)始統(tǒng)計(jì)大小為M+Tw的窗口內(nèi)滿足Sj＜T2的幀個(gè)數(shù)，若滿足條件的幀個(gè)數(shù)大于M，則認(rèn)為第t幀為漸變開(kāi)始幀。(實(shí)驗(yàn)過(guò)程中閾值的選擇為:T1=0.8，T2=0.95，M=8，Tw=3。)

5)若檢測(cè)出的漸變幀(m，n)幀間隔n－m＜M+2Tw，則將漸變鏡頭合并。

算法流程圖如圖4所示。

圖4 算法流程圖

3 實(shí)驗(yàn)分析結(jié)果

采用查全率和查準(zhǔn)率來(lái)檢測(cè)本算法的性能，查全率和查準(zhǔn)率的公式為

為了驗(yàn)證本文的視頻鏡頭檢測(cè)算法的有效性，選取了2段飲料廣告視頻、2段電影視頻、2段新聞視頻作為實(shí)驗(yàn)材料。表1為實(shí)驗(yàn)統(tǒng)計(jì)結(jié)果，并利用上述6段實(shí)驗(yàn)視頻，將本文算法與文獻(xiàn)[8]基于累積顏色直方圖的鏡頭檢測(cè)算法(ECR)進(jìn)行比較，結(jié)果如表1所示。

表1 本文算法實(shí)驗(yàn)結(jié)果與ECR算法比較

由表1可以看出，本文算法與基于累積直方圖的算法相比，查全率有很大提高;而且對(duì)于攝像機(jī)和物體運(yùn)動(dòng)較為劇烈的廣告2、電影2，本文中的算法對(duì)鏡頭檢測(cè)效果更好，對(duì)攝像機(jī)和物體運(yùn)動(dòng)具有較好的穩(wěn)健性。本文算法不僅對(duì)突變鏡頭有很好的檢測(cè)效果，而且對(duì)漸變鏡頭也有很理想的檢查效果，同時(shí)本算法計(jì)算簡(jiǎn)單，易于實(shí)現(xiàn)。但是，對(duì)于漸變鏡頭存在誤檢，主要是由于鏡頭漸變時(shí)過(guò)渡片段有些很近似，容忍窗口設(shè)置過(guò)小。

4 小結(jié)

本文提出了一種利用顏色直方圖交集和圖像灰度熵的視頻鏡頭檢測(cè)方法，與其他方法相比，本方法計(jì)算簡(jiǎn)單，且對(duì)攝像機(jī)和物體運(yùn)動(dòng)具有較好的穩(wěn)健性，可以很準(zhǔn)確地檢測(cè)出視頻的突變鏡頭，對(duì)漸變鏡頭也有理想的檢查效果。

[1]賈曉未，王純，賈克斌.基于運(yùn)動(dòng)特征的鏡頭切變檢測(cè)算法[J].計(jì)算機(jī)工程與應(yīng)用，2011(47):68－70.

[2]李向偉，李戰(zhàn)明，張明新，等.基于內(nèi)容的視頻鏡頭檢測(cè)技術(shù)[J].電視技術(shù)，2008，32(3):19－22.

[3]袁小娟.視頻鏡頭邊界檢測(cè)算法的研究[D].武漢:武漢工業(yè)學(xué)院，2010.

[4]宋瀟毅.基于紋理和顏色特征的圖像檢索[D].成都:電子科技大學(xué)，2009.

[5]XU Wenzhu，XU Lihong.A novel shot detection algorithm based on clustering[C]//Proc.20102ndInternational Conference on Education Technology and Computer(ICETC).Shang Hai:IEEE Press，2010:570－572.

[6]吳一全，紀(jì)守新，吳詩(shī)婳，等.基于二維直分與斜分灰度熵的圖像閾值選取[J].天津大學(xué)學(xué)報(bào)，2011(12):1044－1049.

[7]蘇愛(ài)民.數(shù)字視頻鏡頭檢測(cè)研究[D].西安:西北工業(yè)大學(xué)，2005.

[8]丁洪麗，陳懷新.基于累積直方圖的視頻鏡頭邊界檢測(cè)方法[J].電訊技術(shù)，2008(3):65－69.