基于自動確定特征點(diǎn)數(shù)的鏡頭分割方法

李國和， 劉佃興， 臧金曉， 吳衛(wèi)江

（中國石油大學(xué)（北京）地球物理與信息工程學(xué)院，北京 102249；中國石油大學(xué)（北京）油氣數(shù)據(jù)挖掘北京市重點(diǎn)實(shí)驗(yàn)室，北京 102249；

石大兆信數(shù)字身份管理與物聯(lián)網(wǎng)技術(shù)研究院，北京 100029）

基于自動確定特征點(diǎn)數(shù)的鏡頭分割方法

李國和， 劉佃興， 臧金曉， 吳衛(wèi)江

（中國石油大學(xué)（北京）地球物理與信息工程學(xué)院，北京 102249；中國石油大學(xué)（北京）油氣數(shù)據(jù)挖掘北京市重點(diǎn)實(shí)驗(yàn)室，北京 102249；

石大兆信數(shù)字身份管理與物聯(lián)網(wǎng)技術(shù)研究院，北京 100029）

鏡頭分割對實(shí)現(xiàn)基于圖像內(nèi)容的視頻檢索具有重要作用。為了提高視頻鏡頭分割的效果，采用Harris算子進(jìn)行像素點(diǎn)的能量評估，并抑制偽特征點(diǎn)。通過圖像幀分塊和邊緣檢測，獲取最小化特征點(diǎn)集，并使特征點(diǎn)分布相對均勻合理，然后根據(jù)特征點(diǎn)計(jì)算圖像幀統(tǒng)計(jì)量，進(jìn)一步形成圖像幀的特征向量。在此基礎(chǔ)上，結(jié)合圖像幀漸變檢測和閃光檢測實(shí)現(xiàn)鏡頭分割方法，取得很好鏡頭分割效果。

Harris算子；特征提取；閃光檢測；漸變檢測；鏡頭分割

視頻鏡頭分割是基于鏡頭變化的分割方法，也是關(guān)鍵幀提取、場景聚類和基于內(nèi)容檢索等的基礎(chǔ)之一[1]。鏡頭變化檢測方法可分為鏡頭突變（切變）檢測和鏡頭漸變檢測[2]。鏡頭突變主要是攝像機(jī)的停機(jī)或鏡頭的切換。鏡頭漸變主要在兩個(gè)鏡頭之間加入淡入淡出等編輯效果。

目前已有的鏡頭分割算法包括像素比較方法、似然比較方法[3]、基于直方圖比較方法等基礎(chǔ)算法[3]，以及在基礎(chǔ)算法上改進(jìn)的算法，這些鏡頭分割算法主要是選取圖像幀的底層特征并構(gòu)成特征向量，用相鄰兩幀的特征向量差與固定閾值比較，從而判斷是否發(fā)生了鏡頭變化。由于視頻中編輯方法多變，固定閾值無法完全界定視頻內(nèi)容的復(fù)雜變換，底層特征提取復(fù)雜程度不僅導(dǎo)致鏡頭分割算法中計(jì)算復(fù)雜度大，而且不易適應(yīng)表示圖像幀變化[2]。

無論視頻如何編輯，當(dāng)視頻發(fā)生鏡頭變化時(shí)，相鄰圖像幀中對應(yīng)的像素點(diǎn)會發(fā)生較明顯的變化，用少量具有代表性的像素點(diǎn)構(gòu)成特征向量不僅保留了圖像幀重要特征信息，而且有效地減少了數(shù)據(jù)量和運(yùn)算量，同時(shí)又反映不同鏡頭的變化。本文結(jié)合像素點(diǎn)之間變化構(gòu)成自動調(diào)整的閾值，同時(shí)引入鏡頭漸變檢測和閃光燈檢測，實(shí)現(xiàn)了一種自動確定特征點(diǎn)和鏡頭檢測閾值的鏡頭分割方法，有效增強(qiáng)了抗干擾和提高了鏡頭分割的準(zhǔn)確率。

1 基于Harris的像素點(diǎn)評估

圖像中對象邊沿彎曲度最大的點(diǎn)或者圖像亮度變化劇烈的點(diǎn)（即特征點(diǎn)），對圖像的識別具有重要作用。由于Harris特征點(diǎn)對圖像旋轉(zhuǎn)、圖像亮度線性變換及噪聲具有不變的特性[4]，所以，通過Harris算子對圖像中像素點(diǎn)進(jìn)行評估，以便進(jìn)一步確定特征點(diǎn)。

選取高斯窗為檢測窗口，計(jì)算窗口平均能量（即像素灰度值）變化。采用Harris算子進(jìn)行像素點(diǎn)平均能量的評估。Harris算子的表達(dá)式：

其中，pix(x, y)為窗口中心坐標(biāo)，u , v為偏移量，為高斯窗口函數(shù)，I (x , y)為像素點(diǎn)pix(x, y)的灰度，I(x+u, y +v)為像素點(diǎn)pix(x+u, y+v)的灰度。

由泰勒公式展開：

其中，Ix和Iy為灰度函數(shù)I對x和y的一階灰度偏導(dǎo)數(shù)。

由式（1）和式（2）可得：

對于局部微小的移動量[u , v]，得到近似表達(dá)式：

而[Ixu+Iyv]2=Ixu +Iyv +2IxIyuv

得到：

其中，

由M的特征值λ1和λ2定義特征點(diǎn)的響應(yīng)函數(shù)為：

其中， det( M )=λ1λ2， trace (M )=λ1+λ2。

一般情況，k∈[0.04,0.06]。以R(pix) 為像素點(diǎn)pix(x, y)的評估灰度值，反映像素點(diǎn)成為特征點(diǎn)的可能性。

2 鏡頭分割方法

數(shù)字視頻中，時(shí)間連續(xù)、內(nèi)容相似的圖像幀構(gòu)成鏡頭，由一個(gè)或多個(gè)鏡頭構(gòu)成一個(gè)完整的視頻。視頻文檔為有序圖像幀的集合 Video= {Framei|i=1, 2, …, n}，其中n為視頻圖像幀的總數(shù)。

2.1 統(tǒng)計(jì)量計(jì)算

第i幀F(xiàn)ramei可由灰度直方圖Hi標(biāo)識，即Hi=<>為特征向量，其中hk為灰度值為k的特征點(diǎn)數(shù)(k=0, 1,…, 255)，其特征點(diǎn)集大小mi。以下為有關(guān)圖像幀的統(tǒng)計(jì)量：

1） 幀間差

其中，δ 和τ 為比例系數(shù)。

2） 灰度直方圖平均變化率

其中，s為鏡頭的起始幀位置。

3） 特征點(diǎn)集規(guī)模平均變化率

其中，s為鏡頭的起始幀位置。

2.2 特征點(diǎn)集的提取

通過圖像分割策略，避免圖像不同而直方圖一樣的情況，又可避免特征點(diǎn)積聚[5]，并以圖像幀中對象邊緣數(shù)作為確定特征點(diǎn)數(shù)量的重要參數(shù)，實(shí)現(xiàn)特征點(diǎn)的自動提取，具體算法如下：

1） 圖像分塊：設(shè)圖像Frame，圖像塊Blocki（i=1,2,…m, m 為圖像分塊數(shù)），且?i , j ,i ≠j ,Blocki∈， Blockj∈，

Frame.L/Blocki.li=Frame.W/Blocki.w（i即圖像和分塊成長寬都比例）；

2） 對象邊緣數(shù)量確定：Canny[6]邊緣檢測確定Blocki的邊緣數(shù)

2.3 閃光檢測[7]

視頻中常有閃光出現(xiàn)。含有閃光的圖像幀其前后幀相差都不大。當(dāng)圖像幀含有閃光時(shí)，特征點(diǎn)數(shù)趨近于零。對當(dāng)前圖像幀F(xiàn)ramei進(jìn)行閃光檢測：

當(dāng)|Framei|≈0，并且其他情況，F(xiàn)lashTest(Framei, l)=False。其中，s為當(dāng)前鏡頭的起始位置，l=1,2,…, n-i。

FlashTest(Framei，l)為True（真）時(shí)，F(xiàn)ramei到為含閃光的視頻幀。

2.4 鏡頭漸變檢測

淡入、淡出和溶解等鏡頭漸變都存在一個(gè)畫面中物體的輪廓和對比等變淡或消失的過程，該過程中所有幀的特征點(diǎn)數(shù)和特征點(diǎn)的灰度值變化緩慢。對當(dāng)前幀 Framei進(jìn)行鏡頭漸變檢測GradientTest(Framei)：

當(dāng)|mi-1-mi|≈0，并且時(shí)，GradientTest(Framei)=True；當(dāng)其他情況時(shí)，GradientTest(Framei)=False。其中，n為直方圖維數(shù)。GradientTest(Framei)為 True（真）時(shí)，表明Framei處于當(dāng)前鏡頭的漸變過程中。

2.5 鏡頭分割過程

根據(jù)提取的圖像幀特征點(diǎn)進(jìn)行統(tǒng)計(jì)量計(jì)算，并對圖像幀進(jìn)行閃光檢測和漸變檢測，濾除閃光幀和漸變幀，確定潛在的鏡頭突變位置，實(shí)現(xiàn)鏡頭分割，具體過程如下：

Divide(Video, δ, τ) //輸入視頻文檔和參數(shù)

{j=1; //第1個(gè)鏡頭

i=2; //第2幀

For each Framei∈Video //每一圖像幀

{if（FlashTes（tFramei,k）==True）i=i+k；//跳過閃光視頻

if (i>=n) { ShotEdge[j]=n； break；} //視頻結(jié)束

if（GradualTest(Framei) ==True）

//閾值計(jì)算

ShotEdge[j++]=i；//鏡頭結(jié)束幀位置

}

Return ShotEdge；//鏡頭所有分割位置

}

3 實(shí)驗(yàn)結(jié)果分析

下面通過實(shí)驗(yàn)及其對比，說明本文鏡頭分割方法的有效性。

3.1 實(shí)驗(yàn)條件

實(shí)驗(yàn)條件為Pentium Dual E2180 2.00GHZ的CPU、1.0Gbit RAM的微機(jī)，采用OpenCV實(shí)現(xiàn)鏡頭分割算法。試驗(yàn)參數(shù)≤ 1.16，α =2.5，δ =4.1，τ =0.075，圖像分塊取2*2。

圖1 Harris特征點(diǎn)提取

圖2 本文特征點(diǎn)提取

3.2 特征點(diǎn)提取效果

在鏡頭分割中，對視頻每一幀都要進(jìn)行特征點(diǎn)集的提取。如圖1采用Harris算法提取的特征點(diǎn)；圖2 采用本文的特征提取方法提取的特征點(diǎn)。從圖中可以看出，本文特征提取方法獲取較少特征點(diǎn)，并使特征點(diǎn)分布更加均勻。

3.3 鏡頭分割效果度量

鏡頭分割的效果度量標(biāo)準(zhǔn)有查全率和查準(zhǔn)率：

1） 查全率=正確檢測數(shù)/（正確檢測數(shù)+漏檢數(shù)）；

2） 查準(zhǔn)率=正確檢測數(shù)/（正確檢測數(shù)+誤檢數(shù)）。

3.4 鏡頭分割效果對比

本文鏡頭分割的實(shí)驗(yàn)數(shù)據(jù)均從優(yōu)酷網(wǎng)上下載視頻文檔。本實(shí)驗(yàn)視頻是隨機(jī)抽取各種視頻進(jìn)行實(shí)驗(yàn)。為了驗(yàn)證本文算法的有效性，選用文獻(xiàn)[8]和文獻(xiàn)[9]作為實(shí)驗(yàn)對比。本文實(shí)驗(yàn)的結(jié)果如表1所示，文獻(xiàn)[8]的實(shí)驗(yàn)結(jié)果如表2所示，文獻(xiàn)[9]的實(shí)驗(yàn)結(jié)果如表3所示。

表1 基于自動確定特征點(diǎn)數(shù)的鏡頭分割

表2 規(guī)范化灰度分布幀差算法

表3 一種基于直方圖的切變鏡頭自動檢測算法

從表1、表2及表3中可以看出，本文的方法具有較好的查全率，對于不同類型的視頻有較好的穩(wěn)定性?！胺▏闼畯V告”中有一定數(shù)量的閃光燈，并有鏡頭移動的現(xiàn)象，使其檢測過程中有一些誤檢?！癋X組合宋茜廣告”是一個(gè)黑白視頻，檢測過程中，特征點(diǎn)的變化較劇烈，對鏡頭檢測造成很大干擾。總體來說，本文鏡頭分割方法對網(wǎng)絡(luò)視頻可以進(jìn)行有效的鏡頭分割。

4 結(jié) 論

為了提高視頻文檔進(jìn)行鏡頭分割效果，通過Harris函數(shù)對像素點(diǎn)進(jìn)行能量評估，有效利用其高斯特性，對像素點(diǎn)進(jìn)行平滑降噪，從而確保特征點(diǎn)大多數(shù)分布在對象邊緣位置，并且過濾多數(shù)偽特征點(diǎn)。為了避免特征點(diǎn)選取在圖像幀中分布不均，進(jìn)一步采用圖像分塊，使得提取的特征點(diǎn)分布更加均勻有效。通過邊沿檢測算法確定對象的邊緣數(shù)，決定所有圖像塊的特征點(diǎn)數(shù)，達(dá)到提取的特征點(diǎn)集最小化，并使得圖像幀特征點(diǎn)數(shù)及其各種統(tǒng)計(jì)量更加真實(shí)表示圖像幀，從而充分保留原始圖像內(nèi)容信息。在鏡頭分割算法中，增加圖像幀漸變檢測和閃光燈檢測，提高鏡頭分割的效果。本文鏡頭分割算法只采用特征點(diǎn)及其統(tǒng)計(jì)信息，下一步研究多特征融合技術(shù)，以提高鏡頭的查準(zhǔn)率和查全率。

[1] 劉政凱, 湯曉鷗. 視頻檢索中鏡頭分割方法綜述[J].計(jì)算機(jī)工程與應(yīng)用, 2002, 38(23): 84-87.

[2] 孫利濤, 楊 雷. 視頻鏡頭分割技術(shù)綜述[J]. 山東輕工業(yè)學(xué)院學(xué)報(bào), 2007, (3): 36-39.

[3] 劉 群, 江 偉, 吳 渝. 采用多特征融合的鏡頭邊界檢測方法[J]. 計(jì)算機(jī)工程與應(yīng)用, 2010, 46(13): 171-174.

[4] 王旭光, 王志衡, 吳福朝. Harris相關(guān)與特征匹配[J].模式識別與人工智能, 2009, (4): 505-513.

[5] 卜慶凱, 胡愛群. 一種新的鏡頭邊界檢測和靜態(tài)視頻摘要提取方法[J]. 東南大學(xué)形學(xué)報(bào), 2007, 37(4): 559-564.

[6] 段瑞玲, 李慶祥, 李玉和. 圖像邊緣檢測方法研究綜述[J]. 光學(xué)技術(shù), 2005, 31(3): 415-419.

[7] 孫季豐, 李穎雄. 視頻鏡頭自動分割的若干方法[J].華南理工大學(xué)學(xué)報(bào), 2003, 31(8): 10-14.

[8] 沈博超, 周 軍. 視頻突變檢測的規(guī)范化灰度分布幀差方法[J]. 計(jì)算機(jī)工程, 2009, 35(3): 242-244.

[9] 劉 典, 劉文萍. 一種基于直方圖的切變鏡頭自動檢測算法[J]. 北方工業(yè)大學(xué)學(xué)報(bào), 2007, 19(3): 16-20.

Approach to Shot Segmentation Based on Automatic Decision of Feature-Point Number

Li Guohe, Liu Dianxing, Zang Jinxiao, Wu Weijiang
( 1. College of Geophysics and Information Engineering, China University of Petroleum, Beijing 102249, China; 2. Beijing Key Lab of Data Mining for Petroleum Data, China University of Petroleum, Beijing 102249, China; 3. PanPass Institute of Digital Identification Management and Internet of Things, Beijing 100029, China )

Shot segmentation is very important for video retrieval based on image content. In order to improve the performance of shot segmentation, Harris operator is adopted to evaluate the energy of image pix, and exclude pseudo feature points. By means of partition of frame in the video into blocks and edge detection of the blocks, the minimal feature-point set is obtained and the feature points are made relatively well-distributed. And then according to the feature points, statistical quantity of frame in video is computed to construct feature vector to express the frame. Based on above, along with gradual transition detection and flash detection of frame, a method of shot segmentation is presented. Experiments of shot segmentation are efficient.

Harris operator; feature extraction; flash detection; gradual transition detection; shot segmentation

TP 391.41

A

2095-302X (2013)03-0095-05

2012-09-02；定稿日期：2012-10-28

國家高新技術(shù)研究發(fā)展計(jì)劃資助項(xiàng)目（2009AA062802）；國家自然科學(xué)基金資助項(xiàng)目（60473125）；中國石油（CNPC）石油科技中青年創(chuàng)新基金資助項(xiàng)目（05E7013）；國家重大專項(xiàng)子課題資助項(xiàng)目（G5800-08-ZS-WX）

李國和（1965-），男，福建平和人，教授，博士，博士生導(dǎo)師，主要研究方向?yàn)槿斯ぶ悄?知識發(fā)現(xiàn)，數(shù)據(jù)可視化。E-mail：ligh@cup.edu.cn

劉佃興（1985-），男，河南濮陽人，碩士研究生，主要研究方向?yàn)橹R發(fā)現(xiàn)。E-mail：rtying@163.com臧金曉（1986-），男，山東泰安人，碩士研究生，主要研究方向?yàn)橹R發(fā)現(xiàn)。E-mail：zangjinxiao@126.com吳衛(wèi)江（1971-），男，河北唐山人，副教授，博士生，主要研究領(lǐng)域?yàn)槿斯ぶ悄埽R發(fā)現(xiàn)。E-mail：allan1226@163.com