基于車輛特征的關(guān)鍵幀提取方法研究

王正玉,李 勃,張明輝,歐玉榮（昆明理工大學(xué) 信息工程與自動化學(xué)院，云南 昆明650051）

隨著網(wǎng)絡(luò)和多媒體技術(shù)的飛速發(fā)展，視頻得到了廣泛應(yīng)用，其數(shù)量迅速增加。為了方便對這些數(shù)據(jù)進(jìn)行有效的索引和管理，視頻檢索技術(shù)得到廣泛的研究,其中，就需采用有效的鏡頭分割和關(guān)鍵幀技術(shù)。利用關(guān)鍵幀技術(shù)對視頻數(shù)據(jù)庫進(jìn)行有效的快速查詢、檢索和瀏覽，可以大大減輕工作量。

關(guān)鍵幀是鏡頭中最重要、最具代表性的圖像幀，它反映了一個鏡頭的主要內(nèi)容。針對關(guān)鍵幀這些特點(diǎn)，關(guān)鍵幀的提取有兩個基本要求[1]：一方面必須反映鏡頭中的主要事件，即描述要盡可能準(zhǔn)確和完整；另一方面要求數(shù)據(jù)量小，即計算不能太復(fù)雜。當(dāng)前一般采用的關(guān)鍵幀選取原則較為保守，即“寧錯勿少”，這樣在保證完整地描述一個鏡頭內(nèi)容的同時造成了大量的冗余。為解決這一問題，本文針對交通監(jiān)控視頻中相關(guān)車輛的檢索，提出一種基于車輛自身特征的關(guān)鍵幀提取方法，此算法有效地避免了冗余。

1 常用的主流關(guān)鍵幀提取方法

目前的關(guān)鍵幀提取方法依據(jù)是否基于壓縮域可分為非壓縮域和壓縮域方法，依關(guān)鍵幀來源可分為關(guān)鍵幀重組和關(guān)鍵幀提取，其中，關(guān)鍵幀提取是目前主流方法。典型的關(guān)鍵幀提取算法主要分為四類：(1)基于鏡頭邊界提取關(guān)鍵幀[1]，該方法將鏡頭的首幀和尾幀作為鏡頭的關(guān)鍵幀，簡單易行，關(guān)鍵幀數(shù)目確定,但是效果不穩(wěn)定。(2)根據(jù)相鄰幀間的距離提取關(guān)鍵幀。若距離大于某個預(yù)先設(shè)定的閾值，則產(chǎn)生一個新關(guān)鍵幀。該方法較為靈活，但只對相鄰幀進(jìn)行距離計算。容易漏檢，且對于重復(fù)畫面多的鏡頭容易產(chǎn)生冗余。(3)基于運(yùn)動分析的方法，例如WOLF[2]的光流法，分析計算鏡頭中的運(yùn)動量，在其局部最小值處選取關(guān)鍵幀，反映了視頻數(shù)據(jù)的靜止，該方法所需計算量較大，時間效率降低，WOLF方法中的局部最小值也不一定準(zhǔn)確。(4)基于聚類法提取關(guān)鍵幀，其基本思想是首先從一個初始化的聚類出發(fā)，將樣本集中的每個元素分配給某個聚類，以達(dá)到系統(tǒng)或用戶的要求，這種方法效果較好，但是比較復(fù)雜，實(shí)現(xiàn)起來有一定的困難，而且計算量較大。

2 改進(jìn)的針對于車輛檢索的關(guān)鍵幀提取方法

改進(jìn)的針對于車輛檢索的關(guān)鍵幀提取方法的主要思想如下。

(1)在鏡頭分割完畢的基礎(chǔ)上，選取鏡頭的第一幀、中間幀和最后一幀作為候選關(guān)鍵幀。

(2)對選取的關(guān)鍵幀進(jìn)行簡單的預(yù)處理操作，如圖像平滑等。由于通過CCD攝像頭采集視頻圖像的過程中容易受到攝像頭、視頻采集卡、天氣、人為干擾、車輛的顛簸抖動等因素的影響，圖像中往往會出現(xiàn)一些不規(guī)則的隨機(jī)噪聲。采用適當(dāng)?shù)姆椒ń翟耄梢悦黠@提高對運(yùn)動車輛的檢測率和識別率。例如，本文采用中值濾波[3]處理圖像后，可以有效地去除不規(guī)則的噪聲點(diǎn),如圖1所示。

(3)物體的形狀特征對物體的識別有重要作用[4]，本算法采用對校正后的圖像進(jìn)行圓檢測[5]方式，識別帶有車輛的圖像。

對于圓檢測，本算法首先想到的是利用圓的幾何性質(zhì):圓周上任意兩條不平行弦的中垂線相交點(diǎn)即為圓心,每次同時選取不在同一條直線上的 3個點(diǎn) (x1，y1)、(x2，y2)和 (x3，y3)來確定一個圓，圓心坐標(biāo)可由這 3個點(diǎn)的坐標(biāo)獲得。原理如下：

①用S代表所截取的待檢測的圖像中的所有邊緣點(diǎn)的集合。從S中隨機(jī)選取不在同一條直線上的3個像素點(diǎn)確定一個圓。本文通過減少隨機(jī)采樣點(diǎn)數(shù)來解決這個問題。考慮到一個邊緣點(diǎn)的八鄰域像素，如果邊緣點(diǎn)數(shù)目少于3個，認(rèn)為這個點(diǎn)就是無效采樣點(diǎn)。設(shè)隨機(jī)采樣的前 兩個 點(diǎn)為 s1（x1，y1）、s2（x2，y2），且使 s1s2≥T，其中T為一個設(shè)定的閾值。s3（x3，y3）則從 s1s2中垂線的一端去搜索，這樣做是為了減少待檢測圓的搜索次數(shù)。

② 由 s1（x1，y1）、s2（x2，y2）和 s3（x3，y3）這 三 點(diǎn) 確 定 的候選圓的圓心(a1，a2)與半徑r為：

③ 確定完候選圓以后，任取一個特征點(diǎn) si(xi，yi)，該點(diǎn)到圓心的距離與侯選圓半徑r的差值為:

設(shè) δ為判別點(diǎn)到圓靠近程度的閾值，若 dd＜δ，則 si點(diǎn)在這個圓上。下一步就是對在這個圓上的邊緣點(diǎn)進(jìn)行累計計算。

為了減少計算量，考慮到圓必定在其外接正方形之內(nèi)，所以不必對外接正方形之外的那些像素進(jìn)行計算，可以減少大量的計算時間。取邊緣厚度為一個較小數(shù)t，對于邊緣點(diǎn) s 中的點(diǎn) si(xi,yi),若滿足 xi＞a1+r+t、xi＜a1-rt、yi＞a2+r+t或 yi＜a2-r-t中任意一個，則不必計算該點(diǎn)到圓心的距離di，而是繼續(xù)對下一個邊緣點(diǎn)進(jìn)行計算判定。假設(shè)初始化計數(shù)器為M，集合中最少點(diǎn)數(shù)為m，S中的點(diǎn)數(shù)為n，真實(shí)圓的閾值為 Mmin，邊緣厚度為t。檢測到的真實(shí)圓的個數(shù)為j，并初始j=0。該算法的具體描述如圖2所示,實(shí)現(xiàn)的結(jié)果如圖3所示。

3 實(shí)驗(yàn)結(jié)果與分析

為了檢測本算法的效果，分別設(shè)計了4組測試實(shí)驗(yàn)，每組所涉及的含有車輛關(guān)鍵幀與不含有車輛關(guān)鍵幀數(shù)量各不相同，呈遞增狀。其中，每組實(shí)驗(yàn)中所用的含有車輛關(guān)鍵幀里，盡量選用具有不同車型車輛的關(guān)鍵幀作為測試用例，以達(dá)到涵蓋各種情況的目的。實(shí)驗(yàn)結(jié)果如表1所示。

表1 實(shí)驗(yàn)結(jié)果數(shù)據(jù)

實(shí)驗(yàn)結(jié)果表明，將本算法應(yīng)用在交通視頻中有關(guān)車輛的關(guān)鍵幀提取方面錯誤率低、冗余度小且遺漏程度很低。本算法針對車輛自身特征對帶有車輛幀的提取達(dá)到了令人較滿意的效果。本算法中還可以靈活地加入車輛的其他特征(如車牌等)，以取得更好的效果。

為了解決交通視頻中有關(guān)車輛的關(guān)鍵幀提取問題，本文提出了一種基于車輛自身特征的關(guān)鍵幀提取方法，即基于圓檢測的車輛關(guān)鍵幀提取法。實(shí)驗(yàn)結(jié)果表明該方法切實(shí)可行。由于實(shí)驗(yàn)中選用的車輛圖片以正側(cè)面為主，與現(xiàn)實(shí)中任意方位角的車輛相比，還只是較特殊的一類，若要實(shí)現(xiàn)任意方位角的車輛幀提取，還要添加一些其他車輛特征，或者實(shí)現(xiàn)對圖片中車輛傾斜角的矯正等，以達(dá)到顯示圖中車輛正側(cè)面的效果。要使此算法具有普遍性，還需要繼續(xù)深入研究。

[1]季春.視頻檢索中關(guān)鍵幀抽取方法的研究[D].南京:南京理工大學(xué)，2005.

[2]WOLF W.Key frame selection by motion analysis[C].IEEE Proceedings of International Confenence Acoust，Speech，and Sigal Proc，1996.

[3]王耀南，李樹濤,毛建旭，等.計算機(jī)圖像處理與識別技術(shù)[M].北京:高等教育出版社,2003.

[4]王立國.支持向量機(jī)多類目標(biāo)分類器的結(jié)構(gòu)簡化研究[J].中國圖象圖形學(xué)報，2005，10(5)：571-574.

[5]XU L，OJA E， KULTANEN P.A new curve detec tion method：randomized Hough transform(RHT)[J].Pattem Recognition Letters，1990，II(5)：33l-338.