基于改進(jìn)光流法的旋轉(zhuǎn)運(yùn)動(dòng)背景下對(duì)地運(yùn)動(dòng)目標(biāo)實(shí)時(shí)檢測(cè)*

儲(chǔ)林臻 閆鈞華 杭誼青 許俊峰

(南京航空航天大學(xué)航天學(xué)院，南京，210016)

?

基于改進(jìn)光流法的旋轉(zhuǎn)運(yùn)動(dòng)背景下對(duì)地運(yùn)動(dòng)目標(biāo)實(shí)時(shí)檢測(cè)*

儲(chǔ)林臻 閆鈞華 杭誼青 許俊峰

(南京航空航天大學(xué)航天學(xué)院，南京，210016)

針對(duì)戰(zhàn)機(jī)對(duì)地偵查視頻圖像中地面旋轉(zhuǎn)運(yùn)動(dòng)背景下運(yùn)動(dòng)目標(biāo)檢測(cè)高虛警、低實(shí)時(shí)性的問(wèn)題,提出了一種基于改進(jìn)光流法的旋轉(zhuǎn)運(yùn)動(dòng)背景下對(duì)地運(yùn)動(dòng)目標(biāo)實(shí)時(shí)檢測(cè)算法。首先提取圖像的特征點(diǎn)，在特征點(diǎn)處計(jì)算光流運(yùn)動(dòng)矢量，并通過(guò)光流矢量場(chǎng)估算背景運(yùn)動(dòng)矢量。根據(jù)戰(zhàn)機(jī)飛行高度自適應(yīng)計(jì)算目標(biāo)像素尺寸，網(wǎng)格化分塊待檢測(cè)圖像；然后將各個(gè)特征點(diǎn)光流矢量與背景運(yùn)動(dòng)矢量相比較，獲得備選目標(biāo)特征點(diǎn)。最后統(tǒng)計(jì)分塊備選目標(biāo)特征點(diǎn)密度，判斷目標(biāo)位置區(qū)域。對(duì)2組實(shí)驗(yàn)視頻中央360像素×432像素區(qū)域進(jìn)行目標(biāo)檢測(cè)實(shí)驗(yàn)，結(jié)果表明該算法能夠準(zhǔn)確地檢測(cè)出地面運(yùn)動(dòng)目標(biāo)，虛警率低。平均每幀檢測(cè)耗時(shí)分別為29.460 ms和31.505 ms，滿足戰(zhàn)機(jī)對(duì)地運(yùn)動(dòng)目標(biāo)檢測(cè)的實(shí)時(shí)性。

改進(jìn)光流法；地面背景；旋轉(zhuǎn)運(yùn)動(dòng)；目標(biāo)檢測(cè)；視頻圖像

引 言

對(duì)地面運(yùn)動(dòng)目標(biāo)的偵查和精確打擊是空軍主要戰(zhàn)術(shù)任務(wù)之一。在戰(zhàn)機(jī)對(duì)地偵查視頻圖像中高精、實(shí)時(shí)檢測(cè)出地面運(yùn)動(dòng)目標(biāo)是其關(guān)鍵技術(shù)。由于戰(zhàn)機(jī)在光電成像過(guò)程中的運(yùn)動(dòng)，對(duì)地偵查視頻圖像中存在地面背景的旋轉(zhuǎn)運(yùn)動(dòng)[1]，這導(dǎo)致目標(biāo)檢測(cè)出現(xiàn)大量的虛警。由Horn-Schunck提出的光流法是目前針對(duì)運(yùn)動(dòng)目標(biāo)檢測(cè)的主要方法之一[2]。Lucas-Kanade提出局部運(yùn)動(dòng)約束假設(shè)改進(jìn)了光流計(jì)算，并廣泛地應(yīng)用于計(jì)算機(jī)視覺(jué)處理中[3]。Zhan Wei等[4]利用Lucas-Kanade光流法實(shí)現(xiàn)了對(duì)固定背景下運(yùn)動(dòng)汽車(chē)的檢測(cè)。Royden等[5]對(duì)車(chē)載相機(jī)平臺(tái)運(yùn)動(dòng)條件下的光流場(chǎng)進(jìn)行了分析。根據(jù)Bruhn等[6]對(duì)光流法的實(shí)時(shí)性實(shí)驗(yàn)數(shù)據(jù)，發(fā)現(xiàn)傳統(tǒng)的光流法無(wú)法滿足戰(zhàn)機(jī)對(duì)地運(yùn)動(dòng)目標(biāo)檢測(cè)對(duì)實(shí)時(shí)性的要求。張水發(fā)等[7]指出由于傳統(tǒng)的光流法需要對(duì)圖像中全部像素進(jìn)行光流計(jì)算，導(dǎo)致運(yùn)算量極大，因而影響算法的實(shí)時(shí)性。本文針對(duì)旋轉(zhuǎn)運(yùn)動(dòng)背景下對(duì)地運(yùn)動(dòng)目標(biāo)檢測(cè)高虛警、低實(shí)時(shí)性的問(wèn)題，對(duì)光流法進(jìn)行改進(jìn)。首先提取圖像的特征點(diǎn)，在圖像特征點(diǎn)處計(jì)算光流運(yùn)動(dòng)矢量，并通過(guò)計(jì)算所得的光流矢量場(chǎng)估算背景運(yùn)動(dòng)矢量；接著根據(jù)戰(zhàn)機(jī)飛行高度自適應(yīng)計(jì)算目標(biāo)像素尺寸，網(wǎng)格化分塊待檢測(cè)圖像。然后將各個(gè)特征點(diǎn)光流矢量與背景運(yùn)動(dòng)矢量相比較，獲得備選目標(biāo)特征點(diǎn)。最后統(tǒng)計(jì)分塊備選目標(biāo)特征點(diǎn)密度，判斷目標(biāo)位置區(qū)域。

1 快速計(jì)算圖像光流場(chǎng)

1.1 圖像特征點(diǎn)檢測(cè)

在戰(zhàn)機(jī)對(duì)地偵查視頻圖像中，運(yùn)動(dòng)目標(biāo)位于圖像灰度變化較劇烈的區(qū)域，即圖像的特征點(diǎn)附近[8]。為減小光流法計(jì)算量，首先提取圖像的特征點(diǎn)，然后計(jì)算圖像特征點(diǎn)處的光流矢量。本文對(duì)航拍視頻圖像在不同強(qiáng)度閾值下的Shi-Tomasi Harris[9]特征點(diǎn)檢測(cè)效果及實(shí)時(shí)性進(jìn)行了實(shí)驗(yàn)，結(jié)果見(jiàn)表1。

為達(dá)到實(shí)時(shí)檢測(cè)的效果，目標(biāo)檢測(cè)算法需要達(dá)到25幀/s的圖像處理速度。根據(jù)上述實(shí)驗(yàn)結(jié)果，在目標(biāo)檢測(cè)算法中使用Shi-Tomasi Harris特征點(diǎn)檢測(cè)法可以滿足實(shí)時(shí)性的要求。為降低漏檢率，需要提取盡量多的特征點(diǎn)。又由于后續(xù)的光流矢量求解是基于像素點(diǎn)灰度梯度的計(jì)算，并且要考慮減小光流計(jì)算量，所以特征點(diǎn)檢測(cè)的強(qiáng)度閾值不能過(guò)低。經(jīng)過(guò)實(shí)際試驗(yàn)，發(fā)現(xiàn)Shi-Tomasi Harris特征點(diǎn)檢測(cè)法的強(qiáng)度閾值設(shè)為0.05較為合適。

表1 Shi-Tomasi Harris特征點(diǎn)檢測(cè)結(jié)果

1.2 Lucas-Kanade光流法

光流可看成帶有灰度的像素點(diǎn)在圖像平面上的運(yùn)動(dòng)而產(chǎn)生的瞬時(shí)速度場(chǎng)。Lucas-Kanade光流法是一種計(jì)算稀疏光流的方法[10]，假設(shè)在極短時(shí)間內(nèi)，沿像素點(diǎn)運(yùn)動(dòng)軌跡上的灰度不變，即

(1)

式中：I為視頻圖像中某像素點(diǎn)的像素值；x,y為該像素點(diǎn)在圖像平面上的坐標(biāo)，t表示該像素點(diǎn)在視頻圖像序列時(shí)間軸上的坐標(biāo)。對(duì)其微分可以得到光流方程

(2)

式中：vx，vy分別表示像素點(diǎn)在水平和垂直方向上的速度分量。

這是一個(gè)超定方程，為求解vx與vy還需要加入其他的約束條件方程。Lucas-Kanade方法假設(shè)在局部小塊圖像內(nèi)所有像素點(diǎn)的光流矢量都近似相同，利用最小二乘法對(duì)光流方程誤差估計(jì)vx和vy。若ω為像素點(diǎn)附近的一小塊鄰域，光流方程誤差E可表示為

(3)

(4)

2 改進(jìn)光流法檢測(cè)運(yùn)動(dòng)目標(biāo)

戰(zhàn)機(jī)與地面相對(duì)旋轉(zhuǎn)運(yùn)動(dòng)造成對(duì)地偵查視頻圖像地面背景旋轉(zhuǎn)，導(dǎo)致目標(biāo)檢測(cè)出現(xiàn)大量的虛警，本文對(duì)光流法進(jìn)行改進(jìn)。將待檢測(cè)圖像分塊，從全體分塊中提取出目標(biāo)分塊，通過(guò)對(duì)圖像特征點(diǎn)的分類(lèi)實(shí)現(xiàn)對(duì)圖像區(qū)域的分類(lèi)，確定目標(biāo)分塊，實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)檢測(cè)。

2.1 背景運(yùn)動(dòng)估計(jì)

戰(zhàn)機(jī)轉(zhuǎn)彎半徑大于圖像視場(chǎng)范圍，相鄰兩幀圖像間的時(shí)間間隔極短，因此對(duì)圖像背景的運(yùn)動(dòng)進(jìn)行估計(jì)時(shí)，屬于圖像背景像素點(diǎn)的運(yùn)動(dòng)矢量落在某二維運(yùn)動(dòng)矢量的一個(gè)較小的鄰域范圍內(nèi)，屬于運(yùn)動(dòng)目標(biāo)像素點(diǎn)的運(yùn)動(dòng)矢量與之有較大差異，不在該鄰域范圍內(nèi)。在連續(xù)兩幀的時(shí)間間隔內(nèi)，圖像中背景的旋轉(zhuǎn)運(yùn)動(dòng)可以近似用一個(gè)二維運(yùn)動(dòng)矢量V=[Vx,background,Vy,background]T表示，目標(biāo)的運(yùn)動(dòng)與背景的運(yùn)動(dòng)有著明顯的差異。在被檢測(cè)圖像中，尤其是較復(fù)雜地面背景情況下，提取出的圖像特征點(diǎn)中大多數(shù)屬于背景，只有少量特征點(diǎn)屬于運(yùn)動(dòng)目標(biāo)，因此對(duì)全體特征點(diǎn)的光流矢量求平均，以此作為背景運(yùn)動(dòng)矢量

(5)

式中：k為特征點(diǎn)序號(hào)，N為特征點(diǎn)總個(gè)數(shù)。

2.2 分塊待檢測(cè)圖像

根據(jù)預(yù)計(jì)目標(biāo)的實(shí)際尺寸L，載機(jī)高度H，攝像機(jī)視場(chǎng)角A，屏幕分辨率P，可以計(jì)算出目標(biāo)在待檢測(cè)圖像中的尺寸

(6)

由于目標(biāo)的實(shí)際尺寸L相對(duì)于載機(jī)高度H極小，式(6)可簡(jiǎn)化為

(7)

式中：L，A，P為預(yù)設(shè)參數(shù)，ST僅與載機(jī)高度H有關(guān)。

對(duì)圖像分塊時(shí)，分塊尺寸SD為ST的向下取整值。為了使分塊不至于過(guò)小，設(shè)定分塊最小邊長(zhǎng)為5像素，即

(8)

2.3 特征點(diǎn)分類(lèi)

為了判斷目標(biāo)區(qū)域，先要對(duì)圖像特征點(diǎn)進(jìn)行分類(lèi)，篩選出其中屬于運(yùn)動(dòng)目標(biāo)的特征點(diǎn)，這些篩選出的特征點(diǎn)稱(chēng)為備選目標(biāo)特征點(diǎn)。因?yàn)閷儆趫D像背景像素點(diǎn)的運(yùn)動(dòng)矢量落在背景運(yùn)動(dòng)矢量的一個(gè)鄰域范圍內(nèi)，所以將背景運(yùn)動(dòng)矢量與各個(gè)特征點(diǎn)處的光流矢量相比較，二者的誤差大于閾值Tv=[Tx,Ty]T的特征點(diǎn)認(rèn)為是備選目標(biāo)特征點(diǎn)，否則認(rèn)為是背景特征點(diǎn)。

(9)

2.4 目標(biāo)分塊

為確定目標(biāo)分塊，先要構(gòu)建一個(gè)二維分塊表單Bm×n，其中

(10)

式中：W，H分別表示原圖像的寬與高?；谔卣鼽c(diǎn)分類(lèi)情況及其位置參數(shù)，計(jì)算表單中相應(yīng)分塊的備選目標(biāo)特征點(diǎn)密度bp,q, 其中p= 1,2,…,m-1;q= 1,2,…,n-1。

for (k=0;k

{

if (Pk,(i,j)==1)

{

p= floor(i/SD);

q= floor(j/SD);

bp,q+= 1;

}

}

然后比較分塊表單中備選目標(biāo)特征點(diǎn)密度bp,q及備選目標(biāo)特征點(diǎn)密度閾值TB：若bp,q>TB，則該分塊(p,q)分類(lèi)為目標(biāo)分塊；否則將分塊(p,q)分類(lèi)為背景分塊。最后在原圖中用方框標(biāo)識(shí)出目標(biāo)分塊所對(duì)應(yīng)的圖像區(qū)域，實(shí)現(xiàn)目標(biāo)檢測(cè)。

3 改進(jìn)光流法運(yùn)動(dòng)目標(biāo)檢測(cè)算法流程

算法流程圖如圖1所示。

圖1 改進(jìn)光流法運(yùn)動(dòng)目標(biāo)檢測(cè)算法流程圖Fig.1 Flow chart of improved optical flow object detection algorithm

4 實(shí)驗(yàn)結(jié)果及分析

用航拍視頻圖像做實(shí)驗(yàn)，驗(yàn)證了算法的性能，分析了算法的實(shí)時(shí)性。實(shí)驗(yàn)平臺(tái)為Windows XP操作系統(tǒng)的PC機(jī)，使用VC6.0進(jìn)行編程實(shí)現(xiàn)。圖2～5是兩組航拍視頻圖像的運(yùn)動(dòng)目標(biāo)檢測(cè)實(shí)驗(yàn)結(jié)果：圖2為視頻1的第167幀；圖3為視頻1的第766幀；圖4為視頻2的第198幀；圖5為視頻2的第799幀。兩組航拍視頻的圖像分辨率都為720像素×576像素，因?qū)嶒?yàn)視頻圖像中的四邊位置都疊加有文字信息，為去除這些疊加文字圖像區(qū)域?qū)δ繕?biāo)檢測(cè)算法造成的干擾，目標(biāo)檢測(cè)區(qū)域設(shè)定為視頻圖像中央的360像素×432像素區(qū)域。圖中(a)為對(duì)輸入圖像進(jìn)行特征點(diǎn)檢測(cè)得到的圖像特征點(diǎn)；(b)為對(duì)(a)中特征點(diǎn)處進(jìn)行光流計(jì)算得到的圖像特征點(diǎn)光流場(chǎng)；(c)為經(jīng)篩選后的備選目標(biāo)特征點(diǎn)；(d)為最終檢測(cè)到的運(yùn)動(dòng)目標(biāo)。從視頻圖像中的道路可以看出：視頻1在600幀的時(shí)間內(nèi)圖像背景有了約60°的旋轉(zhuǎn)，視頻2在600幀的時(shí)間內(nèi)圖像背景也有約25°的旋轉(zhuǎn)。本文算法去除了屬于背景的特征點(diǎn)，保留了屬于目標(biāo)的特征點(diǎn)，在背景旋轉(zhuǎn)時(shí)對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行檢測(cè)。

圖2 航拍視頻1第167幀實(shí)驗(yàn)結(jié)果Fig.2 Experimental results from No. 167 frame of aerial video 1

圖3 航拍視頻1第766幀實(shí)驗(yàn)結(jié)果Fig.3 Experimental results from No. 766 frame of aerial video 1

圖4 航拍視頻2第198幀實(shí)驗(yàn)結(jié)果Fig.4 Experimental results from No. 198 frame of aerial video 2

圖5 航拍視頻2第799幀實(shí)驗(yàn)結(jié)果Fig.5 Experimental results from 799 frame of aerial video 2

視頻1(842幀)中總計(jì)出現(xiàn)5 283個(gè)目標(biāo)，檢測(cè)目標(biāo)4 838個(gè)，檢測(cè)率91.58%；出現(xiàn)虛警目標(biāo)120次，平均虛警率0.143次/幀；視頻2(817幀)中總計(jì)出現(xiàn)1 342個(gè)目標(biāo)，檢測(cè)目標(biāo)1 201個(gè)，檢測(cè)率89.49%；出現(xiàn)虛警目標(biāo)215次，平均虛警率0.263次/幀。在運(yùn)動(dòng)背景條件下，虛警出現(xiàn)次數(shù)只與背景復(fù)雜程度有關(guān)，視頻2的城鎮(zhèn)背景較視頻1的郊外背景更加復(fù)雜，所以平均虛警率有所上升。視頻1總計(jì)目標(biāo)檢測(cè)耗時(shí)24.805 s，平均每幀耗時(shí)29.460 ms；視頻2總計(jì)目標(biāo)檢測(cè)耗時(shí)25.74 s，平均每幀耗時(shí)31.505 ms。本文提出的算法平均每幀耗時(shí)小于40 ms，能夠滿足戰(zhàn)機(jī)對(duì)地運(yùn)動(dòng)目標(biāo)檢測(cè)對(duì)實(shí)時(shí)性的要求。

文獻(xiàn)[11]中提出基于特征點(diǎn)的背景運(yùn)動(dòng)估計(jì)與補(bǔ)償算法同樣用于對(duì)航拍圖像中運(yùn)動(dòng)目標(biāo)的檢測(cè)。該算法對(duì)2組尺寸為320像素×240像素80幀航拍灰度圖像的處理時(shí)耗：第1組為5.91 s(平均每幀74 ms)，第2組為6.13 s(平均每幀77 ms)。本文算法與之相比，能夠在更大的檢測(cè)區(qū)域中更快速地完成運(yùn)動(dòng)目標(biāo)的檢測(cè)。

5 結(jié)束語(yǔ)

本文提出了一種基于改進(jìn)光流法的旋轉(zhuǎn)運(yùn)動(dòng)背景下對(duì)地運(yùn)動(dòng)目標(biāo)實(shí)時(shí)檢測(cè)算法。實(shí)驗(yàn)結(jié)果表明該算法能夠準(zhǔn)確地檢測(cè)出地面運(yùn)動(dòng)目標(biāo)，虛警率低，并且具有很好的實(shí)時(shí)性。但是該算法仍有一些有待改進(jìn)之處，如對(duì)于重型卡車(chē)這類(lèi)超長(zhǎng)型目標(biāo)，檢測(cè)為分離的2個(gè)目標(biāo)區(qū)域，對(duì)灰度與背景變化不明顯的目標(biāo)難以檢測(cè)出來(lái)。

[1] Kirchhof M, Stilla U. Detection of moving objects in airborne thermal videos [J]. ISPRS Journal of Photogrammetry & Remote Sensing, 2006, 61(3/4): 187-196.

[2] 章毓晉. 計(jì)算機(jī)視覺(jué)教程 [M]. 北京: 人民郵電出版社, 2011: 198-200.

Zhang Yujin. A course of computer vision [M]. Beijing: Posts & Telecom Press, 2011: 198-200.

[3] Bruhn A, Weickert J. Lucas/Kanade meets Horn/Schunck: Combining local and global optic flow methods [J]. International Journal of Computer Vision, 2005, 61(3): 211-231.

[4] Zhan Wei, Ji Xiaolong. Algorithm research on moving vehicles detection [J]. Procardia Engineering, 2011, 15: 5483-5487.

[5] Royden C S, Moore K D. Use of speed cues in the detection of moving objects by moving observers [J]. Vision Research, 2012, 59(15): 17-24.

[6] Bruhn A, Weickert J. Variational optical flow computation in real time [J]. IEEE Transactions on Image Processing, 2005, 14(5): 608-615.

[7] 張水發(fā),張文生,丁歡,等. 融合光流速度與背景建模的目標(biāo)檢測(cè)方法 [J]. 中國(guó)圖象圖形學(xué)報(bào), 2011, 16(2): 236-243.

Zhang Shuifa, Zhang Wensheng, Ding Huan, et al. Background modeling and object detecting based on optical flow velocity field [J]. Journal of Image and Graphics, 2011, 16(2): 236-243.

[8] Li Ning, Zhou Jianjiang, Zhang Xingxing. Moving object tracking in dynamic image sequence based on estimation of motion vectors of feature points [J]. Transactions of Nanjing University of Aeronautics & Astronautics, 2009, 26(4): 295-300.

[9] 閆鈞華,朱智超,孫思佳,等. 基于多尺度紅外與可見(jiàn)光圖像配準(zhǔn)研究 [J]. 激光與紅外, 2013, 43(3): 327-333.

Yan Junhua, Zhu Zhichao, Sun Sijia, et al. Research on infrared and visible image registration based on multi-scale [J]. Laser & Infrared, 2013, 43(3): 327-333.

[10]王傳旭,董晨晨. 基于時(shí)空特征點(diǎn)的群體異常行為檢測(cè)算法 [J]. 數(shù)據(jù)采集與處理, 2012, 27(4): 422-428.

Wang Chuanxu, Dong Chenchen. Abnormal crowded behavior detection algorithm based on spatial temporal interesting points [J]. Journal of Data Acquisition and Processing, 2012, 27(4): 422-428.

[11]劉振華, 黎寧, 賈亮. 改進(jìn)的航拍圖像序列背景運(yùn)動(dòng)補(bǔ)償技術(shù) [J]. 計(jì)算機(jī)工程, 2009, 35(2): 222-224.

Liu Zhenhua, Li Ning, Jia Liang. Improved background motion compensation technique in aerial image sequence [J]. Computer Engineering, 2009, 35(2): 222-224.

Real-Time Ground Moving Object Detection in Rotational Background Based on Improved Optical Flow Method

Chu Linzhen, Yan Junhua, Hang Yiqing, Xu Junfeng

(College of Astronautics, Nanjing University of Aeronautics & Astronautics, Nanjing, 210016, China)

To solve the problem of high false alarm and low real-time for aerial video with rotational ground background in moving object detection, a real-time algorithm based on optical flow method is proposed. The image feature points are detected first, the optical flows are calculated, and the motion vector of the image background is estimated through optical flow field. Then the target size is calculated according to the flight height and the image is divided into blocks. Each feature point optical flow is compared with the motion vector of the image background to find out the candidates of the target feature point.Finally the candidates is added up in each block and the target areas are determined. Moving objects detection experiment is achieved for 360 pix×432 pix central area of two groups of experiment video. The result indicates that the algorithm can exactly detect the ground moving object with a low false alarm. The average consuming time is 29.460 ms/frame and 31.505 ms/frame, thus satisfying the real-time requirements.

improved optical flow method; ground background; rotational motion; object detection; video image

國(guó)家自然科學(xué)基金(41101441)資助項(xiàng)目；南京航空航天大學(xué)基本科研業(yè)務(wù)費(fèi)專(zhuān)項(xiàng)科研項(xiàng)目(NN2012083，NS2010214，NP2011048)資助項(xiàng)目。

2014-04-29；

2014-09-15

TP391.41

A

儲(chǔ)林臻(1989-)，男，碩士研究生，研究方向：目標(biāo)檢測(cè)與跟蹤，E-mail：chulinzhen@163.com。

閆鈞華(1972-)，女，副教授，研究方向：多源信息融合，目標(biāo)檢測(cè)和跟蹤與識(shí)別。

杭誼青(1990-)，女，碩士研究生，研究方向：目標(biāo)檢測(cè)與跟蹤。

許俊峰(1989-)，男，碩士研究生，研究方向：目標(biāo)檢測(cè)與識(shí)別。