基于時(shí)空特征的航拍視頻運(yùn)動(dòng)目標(biāo)檢測(cè)研究

劉雙嶺

摘要：航拍視頻具有監(jiān)控場(chǎng)景范圍大、采集設(shè)備移動(dòng)迅捷等優(yōu)點(diǎn)。與普通監(jiān)控視頻相比，航拍具有目標(biāo)分辨率低、場(chǎng)景干擾因素多、采集設(shè)備不固定等問題，運(yùn)動(dòng)目標(biāo)檢測(cè)是個(gè)難題。針對(duì)這些問題，提出一種融合時(shí)空特性的兩級(jí)運(yùn)動(dòng)目標(biāo)檢測(cè)算法。首先利用SURF算子完成圖像匹配，解決攝像機(jī)移動(dòng)問題，并結(jié)合目標(biāo)的運(yùn)動(dòng)特性及自適應(yīng)道路檢測(cè)算法完成時(shí)域上的目標(biāo)區(qū)域檢測(cè)；采用HSV空間中的S分量圖顏色特征，利用道路區(qū)域與目標(biāo)區(qū)域的差異性完成空域目標(biāo)區(qū)域檢測(cè)。實(shí)驗(yàn)采用著名的VIVID Egtest01數(shù)據(jù)庫以及Munich Crossroad01數(shù)據(jù)庫中的數(shù)據(jù)，并與傳統(tǒng)方法進(jìn)行對(duì)比。結(jié)果顯示該算法平均準(zhǔn)確率達(dá)到93%，相比于傳統(tǒng)方法有效性和魯棒性更好。

關(guān)鍵詞關(guān)鍵詞：航拍視頻；背景補(bǔ)償；道路檢測(cè)；HSV；運(yùn)動(dòng)目標(biāo)

DOIDOI：10.11907/rjdk.171850

中圖分類號(hào)：TP319

文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)文章編號(hào)：16727800（2017）011014405

0引言

航拍是目前新興的一種非接觸式遠(yuǎn)距離探測(cè)技術(shù)，具有拍攝場(chǎng)景范圍大、移動(dòng)便攜等優(yōu)勢(shì)，逐漸應(yīng)用于智能交通系統(tǒng)的運(yùn)動(dòng)目標(biāo)檢測(cè)[13]。運(yùn)動(dòng)信息是目標(biāo)檢測(cè)最為重要的線索，大部分是基于時(shí)間特性的，在固定攝像頭條件下，常用的運(yùn)動(dòng)目標(biāo)檢測(cè)算法有背景差分法、幀差法、光流法等。但是這些方法一般不能直接應(yīng)用在移動(dòng)機(jī)器人、無人機(jī)等場(chǎng)合，這是因?yàn)閿z像頭的運(yùn)動(dòng)使背景變得復(fù)雜，導(dǎo)致不能精確檢測(cè)出運(yùn)動(dòng)目標(biāo)。

運(yùn)動(dòng)目標(biāo)檢測(cè)相關(guān)研究已經(jīng)有一些成果[46]：①基于光流場(chǎng)的運(yùn)動(dòng)目標(biāo)檢測(cè)法[7]：根據(jù)運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)矢量在局部區(qū)域的統(tǒng)一性以及背景和運(yùn)動(dòng)目標(biāo)之間的差異性，對(duì)其進(jìn)行運(yùn)動(dòng)分割，此方法缺點(diǎn)是抗噪能力弱且實(shí)時(shí)性較差；②基于統(tǒng)計(jì)模型的運(yùn)動(dòng)目標(biāo)檢測(cè)法[8]：這種算法首先估算運(yùn)動(dòng)矢量場(chǎng)，然后根據(jù)馬爾可夫隨機(jī)場(chǎng)（MRF）建立運(yùn)動(dòng)矢量場(chǎng)的間斷點(diǎn)分布模型，據(jù)此模型檢測(cè)運(yùn)動(dòng)矢量場(chǎng)的間斷點(diǎn)，從而提取出運(yùn)動(dòng)目標(biāo)。該方法的優(yōu)點(diǎn)是運(yùn)算量比較小，能滿足實(shí)時(shí)性要求，缺點(diǎn)是在復(fù)雜場(chǎng)景下檢測(cè)率下降、魯棒性較差；③基于背景補(bǔ)償?shù)倪\(yùn)動(dòng)目標(biāo)檢測(cè)法：這是目前最常用的一種方法。該方法首先對(duì)相鄰兩幀圖像進(jìn)行圖像匹配，然后根據(jù)匹配的特征點(diǎn)計(jì)算出全局運(yùn)動(dòng)參數(shù)，依據(jù)運(yùn)動(dòng)參數(shù)完成背景補(bǔ)償，從而將動(dòng)態(tài)背景轉(zhuǎn)變?yōu)殪o態(tài)背景進(jìn)行處理。

2.3空域目標(biāo)檢測(cè)

經(jīng)過時(shí)域特征檢測(cè)，可得到運(yùn)動(dòng)目標(biāo)的候選區(qū)域，但是此候選區(qū)域可能是由不精確的背景補(bǔ)償或其它干擾引起的。為提高算法準(zhǔn)確率，本文在此基礎(chǔ)上進(jìn)行空域上的目標(biāo)檢測(cè)。采用基于HSV顏色空間的自適應(yīng)檢測(cè)方法得出道路區(qū)域，將道路區(qū)域外的候選運(yùn)動(dòng)目標(biāo)認(rèn)定為噪聲，以減少周圍環(huán)境的干擾。S分量對(duì)于光照不敏感，利用目標(biāo)在此分量上的顏色特征完成空域目標(biāo)區(qū)域分割。

2.3.1自適應(yīng)道路檢測(cè)

考慮到航拍視頻圖像背景復(fù)雜，同時(shí)為了降低虛警率，本文將感興趣區(qū)域設(shè)為道路區(qū)域。通常情況下，運(yùn)動(dòng)目標(biāo)只位于這部分區(qū)域。與基于先驗(yàn)知識(shí)的方法不同，本文采用一種自適應(yīng)方法進(jìn)行道路提取，流程如圖5所示。

圖5自適應(yīng)道路檢測(cè)流程

首先將圖像轉(zhuǎn)換為HSV顏色空間，在S分量圖上進(jìn)行道路提取。在此分量圖上，道路區(qū)域與其它區(qū)域灰度差別明顯。然后利用大津算法[12]結(jié)合形態(tài)學(xué)處理方法對(duì)道路區(qū)域進(jìn)行分割，道路分割結(jié)果如圖6、圖7所示。

從圖6、圖7可以看出，無論是利用場(chǎng)景簡(jiǎn)單的VIVID Egtest01數(shù)據(jù)庫還是場(chǎng)景復(fù)雜的Munich Crossroad01數(shù)據(jù)庫，該方法都能很好地提取道路區(qū)域，提高算法效率與魯棒性。

2.3.2空間特征檢測(cè)

由于可能存在噪聲干擾，單一的時(shí)域特征并不能很好地把運(yùn)動(dòng)目標(biāo)檢測(cè)出來，因此本文在時(shí)域目標(biāo)檢測(cè)的基礎(chǔ)上進(jìn)行空域目標(biāo)檢測(cè)。在S分量圖上道路區(qū)域與目標(biāo)區(qū)域差異較大，據(jù)此差異性將目標(biāo)與道路區(qū)域分離，得到空域上的目標(biāo)區(qū)域，計(jì)算公式如下：

B（x）=1，S（x，y）≥T0，S（x，y）

其中，B（x）為閾值比較函數(shù)，T代表閾值，S（x，y）為S分量圖的灰度值。

將二值圖中值為1的區(qū)域判定為候選目標(biāo)區(qū)域，結(jié)合形態(tài)學(xué)處理方法得出空域上的最終目標(biāo)區(qū)域，實(shí)驗(yàn)效果如圖8、圖9所示。

圖8VIVID Egtest01數(shù)據(jù)庫上的實(shí)驗(yàn)結(jié)果

圖9Munich Crossroad01數(shù)據(jù)庫上的實(shí)驗(yàn)結(jié)果

由圖8、圖9可以看出，在VIVID Egtest01數(shù)據(jù)庫上，運(yùn)動(dòng)車輛全部被檢測(cè)出來，所有車輛均為運(yùn)動(dòng)目標(biāo)，故準(zhǔn)確率較高；在Munich Crossroad01數(shù)據(jù)庫上，有靜止和運(yùn)動(dòng)兩種狀態(tài)車輛，還可能會(huì)有其它干擾，準(zhǔn)確率較低，因此有必要進(jìn)一步采取措施使運(yùn)動(dòng)目標(biāo)從道路區(qū)域中分離出來。

2.4時(shí)空特征融合

經(jīng)過時(shí)域特征檢測(cè)，可得到運(yùn)動(dòng)目標(biāo)的候選區(qū)域，但是此候選區(qū)域可能由不精確的背景補(bǔ)償或其它干擾所引起。同時(shí)，空域上沒有運(yùn)動(dòng)信息，檢測(cè)出來的目標(biāo)也可能是多余的噪聲。因此，該算法通過相與的方式對(duì)兩種特征進(jìn)行融合，只有在時(shí)域和空域上均判定為目標(biāo)的區(qū)域，才將其判定為最終運(yùn)動(dòng)目標(biāo)。在兩種數(shù)據(jù)庫上的最終效果如圖10、圖11所示。

圖10Egtest01數(shù)據(jù)庫上最終的運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果

圖11Crossroad01數(shù)據(jù)庫上最終的運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果

圖10（a）為Egtest01數(shù)據(jù)庫的原始視頻圖像，圖中所有車輛全部為運(yùn)動(dòng)目標(biāo)，用橢圓標(biāo)出。圖10（b）為對(duì)應(yīng)的最終目標(biāo)檢測(cè)結(jié)果，用矩形標(biāo)出；圖11（a）為Crossroad01數(shù)據(jù)庫的原始視頻圖像，車輛分為靜止和運(yùn)動(dòng)兩種狀態(tài)，運(yùn)動(dòng)車輛用橢圓標(biāo)出。圖11（b）為對(duì)應(yīng)的最終運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果，用矩形標(biāo)出。由圖10、圖11可以看出，算法經(jīng)過時(shí)空特征融合后，能夠準(zhǔn)確檢測(cè)出運(yùn)動(dòng)目標(biāo)，具有較好的有效性和魯棒性。

3實(shí)驗(yàn)結(jié)果分析

3.1數(shù)據(jù)庫介紹

該算法采用VIVID EgTest01數(shù)據(jù)庫和Munich Crossroad01數(shù)據(jù)庫進(jìn)行仿真驗(yàn)證。VIVID EgTest01數(shù)據(jù)庫是一個(gè)航拍的視頻圖像序列，背景簡(jiǎn)單，周圍環(huán)境噪聲小，經(jīng)常用于航拍視頻中的運(yùn)動(dòng)目標(biāo)檢測(cè)，且該數(shù)據(jù)庫中所有車輛均為運(yùn)動(dòng)車輛；Munich Crossroad01數(shù)據(jù)庫是一個(gè)城區(qū)航拍視頻數(shù)據(jù)庫，與EgTest01數(shù)據(jù)庫相比，該數(shù)據(jù)庫最大的區(qū)別在于背景復(fù)雜，且包含運(yùn)動(dòng)和靜止兩種狀態(tài)，很難從該數(shù)據(jù)庫中準(zhǔn)確檢測(cè)出運(yùn)動(dòng)目標(biāo)。

3.2分析

為驗(yàn)證本文算法的有效性，將其與經(jīng)典的COCOA系統(tǒng)[13]、顯著性檢測(cè)算法[14]進(jìn)行對(duì)比。3種方法在VIVID Egtest01數(shù)據(jù)庫和Munich Crossroad01數(shù)據(jù)庫上的對(duì)比結(jié)果如表1所示。

COCOA系統(tǒng)是基于Harris角點(diǎn)作的圖像匹配，該角點(diǎn)特征不具備尺度不變性，當(dāng)圖像尺度發(fā)生較大變化時(shí)不能很好地檢測(cè)出運(yùn)動(dòng)目標(biāo)。顯著性檢測(cè)方法較COCOA系統(tǒng)有更高的準(zhǔn)確率，但是當(dāng)處于復(fù)雜背景時(shí)易受噪聲干擾，魯棒性較差。本文算法采用基于SURF特征的方式進(jìn)行背景補(bǔ)償，利用顏色特征分割出道路區(qū)域，通過時(shí)空特征融合方式完成運(yùn)動(dòng)目標(biāo)檢測(cè)，能夠準(zhǔn)確檢測(cè)出運(yùn)動(dòng)目標(biāo)。由表1可以看出，無論是在場(chǎng)景簡(jiǎn)單的Egtest01數(shù)據(jù)庫還是在場(chǎng)景復(fù)雜的Crossroad01數(shù)據(jù)庫上，本文算法準(zhǔn)確率均是3種方法中最高的，由此驗(yàn)證了本文方法的有效性和魯棒性。

4結(jié)語

本文提出了一種融合時(shí)空特征的航拍視頻運(yùn)動(dòng)目標(biāo)檢測(cè)方法，在時(shí)域上通過運(yùn)動(dòng)信息定位出候選運(yùn)動(dòng)目標(biāo)，然后利用自適應(yīng)道路檢測(cè)算法分割出道路區(qū)域，完成對(duì)候選運(yùn)動(dòng)目標(biāo)的篩選。在空域上利用顏色特征對(duì)道路區(qū)域中的目標(biāo)區(qū)域進(jìn)行分割，通過相與的方式對(duì)兩者進(jìn)行時(shí)空特征融合，最終完成運(yùn)動(dòng)目標(biāo)的檢測(cè)。在真實(shí)的航拍視頻場(chǎng)景下對(duì)該算法進(jìn)行仿真實(shí)驗(yàn)，并與其它算法對(duì)比，得出該算法具有較好的有效性和魯棒性的結(jié)論。但是該算法仍有很多不足，例如可能遇到噪聲與運(yùn)動(dòng)目標(biāo)相似的情況時(shí)準(zhǔn)確率會(huì)下降等。未來要在以下兩方面進(jìn)行改進(jìn)：①找到一種更為快速有效的方法，使時(shí)域特征的提取更為快速有效；②采用更為有效的空域檢測(cè)算法，例如顯著性等，改進(jìn)空域特征的提取。

參考文獻(xiàn)參考文獻(xiàn)：

[1]PROKAJ J， MEDIONI G. Persistent tracking for wide area aerial surveillance[C]. IEEE Conference on Computer Vision and Pattern Recognition. IEEE，2014：11861193.

[2]SELVAKUMAR K， JEROME J. Least squares estimationbased adaptive observation model for aerial visual tracking applications[J]. International Journal of Computational Vision and Robotics，2014，4（12）：134144.

[3]CAO X， GAO C， LAN J. Ego motion guided particle filter for vehicle tracking in airborne videos[J]. Neurocomputing，2014（124）：168177.

[4]HU Y， RAJAN D， CHIA L. Attentionfrommotion： a factorization approach for detecting attention objects in motion[J]. Computer Vision and Image Understanding，2009（113）：319331.

[5]KIM S W， YUN K， YI K M， et al. Detection of moving objects with a moving camera using nonpanoramic background model[J]. Machine vision and applications，2013，24（5）：10151028.

[6]WALHA A， WALI A， ALIMI A M. Video stabilization with moving object detecting and tracking for aerial video surveillance[J]. Multimedia Tools and Applications，2015，74（17）：67456767.

[7]ARNELL F， PETERSSON L. Fast object segmentation from a moving camera[C].Intelligent Vehicles Symposium， Proceedings IEEE，2005：136141.

[8]UGEAU A， PEREZ P. Detection and segmentation of moving objects in highly dynamic scenes[C]. IEEE Conference on Computer Vision and Pattern Recognition， New York： IEEE，2007：18.

[9]BAY H， TUYTELAARS T， GOOL L V. SURF： speeded up robust features[J]. Computer Vision & Image Understanding，2006，110（3）：404417.

[10]WANG X， ZHANG Y， DONG H， et al. Algorithm research on threeframe difference for detection of moving target[J]. Journal of Shenyang Ligong University，2011，30（6）：8285.

[11]LOWE D G. Distinctive image features from scaleinvariant keypoints[J]. International Journal of Computer Vision，2004，60（2）：91110.

[12]OTSU N. A threshold selection method from graylevel histograms[J]. IEEE transactions on systems， man， and cybernetics，1979，9（1）：6266.

[13]ALI S， SHAH M. COCOA： tracking in aerial imagery[J]. Proceedings of SPIE The International Society for Optical Engineering，2006，5（1）：105114.

[14]SHEN H， LI S， ZHU C， et al. Moving object detection in aerial video based on spatiotemporal saliency[J]. Chinese Journal of Aeronautics，2013，26（5）：12111217.

責(zé)任編輯（責(zé)任編輯：杜能鋼）endprint