一種利用可見光載荷實(shí)現(xiàn)運(yùn)動目標(biāo)搜索的方法

徐富元，楊 蔚，祁友杰，朱明明，李仙法

(中國航天科工集團(tuán)8511研究所，江蘇 南京 210007)

一種利用可見光載荷實(shí)現(xiàn)運(yùn)動目標(biāo)搜索的方法

徐富元，楊 蔚，祁友杰，朱明明，李仙法

(中國航天科工集團(tuán)8511研究所，江蘇 南京 210007)

利用無人機(jī)可見光載荷實(shí)現(xiàn)地面運(yùn)動目標(biāo)的搜索是獲取地面運(yùn)動目標(biāo)信息的重要技術(shù)。為實(shí)現(xiàn)在探測器運(yùn)動的條件下實(shí)現(xiàn)運(yùn)動目標(biāo)的檢測，提出了一種基于平面+視差的運(yùn)動目標(biāo)搜索方法。首先采用相位相關(guān)法配準(zhǔn)尋找主平面，實(shí)現(xiàn)對運(yùn)動圖像的全局運(yùn)動補(bǔ)償，然后采用光流法對殘差圖像進(jìn)行視差濾除。全局運(yùn)動補(bǔ)償可以有效補(bǔ)償主平面的運(yùn)動，視差濾除通過多視角理論，去除視差景物在搜索系統(tǒng)中形成的虛警。實(shí)驗(yàn)表明，該方法利用可見光載荷系統(tǒng)，通過對移動探測器的運(yùn)動補(bǔ)償和視差的濾除，能夠很好地實(shí)現(xiàn)地面運(yùn)動目標(biāo)的搜索，提高地面運(yùn)動目標(biāo)信息獲取的能力。

可見光載荷；主平面補(bǔ)償；視差濾除；運(yùn)動目標(biāo)檢測

0 引言

利用無人機(jī)可見光載荷實(shí)現(xiàn)地面運(yùn)動目標(biāo)的搜索，其中主要需要解決的難題有兩個：首先是探測器固定在一個運(yùn)動的平臺上，從一個運(yùn)動的背景中提取出相對運(yùn)動的目標(biāo)是一個比較困難的過程；其次由于探測器的投影關(guān)系，視差景物往往成為目標(biāo)搜索的主要虛警成份。本文提出了一種平面+視差的運(yùn)動目標(biāo)搜索方法。該方法可以能夠很好地解決探測器運(yùn)動的問題，并且可以通過多視角幾何的理論去除因視差而產(chǎn)生的虛警。

在運(yùn)動平臺下實(shí)現(xiàn)運(yùn)動目標(biāo)搜索是一個從二維數(shù)據(jù)中提取出運(yùn)動目標(biāo)的過程[1]。很多傳統(tǒng)的方法均是假設(shè)圖像中的深度很小，可以忽略不計(jì)[2]。但是在實(shí)際的場景中其圖像中的視差是不可忽略的，如果仍然采用二維處理方式，其深度差異較大的地方將會出現(xiàn)大量虛警。

從二維的圖像數(shù)據(jù)中得到深度信息是一個很難的過程。大多數(shù)方法都是通過計(jì)算光流或者特征點(diǎn)匹配檢測運(yùn)動目標(biāo)[1-4]。也有很多學(xué)者通過從連續(xù)幀中推導(dǎo)圖像場景的三維信息或者通過建立場景中的運(yùn)動模型檢測運(yùn)動目標(biāo)。如在文獻(xiàn)[1]中，作者采用光流法檢測特征點(diǎn)的二維運(yùn)動場，通過兩幀圖像建立圖像中固定場景的運(yùn)動方程。文獻(xiàn)[4]從多視角理論出發(fā)，通過建立新的運(yùn)動限制模型檢測運(yùn)動目標(biāo)。但是在實(shí)際的應(yīng)用中，此類理論都建立在一定的運(yùn)動假設(shè)的基礎(chǔ)上。如文獻(xiàn)[1]則假設(shè)探測器的成像平面要始終平行，而文獻(xiàn)[4]所建立的運(yùn)動限制模型也具有一定的局限性，在很多特殊的條件下無法獲得正確的結(jié)果。

為了克服以上問題，本文提出了一種平面+視差的運(yùn)動目標(biāo)搜索方法。該方法主要有兩個創(chuàng)新點(diǎn)，首先采用相位相關(guān)法尋找連續(xù)圖像中的主平面，實(shí)現(xiàn)圖像中符合主平面的像素點(diǎn)的運(yùn)動補(bǔ)償；然后采用光流法對殘留像素二維運(yùn)動信息建立多幀運(yùn)動方程，實(shí)現(xiàn)視差的濾除。該算法的創(chuàng)新點(diǎn)在于通過兩次運(yùn)動補(bǔ)償可以有效地解決因探測器移動而帶來的視差問題，實(shí)現(xiàn)利用無人機(jī)可見光載荷提取地面運(yùn)動目標(biāo)信息的目的。

1 算法概述

傳統(tǒng)的檢測方法是通過連續(xù)的圖像恢復(fù)出實(shí)際圖像中的深度信息然后通過圖像的三維信息來判斷運(yùn)動區(qū)域如文獻(xiàn)[1-4]。該類方法比較依賴于特征點(diǎn)配準(zhǔn)精度，并且對于無特征點(diǎn)的區(qū)域?qū)o法判斷有否有目標(biāo)存在。在文獻(xiàn)[5]中，在三維空間中存在一個參考平面∏12，該平面上的不同視角的圖像坐標(biāo)點(diǎn)m1和m2存在單應(yīng)矩陣H將其相互對應(yīng)，即滿足m1=Hm2?？臻g中其它坐標(biāo)的圖像坐標(biāo)點(diǎn)p1的對應(yīng)關(guān)系則可以表示為：

p1～Hp2+ke

(1)

式中，e是視角1與視角2攝像機(jī)中心的極點(diǎn)，k是投影深度。

平面+視差框架已經(jīng)在文獻(xiàn)[4-7]中提出。本文根據(jù)此框架提出了一種基于可見光載荷的運(yùn)動目標(biāo)搜索方法。如圖1所示，本文提出的目標(biāo)搜索方法主要分為全局運(yùn)動補(bǔ)償與視差濾除，全局運(yùn)動補(bǔ)償是通過相位相關(guān)法計(jì)算單應(yīng)矩陣，提取連續(xù)圖像中的主平面，實(shí)現(xiàn)對符合主平面上的像素全局補(bǔ)償，最終得到殘差圖像。對于殘差圖像采用光流法計(jì)算每個像素連續(xù)幀中的運(yùn)動信息，通過建立三維運(yùn)動方程，最終提取移動背景下的運(yùn)動目標(biāo)。

2 主平面提取

文獻(xiàn)[8]采用相位法實(shí)現(xiàn)運(yùn)動補(bǔ)償?shù)念A(yù)處理，但是可見光載荷的探測器的移動并非平移式，因此相鄰兩幀圖像存在一定的平移、縮放和旋轉(zhuǎn)關(guān)系。

Reddy和Chatterji提出了一種基于Fourier-Mellin變換的圖像匹配方法, 對圖像旋轉(zhuǎn)、拉伸和平移有較強(qiáng)的魯棒性[9]。設(shè)連續(xù)幀圖像為Ii與Ii+1，圖像Ii和圖像Ii+1之間的關(guān)系為：

Ii(x,y)=Ii+1(txcosφ+tysinφ-x0,

-txsinφ+tycosφ-y0)

(2)

式中，(x0,y0)為平移量，t為縮放因子，φ為旋轉(zhuǎn)角度。分別作Fourier變換后，F(xiàn)ourier頻譜幅度為：

|H2(u,v)|=t2

|H1(t-1(ucosφ+vsinφ),

t-1(-usinφ+vcosφ))|

(3)

對式(3)進(jìn)行極坐標(biāo)轉(zhuǎn)換得到:

H2(θ,ρ)=t2H1(θ-φ,ρ/t)

(4)

對式(4)進(jìn)行幅值取對數(shù)即得：

H2K(θ,λ)=H2(θ,ρ)

=t-2H1k(θ-φ,λ-p)

(5)

式中，λ=lg(ρ),p=lg(t)，H1K即為圖像的Fourier-Mellin不變描述子。

由以上描述可知將旋轉(zhuǎn)和尺度縮放轉(zhuǎn)變?yōu)槠揭频男问?，通過相位相關(guān)法計(jì)算其參數(shù)。

由于Fourier-Mellin在計(jì)算中誤差較大，因此不少學(xué)者提出了其改進(jìn)算法，如文獻(xiàn)[10] 在引進(jìn)核函數(shù)的基礎(chǔ)上定義了一種加權(quán)距離，經(jīng)過核函數(shù)對圖像的峰值進(jìn)行修正，更好地解決了圖像的匹配問題。

通過Fourier-Mellin算法得到圖像變換的參數(shù)，計(jì)算出單應(yīng)矩陣H。通過單應(yīng)矩陣將Ii+1變換到Ii。其殘差圖像則為：

IR=HIi+1-Ii

(6)

由于相鄰的兩幀圖像大部分的像素點(diǎn)都位于主平面上，或者處于主平面附近。因此殘差圖像主要由視差較大的像素與運(yùn)動的像素區(qū)域組成。

3 視差濾除

對殘差圖像進(jìn)行閾值分割，將其中視差較大的部分與運(yùn)動的區(qū)域的像素提取出來，通過光流法描述運(yùn)動狀態(tài)。由于視差是由探測器的運(yùn)動產(chǎn)生的，因此必須要從二維的光流場當(dāng)中尋找到背景運(yùn)動的實(shí)際模型，從而實(shí)現(xiàn)運(yùn)動目標(biāo)的檢測。

如圖2所示在探測器坐標(biāo)系中，假設(shè)探測器的平移運(yùn)動為(ΔA,ΔB,ΔC)，旋轉(zhuǎn)運(yùn)動為(Δα,Δβ,Δγ)，假設(shè)在圖像坐標(biāo)系中有點(diǎn)p(x,y)對應(yīng)于相機(jī)坐標(biāo)系坐標(biāo)為P(X,Y,Z)，則圖像中的p點(diǎn)運(yùn)動矢量(u,v)與相機(jī)運(yùn)動之間的關(guān)系為：

u=(-ΔAf+xΔC)/Z+αxy/f-

βxy/f-rx

(7)

假設(shè)(u,v)為圖像Ii+1與Ii之間殘差像素的運(yùn)動場，平面∏為Ii+1和Ii之間的參考平面。假設(shè)(u∏,v∏)為參考平面與Ii之間的運(yùn)動場，設(shè)平面上的點(diǎn)P∏(X∏,Y∏,Z∏)。

u∏=(-ΔAf+xΔC)/Z∏+αxy/f-

βxy/f-rx

(8)

由式(7)和式(8)可得到參考平面上的投影點(diǎn)與三維空間中的點(diǎn)的運(yùn)動矢量之差(uΔ,vΔ)：

uΔ=u-u∏

=(-ΔAf+xΔC)/Z-(-ΔAf+xΔC)/Z∏

=(-ΔAf+xΔC)(Z∏-Z)/ZZ∏

vΔ=v-v∏

=(-ΔBf+yΔC)/Z-(-ΔAf+xΔC)/Z∏

=(-ΔBf+yΔC)(Z∏-Z)/ZZ∏

(9)

令θ=(Z∏-Z)/ZZ∏，則：

uΔ=(-ΔAf+xΔC)θ

vΔ=(-ΔBf+yΔC)θ

(10)

由式(10)可以得到方程：

0=(-ΔBf+yΔC)uΔ-

(-ΔAf+xΔC)vΔ

(11)

(12)

由以上理論可知對于運(yùn)動的相機(jī)，殘差圖像中視差部分滿足式(12)的方程。因此本文采用稠密光流計(jì)算殘差區(qū)域與殘差區(qū)域周圍的像素，以保證估計(jì)模型參數(shù)時的正確性。如圖3所示，p(x,y)為前景像素點(diǎn)，取其周圍40×40的區(qū)域計(jì)算稠密光流，估計(jì)式(12)中的參數(shù)。

式(12)為一個線性最小二乘問題，參數(shù)估計(jì)一般都采用svd分解得到，為了獲得更精確的參數(shù)，很多學(xué)者在此方面做了很多研究。本文主要采用文獻(xiàn)[1]提出的求解算法，該算法具有較高的參數(shù)估計(jì)精度和迭代收斂速度。

4 實(shí)驗(yàn)與分析

本文實(shí)驗(yàn)主要采用可見光載荷高空俯視連續(xù)圖像數(shù)據(jù)，對本文算法與其他文獻(xiàn)算法進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)圖像大小均為960×540，算法實(shí)驗(yàn)平臺為2.4GHz主頻，2G內(nèi)存的計(jì)算機(jī)，使用軟件為VS2008，處理速度為每秒8幀，在實(shí)驗(yàn)過程中相機(jī)均有較強(qiáng)的旋轉(zhuǎn)與平移運(yùn)動。本文從定量與定性的角度對本文的算法進(jìn)行分析并與其他算法做比較。

4.1 定性的分析

圖4為可見光CCD在熱氣球上高空對地面俯視得到的圖像，探測高度約為50m。在圖像視頻中有兩輛汽車與兩個直立行走的人。其中白色汽車相對于地面是靜止不動的，公路上的灰色的車與行人是運(yùn)動的。

圖4(a)和圖4(b)是連續(xù)的原始的圖像；圖4(c)主平面補(bǔ)償后得到的殘差的圖像；圖4(d)是殘差圖像的二值化的結(jié)果，其中黑色的區(qū)域表示運(yùn)動和視差的區(qū)域；圖4(e)是經(jīng)過視差濾除后的二值化的結(jié)果；通過圖4(d)和圖4(e)對比可以清楚地看出由于視差的影響，白色的車、路邊的路燈和路的邊緣等沒有運(yùn)動的景物在主平面配準(zhǔn)后被凸顯出來，通過視差濾除后在圖4(e)中已經(jīng)完全被濾除。圖4(f)是運(yùn)動目標(biāo)檢測的最終的結(jié)果。

圖5為可見光CCD在低速無人機(jī)上高空對地面俯視得到的圖像，探測高度約為60m。在圖像視頻中背景主要有道路和樹木，其中運(yùn)動的物體主要是兩個直立行走的人、公路上一個騎車的人和一輛騎車還有在遠(yuǎn)處樹林背景中的運(yùn)動的車。

圖5中的每行圖像序列，從左到右依次是原始圖像、殘差圖像、視差濾除后的二值化圖像和最終的目標(biāo)檢測結(jié)果。通過每一行的殘差圖像與視差濾除后的二值化圖像的比較，可以明顯地發(fā)現(xiàn)，視頻中樹木和一些視差比較大的區(qū)域經(jīng)過視差濾除后都可以很好地被去除，只保留視頻中運(yùn)動的目標(biāo)。

4.2 定量分析

(13)

式中,Nc為關(guān)聯(lián)目標(biāo)的個數(shù)。

圖6是本文算法與其他算法的比較，由曲線可以看出本文算法能有效分割地面運(yùn)動的目標(biāo)，其檢測出的運(yùn)動目標(biāo)的位置與實(shí)際運(yùn)動目標(biāo)的位置偏移較小，因而能夠更準(zhǔn)確地獲取地面運(yùn)動目標(biāo)的信息。

定義目標(biāo)的檢測率表示為：

(14)

檢測率主要表示系統(tǒng)虛警率和探測率的關(guān)系，本文采用圖4可見光載荷所采集的視頻，對其他算法與本文算法根據(jù)式(14)做了相互的比較，其中虛警率α=0.03，結(jié)果如表1所示。

由表1可知在相同的虛警率的情況下，本文算法相比較于傳統(tǒng)的算法將會獲得更高的檢測率。

表1 檢測率的比較

5 結(jié)束語

本文提出一種利用可見光載荷實(shí)現(xiàn)對地面運(yùn)動目標(biāo)的檢測的方法。該方法基于平面+視差的框架，首先采用相位相關(guān)法配準(zhǔn)尋找主平面，實(shí)現(xiàn)對運(yùn)動圖像的全局運(yùn)動補(bǔ)償。然后采用光流法對殘差圖像進(jìn)行視差濾除，最終能夠?qū)⒌孛孢\(yùn)動目標(biāo)從連續(xù)的視頻中提取出來。實(shí)驗(yàn)表明，該方法利用可見光載荷系統(tǒng)，通過對移動探測器運(yùn)動補(bǔ)償和視差濾除，能夠很好地實(shí)現(xiàn)地面運(yùn)動目標(biāo)搜索，提高地面運(yùn)動目標(biāo)信息獲取的能力。■

[1] Zhang Y, Kiselewich SJ, Bauson WA, et al. Robust moving object detection at distance in the visible spectrum and beyond using a moving camera[J]. Comput. Vis. Pattern Recog. Workshop in Proc. IEEE Conf., 2006, 24(7):131-132.

[2] Lin Y, Medioni G. Map-enhanced UAV image sequence registration and synchronization of multiple image sequences[J]. Computer Vision and Pattern Recognition., 2007, 25(8): 1-7.

[3] Yin Zhaozheng, Collins R. Moving object localization in thermal imagery by forward-backward MHI[J]. Computer Vision and Pattern Recognition Workshop in Proc. IEEE Conf., 2006, 15(5):8-16

[4] Yuan, Chang, et al. Detecting motion regions in the presence of a strong parallax from a moving camera by multiview geometric constraints[J]. IEEE Trans. on Pattern Analysis and Machine Intelligence., 2007, 29(9):1627-1641.

[5] Mundy JL, Zisserman A. Geometric Invariance in Computer Vision[M]. MIT Press., MA, 1992.

[6] Yu Qian, Medioni G. Motion pattern interpretation and detection for tracking moving vehicles in airborne video[J]. Computer Vision and Pattern Recognition in Proc. IEEE Conf., 2009, 45(5):45-50.

[7] Jin Yuxin, et al. Background modeling from a free-moving camera by multi-layer homography algorithm[J]. Image Processing in Proc. IEEE Conf., 2008, 78(1):789-798.

[8] Xu Fuyuan, et al. Design and implementation of a real-time image registration in an infrared search and track system[J]. IS&T/SPIE Electronic Imaging. International Society for Optics and Photonics., 2013, 87(6):854-865.

[9] Xiong Wenzhen, Cai Guangcheng, Zhang Hongju. Application of an improved Fourier-Mellin descriptor in image matching[J]. Computer Engineering & Science., 2011, 54(5):458-467.

[10]Li Guo, Liao Yu, Chen Weilong. An improved registration algorithm on video super resolution reconstruction[J]. Journal of Hubei University for Nationalities (Natural Science Edition), 2010, 28(2): 177-180.

A moving target detection method using visible payload

Xu Fuyuan, Yang Wei, Qi Youjie, Zhu Mingming, Li Xianfa

(No．8511 Research Institute of CASIC, Nanjing 210007, Jiangsu，China)

The ground moving target detection using the visible payload is an important technology to obtain information of the ground moving target. To detect the moving target on the moving camera, a method within the “Plane+Parallax” framework is proposed to detect the moving target in video sequences observed by a moving camera. Firstly, the reference plane is found by the image registration based on phase-correlation and the global motion compensation is achieved. Secondly, the parallax regions are filtered by the optical flow method. The global motion compensation can effectively compensate for the motion of the main plane and the parallax in the search system is removed by the multi-view theory. The experiments show that this method can achieve the moving target detection using the visible payload through the motion compensation and parallax filter and improve the ability to obtain the ground moving target.

visible payload; main plane compensation; parallax filter; moving target detection

2016-11-30;2017-01-17修回。

徐富元(1986-)，男，博士研究生，研究方向?yàn)槟繕?biāo)識別與信號處理。

TN971+.5

A