一種融合特征點(diǎn)與運(yùn)動(dòng)補(bǔ)償信息的運(yùn)動(dòng)目標(biāo)檢測(cè)新算法

張 娜 魏海平 于紅緋

(遼寧石油化工大學(xué)計(jì)算機(jī)與通信工程學(xué)院 遼寧 撫順 113001)

一種融合特征點(diǎn)與運(yùn)動(dòng)補(bǔ)償信息的運(yùn)動(dòng)目標(biāo)檢測(cè)新算法

張 娜 魏海平 于紅緋

(遼寧石油化工大學(xué)計(jì)算機(jī)與通信工程學(xué)院 遼寧 撫順 113001)

動(dòng)態(tài)背景下的運(yùn)動(dòng)目標(biāo)檢測(cè)在汽車輔助駕駛、機(jī)器人導(dǎo)航等領(lǐng)域具有廣闊應(yīng)用前景。提出一種融合特征點(diǎn)運(yùn)動(dòng)信息和運(yùn)動(dòng)補(bǔ)償信息的運(yùn)動(dòng)目標(biāo)檢測(cè)方法，解決以往基于單一特征，運(yùn)動(dòng)目標(biāo)檢測(cè)完整性差的問(wèn)題，同時(shí)提高運(yùn)動(dòng)目標(biāo)的檢測(cè)準(zhǔn)確率。首先，通過(guò)特征點(diǎn)檢測(cè)跟蹤，對(duì)圖像進(jìn)行分塊運(yùn)動(dòng)估計(jì)，獲得背景特征點(diǎn)的幀間運(yùn)動(dòng)模型，通過(guò)衡量特征點(diǎn)真實(shí)運(yùn)動(dòng)位置與運(yùn)動(dòng)模型的匹配程度，構(gòu)建特征點(diǎn)的運(yùn)動(dòng)度量函數(shù)，從而獲得特征點(diǎn)的運(yùn)動(dòng)信息。接著，利用背景特征點(diǎn)幀間運(yùn)動(dòng)模型，計(jì)算圖像像素點(diǎn)的運(yùn)動(dòng)補(bǔ)償圖像，構(gòu)建像素點(diǎn)的多幀運(yùn)動(dòng)補(bǔ)償差異度量函數(shù)，從而獲得像素點(diǎn)的運(yùn)動(dòng)補(bǔ)償信息。最后，將特征點(diǎn)運(yùn)動(dòng)信息與運(yùn)動(dòng)補(bǔ)償信息融合，獲得運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果。實(shí)驗(yàn)結(jié)果表明了該方法的有效性。

動(dòng)態(tài)背景 融合 運(yùn)動(dòng)補(bǔ)償 運(yùn)動(dòng)目標(biāo)檢測(cè) 單目相機(jī)

0 引 言

動(dòng)態(tài)背景下運(yùn)動(dòng)目標(biāo)檢測(cè)是輔助駕駛、自動(dòng)駕駛、機(jī)器人導(dǎo)航等領(lǐng)域的核心研究問(wèn)題之一。和靜態(tài)場(chǎng)景[1]下的運(yùn)動(dòng)目標(biāo)檢測(cè)相比，動(dòng)態(tài)場(chǎng)景下的運(yùn)動(dòng)目標(biāo)檢測(cè)，由于背景也發(fā)生圖像運(yùn)動(dòng)，增加了檢測(cè)的難度?，F(xiàn)有的動(dòng)態(tài)背景下運(yùn)動(dòng)目標(biāo)檢測(cè)方法按照采用特征的不同，大致可以分為基于特征點(diǎn)[2]和基于運(yùn)動(dòng)補(bǔ)償[3-4]的運(yùn)動(dòng)目標(biāo)檢測(cè)方法。前者通過(guò)提取圖像中的特征點(diǎn)，并根據(jù)運(yùn)動(dòng)特征點(diǎn)和背景特征點(diǎn)，在攝像機(jī)運(yùn)動(dòng)過(guò)程中表現(xiàn)出的運(yùn)動(dòng)差異信息，檢測(cè)運(yùn)動(dòng)特征點(diǎn)，從而獲得運(yùn)動(dòng)目標(biāo)的位置。該類方法能檢測(cè)到運(yùn)動(dòng)目標(biāo)上離散的特征點(diǎn)，但不能檢測(cè)出完整的運(yùn)動(dòng)目標(biāo)區(qū)域，運(yùn)動(dòng)特征點(diǎn)檢測(cè)結(jié)果易受到誤匹配特征點(diǎn)的影響，造成誤檢測(cè)，如文獻(xiàn)[5-6]。后者通過(guò)估計(jì)圖像的運(yùn)動(dòng)補(bǔ)償模型，將圖像像素點(diǎn)代入運(yùn)動(dòng)補(bǔ)償模型，計(jì)算運(yùn)動(dòng)補(bǔ)償圖像，根據(jù)像素點(diǎn)在運(yùn)動(dòng)補(bǔ)償圖中的亮度差異值，檢測(cè)運(yùn)動(dòng)目標(biāo)區(qū)域，如文獻(xiàn)[7-8]。該類方法對(duì)運(yùn)動(dòng)目標(biāo)的邊緣部分檢測(cè)較好，但是對(duì)運(yùn)動(dòng)目標(biāo)的內(nèi)部區(qū)域檢測(cè)效果不夠理想，當(dāng)目標(biāo)的運(yùn)動(dòng)速度較慢時(shí)，容易造成檢測(cè)目標(biāo)的內(nèi)部空洞問(wèn)題。

文獻(xiàn)[2]中將特征點(diǎn)在不同時(shí)間流的運(yùn)動(dòng)軌跡描述在同一幀圖像，根據(jù)運(yùn)動(dòng)軌跡誤差來(lái)確定運(yùn)動(dòng)目標(biāo)的位置。該方法有效地去除了跟蹤失敗的特征點(diǎn)。但是，檢測(cè)出的特征點(diǎn)是離散的且數(shù)量不多，運(yùn)動(dòng)目標(biāo)完整度不高。文獻(xiàn)[3]中把每個(gè)像素點(diǎn)建立一個(gè)背景模型，對(duì)其進(jìn)行運(yùn)動(dòng)補(bǔ)償，根據(jù)運(yùn)動(dòng)補(bǔ)償情況判斷是否是運(yùn)動(dòng)目標(biāo)，該方法速度快。但是，對(duì)運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果內(nèi)部空洞情況沒(méi)有明顯提高。文獻(xiàn)[4]將當(dāng)前幀的前后相鄰L幀圖像，補(bǔ)償?shù)疆?dāng)前幀，檢測(cè)結(jié)果的完整性有了提高。但是，該方法不能實(shí)時(shí)檢測(cè)出運(yùn)動(dòng)目標(biāo)。

為了克服了特征點(diǎn)只能檢測(cè)出離散點(diǎn)，彌補(bǔ)運(yùn)動(dòng)補(bǔ)償方法只能檢測(cè)出運(yùn)動(dòng)目標(biāo)邊緣輪廓的缺陷，實(shí)時(shí)地檢測(cè)出運(yùn)動(dòng)目標(biāo)，提高運(yùn)動(dòng)目標(biāo)的完整性與準(zhǔn)確率。本文提出將特征點(diǎn)與運(yùn)動(dòng)補(bǔ)償信息方法融合，根據(jù)視差大小將一幀圖像分成兩部分進(jìn)行運(yùn)動(dòng)估計(jì)，使模擬的運(yùn)動(dòng)情況更接近相機(jī)的運(yùn)動(dòng)真實(shí)運(yùn)動(dòng)，用滑動(dòng)窗口方法將稀疏特征點(diǎn)變成稠密特征點(diǎn)，并基于貝葉斯理論，將兩種方法融合。相比于現(xiàn)有的基于單一特征方法，本算法提高了運(yùn)動(dòng)目標(biāo)的完整性，實(shí)現(xiàn)了實(shí)時(shí)檢測(cè)。

1 特征點(diǎn)運(yùn)動(dòng)信息提取

本文利用Harris特征點(diǎn)檢測(cè)算法[9]與KLT跟蹤算法[10]獲得連續(xù)兩幀圖像的特征點(diǎn)，用特征點(diǎn)構(gòu)建全局運(yùn)動(dòng)函數(shù)模型。傳統(tǒng)的全局運(yùn)動(dòng)估計(jì)方法將視差影響因素忽略不計(jì)，不同的視角區(qū)域采用同一種運(yùn)動(dòng)模型估計(jì)易造成特征點(diǎn)誤檢。本文根據(jù)視差大小首先采用分塊方法將整幀圖像按視差的大小分成兩個(gè)區(qū)域，兩個(gè)區(qū)域采用兩種不同的運(yùn)動(dòng)模型估計(jì)。再利用特征點(diǎn)真實(shí)運(yùn)動(dòng)位置與經(jīng)運(yùn)動(dòng)模型變換的位置計(jì)算差值，構(gòu)建出特征點(diǎn)的運(yùn)動(dòng)度量函數(shù)，從而獲得特征點(diǎn)的運(yùn)動(dòng)信息。

1.1 基于分區(qū)域的運(yùn)動(dòng)模型構(gòu)建

根據(jù)相機(jī)的工作原理[11]，距離相機(jī)光軸較近的目標(biāo)視角小，視差也小，受相機(jī)運(yùn)動(dòng)的影響小。相機(jī)光軸與圖像平面的交點(diǎn)位于圖像幾何中心點(diǎn)。相機(jī)運(yùn)動(dòng)引起視差變化，視差大小不同使圖像上的目標(biāo)運(yùn)動(dòng)系數(shù)不同。位于圖像邊緣和中心點(diǎn)的目標(biāo)運(yùn)動(dòng)系數(shù)相差較大。根據(jù)像素點(diǎn)距離圖像中心點(diǎn)的遠(yuǎn)近，將整幀圖像劃分成兩個(gè)區(qū)域，對(duì)兩個(gè)區(qū)域采用兩種不同的變換模型進(jìn)行運(yùn)動(dòng)估計(jì)。

1.1.1 圖像分區(qū)域算法

圖1 圖像區(qū)域劃分

R區(qū)域半徑r的取值與像素有關(guān)，根據(jù)本文采用的視頻數(shù)據(jù)實(shí)驗(yàn)，選取0.5倍的min(M,N)，M、N分別為當(dāng)前圖像像素的行數(shù)和列數(shù)。

由圖1可知，R區(qū)域和S區(qū)域距離圖像的幾何中心遠(yuǎn)近不同，受相機(jī)運(yùn)動(dòng)的影響不同，采用統(tǒng)一運(yùn)動(dòng)模型進(jìn)行運(yùn)動(dòng)估計(jì)，效果不好。對(duì)R區(qū)域和S區(qū)域采用不同運(yùn)動(dòng)參數(shù)的運(yùn)動(dòng)模型進(jìn)行運(yùn)動(dòng)估計(jì)。

1.1.2 算法實(shí)現(xiàn)

常用的運(yùn)動(dòng)模型有6參數(shù)仿射變換模型和8參數(shù)雙線性變換模型[12]，如式(1)和式(2)所示。

6參數(shù)仿射變換模型：

(1)

8參數(shù)雙線性變換模型：

(2)

為了提高時(shí)間效率且不影響結(jié)果完整性，本文采用6參數(shù)仿射變換模型。對(duì)Ct中的特征點(diǎn)進(jìn)行判斷，結(jié)合與其對(duì)應(yīng)的Ct+1，計(jì)算出在R和S區(qū)域內(nèi)的第一組和第二組運(yùn)動(dòng)參數(shù)，構(gòu)建出兩種運(yùn)動(dòng)模型。設(shè)p1=(ct,x,ct,y)為t時(shí)刻圖像幀中任一特征點(diǎn)p1的坐標(biāo)，p2=(ct+1,x,ct+1,y)是t+1時(shí)刻圖像幀與p1點(diǎn)對(duì)應(yīng)的p2的坐標(biāo)，(ct,x,ct,y)∈Ct，(ct+1,x,ct+1,y)∈Ct+1。

t時(shí)刻位于R區(qū)域內(nèi)的圖像特征點(diǎn)Ct到t+1時(shí)刻的特征點(diǎn)Ct+1的變換矩陣模型為VR，S區(qū)域內(nèi)的變換矩陣模型為VS。位于R區(qū)域內(nèi)的任意特征點(diǎn)ct,i∈Ct與其對(duì)應(yīng)的t+1時(shí)刻的特征點(diǎn)ct+1,i∈Ct+1，滿足如下等式：

ct+1,i=VR×ct,i

(3)

S區(qū)域滿足：

ct+1,i=VS×ct,i

(4)

對(duì)于所有的t時(shí)刻和t+1時(shí)刻在兩個(gè)區(qū)域R、S范圍內(nèi)特征點(diǎn)，分別構(gòu)成關(guān)于VR和關(guān)于VS的兩組方程組。對(duì)于VR和VS的求解可采用最小二乘法[13]實(shí)現(xiàn)，統(tǒng)稱VR和VS為VM，其成本函數(shù)為：

(5)

根據(jù)式(5)可得到中間全局運(yùn)動(dòng)函數(shù)VM。

經(jīng)單次檢測(cè)的特征點(diǎn)中包括運(yùn)動(dòng)目標(biāo)上的點(diǎn)，運(yùn)動(dòng)目標(biāo)上的特征點(diǎn)被當(dāng)成是背景特征點(diǎn)代入運(yùn)動(dòng)模型，求解出的運(yùn)動(dòng)參數(shù)會(huì)造成全局運(yùn)動(dòng)估計(jì)誤差增大，所以本文采用文獻(xiàn)[14]的二次運(yùn)動(dòng)估計(jì)方法。首先，將所有特征點(diǎn)代入式(1)-式(5)，解出近似運(yùn)動(dòng)參數(shù)，確定中間運(yùn)動(dòng)模型VM；然后，將偏離運(yùn)動(dòng)模型大的特征點(diǎn)去除；最后，把剩下的特征點(diǎn)再一次代入運(yùn)動(dòng)模型式(1)和式(2)，用式(3)-式(5)求解出更加準(zhǔn)確的運(yùn)動(dòng)參數(shù)，構(gòu)建出全局運(yùn)動(dòng)模型V。

1.2 特征點(diǎn)運(yùn)動(dòng)信息提取

構(gòu)建出全局運(yùn)動(dòng)模型后，將圖像中的所有特征點(diǎn)帶入運(yùn)動(dòng)模型，獲得變換后的特征點(diǎn)位置。同時(shí)，提取特征點(diǎn)的真實(shí)運(yùn)動(dòng)位置；利用特征點(diǎn)的模型變換位置與真實(shí)運(yùn)動(dòng)位置，構(gòu)建特征點(diǎn)運(yùn)動(dòng)度量函數(shù)，提取出特征點(diǎn)運(yùn)動(dòng)信息。

設(shè)特征點(diǎn)為f(x,y),將特征點(diǎn)的位置坐標(biāo)(x,y)代入式(6),獲得經(jīng)運(yùn)動(dòng)模型變換后的位置g(x2,y2)，提取出f(x,y)的真實(shí)運(yùn)動(dòng)位置f(x1,y1)，計(jì)算出f(x1,y1)和g(x2,y2)的誤差，構(gòu)建出運(yùn)動(dòng)度量函數(shù)d。d的函數(shù)值越大于合理閾值q，則該點(diǎn)越是運(yùn)動(dòng)目標(biāo)特征點(diǎn)mc(x,y)：

g(x2,y2)=f(x,y)×V

(6)

(7)

(8)

經(jīng)過(guò)大量實(shí)驗(yàn)q的取值范圍在0.5～1.5范圍內(nèi)合理。由此可得到特特征點(diǎn)運(yùn)動(dòng)信息圖像，如圖2所示。

圖2 特征點(diǎn)跟蹤

圖2中(a)是當(dāng)前幀圖像，(b)是特征點(diǎn)運(yùn)動(dòng)信息提取圖像，圖中標(biāo)記出的點(diǎn)是用上述方法獲得的經(jīng)模型變換和真實(shí)位置相差程度點(diǎn)，其中顏色越深表示運(yùn)動(dòng)幅度越大。

2 運(yùn)動(dòng)補(bǔ)償信息提取

運(yùn)動(dòng)補(bǔ)償方法計(jì)算簡(jiǎn)單易實(shí)現(xiàn)[15]，常見(jiàn)的運(yùn)動(dòng)補(bǔ)償方法分為單幀補(bǔ)償和多幀補(bǔ)償。單幀運(yùn)動(dòng)補(bǔ)償方法是用每連續(xù)兩幀圖像做一次全局運(yùn)動(dòng)估計(jì)，獲得運(yùn)動(dòng)補(bǔ)償圖像。多幀運(yùn)動(dòng)補(bǔ)償是利用多幀圖像中的兩幀，做一次運(yùn)動(dòng)估計(jì)，獲得一張運(yùn)動(dòng)補(bǔ)償圖像，利用該補(bǔ)償圖像做模型變換得到下一幀圖像的補(bǔ)償圖像。當(dāng)運(yùn)動(dòng)目標(biāo)運(yùn)動(dòng)緩慢時(shí)，連續(xù)兩幀圖像中的運(yùn)動(dòng)目標(biāo)和背景運(yùn)動(dòng)差異度小，運(yùn)動(dòng)目標(biāo)容易被補(bǔ)償成背景，造成運(yùn)動(dòng)目標(biāo)提取不完整。而且，連續(xù)幾幀圖像的運(yùn)動(dòng)參數(shù)變化小，單幀運(yùn)動(dòng)補(bǔ)償方法是利用每連續(xù)兩幀圖像構(gòu)建一次運(yùn)動(dòng)模型，該方法計(jì)算量大，時(shí)間效率低。為了提高運(yùn)動(dòng)目標(biāo)提取的完整性，提高算法時(shí)間效率，本文采用多幀運(yùn)動(dòng)補(bǔ)償方法，構(gòu)建運(yùn)動(dòng)補(bǔ)償圖像，計(jì)算運(yùn)動(dòng)補(bǔ)償差異函數(shù)，進(jìn)而提取出運(yùn)動(dòng)補(bǔ)償信息。

2.1 構(gòu)建運(yùn)動(dòng)補(bǔ)償圖像

首先，設(shè)定連續(xù)幾幀圖像的數(shù)量k；然后，計(jì)算出k幀圖像中前兩幀圖像的運(yùn)動(dòng)參數(shù)，獲得運(yùn)動(dòng)模型，構(gòu)造出運(yùn)動(dòng)補(bǔ)償圖像；最后，將構(gòu)造出的運(yùn)動(dòng)補(bǔ)償圖像進(jìn)行模型運(yùn)動(dòng)變換，得到下一幀圖像的運(yùn)動(dòng)補(bǔ)償圖像。

設(shè)Ft(x,y)為當(dāng)前幀圖像的真實(shí)圖像，F(xiàn)i(x,y)為Ft(x,y)的連續(xù)前k幀圖像。將這k幀圖像中的前兩幀代入式(1)-式(5)中，計(jì)算出幀間運(yùn)動(dòng)參數(shù)，獲得運(yùn)動(dòng)模型，構(gòu)造出一幅運(yùn)動(dòng)補(bǔ)償圖像；然后，用這幅補(bǔ)償圖像做模型變換，將模型變換后的圖像作為第三幀圖像的運(yùn)動(dòng)補(bǔ)償圖像。以此類推，構(gòu)造出k幀圖像中其余每幀圖像的運(yùn)動(dòng)補(bǔ)償圖像。運(yùn)動(dòng)補(bǔ)償圖像Fcom(x,y)構(gòu)造方法如下所示：

(9)

V(i+1,i)表示利用第i+1幀和第i幀圖像信息得到的幀間運(yùn)動(dòng)模型，由式(1)-式(5)計(jì)算得到。

2.2 運(yùn)動(dòng)補(bǔ)償信息提取

構(gòu)造出k幀運(yùn)動(dòng)補(bǔ)償圖像后，將運(yùn)動(dòng)補(bǔ)償圖像與當(dāng)前幀做差分，計(jì)算出像素點(diǎn)的多幀運(yùn)動(dòng)補(bǔ)償差異函數(shù)Fc(x,y)。

(10)

圖3 運(yùn)動(dòng)補(bǔ)償信息圖像

圖3中：越亮的區(qū)域越表示運(yùn)動(dòng)目標(biāo)，圖中的運(yùn)動(dòng)區(qū)域只有簡(jiǎn)單的輪廓且有干擾區(qū)域。

3 特征點(diǎn)與運(yùn)動(dòng)補(bǔ)償信息融合

利用特征點(diǎn)方法檢測(cè)的結(jié)果矩陣是離散的，運(yùn)動(dòng)補(bǔ)償方法檢測(cè)的是稠密的，兩種檢測(cè)結(jié)果像素不同，不能直接融合，利用滑動(dòng)窗口方法將稀疏特征點(diǎn)變成稠密特征點(diǎn)。運(yùn)動(dòng)補(bǔ)償方法得到運(yùn)動(dòng)目標(biāo)只有輪廓邊緣，為了提高運(yùn)動(dòng)目標(biāo)的完整性，對(duì)補(bǔ)償信息圖像進(jìn)行模糊化處理，再將兩種方法的檢測(cè)結(jié)果融合檢測(cè)出運(yùn)動(dòng)目標(biāo)。將特征點(diǎn)跟蹤檢測(cè)算法獲得的運(yùn)動(dòng)目標(biāo)特征點(diǎn)信息，進(jìn)行稠密化。同時(shí)將運(yùn)動(dòng)補(bǔ)償信息模糊化，方法與稠密化相同。再把二者結(jié)果融合，檢測(cè)出準(zhǔn)確完整的運(yùn)動(dòng)目標(biāo)。

3.1 稠密化

設(shè)大小為W×W(W為奇數(shù))的窗口，分別對(duì)特征點(diǎn)運(yùn)動(dòng)信息圖像與運(yùn)動(dòng)補(bǔ)償信息圖像進(jìn)行逐點(diǎn)遍歷，遍歷步長(zhǎng)度為L(zhǎng)。計(jì)算該窗口內(nèi)所有像素me(x,y)的平均值記為α(x,y)，(x,y)為當(dāng)前窗口的中心坐標(biāo)：

(11)

其中：M、N分別表示圖像橫向與縱向的像素點(diǎn)個(gè)數(shù)。

3.2 標(biāo)準(zhǔn)化

為了使特征點(diǎn)信息與運(yùn)動(dòng)補(bǔ)償信息對(duì)運(yùn)動(dòng)目標(biāo)提取的影響大小一致，本文將兩種方法獲得的信息圖像都進(jìn)行標(biāo)準(zhǔn)化處理，標(biāo)準(zhǔn)化至s1～s2范圍。設(shè)稠密圖像像素點(diǎn)的范圍在r1～r2，r1與r2的獲取采用逐點(diǎn)遍歷方法，r1是稠密圖像灰度值的最小值，r2是最大值。利用線性變換將稠密圖的灰度值映射在s1～s2范圍，得到標(biāo)準(zhǔn)化圖像。映射關(guān)系為：

(12)

a、b分別為線性變換的系數(shù)項(xiàng)和常數(shù)項(xiàng)由式(13)和式(14)可得：

(13)

(14)

則稠密圖中任意一點(diǎn)的灰度值me(x,y)，映射到s1～s2的變換關(guān)系為：

n(x,y)=a×me(x,y)+b

(15)

其中：n(x,y)為經(jīng)過(guò)標(biāo)準(zhǔn)化圖像的灰度值，本文s1取100，s2取1。

經(jīng)稠密化和標(biāo)準(zhǔn)化可得到分別得到特征點(diǎn)運(yùn)動(dòng)信息標(biāo)準(zhǔn)化圖像Fb(x,y)與運(yùn)動(dòng)補(bǔ)償信息標(biāo)準(zhǔn)化圖像Ff(x,y)，如圖4所示。

(a) 特征點(diǎn)運(yùn)動(dòng)信息標(biāo)準(zhǔn)化圖

(b) 運(yùn)動(dòng)補(bǔ)償信息標(biāo)準(zhǔn)化圖圖4 當(dāng)前幀信息標(biāo)準(zhǔn)化圖

圖4中：(a)是特征點(diǎn)運(yùn)動(dòng)信息經(jīng)過(guò)稠密化與標(biāo)準(zhǔn)化獲得的標(biāo)準(zhǔn)化結(jié)果圖像，(b)是運(yùn)動(dòng)補(bǔ)償信息經(jīng)過(guò)稠密化與標(biāo)準(zhǔn)化獲得的標(biāo)準(zhǔn)化結(jié)果圖像。

3.3 融合特征點(diǎn)與運(yùn)動(dòng)補(bǔ)償信息檢測(cè)運(yùn)動(dòng)目標(biāo)

得到特征點(diǎn)與運(yùn)動(dòng)補(bǔ)償信息標(biāo)準(zhǔn)圖像后，將兩種方法獲取的標(biāo)準(zhǔn)化信息融合。只有同時(shí)滿足，既是特征點(diǎn)檢測(cè)運(yùn)動(dòng)目標(biāo)像素點(diǎn)，又是運(yùn)動(dòng)補(bǔ)償信息的運(yùn)動(dòng)目標(biāo)像素點(diǎn)時(shí)，才能最終確定為運(yùn)動(dòng)目標(biāo)像素點(diǎn)Fm′(x,y)。計(jì)算方法如下：

(16)

(17)

Fm′(x,y)=Fc′(x,y)×Ff′(x,y)

(18)

運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果如圖5所示。其中：圖像中越亮的地方代表運(yùn)動(dòng)目標(biāo)運(yùn)動(dòng)地越明顯。經(jīng)過(guò)稠密化與標(biāo)準(zhǔn)化得到的運(yùn)動(dòng)目標(biāo)變得密實(shí)，但是干擾的雜質(zhì)點(diǎn)多。兩種方法獲得的標(biāo)準(zhǔn)圖像的雜質(zhì)不同，將二者融合后，消除了雜質(zhì)，運(yùn)動(dòng)目標(biāo)完整性與準(zhǔn)確性提高。

圖5 融合方法檢測(cè)出的運(yùn)動(dòng)目標(biāo)

4 實(shí)驗(yàn)與分析

為了檢驗(yàn)本文算法的有效性，采用F-measure方法[14]對(duì)提出的運(yùn)動(dòng)目標(biāo)檢測(cè)新算法進(jìn)行有效性性能評(píng)估。利用Matlab軟件實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)的檢測(cè)，測(cè)試序列的圖像大小為240×360，在雙核處理器，4 GB內(nèi)存聯(lián)想臺(tái)式機(jī)上進(jìn)行。實(shí)驗(yàn)根據(jù)提出的融合算法對(duì)實(shí)際視頻圖像處理，采集Hopkins155視頻序列中的11段視頻來(lái)測(cè)試算法的有效性。

F-measure方法如下：

(19)

(20)

(21)

其中：A代表檢測(cè)出的目標(biāo)中運(yùn)動(dòng)目標(biāo)的個(gè)數(shù)，B代表檢測(cè)出目標(biāo)總數(shù)，C代表視頻圖像中真實(shí)的運(yùn)動(dòng)目標(biāo)個(gè)數(shù)，F(xiàn)m表示F-measure性能指標(biāo)。只有P和R同時(shí)都大時(shí)Fm才大。對(duì)本文提出的算法利用11段視頻數(shù)據(jù)進(jìn)行F-measure方法評(píng)估，評(píng)估數(shù)據(jù)結(jié)果如表1所示。

表1 數(shù)據(jù)性能評(píng)估

由表1可以看出本文方法相對(duì)于運(yùn)動(dòng)補(bǔ)償算法與特征點(diǎn)跟蹤檢測(cè)算法，運(yùn)動(dòng)目標(biāo)正確檢測(cè)個(gè)數(shù)與正確檢測(cè)率都有明顯提高。實(shí)驗(yàn)結(jié)果效果圖如圖6-圖8所示。

圖6 算法各部分結(jié)果

圖7 car4序列上的對(duì)比實(shí)驗(yàn)

圖8 分區(qū)域與不分區(qū)域?qū)Ρ葘?shí)驗(yàn)

圖6中(a)-(f)為視頻序列car6用本文算法實(shí)現(xiàn)過(guò)程的中間結(jié)果圖。從實(shí)驗(yàn)結(jié)果可看出，本文提出的基于兩種信息融合算法，能實(shí)時(shí)檢測(cè)出運(yùn)動(dòng)目標(biāo)，運(yùn)動(dòng)目標(biāo)的準(zhǔn)確性與完整性都有所提高。圖7為在car4序列上的對(duì)比實(shí)驗(yàn)結(jié)果，從左至右依次是視頻序列中的第1、5、9、13和17幀的檢測(cè)結(jié)果。圖7(a)是car4序列原始圖像。(b)是采用特征點(diǎn)檢測(cè)跟蹤算法的實(shí)驗(yàn)結(jié)果，其中有點(diǎn)標(biāo)記區(qū)域是檢測(cè)到的運(yùn)動(dòng)目標(biāo)。(c)為采用運(yùn)動(dòng)補(bǔ)償算法的實(shí)驗(yàn)結(jié)果，越亮的區(qū)域表示目標(biāo)運(yùn)動(dòng)越明顯。(d)為本文提出的融合算法實(shí)驗(yàn)結(jié)果，越亮的區(qū)域越表示運(yùn)動(dòng)目標(biāo)。從實(shí)驗(yàn)結(jié)構(gòu)圖7(b)可以看出，運(yùn)動(dòng)目標(biāo)的特征點(diǎn)離散，部分背景特征點(diǎn)被誤檢為運(yùn)動(dòng)目標(biāo)特征點(diǎn)，部分運(yùn)動(dòng)目標(biāo)特征點(diǎn)被誤檢為背景特征點(diǎn)，造成檢測(cè)結(jié)果部分缺失，部分錯(cuò)誤。圖7(c)可以看出，對(duì)于運(yùn)動(dòng)目標(biāo)只檢測(cè)出邊緣輪廓，運(yùn)動(dòng)目標(biāo)內(nèi)部空洞嚴(yán)重，而且也存在將顯露背景誤檢為運(yùn)動(dòng)目標(biāo)的情況。而在圖7(d)中，顯露背景被有效地消除，準(zhǔn)確完整地檢測(cè)出了運(yùn)動(dòng)目標(biāo)。圖8是分別在視頻序列car5上提取的第25幀圖像，Seq1視頻序列上提取的第16幀圖像，Seq2視頻序列上的第40幀圖像。圖8(a)是視頻序列的原始圖像，(b)和(c)分別為采用不分區(qū)域方法和分區(qū)域方法，檢測(cè)出的運(yùn)動(dòng)目標(biāo)實(shí)驗(yàn)結(jié)果圖，其中亮的部分代表運(yùn)動(dòng)目標(biāo)。通過(guò)對(duì)比圖8(b)和8(c)可以看出，經(jīng)過(guò)分區(qū)域構(gòu)建運(yùn)動(dòng)模型，檢測(cè)出的運(yùn)動(dòng)目標(biāo)更加明顯。對(duì)于car5圖像，用不分區(qū)域方法，兩個(gè)運(yùn)動(dòng)目標(biāo)中間有明顯的誤檢部分，而采用分區(qū)域方法則沒(méi)有。對(duì)于Seq1和 Seq2圖像，不分區(qū)域方法檢測(cè)出的運(yùn)動(dòng)目標(biāo)不明顯，完整性低，分區(qū)域方法則明顯度完整度提高。實(shí)驗(yàn)結(jié)果表明，通過(guò)分區(qū)域全局運(yùn)動(dòng)估計(jì)構(gòu)建運(yùn)動(dòng)模型，融合特征點(diǎn)運(yùn)動(dòng)信息和運(yùn)動(dòng)補(bǔ)償信息，不僅能準(zhǔn)確完整地檢測(cè)出單運(yùn)動(dòng)目標(biāo)，而且對(duì)多運(yùn)動(dòng)目標(biāo)也有效，進(jìn)而驗(yàn)證了融合算法的有效性。本文提出的算法有效地克服了顯露背景對(duì)檢測(cè)結(jié)果準(zhǔn)確度與完整度的影響，并且，不用單獨(dú)做去除雜質(zhì)操作。既提高了運(yùn)動(dòng)目標(biāo)提取的完整性準(zhǔn)確性，又簡(jiǎn)化了中間處理過(guò)程，提高了時(shí)間效率。

5 結(jié) 語(yǔ)

本文提出了一種基于融合特征點(diǎn)運(yùn)動(dòng)與運(yùn)動(dòng)補(bǔ)償信息運(yùn)動(dòng)目標(biāo)檢測(cè)新方法。首先，將整幀圖像分成兩個(gè)區(qū)域，兩個(gè)區(qū)域分別用兩種變換模型進(jìn)行運(yùn)動(dòng)估計(jì)，利用運(yùn)動(dòng)變換模型提取特征點(diǎn)運(yùn)動(dòng)信息。然后，利用多幀運(yùn)動(dòng)補(bǔ)償方法提取運(yùn)動(dòng)補(bǔ)償信息。最后，將特征點(diǎn)運(yùn)動(dòng)信息和運(yùn)動(dòng)補(bǔ)償信息分別進(jìn)行稠密化與標(biāo)準(zhǔn)化，把兩種信息標(biāo)準(zhǔn)化結(jié)果融合提取出運(yùn)動(dòng)目標(biāo)。實(shí)驗(yàn)結(jié)果表明，該算法有效地降低了相機(jī)移動(dòng)對(duì)圖像全局的影響，克服了特征點(diǎn)只能檢測(cè)出離散點(diǎn)的問(wèn)題，彌補(bǔ)了運(yùn)動(dòng)補(bǔ)償方法只能檢測(cè)出運(yùn)動(dòng)目標(biāo)邊緣輪廓的缺點(diǎn)，能夠準(zhǔn)確完整地檢測(cè)出運(yùn)動(dòng)目標(biāo)。時(shí)間上，兩種運(yùn)動(dòng)目標(biāo)檢測(cè)信息提取過(guò)程可以并行化進(jìn)行，與單線程的算法相比在總時(shí)間上損耗不明顯。

[1] 王驍, 李博, 張碩,等. 基于DSP的地下停車場(chǎng)車流量視頻檢測(cè)的改進(jìn)算法[J]. 電子器件, 2016, 39(3).

[2] 肖軍, 朱世鵬, 黃杭,等. 基于光流法的運(yùn)動(dòng)目標(biāo)檢測(cè)與跟蹤算法[J]. 東北大學(xué)學(xué)報(bào)(自然科學(xué)版), 2016, 37(6).

[3] 張維. 基于運(yùn)動(dòng)補(bǔ)償及全局背景優(yōu)化的目標(biāo)檢測(cè)[D]. 安徽大學(xué), 2016.

[4] 吳思, 林守勛, 張勇東. 基于動(dòng)態(tài)背景構(gòu)造的視頻運(yùn)動(dòng)對(duì)象自動(dòng)分割[J]. 計(jì)算機(jī)學(xué)報(bào), 2005, 28(8):1386-1392.

[5] Narayana M, Hanson A, Learned-Miller E. Coherent motion segmentation in moving camera videos using optical flow orientations[C]//Proceedings of the IEEE International Conference on Computer Vision. 2013:1577-1584.

[6] Schueler K, Raaijmakers M, Neumaier S, et al. Detecting parallel moving vehicles with monocular omnidirectional side cameras[C]//Intelligent Vehicles Symposium (IV). IEEE, 2013: 567-572.

[7] Zhang P, Jiang Z, Wei L, et al. A motion compensation method for wide-swath synthetic aperture sonar[J].Chinese Journal of Acoustics, 2016, 40(3):153-161.

[8] 于明, 孫煒燁, 閻剛,等. 動(dòng)態(tài)場(chǎng)景下基于精確背景補(bǔ)償?shù)倪\(yùn)動(dòng)目標(biāo)檢測(cè)[J]. 計(jì)算機(jī)應(yīng)用與軟件, 2013,30(10):139-141,198.

[9] Georgiadis G, Ayvaci A, Soatto S. Actionable saliency detection: Independent motion detection without independent motion estimation[C]//IEEE Conference on Computer Vision and Pattern Recognition (CVPR). San Antonio:IEEE, 2012: 646-653.

[10] 楊超, 蔡曉東, 王麗娟,等. 一種改進(jìn)的CAMShift跟蹤算法及人臉檢測(cè)框架[J]. 計(jì)算機(jī)工程與科學(xué), 2016,38(9):1863-1869.

[11] 錢元?jiǎng)P. 現(xiàn)代照相機(jī)的原理與使用[M]. 浙江攝影出版社, 2003:6-8.

[12] 吳栓栓. 基于單目視覺(jué)的運(yùn)動(dòng)行人檢測(cè)算法的研究與實(shí)現(xiàn)[D]. 東北大學(xué),2008.

[13] 吳路路, 韓江, 田曉青,等. 無(wú)偏差最小二乘法伺服控制系統(tǒng)參數(shù)辨識(shí)[J]. 中國(guó)機(jī)械工程, 2016, 27(1):109-113.

[14] Lin C C, Wolf M. Detecting Moving Objects Using a Camera on a Moving Platform[C]//International Conference on Pattern Recognition. IEEE Computer Society, 2010:460-463.

[15] Wu Y, He X, Nguyen T Q. Moving Objects Detection with Freely Moving Camera via Background Motion Subtraction[J]. IEEE Transactions on Circuits & Systems for Video Technology, 2015:1-1.

ANEWMOVINGOBJECTDETECTIONALOGORITHMBASEDONFUSIONOFFEATUREPOINTSANDMOTIONCOMPENSATIONINFORMATION

Zhang Na Wei Haiping Yu Hongfe

(SchoolofComputerandCommunicationEngineering,LiaoningShihuaUniversity,Fushun113001,Liaoning,China)

Moving target detection in dynamic background has wide application prospect in the field of automobile auxiliary driving and robot navigation. Therefore, a moving target detection method based on motion information and motion compensation information is proposed to solve the problem of poor detection integrity of moving targets based on a single feature, and improve the detection accuracy of moving targets. First, block motion estimation was performed by feature point detection and tracking, and the inter-frame motion model of background feature points was obtained. Moreover, by measuring the degree of matching between the true motion position of the feature points and the motion model, the motion measurement function of the feature points was constructed to obtain the motion information of the feature points. Then, motion compensation image of the pixel was calculated by using the background feature point inter-frame motion model to construct the multi-frame motion compensation difference measurement function of the pixel, and the motion compensation information of the pixel was obtained. Finally, the feature point motion information and the motion compensation information were merged to obtain the moving object detection result. The experimental results show the effectiveness of the proposed method.

Dynamic background Fusion Motion compensation Moving object detection Monocular camera

2016-12-22。國(guó)家自然科學(xué)基金項(xiàng)目(61273239)。張娜，碩士生，主研領(lǐng)域：數(shù)字圖像處理。魏海平，教授。于紅緋，講師。

TP3912

A

10.3969/j.issn.1000-386x.2017.11.039