一種背景運(yùn)動(dòng)視頻中運(yùn)動(dòng)目標(biāo)的檢測(cè)方法

張 輝，雷 飛，袁海英

(北京工業(yè)大學(xué)電子信息與控制工程學(xué)院，北京100124)

責(zé)任編輯:任健男

運(yùn)動(dòng)目標(biāo)檢測(cè)作為視覺(jué)運(yùn)動(dòng)分析底層的關(guān)鍵技術(shù)之一，是執(zhí)行行為識(shí)別、場(chǎng)景理解等各種高級(jí)視覺(jué)任務(wù)的基礎(chǔ)，其目的是從視頻中將相對(duì)于背景運(yùn)動(dòng)的區(qū)域檢測(cè)出來(lái)。針對(duì)該問(wèn)題國(guó)內(nèi)外存在大量的研究，提出的方法主要是基于靜止背景和特定類屬目標(biāo)的檢測(cè)[1-4]。典型方法有基于圖像變動(dòng)、基于光流和基于因子分解的方法等。基于圖像變動(dòng)的方法[1]包含幀差法和背景模型法[2]，該類算法簡(jiǎn)單且易于實(shí)現(xiàn)，對(duì)背景中的變化檢測(cè)有效，在目標(biāo)與背景對(duì)比度較小時(shí)容易失敗?；诠饬鳈z測(cè)方法[3]不需要預(yù)先知道場(chǎng)景的任何信息，且可應(yīng)用于攝像機(jī)運(yùn)動(dòng)的情況，但光流場(chǎng)估計(jì)對(duì)噪聲不夠魯棒，且計(jì)算量較大。基于因子分解的方法[4]作用于稀疏特征點(diǎn)運(yùn)動(dòng)軌跡上，它敏感于噪聲和離群數(shù)據(jù)。不同于上述方法，本文提出的目標(biāo)檢測(cè)算法關(guān)注于運(yùn)動(dòng)背景及非特定類屬目標(biāo)的一般情況，認(rèn)為圖像中的單一運(yùn)動(dòng)目標(biāo)具有運(yùn)動(dòng)上的顯著一致性。首先通過(guò)快速特征點(diǎn)檢測(cè)及跟蹤恢復(fù)圖像稀疏運(yùn)動(dòng)場(chǎng);接著根據(jù)各組特征點(diǎn)計(jì)算場(chǎng)景圖像重建誤差，剔除重建誤差最小的特征點(diǎn)組，實(shí)現(xiàn)對(duì)前景目標(biāo)的檢測(cè)。

1 算法概述

本文提出的運(yùn)動(dòng)目標(biāo)檢測(cè)算法的流程如圖1所示，圖中對(duì)前后相鄰兩幀圖像的處理包括的步驟包括:首先在當(dāng)前圖像中進(jìn)行特征點(diǎn)檢測(cè);然后建立兩幀圖像的多分辨率金字塔結(jié)構(gòu)，以特征點(diǎn)在不同分辨率的當(dāng)前幀圖像中的局部鄰域圖像塊作為特征描述，估計(jì)它在前一幀圖像中的位置，獲得特征點(diǎn)運(yùn)動(dòng)矢量;接著根據(jù)特征點(diǎn)之間的運(yùn)動(dòng)一致性情況對(duì)場(chǎng)景中可能的獨(dú)立運(yùn)動(dòng)模式進(jìn)行投票，實(shí)現(xiàn)對(duì)特征點(diǎn)的分類和各特征點(diǎn)組運(yùn)動(dòng)參數(shù)的計(jì)算;利用各特征點(diǎn)組運(yùn)動(dòng)參數(shù)，由前一幀圖像重建出當(dāng)前幀圖像，計(jì)算出對(duì)應(yīng)的重建圖像誤差后，再通過(guò)剔除重建誤差最小的特征點(diǎn)組完成前景特征點(diǎn)的檢測(cè);最后運(yùn)動(dòng)目標(biāo)的位置和運(yùn)動(dòng)參數(shù)由每個(gè)前景特征點(diǎn)組計(jì)算。

圖1 背景運(yùn)動(dòng)視頻中的運(yùn)動(dòng)目標(biāo)檢測(cè)流程框圖

2 特征點(diǎn)檢測(cè)與跟蹤

基于運(yùn)動(dòng)的目標(biāo)檢測(cè)第一步處理是從序列圖像中恢復(fù)出整個(gè)場(chǎng)景的運(yùn)動(dòng)，其關(guān)鍵問(wèn)題是場(chǎng)景各點(diǎn)在不同幀圖像中的對(duì)應(yīng)。

2.1 特征點(diǎn)檢測(cè)

近年來(lái)，基于局部特征的圖像特征提取算法層出不窮，對(duì)其性能評(píng)估的指標(biāo)通常包括檢測(cè)數(shù)量、可重復(fù)性、計(jì)算效率和對(duì)噪聲、光照變化及視點(diǎn)變化的敏感度等。有別于圖像識(shí)別、配準(zhǔn)等對(duì)特征點(diǎn)特征形變不敏感的較高要求，本文著重關(guān)注算法在計(jì)算效率和重復(fù)檢測(cè)率兩方面的性能。所以，采用基于機(jī)器學(xué)習(xí)的特征點(diǎn)檢測(cè)算法——FAST-9[5]，它僅需要簡(jiǎn)單的比較運(yùn)算便能提取對(duì)小范圍視點(diǎn)變化不敏感、可重復(fù)性高的特征點(diǎn)。在本文的實(shí)現(xiàn)中，用普通PC完成320×240圖像的FAST特征點(diǎn)檢測(cè)時(shí)間低至毫秒級(jí)。

2.2 特征點(diǎn)跟蹤

給定一幀圖像的特征點(diǎn)，在另一幀圖像中完成特征點(diǎn)對(duì)應(yīng)(也即是特征點(diǎn)跟蹤)，經(jīng)典方法是計(jì)算稀疏光流的Lucas-Kanade算法[6]。這里利用聯(lián)合特征和邊緣的運(yùn)動(dòng)估計(jì)方法[7]，通過(guò)相鄰特征點(diǎn)運(yùn)動(dòng)一致性關(guān)系，計(jì)算更為光滑的特征點(diǎn)運(yùn)動(dòng)矢量。其定義的全局特征點(diǎn)運(yùn)動(dòng)能量函數(shù)為

式中:‖·‖表示矢量的L2范數(shù);Kρ*(·)代表在寬度ρ的空域鄰域內(nèi)求和;Ui為特征點(diǎn)i到圖像I'中對(duì)應(yīng)點(diǎn)的二維運(yùn)動(dòng)矢量;n為特征點(diǎn)個(gè)數(shù);λi代表正則化權(quán)重;本文實(shí)驗(yàn)中取ρ=7，λi=50。f(Ui，I)為光流約束方程為

式中:各符號(hào)的下角標(biāo)代表對(duì)相應(yīng)坐標(biāo)求偏導(dǎo)數(shù)，(Ix，Iy)T表示像素灰度的梯度。在能量方程(1)中，特征點(diǎn)i的能量取決于其運(yùn)動(dòng)Ui匹配局部圖像以及匹配運(yùn)動(dòng)期望i的程度。可以通過(guò)特征點(diǎn)的鄰近特征點(diǎn)運(yùn)動(dòng)獲得近似，本文考慮到屬于同一個(gè)運(yùn)動(dòng)對(duì)象的特征點(diǎn)總是在空間上聚集在一起，所以定義為

式中:di，j表示一對(duì)相鄰特征點(diǎn)(i，j)的歐氏距離;Li表示與特征點(diǎn)鄰接特征點(diǎn)i的集合，此集合通過(guò)在當(dāng)前幀圖像中計(jì)算Delaunay三角剖分[8]獲得。最小化能量EJ同樣采用梯度下降法，令EJ對(duì)每個(gè)運(yùn)動(dòng)矢量Ui求導(dǎo)等于零，獲得一個(gè)2n×2n的稀疏矩陣方程，其中方程的第(2i-1)行和第2i行的形式如下

這個(gè)方程可以通過(guò)雅克比迭代計(jì)算，即

式中:上標(biāo)為迭代次數(shù)，Jmn=Kρ*(ImIn)，(m，n∈{x，y，t})。為降低運(yùn)算量，增強(qiáng)特征點(diǎn)跟蹤對(duì)大范圍運(yùn)動(dòng)的魯棒性，本文實(shí)驗(yàn)中使用三級(jí)金字塔方式，依次由低分辨率圖像到高分辨率圖像實(shí)現(xiàn)最小化能量函數(shù)式(1)。

3 基于運(yùn)動(dòng)的特征點(diǎn)分類

3.1 特征點(diǎn)組分類與運(yùn)動(dòng)模型估計(jì)

針對(duì)特征點(diǎn)的運(yùn)動(dòng)分類和模型估計(jì)，RANSAC(Random Sample Consensus)算法[9]逐個(gè)計(jì)算單個(gè)特征點(diǎn)組的運(yùn)動(dòng)模型參數(shù)方式比較典型。但是這種做法的弊端在于前一次分類的誤差隨著級(jí)聯(lián)結(jié)構(gòu)逐級(jí)傳播，影響剩余數(shù)據(jù)點(diǎn)的正確分類。這里采用改進(jìn)的兩步RANSAC算法[10]，即通過(guò)粗估計(jì)和精估計(jì)兩步，將跟蹤后的成對(duì)特征點(diǎn)以并行的方式估計(jì)出多個(gè)特征點(diǎn)組。首先，粗估計(jì)盡可能多地從原始特征點(diǎn)數(shù)據(jù)中提取可能的運(yùn)動(dòng)模式，具體步驟為:

1)首先重復(fù)RANSAC試驗(yàn)Ns次:每次隨機(jī)抽取n對(duì)對(duì)應(yīng)特征點(diǎn)，計(jì)算運(yùn)動(dòng)參數(shù)(本文取n=3計(jì)算仿射變換參數(shù))，根據(jù)此運(yùn)動(dòng)參數(shù)將剩余的特征點(diǎn)對(duì)劃分成模型數(shù)據(jù)和離群數(shù)據(jù)兩類，并記錄模型數(shù)據(jù)個(gè)數(shù)。

2)將以上多次試驗(yàn)按照其持有的模型數(shù)據(jù)個(gè)數(shù)由大到小排序，保留模型數(shù)據(jù)較多的個(gè)組作為候選分類。

3)計(jì)算每組與其他組的特征點(diǎn)重合情況，若兩組所共同持有的模型數(shù)據(jù)占模型數(shù)據(jù)較少的一組的75%以上，則說(shuō)明兩者的重合度較大，擁有較少模型數(shù)據(jù)的一組包含于模型數(shù)據(jù)較多的一組，繼而可以從候選分類中刪除模型數(shù)據(jù)較少的這一組。

注意一對(duì)特征點(diǎn)對(duì)可能同時(shí)屬于多個(gè)運(yùn)動(dòng)模式，即m個(gè)運(yùn)動(dòng)模式中可能有一些模式屬于同一個(gè)運(yùn)動(dòng)模型(即同一個(gè)運(yùn)動(dòng)目標(biāo))，因此需要上述步驟3)對(duì)m個(gè)分類中屬于相同組的模式進(jìn)行合并。經(jīng)過(guò)以上粗估計(jì)處理，獲得的候選類別數(shù)量較大，組劃分比較粗糙，每個(gè)組包含的離群數(shù)據(jù)較多。精估計(jì)則是對(duì)粗估計(jì)分類進(jìn)行進(jìn)一步的精煉，具體描述如下:

1)對(duì)每個(gè)候選分類設(shè)定更嚴(yán)格的模型估計(jì)誤差容限，重新執(zhí)行RANSAC算法，實(shí)現(xiàn)對(duì)每個(gè)候選分類模型數(shù)據(jù)的精煉，并計(jì)算特征點(diǎn)精煉后的新運(yùn)動(dòng)參數(shù)。

2)經(jīng)過(guò)上一步較嚴(yán)格的離群數(shù)據(jù)淘汰，獲得的新特征點(diǎn)分類模型數(shù)據(jù)減少，但每組模型數(shù)據(jù)的減少將會(huì)引起兩組特征點(diǎn)重合情況(兩組共同持有的特征點(diǎn)占特征點(diǎn)數(shù)較少的一組的75%以上)的再次發(fā)生，需再次使用與粗估計(jì)步驟3)一樣的方法，對(duì)候選特征點(diǎn)組進(jìn)行合并，完成最終的特征點(diǎn)分類。

另外，由于特征點(diǎn)的空間位置分布與圖像各個(gè)區(qū)域的紋理復(fù)雜度有關(guān)，紋理豐富的區(qū)域特征點(diǎn)數(shù)目較多、分布稠密，而紋理貧乏的區(qū)域特征點(diǎn)較少、分布稀疏。以上改進(jìn)兩步RANSAC算法還考慮有側(cè)重地對(duì)數(shù)據(jù)點(diǎn)進(jìn)行抽取，以處理特征點(diǎn)分布不均勻的問(wèn)題。即通過(guò)統(tǒng)計(jì)每個(gè)特征點(diǎn)周圍半徑為像素鄰域內(nèi)的特征點(diǎn)數(shù)目，來(lái)衡量特征點(diǎn)分布的稠密程度，進(jìn)而設(shè)定每個(gè)特征點(diǎn)被采樣到的概率與其稠密度成反比，這樣就可以保證低紋理區(qū)的特征點(diǎn)被更多地抽到，降低含特征點(diǎn)數(shù)較少的運(yùn)動(dòng)模式遺失的可能。

本文的實(shí)驗(yàn)中，采用仿射變換來(lái)近似場(chǎng)景中運(yùn)動(dòng)模式，設(shè)t=(t1，t2，t3，t4，t5，t6)T為仿射變換參數(shù)，則滿足此變換的像素(x，y)和像素(x'，y')的坐標(biāo)關(guān)系為

每個(gè)特征點(diǎn)組的仿射運(yùn)動(dòng)參數(shù)可以通過(guò)最小二乘法進(jìn)行估計(jì)，也即t=(ATA)-1ATb，其中A，b由本組的模型數(shù)據(jù)(對(duì)應(yīng)特征點(diǎn)對(duì))構(gòu)成，A，b與t之間的線性方程為

3.2 背景特征點(diǎn)剔除與目標(biāo)定位

運(yùn)動(dòng)目標(biāo)檢測(cè)關(guān)注的是前景目標(biāo)區(qū)域，進(jìn)而需要區(qū)分出背景特征點(diǎn)。通常，背景的運(yùn)動(dòng)為整幅圖像運(yùn)動(dòng)的主導(dǎo)，直觀的做法是采用含有模型數(shù)據(jù)個(gè)數(shù)最多的特征點(diǎn)組作為背景特征點(diǎn)組，但是當(dāng)背景的紋理相對(duì)于前景紋理較少時(shí)，背景特征點(diǎn)的數(shù)量可能較少。本文認(rèn)為背景區(qū)域內(nèi)像素個(gè)數(shù)占整個(gè)圖像像素的主導(dǎo)，相應(yīng)地，通過(guò)當(dāng)前圖像I與每組重建圖像(根據(jù)每組的運(yùn)動(dòng)參數(shù)變換I'到I)的誤差來(lái)衡量滿足該組運(yùn)動(dòng)的像素情況。具體地，計(jì)算像素的平均重建誤差，公式為

式中:zp表示圖像I中像素p的灰度;z'w(p，i)代表利用第i個(gè)特征點(diǎn)組的運(yùn)動(dòng)參數(shù);映射p到圖像I'中所對(duì)應(yīng)的像素灰度;w(p，i)如式(7)的坐標(biāo)變換;Ni為能夠計(jì)算誤差的像素個(gè)數(shù)(也即重建圖像與原始圖像坐標(biāo)重合的像素個(gè)數(shù))。采用平均誤差的目的是為了保證該度量不受重建圖像與當(dāng)前幀圖像的重合面積大小的影響。這里取平均重建誤差最小的特征點(diǎn)組為背景特征點(diǎn)組B，其他組為前景目標(biāo)的特征點(diǎn)組{Fi}。進(jìn)而，最終的前景目標(biāo)位置由{Fi}中的特征點(diǎn)位置均值確定。

4 實(shí)驗(yàn)結(jié)果與分析

本文對(duì)多個(gè)背景運(yùn)動(dòng)的視頻進(jìn)行了測(cè)試，測(cè)試的圖像序列從Hopkins155數(shù)據(jù)集[11]得到。實(shí)驗(yàn)中，特征點(diǎn)分類步驟的參數(shù)設(shè)置分別為N8=103，m=300，rc=15。運(yùn)行實(shí)驗(yàn)的硬件條件包括Intel Pentium-4 2.8 GHz的CPU，2 Gbyte內(nèi)存;軟件條件包括Windows XP SP3操作系統(tǒng)，MATLAB R7.6。

圖2a和圖2b為復(fù)雜場(chǎng)景中待處理的相鄰兩幀圖像，這些圖像中目標(biāo)和背景運(yùn)動(dòng)情況不一致。圖2c為使用第3節(jié)的方法所獲得的特征點(diǎn)檢測(cè)與跟蹤結(jié)果，圖中繪出了每個(gè)特征點(diǎn)的運(yùn)動(dòng)矢量，從中可以看出用此方法估計(jì)的相鄰特征點(diǎn)運(yùn)動(dòng)具有一定的一致性。圖2d為通過(guò)第4節(jié)方法對(duì)特征點(diǎn)對(duì)進(jìn)行分類的結(jié)果，對(duì)應(yīng)的每一類前景特征點(diǎn)表示一個(gè)目標(biāo)檢測(cè)結(jié)果，分類后的背景特征點(diǎn)用實(shí)心點(diǎn)標(biāo)記，前景特征點(diǎn)則根據(jù)其所屬運(yùn)動(dòng)模式的不同作不同標(biāo)記(分別用十字或星號(hào)標(biāo)記)。值得注意的是，經(jīng)過(guò)上述步驟處理，具有背景或前景類別標(biāo)記的特征點(diǎn)總數(shù)較上一步處理(即第3行子圖的處理)結(jié)果大為減少，其余被歸為離群數(shù)據(jù)的特征點(diǎn)主要由上一步運(yùn)動(dòng)估計(jì)誤差所致，導(dǎo)致這種誤差的原因是這類特征點(diǎn)多處于目標(biāo)邊界處，與其周圍特征點(diǎn)的運(yùn)動(dòng)不連續(xù)。

圖2 室外場(chǎng)景圖像的運(yùn)動(dòng)目標(biāo)檢測(cè)

5 結(jié)論

針對(duì)視頻中目標(biāo)位置初始化問(wèn)題，本文提出的算法考慮了運(yùn)動(dòng)背景及非特定類屬目標(biāo)的一般情況，且只采用了局部特征的運(yùn)動(dòng)信息。該算法通過(guò)特征點(diǎn)檢測(cè)與跟蹤、特征點(diǎn)運(yùn)動(dòng)一致性分類、場(chǎng)景圖像重建誤差，實(shí)現(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)的檢測(cè)。目前該算法能檢測(cè)出部分的目標(biāo)區(qū)域，實(shí)現(xiàn)目標(biāo)輪廓的像素級(jí)分割是將來(lái)的一個(gè)探索方向。

[1]RADKE R J，ANDRA S，AL-KOFAHI O，et al.Image change detection algorithms:a systematic survey[J].IEEE Transactions on Image Processing，2005，14(3):294-307.

[2]潘翔鶴，趙曙光，柳宗浦.一種基于梯度圖像幀間差分和背景差分的運(yùn)動(dòng)目標(biāo)檢測(cè)新方法[J].光電子技術(shù)，2009，29(1):34-36.

[3]廖彬，杜明輝，胡金龍.基于梯度場(chǎng)的彩色圖像序列光流場(chǎng)算法[J].電視技術(shù)，2010，34(9):21-24.

[4]ZELNIK L，MACHLINE M，IRANI M.Multi-body factorization with uncertainty:revisiting motion consistency[J].International Journal of Computer Vision，2006，68(1):27-41.

[5]ROSTEN E，PORTER R，DRUMMOND T.Faster and better:a machine learning approach to corner detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32(1):105-119.

[6]LUCAS B，KANADE T.An iterative image registration technique with an application to stereo vision[EB/OL].[2012-11-20].http://wenku.baidu.com/view/c7876662caaedd3383c4d307.html.

[7]BIRCHFIELD S T，PUNDLIK S J.Joint tracking of features and edges[C]//Proc.IEEE Conference on Computer Vision and Pattern Recognition.[S.l.]:IEEE Press，2008:1-6.

[8]BARBER C，DOBKIN D，HUHDANPAA H.The quickhull algorithm for convex hulls[J].ACM Transactions on Mathematical Software，1996，22(4):469-483.

[9]FISCHLER M，BOLLES R.Random sample consensus:a paradigm for model fitting with applications to image analysis and automated cartography[J].Communications of the ACM，1981，24(6):381-395.

[10]WILLS J，AGARWAL S，BELONGIE S.What went where[C]//Proc.IEEE Conference on Computer Vision and Pattern Recognition.[S.l.]:IEEE Computer Society，2003:37-44.

[11]TRON R，VIDAL R.A benchmark for the comparison of 3-D motion segmentation algorithms[C]//Proc.IEEE Conference on Computer Vision and Pattern Recognition.[S.l.]:IEEE Press，2007:1-8.