基于角點(diǎn)的動態(tài)背景下運(yùn)動目標(biāo)檢測算法改進(jìn)

肖春明

摘 要： 由于動態(tài)攝像機(jī)行為造成了背景模糊等問題，結(jié)合角點(diǎn)矩特征的全局運(yùn)動估計(jì)算法，將最大類間方差法引入RANSAC估計(jì)算法，對常用的RANSAC算法進(jìn)行改進(jìn)。在目標(biāo)檢測過程中，利用基于差分相乘原理的運(yùn)動目標(biāo)檢測算法實(shí)現(xiàn)了運(yùn)動目標(biāo)的檢測定位。針對獲取到目標(biāo)位置的后續(xù)幀序列的目標(biāo)檢測，提出了基于改進(jìn)的奇異值分解的角點(diǎn)匹配的運(yùn)動目標(biāo)檢測算法。實(shí)驗(yàn)表明，提出的算法對于背景發(fā)生變化的場景，能達(dá)到較好的背景運(yùn)動補(bǔ)償效果，在隨后測量的動態(tài)背景狀態(tài)下，可以準(zhǔn)確檢測后續(xù)幀序列的運(yùn)動目標(biāo)，并且具有良好的魯棒性。

關(guān)鍵詞： 目標(biāo)檢測； 全局運(yùn)動估計(jì)； 角點(diǎn)； 奇異值分解

中圖分類號： TN911.73?34 文獻(xiàn)標(biāo)識碼： A 文章編號： 1004?373X（2016）07?0066?05

Abstract： To resolve the indistinct background problem caused by dynamic camera behavior， and in combination with the global motion estimation algorithm of angular point distance feature， the maximum interclass variance method is introduced into the RANSAC estimation algorithm to improve the common RANSAC algorithm. The moving object detection algorithm based on difference multiply principle is used to detect and locate the moving object in object detection process. Aiming at the object detection of follow?up frame sequence of the obtained object location， the moving target detection algorithm based on angular point marching of improved singular value decomposition is proposed. The experimental results demonstrate that the proposed algorithm has good background motion compensation effect in dynamic background， and can accurately detect the moving target of the follow?up frame sequence in the subsequent measured dynamic background measurement. The algorithm has good robustness.

Keywords： target detection； global motion estimation； angular point； singular value decomposition

0 引 言

運(yùn)動目標(biāo)檢測是計(jì)算機(jī)視覺最主要的研究方向和難點(diǎn)之一[1?2]，主要涉及到圖像理解、模式識別、人工智能、自動控制和機(jī)器視覺等有關(guān)專業(yè)學(xué)科和領(lǐng)域的知識，并且已經(jīng)被廣泛地應(yīng)用到很多場合 [3]。運(yùn)動目標(biāo)檢測為后續(xù)的目標(biāo)跟蹤和目標(biāo)識別奠定了良好的基礎(chǔ)。在現(xiàn)實(shí)生活中，大量有意義的視覺信息包含在運(yùn)動之中，人類可以憑借自身強(qiáng)大的視覺系統(tǒng)獲取80%的信息[4]，通過大腦的分析判斷出運(yùn)動目標(biāo)，而對于計(jì)算機(jī)視覺而言，從獲取視頻到分析出運(yùn)動的物體成為關(guān)鍵問題。

基于視頻的目標(biāo)檢測系統(tǒng)具有結(jié)構(gòu)簡單、隱蔽性好、抗干擾能力強(qiáng)的優(yōu)點(diǎn)，而且視頻檢測系統(tǒng)采用價格低廉的攝像機(jī)和光學(xué)成像結(jié)構(gòu)，具有更高的性價比。通過攝像機(jī)采集回來的圖像信息，可以獲得關(guān)于運(yùn)動目標(biāo)的豐富信息，具有很高的直觀性和可靠性。因此，研究運(yùn)動目標(biāo)檢測的有關(guān)問題，在理論上和應(yīng)用價值上都具有重要的意義。

1 基于角點(diǎn)矩特征的背景運(yùn)動補(bǔ)償算法

1.1 基于Harris算子的角點(diǎn)矩特征的提取及匹配設(shè)計(jì)

Harris[5]算子是在 Moravec算子的基礎(chǔ)上進(jìn)行改進(jìn)的。因此，它也是一種基于信號的特征點(diǎn)提取算子。通過在圖像位置建立局部窗口，監(jiān)測窗口各個方向的能量數(shù)值和變化。對圖像亮度改變具有無關(guān)性，算法只關(guān)注梯度。因此系統(tǒng)運(yùn)動后只發(fā)生了方向的改變，系統(tǒng)具有旋轉(zhuǎn)穩(wěn)定性。同時，Harris特征點(diǎn)提取算子適用于角點(diǎn)數(shù)目較多并且光源復(fù)雜的情況。但是，Harris角點(diǎn)不具有尺度不變性。因此本文引入不變矩特征對其進(jìn)行改良。Hu最早提出了幾何矩特征，1962年，他在幾何不變量理論的基礎(chǔ)上提出了幾何矩的概念[6]。Hu構(gòu)造了7個不變矩并證明了相應(yīng)的矩組對于平移、旋轉(zhuǎn)和縮放變換的不變性。

本文將角點(diǎn)和矩特征進(jìn)行結(jié)合，以彌補(bǔ)Harris角點(diǎn)不具備縮放不變性的缺點(diǎn)，提高角點(diǎn)的穩(wěn)定性，從而可以實(shí)現(xiàn)在視頻序列中存在平移、旋轉(zhuǎn)和縮放時，具有一種穩(wěn)定的特征進(jìn)行全局運(yùn)動估計(jì)和補(bǔ)償，最終實(shí)現(xiàn)準(zhǔn)確的運(yùn)動目標(biāo)檢測。在視頻序列中角點(diǎn)矩特征的提取步驟主要分為：

（1） 在每一幀圖像中提取Harris角點(diǎn)；

（2） 在獲得角點(diǎn)的[W×W]的鄰域內(nèi)進(jìn)行矩特征的計(jì)算，即得到一個7維的圖像特征向量。

在實(shí)現(xiàn)角點(diǎn)矩特征向量的提取后，需要對已提取的特征向量進(jìn)行幀間的匹配。角點(diǎn)矩特征向量的匹配原理是：視頻序列中存在仿射變換時，矩特征對仿射變換具有不變性，因此對應(yīng)角點(diǎn)特征向量的矩值是相等的或者是相近的，對于誤匹配的角點(diǎn)向量的矩值存在較大變化。

本文中采用計(jì)算特征向量之間的歐式距離進(jìn)行角點(diǎn)矩特征的匹配。即尋找特征向量在待匹配向量集中與其歐式距離最小的向量且該距離小于設(shè)定閾值[T，]如果滿足條件則該特征向量對相互匹配，否則從初匹配特征向量集中刪除該特征向量。將匹配的特征點(diǎn)集作為運(yùn)動信息的表達(dá)，便于進(jìn)行參數(shù)估計(jì)的計(jì)算。在角點(diǎn)矩特征點(diǎn)集中既包含有背景點(diǎn)，又有前景點(diǎn)，也就是進(jìn)行魯棒的參數(shù)估計(jì)所指的內(nèi)點(diǎn)和外點(diǎn)。把提取出的角點(diǎn)矩特征點(diǎn)集作為待估計(jì)點(diǎn)集，如何將該點(diǎn)集中的外點(diǎn)去除，是進(jìn)行全局運(yùn)動估計(jì)的關(guān)鍵。

1.2 基于改進(jìn)的RANSAC全局運(yùn)動估計(jì)算法

傳統(tǒng)的RANSAC算法是將所有的點(diǎn)都代入?yún)?shù)估計(jì)模型，將估計(jì)殘差大于所選閾值的點(diǎn)作為外點(diǎn)，迭代[N]次，最終求得所有的內(nèi)點(diǎn)。但是外點(diǎn)數(shù)據(jù)在迭代過程中對估計(jì)精度會造成影響，而且在攝像機(jī)存在旋轉(zhuǎn)運(yùn)動時，仿射模型對外點(diǎn)的敏感加強(qiáng)[7]。因此，為了提高全局運(yùn)動估計(jì)的精度，本文將最大類間方差引入RANSAC。

首先，利用RANSAC算法進(jìn)行全局運(yùn)動參數(shù)的初始值估計(jì)。然后，計(jì)算每個點(diǎn)的估計(jì)殘差[r：]

在本文中，把從圖像中提取出的[n]個角點(diǎn)矩的特征點(diǎn)作為全局運(yùn)動估計(jì)的點(diǎn)，設(shè)其殘差點(diǎn)集為[R={r1，r2，…，rn}]。令閾值[Tr∈R，]根據(jù)殘差值的大小將點(diǎn)集殘差分為兩類：

本節(jié)詳細(xì)闡述了角點(diǎn)矩特征的提取及匹配、基于角點(diǎn)矩特征改進(jìn)的RANSAC全局運(yùn)動估計(jì)及補(bǔ)償?shù)倪^程，其流程圖如圖1所示。

2 運(yùn)動背景下基于特征的運(yùn)動目標(biāo)檢測

2.1 角點(diǎn)匹配的基本原理

角點(diǎn)匹配的基本原理通過確定圖像[J]和圖像[I]的單獨(dú)相應(yīng)的組點(diǎn)，在無誤確定相應(yīng)的點(diǎn)特征的情況下，算法可以進(jìn)一步進(jìn)行最優(yōu)匹配，完成圖像最終的匹配。

相匹配的特征點(diǎn)對由于矩陣[P]和[G]具有一致的結(jié)構(gòu)被進(jìn)一步突出，這種結(jié)構(gòu)具有抑制非對應(yīng)的特征。

當(dāng)矩陣[P]中的元素[Pi，j]既是所在列所有元素中的最大值，同時也是所在行所有元素中的最大值，相互對應(yīng)的特征點(diǎn)則為特征點(diǎn)[Ii]和[Jj，]當(dāng)元素[Pi，j]不具備上述特征時，則說明[Ii]和[Jj]不匹配[8]。

2.2 改進(jìn)的角點(diǎn)匹配的運(yùn)動目標(biāo)檢測算法

本文提出的改進(jìn)的基于奇異值分解的角點(diǎn)匹配算法，核心思想是通過改變該算法中涉及到的相似矩陣構(gòu)造相關(guān)系數(shù)，達(dá)到適用于運(yùn)動目標(biāo)角點(diǎn)匹配的目標(biāo)，解決了由于運(yùn)動目標(biāo)位置變化導(dǎo)致待匹配的兩組角點(diǎn)中正確配對的角點(diǎn)之間距離相關(guān)性降低，造成誤匹配角點(diǎn)對的問題。其核心流程如圖1所示。

由式（9）可以看出，在相似矩陣構(gòu)造過程中，上述的核心匹配方法考慮了距離的影響。然而，誤匹配角點(diǎn)的數(shù)量增加，多數(shù)由于運(yùn)動目標(biāo)位置的變化導(dǎo)致待匹配的兩組角點(diǎn)中正確配對的角點(diǎn)之間距離相關(guān)性降低。正確描述這些對應(yīng)的特征點(diǎn)是研究的關(guān)鍵所在。在式（9）中，基于奇異值分解的角點(diǎn)匹配算法使用公式[r2i，j=Ii-Jj]描述兩點(diǎn)之間距離的相關(guān)性，即兩個特征點(diǎn)[Ii]和[Jj]之間的歐氏距離。然后，針對運(yùn)動目標(biāo)，兩個特征點(diǎn)之間的歐式距離不能準(zhǔn)確描述兩點(diǎn)之間的距離相關(guān)性。

式中：目標(biāo)運(yùn)動的距離估計(jì)通過目標(biāo)運(yùn)動區(qū)域預(yù)測中心與模板中心在[y]軸和[x]軸的差值分別用[Δcenter x]和[Δcenter y]表征。系統(tǒng)針對目標(biāo)運(yùn)動中心位移及區(qū)域的預(yù)測使用Kalman濾波算法進(jìn)行。

通過四個主要步驟，基于奇異值分解的角點(diǎn)匹配算法可以改善運(yùn)動目標(biāo)的檢測：

（1） 確定目標(biāo)模板。通過上一節(jié)全局運(yùn)動補(bǔ)償后，且經(jīng)過基于差分相乘原理的運(yùn)動目標(biāo)檢測獲取形心位置來捕獲得到目標(biāo)區(qū)域。將視頻序列中測量的運(yùn)動目標(biāo)的矩形區(qū)域作為目標(biāo)模板，然后檢測目標(biāo)角點(diǎn)。

（2） 確定目標(biāo)預(yù)測區(qū)域。使用Kalman濾波預(yù)測下一幀目標(biāo)位置的特征點(diǎn)作為目標(biāo)模板的中心，從而得到目標(biāo)預(yù)測區(qū)域，最終獲取檢測角點(diǎn)。

（3） 確定偏移距離。通過步驟（1）和步驟（2）計(jì)算得到的角點(diǎn)進(jìn)行匹配，再去除其誤匹配角點(diǎn)，目標(biāo)位置預(yù)測的特征點(diǎn)是由正確角點(diǎn)的聚類中心構(gòu)成，由此計(jì)算目標(biāo)預(yù)測中心與目標(biāo)模板中心的偏移距離。

（4） 檢測運(yùn)動目標(biāo)。利用改進(jìn)的角點(diǎn)匹配算法進(jìn)行角點(diǎn)匹配，同時檢測當(dāng)前幀中目標(biāo)預(yù)測區(qū)域的角點(diǎn)，最后檢測到運(yùn)動目標(biāo)并用矩形框標(biāo)將其標(biāo)注出來。具體的算法流程框圖如圖2所示。

運(yùn)動目標(biāo)檢測流程圖

3 算法仿真試驗(yàn)

3.1 基于改進(jìn)的RANSAC全局運(yùn)動估計(jì)算法驗(yàn)證分析

實(shí)驗(yàn)1：實(shí)驗(yàn)中對河流中船只運(yùn)動的視頻序列中連續(xù)的兩幀進(jìn)行全局運(yùn)動估計(jì)和補(bǔ)償。圖3給出了視頻序列上相鄰兩幀在完成全局運(yùn)動估計(jì)和補(bǔ)償前后的幀差。從圖3中可以看出本文提出的全局運(yùn)動估計(jì)和補(bǔ)償算法能夠?qū)g的運(yùn)動背景準(zhǔn)確對齊。

實(shí)驗(yàn)2：為了證明基于RANSAC改進(jìn)算法的效果，通過對比實(shí)驗(yàn)，詳細(xì)分析了RANSAC算法和改進(jìn)RANSAC算法的全局運(yùn)動精度。通常采用相鄰兩幀完成全局運(yùn)動估計(jì)和補(bǔ)償后的峰值信噪比來衡量全局運(yùn)動估計(jì)的精度，圖中所示，在背景區(qū)域內(nèi)隨著差分圖像[Id]非零像素點(diǎn)的不斷降低，系統(tǒng)的信噪比PSNR不斷升高的情況下，系統(tǒng)非零值不斷減小，進(jìn)一步證明了運(yùn)動補(bǔ)償算法的效果顯著。本實(shí)驗(yàn)在視頻序列1和視頻序列2中分別提取了30幀圖像進(jìn)行信噪比的計(jì)算，圖4為兩種方法的信噪比對比圖。

3.2 基于改進(jìn)的奇異值分解的角點(diǎn)匹配的運(yùn)動目標(biāo)檢測算法驗(yàn)證分析

實(shí)驗(yàn)是在3.1節(jié)中對相鄰兩幀進(jìn)行了全局運(yùn)動估計(jì)與補(bǔ)償?shù)幕A(chǔ)上實(shí)現(xiàn)的。在對相鄰幀進(jìn)行了全局運(yùn)動的估計(jì)和補(bǔ)償后，可以按照靜態(tài)背景下的運(yùn)動目標(biāo)檢測算法檢測并定位出運(yùn)動目標(biāo)，試驗(yàn)采用基于差分相乘原理的運(yùn)動目標(biāo)檢測算法進(jìn)行運(yùn)動目標(biāo)的檢測和定位。然后，根據(jù)獲得的運(yùn)動目標(biāo)形心，采用基于改進(jìn)奇異值分解的角點(diǎn)匹配的運(yùn)動目標(biāo)算法進(jìn)行后續(xù)幀的目標(biāo)檢測。

實(shí)驗(yàn)中對船只的視頻序列進(jìn)行后續(xù)的檢測。首先對視頻序列中連續(xù)的四幀進(jìn)行全局運(yùn)動估計(jì)和補(bǔ)償，即在連續(xù)的四幀第10幀、第11幀、第12幀、第13幀中，估計(jì)第10幀和第11幀的全局運(yùn)動，并進(jìn)行全局補(bǔ)償；同理，對第12幀和第13幀進(jìn)行處理。圖5（a）～（c）分別表示第10幀原始圖像、第11幀原始圖像、全局運(yùn)動補(bǔ)償結(jié)果。

圖5（d）～（f）分別表示第12幀原始圖像、第13幀原始圖像、全局運(yùn)動補(bǔ)償結(jié)果。圖5（g）～（i）分別表示第11幀與補(bǔ)償幀的幀差二值圖、第13幀與補(bǔ)償幀的幀差二值圖、差分相乘結(jié)果。圖5（j），圖5（k）分別表示對圖5（i）進(jìn)行形態(tài)學(xué)濾波處理、連通域分析，最終確定目標(biāo)范圍獲取形心圖。

圖6中顯示了獲取形心后，利用改進(jìn)的基于奇異值分解的角點(diǎn)匹配的運(yùn)動目標(biāo)檢測算法對運(yùn)動目標(biāo)檢測的6幀圖像?？梢钥闯鲈撍惴梢苑€(wěn)定的檢測出運(yùn)動目標(biāo)，當(dāng)背景中出現(xiàn)其他運(yùn)動目標(biāo)時，該算法依然能夠保持良好的檢測效果。

4 結(jié) 論

本文提出了基于角點(diǎn)矩特征的全局運(yùn)動估計(jì)算法。此外，本文將最大類間方差的方法引入了隨機(jī)抽樣一致性估計(jì)算法中，改善了參數(shù)估計(jì)的精度，且在計(jì)算速度上有所提高。針對全局運(yùn)動估計(jì)和補(bǔ)償?shù)膹?fù)雜性，實(shí)際運(yùn)動目標(biāo)檢測的實(shí)時性檢測難以滿足。本文提出了一種基于改進(jìn)的奇異值分解的角點(diǎn)匹配的運(yùn)動目標(biāo)檢測算法，該算法具有計(jì)算簡單的特點(diǎn)，為運(yùn)動目標(biāo)檢測系統(tǒng)的實(shí)時性實(shí)現(xiàn)奠定了基礎(chǔ)。

參考文獻(xiàn)

[1] FUJIMOTO L， YAMADA Y， MORIZONO T， et al. Development of artificial finger skin to detect incipient slip for realization of static friction sensation [C]// Proceedings of 2003 IEEE Conference on Multisensor Fusion and Integration for Intelligent System. [S.l.]： IEEE， 2003： 15?21.

[2] AZARBAYEJANI A， WREN C， PENTLAND A. Real?time 3?d tracking of the human body [J]. IEEE transactions on pattern analysis and machine intelligence， 1996， 19（7）： 780?785.

[3] 謝文輝.動態(tài)場景下運(yùn)動目標(biāo)檢測與跟蹤算法研究[D].武漢：華中科技大學(xué)，2011.

[4] 章毓晉.圖像工程（上冊）[M].2版.北京：清華大學(xué)出版社，2005：1?10.

[5] HARRIS C， STEPHENS M.A combined corner and edge detector [C]// Proceedings of the 4th Alvey Vision Conference. Manchester： ACM， 1988： 147?151.

[6] HU M K. Visual pattern recognition by moment invariants [J].IRE transactions on information theory， 1962： 8（2）： 179?187.

[7] WU Yiliang. An image matching method based on SIFT and SUSAN features [J]. Microcomputer & its applications， 2011（12）： 33?35.

[8] CHEN Shuqiao. A corner matching algorithm based on Harris operator [C]// Proceedings of 2010 2nd International Confe?rence on Information Engineering and Computer Science. Wuhan， China： IEEE， 2010： 1?2.