摘 要:在分析常規(guī)的運動目標分割算法的基礎(chǔ)上,以計算簡單、速度快、能精確提取運動目標為原則,提出了基于特征對象的運動目標分割算法,并將該法與修正的Snake模型結(jié)合進行了運動目標外廓的精確提取.分析和實驗表明:該算法需要調(diào)整的參數(shù)少,計算簡單,速度快,抗干擾能力強,可以有效地消除多幀間運動目標的遮擋,在多運動目標不重疊的情況下,能精確定位多運動目標的外輪廓.
關(guān)鍵詞:多運動目標;修正的Snake模型;特征對象;檢測;外輪廓
中圖分類號:TN911.73 文獻標識碼:A
Multimovement Target Division Based on Correctional
Snake Model and Characteristic Object Method
CHENBingquan1,2,LIU Hongli1
(1. College of Electrical and Information Engineering,Hunan Univ,Changsha, Hunan 410082,China;
2. College of Physical Science and Information Engineering,Jishou Univ,Jishou, Hunan 416000,China)
Abstract:
Based on the moving target division algorithm and the principle of simple calculation, great speed, and precise withdrawal of the moving target, the authors proposed an automatic division algorithm of moving target based on characteristics object, which combines the algorithm with correctional snake model to precisely withdraw the external outline of the moving target. Analysis and experiments have shown that the algorithm is simple and fast, few parameters need to be adjusted, and the capacity to resist disturbance is strong. The multiframe moving object mask can be effectively eliminated. Without overlapping multiple moving objects, the external outline of each moving object can be precisely located.
Key words: multiple moving targets;correctional Snake model; characteristic object; examination; external outline
多運動目標分割是從動態(tài)圖像序列中檢測出運動目標,并將其與背景分離[1-6],目前其檢測的瓶頸在于背景的動態(tài)變化,如光照、影子、天氣等因素干擾,其精確性和準確性直接影響到目標的分割.分割的難點通常在于陰影的處理,如目標物的陰影與目標物相連;遮擋的處理,如運動目標的自遮擋、運動目標之間的遮擋、運動目標被景物遮擋等;干擾的影響,如植物的擺動、植物的陰影、水面的鏡面反射.圖像序列是一組按時間順序排列的瞬間圖像,不同時刻采集的二幀或多幀圖像中包含了
存在于相機與景物之間的相對運動信息,分割就是為了獲得感興趣的各種視知覺信息.目前由于建模算法的局限性,加上人們對視頻分割的實時性和通用性的需求,運動目標分割仍然是目前研究的重要課題.
傳統(tǒng)的分割算法主要有背景減除建模法、幀間差分算法、基于光流場和運動參數(shù)估計的分割方法[7]、基于形態(tài)學方法[8]、運動跟蹤法、基于分類的算法[9]、輔助方法[10].為了得到精確的目標外輪廓,通常使用Snake模型進行外輪廓的提取,該模型是動態(tài)“主動”輪廓模型,1987年由Kass等人提出,其定義一個能反映目標輪廓與灰度等信息的能量函數(shù),通過尋找自身能量函數(shù)的局部極小值,由初始位置向真實輪廓靠近,從而有較強的抗噪聲能力.本文提出了一種基于特征對象的運動目標分割算法,并將該法與修正的Snake模型結(jié)合進行了運動目標的分割.分析和實驗證明:該算法需要調(diào)整的參數(shù)少,抗干擾能力強,可以有效地消除多幀間運動目標的遮擋,能精確定位各個運動目標的外輪廓.
1 基于特征對象的幀間差分算法
基于特征對象的多運動目標自動分割算法實質(zhì)是基于時間差分法的改進算法,當圖像序列中的背景比較穩(wěn)定時,相鄰幀之間像素值變化大的區(qū)域就對應(yīng)于運動目標.為了提高其準確性,通常增強背景的穩(wěn)定性,采用全局運動估計和補償?shù)姆椒?,其模型如下:為補償攝像機本身的運動或運載平臺的運動所造成的視頻圖像中背景發(fā)生變化,先對當前視頻幀進行全局運動估計和補償.任取幀fi和fi+1,用Sfi(x0,y0)表示幀fi的像素灰度值,則
Sfi(x0,y0)=Sfi+1a1x0+a2y0+a3a7x0+a8y0+1,a4x0+a5y0+a6a7x0+a8y0+1.(1)
式中:a1,a2,…,a8為待估計的運動參數(shù).為了減少計算量,采用3層金字塔的層次塊匹配出各個觀察點像素的位移,當估計的運動參數(shù)a1-1,a2,a3,a4,a5-1,a6,a7,a8中的絕對值有一個大于2.5時,則進行相應(yīng)的運動補償[9],相鄰二幀像素灰度差PDi=f(x,y,ti)-f(x,y,ti-1).(2)
其中f(x,y,ti),f(x,y,ti-1)表示了時刻ti,ti-1的相鄰二幀圖像.當PDi的像素值超過一定的閾值時,則認為物體是運動的.但這對噪聲如光照條件的變化、云和草地的緩慢變化仍然比較敏感,于是定義符號差分為
SDMADi=MADi-MADi-1.(3)
式中:MADi是第i幀和第i+1幀的平均絕對差;MADi-1是第i-1幀和第i幀的平均絕對差;SDMADi是某幀fi的二次導數(shù),則對選取的閾值不敏感,當沒有景物變化時,SDMADi仍然在零附近有小的波動.
2 基于特征對象與修正的Snake混合模型
算法
2.1 混合算法原理
特征對象是一種幾何特征,由改進的KL變換從原始圖像序列中計算而得,它不僅具有運動對象的位置、形狀等信息,而且與原圖像序列的中間幀圖像相對應(yīng).本文提出了基于特征向量的運動目標分割算法,采用將時間信息和空間信息相結(jié)合的辦法,先使用邊緣檢測算子檢測特征對象的邊緣,由于特征對象中只含有運動目標,所以檢測到的邊緣則為運動目標的邊緣.在檢測邊緣時,利用紋理信息去除陰影,然后使用形態(tài)學算子對邊緣提取的結(jié)果進行填充,并使用連通算子計算連通區(qū)域,消除殘余的噪聲.最后使用修正的Snake模型進行外輪廓提取.筆者設(shè)計的運動目標分割及外輪廓精確提取算法的流程如圖1所示.
圖1 多運動目標分割算法流程
Fig.1 Algorithm process about multimovement
targets division
2.2 特征對象的運動目標檢測算法
背景差分法對噪聲敏感,若直接用背景差分結(jié)果求二值圖像,運動對象會淹沒在噪聲中.提取最大特征向量,可以改進運算的結(jié)果[11].好的分類是類中各元素與該類有很大的相關(guān)性,且在相似性矩陣中彼此有比較大的值.對于運動目標來說,可以利用特征向量區(qū)分運動物體與靜止物體,由于計算特征向量時使用了零均值向量,可以從理論上消除背景,PCA已具備這一條件,其第一特征向量代表最大方差的方向且對應(yīng)于運動物體.但當運動物體速度較快時,第一特征向量中運動物體的邊緣出現(xiàn)了模糊現(xiàn)象,由此檢測出的運動區(qū)域大于實際的運動區(qū)域.文獻[11-13]指出:對于整體運動的對象如剛體,可認為序列圖像前后幀差圖像灰度邊緣重合的部分為中間幀運動對象的邊緣,從而有效地解決了運動對象前后幀的遮擋問題.于是將KL變換進行改進,使之更符合圖像序列中運動目標的檢測,本文設(shè)計的算法如下:
1)協(xié)方差矩陣M的計算:通常計算協(xié)方差矩陣方法使用零均值向量,為了便于檢測連續(xù)幀中的運動目標且消除遮擋,可以將協(xié)方差矩陣M的計算方法設(shè)計為:
M=ATA+BTB+CTC=(X1-X2)T(X1-X2)+
(X3-X2)T(X3-X2)(X4-X3)T(X4-X3). (4)
式(4)使用了3個向量A,B,C, 其代表了4幀圖像序列中的前后幀間差.
2)特征對象V的定義:利用改進后的式(4)計算出與最大3個特征值對應(yīng)的3個特征向量為V1,V2和V3,將其乘積定義為特征對象為
V=V1×V2×V3. (5)
從式(5)可知,特征對象V不但具有運動對象的位置和形狀等信息,而且代表的運動對象與原圖像序列的中間幀的運動目標相對應(yīng),所以利用特征對象V與原始圖像中運動目標的對應(yīng)關(guān)系即可進行目標分割.
2.3修正的Snake模型的多運動目標外輪廓提取
將特征對象V變?yōu)槎祱D像,從而表示出運動目標的位置,然后利用V與原始圖像的位置對應(yīng)關(guān)系提取出運動目標,通常由于運動對象表面紋理不夠,從而導致二值目標內(nèi)部空洞及背景的部分小噪聲現(xiàn)象,可采用數(shù)學形態(tài)學中的填充、開關(guān)等算子對其進行內(nèi)部填充、除噪及邊緣平滑處理.對于復雜背景的序列幀,由于存在較大的背景噪聲,本文使用連通算子操作,對二值圖像進行連通區(qū)域的標注,認為構(gòu)成運動目標的連通區(qū)域的面積比噪聲連通區(qū)域大很多,設(shè)定閾值從而排除噪聲區(qū)域.然而由特征對象V得到二值圖像時為了降低噪聲,對初始閾值的要求比較嚴格.若閾值選取偏大,則得到不完整的運動目標;閾值選取偏小,則提取結(jié)果中不但包括運動目標,還包含了目標周圍小范圍的背景.
本文設(shè)計了合適的后續(xù)算法,從而可以降低閾值對算法的約束性,即修正的Snake模型:定義圖像輪廓vi=(xi,yi),(i=0,1,2,…,n).其模型參數(shù)v(s)=(x(s),y(s)),且s∈[0,1]為歸一化曲線長度,動態(tài)輪廓的總能量函數(shù)為[5,11]
Esnake=∫10E(v(s))ds=∫10[Eint (v(s))+
Eimage(v(s))+Econ(v(s))]ds .(6)
式中:Eint 為內(nèi)部能量;Eimage為圖像作用力產(chǎn)生的內(nèi)部能量;Econ為約束能量,且
Eint(v(s))=(α(s)vs(s)2+β(s)vss(s)2), (7)
Eimage(v(s))=wtineEtine(v(s))+
wedgeEedge(v(s))+wtermEterm(v(s)),(8)
Econ(v(s))=-k(x1-x2)2.(9)
具體推導過程參見文獻[11,14].
最小化Snake能量函數(shù)的算法中g(shù)reedy算法雖然不能達到最優(yōu)解[15],保留了動態(tài)規(guī)劃算法可靠性高、穩(wěn)定性好的優(yōu)點,且計算簡單.但原始greedy算法中,內(nèi)部收縮力很難和圖像特征吸引力達到平衡,從而造成輪廓過收縮或沒有達到實際輪廓的現(xiàn)象.基于這一問題,運動邊緣注冊輪廓收縮算法,在貪婪greedy算法的基礎(chǔ)上增加外部約束力:在輪廓進行收縮時,若輪廓點到達其對應(yīng)的運動邊緣點,則在運動邊緣圖中對此點進行注冊,已經(jīng)注冊過的點認為已經(jīng)達到了它最終的位置,不再移動.對于運動邊緣圖中邊緣斷點造成的輪廓點沒有對應(yīng)的運動邊緣點的情況,采用貪婪greedy算法運用能量最小化準則可以平滑連接真實運動輪廓點之間的斷點.
3 實驗結(jié)果分析
實驗利用Matlab7.8進行軟件仿真,測試序列為公用序列.選取室外復雜背景下多運動目標的視頻序列為測試對象,并與一些經(jīng)典的算法進行了比較,將實驗結(jié)果與手工分割的groundtruth結(jié)果進行比較分析.
圖2所示為室外環(huán)境下多運動目標(人和車子)的分割過程與結(jié)果,圖像序列中的4幀可以不連續(xù),但相隔要近.分割的背景包括了一組建筑物,還有遠處的樹木、停車場中的多輛汽車、大片的草地以及運動目標的影子.由4幀圖像計算出的特征對象表明:在原始目標分辨率較低的情況下,利用式(4)和式(5)進行運動目標檢測時,運動目標后方的陰影與運動目標的可分離度較高,檢測結(jié)果基本不受陰影的影響.對于汽車而言,由于汽車下方的陰影與汽車相連,且相對于汽車陰影面積占據(jù)一定的比例,在進行形態(tài)濾波時,造成部分陰影與目標粘連,對運動目標的檢測產(chǎn)生了一定的影響.圖2(e)為計算出的特征對象,該圖包含了豐富的運動目標位置、形狀等信息,可進一步進行靜態(tài)分割.圖2(f)為對特征對象的邊緣檢測結(jié)果,其中包含了一些噪聲.圖2(i)為本文提出的算法分割結(jié)果.經(jīng)比較可以看到,由特征對象法提取的運動目標位置準確,與實際目標形狀上的貼和度也較高.
表1為修正的Snake模型提取的目標與手工分割的目標之間、特征對象法提取的目標與手工分割目標間的超出比與收縮比[11]等參數(shù).從表1中可以看到,對同一幅圖像,特征對象法的超出比要大于修正的Snake模型法的超出比,即特征對象法提取的目標外輪廓更大一點.從總像素點數(shù)目差來看,特征對象法沒有匹配上的像素點也更多些.2種算法提取的目標外輪廓與手工提取的目標外輪廓貼近度都較高,修正的Snake模型貼近度更高些.
以上實驗結(jié)果顯示,特征對象法可準確檢測出圖像序列中的運動目標并進行目標分割.但由于受到閾值的制約,提取的目標輪廓與目標不很貼近.而使用修正的Snake混合模型則可得到更為精確的運動目標外輪廓.
4 結(jié) 論
在分析多運動目標分割算法的基礎(chǔ)上,以計算簡單、速度快、能準確分割運動目標并精確提取目標外輪廓為原則,提出了基于特征對象的多運動目標自動分割算法,并在該算法的基礎(chǔ)上設(shè)計了基于修正的Snake模型的運動目標外輪廓精確提取算法,將提取的運動目標與手動分割的運動目標進行比較,大量的實驗數(shù)據(jù)和結(jié)果證明,本文方法有效,且抗干擾能力強,有效地消除了運動間的遮擋.
參考文獻
[1] 方帥,薛方正,徐心和.基于背景建模的動態(tài)目標檢測算法的研究與仿真[J].系統(tǒng)仿真學報, 2005,17(1):159-161.
FANG Shuai, XUE Fangzheng, XU Xinhe. Moving object detection based on selfadaptive background modeling[J].Acta Simulata Systematica Sinica,2005,17(1):159-161.(In Chinese)
[2] 盧官明,郎蘇娟. 基于YCbCr顏色空間的背景建模及運動目標檢測[J].南京郵電大學學報:自然科學版, 2009,29(6):17-22.
LU Guanming, LANG Sujuan. Background modeling and moving object detection based on YCbCr color space[J]. Journal of Nanjing University of Posts and Telecommunications: Natural Science, 2009,29(6):17-22. (In Chinese)
[3] 周箴毅,胡福喬. 基于背景建模的動態(tài)場景目標檢測[J]. 計算機工程,2008,34(24):203-205.
ZHOU Zhenyi, HU Fuqiao. Object detection in nonstationary scenes based on background modeling [J].Computer Engineering, 2008,34(24):203-205. (In Chinese)
[4] 徐瑋,王煒,張茂軍, 等. 虛擬實景對象建模與表現(xiàn)[J].計算機仿真,2009,26(12):214-217.
XU Wei, WANG Wei, ZHANG Maojun, et al. Modeling and presentation of virtual reality object[J]. Computer Simulation, 2009,26(12):214-217. (In Chinese)
[5] GAVRILA D M. The visual analysis of human movement: a survey [J]. Computer Vision and Image Understanding,1999, 73(1):82-98.
[6] XU H F,AYOUNIS A A,KABUKA M R. Automatic moving object extraction for contentbased applications [J]. IEEE Transactions on Circuits and Systems for Video Technology,2004, 4(5): 796-812.
[7] NETI A, COLONNESE S, RUSSO G, et al. Automatic moving object and background separation [J]. Signal Processing, 1998,66(2):219-232.
[8] GHARAVI H, MILLS M. Blockmatching motion estimation algorithms-new results [J]. IEEE Transaction on Circuits and Systems, 1990, 37(5): 649-651.
[9] DANIEL G P, CHUANG G, SUN M T. Semantic video object extraction using fourband water shed and partition lattice operators [J]. IEEE Transactions on Circuits and Systems for Video Technology,2001,11(5): 603-618.
[10]LOANNIS K, MICHAEL G S. Spatiotemporal segmentation and tracking of objects for visualization of video conference image sequences [J]. IEEE Transactions on Circuits and Systems Video Technology, 2000, 10(8):1388-1402.
[11]李春明.視頻圖像中的運動人體檢測和人臉識別[D].西安:西安電子科技大學,2005.
LI Chunming.Moving human body detection and face recognition in video images[D]. Xi′an:Xi′dian University,2005.(In Chinese)
[12]WANG Xiaogang, TANG Xiaoou. A unified framework for subspace face recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2004, 26(9): 1222-1223.
[13]DUBUISSON M P, JAIN A K. Contour extraction of moving objects in complex outdoor scenes [J].International Journal of Computer Vision,1995,14(1): 83-105.
[14]KASS M, WITKIN A, TERZOPOULOS D. Snakes: active contour models[J]. International Journal of Computer, 2007, 39(4):321-331.
[15]ZHANG Dengsheng, LU Guojun. Review of shape representation and description techniques[J].Pattern Recognition, 2004, 37:1-19.