一種基于幀間差與圖像分割的運(yùn)動目標(biāo)分割方法

陳 娟, 應(yīng) 駿, 王 健, 曾 爽

(上海師范大學(xué) 信息與機(jī)電工程學(xué)院 數(shù)字社區(qū)與智能家居研究中心,上海 200234)

一種基于幀間差與圖像分割的運(yùn)動目標(biāo)分割方法

陳 娟, 應(yīng) 駿*, 王 健, 曾 爽

(上海師范大學(xué) 信息與機(jī)電工程學(xué)院 數(shù)字社區(qū)與智能家居研究中心,上海 200234)

視頻圖像中對運(yùn)動目標(biāo)進(jìn)行分割是十分有意義的.傳統(tǒng)的背景減除法和幀間差法在提取運(yùn)動目標(biāo)的時候各有自身難以克服的缺點(diǎn).基于閾值、邊緣、直方圖的圖像分割一般只適合于靜態(tài)目標(biāo)的分割.提出一種結(jié)合圖像分割(Graph Cuts)和幀間差的新方法進(jìn)行運(yùn)動目標(biāo)分割.幀間差法具有良好的穩(wěn)健性,而Graph Cuts算法則彌補(bǔ)了幀間差無法獲得完整運(yùn)動信息的缺點(diǎn).利用幀間差法得到不完整的運(yùn)動信息對Graph Cuts進(jìn)行分割約束可以準(zhǔn)確、穩(wěn)定地提取出運(yùn)動目標(biāo).

幀間差法; 圖像分割; 運(yùn)動分割

0 引 言

在視頻圖像場景中分割出運(yùn)動物體,這在安全監(jiān)控、火焰識別、醫(yī)學(xué)圖像、人機(jī)交互等領(lǐng)域都有重要意義.在視頻中對動態(tài)目標(biāo)提取常用的方法有背景減除法、幀間差法、光流法以及基于這幾種方法改進(jìn)或者兩兩結(jié)合的方法;在圖像分割中常用的有閾值分割法、基于邊緣的分割法、直方圖法等.對于運(yùn)動目標(biāo)的分割,文獻(xiàn)[1]采用馬爾科夫隨機(jī)場的算法以及迭代優(yōu)化算法,獲得最小能量函數(shù)對運(yùn)動目標(biāo)進(jìn)行分割.文獻(xiàn)[2]在環(huán)境復(fù)雜,目標(biāo)移動緩慢,目標(biāo)本身體積微小的情況下采用基于人工神經(jīng)網(wǎng)絡(luò)和聚類的方法對微弱運(yùn)動進(jìn)行檢測和跟蹤,但是神經(jīng)網(wǎng)絡(luò)的訓(xùn)練需要花費(fèi)大量的時間.文獻(xiàn)[3]采用動態(tài)規(guī)劃算法來檢測和跟蹤運(yùn)動目標(biāo).文獻(xiàn)[4]和[5]采用背景減除法進(jìn)行運(yùn)動目標(biāo)檢測,并在FPGA上實(shí)現(xiàn),其優(yōu)點(diǎn)是實(shí)時性好,缺點(diǎn)是隨著場景的不斷變化,需要不停更新背景來提高檢測的穩(wěn)健性.本文作者利用幀間差法結(jié)合圖像分割(Graph Cuts)算法提出一種新的運(yùn)動目標(biāo)分割的方法.

1 一種新的運(yùn)動目標(biāo)分割的方法

Graph Cuts在摳圖時要進(jìn)行相關(guān)的約束,需要給出前景圖像的大致位置以及若干前景像素點(diǎn)和若干背景像素點(diǎn).這些約束通常都是經(jīng)過人機(jī)交互手動完成的.

對于視頻中的運(yùn)動目標(biāo)往往存在許多幀,手動約束顯然不現(xiàn)實(shí).通過幀間差分法可以檢測出運(yùn)動物體的大致輪廓,根據(jù)物體輪廓構(gòu)建一個最小外接矩形作為Graph Cuts分割前景時的約束矩形,矩形邊緣內(nèi)部為前景像素點(diǎn),矩形邊緣外部為背景像素點(diǎn);取部分點(diǎn)作為種子前景點(diǎn),取部分點(diǎn)作為種子背景點(diǎn)作為Graph Cuts分割前景時的參考像素點(diǎn).

1.1 Graph Cuts算法

Graph Cuts是一種十分有用和流行的能量優(yōu)化算法,20世紀(jì)90年代末Boykov等人[6]提出基于Graph Cuts的前景提取,目前在計算視覺領(lǐng)域Graph Cuts普遍應(yīng)用于前景分割、摳圖等.

Graph Cuts在進(jìn)行圖像分割時,需要手動對圖像的前景和背景進(jìn)行標(biāo)記作為約束.然后根據(jù)圖形的邊界和區(qū)域特性定義一個能量函數(shù).通過全局最優(yōu)使能量函數(shù)最小從而對未標(biāo)記的部分自動分割.圖像的能量

E(L)=aR(L)+B(L),

(1)

其中,R(L)為區(qū)域項(xiàng)(regional term),B(L)為邊界項(xiàng)(boundary term),a是區(qū)域項(xiàng)和邊界項(xiàng)之間的重要因子,決定它們對能量影響的大小.如果a為0,那么就只考慮邊界因素,不考慮區(qū)域因素.E(L)表示能量函數(shù),圖割的目標(biāo)就是優(yōu)化能量函數(shù)使其值達(dá)到最小[7].區(qū)域項(xiàng)

(2)

其中Rp(lp)表示為像素p分配標(biāo)簽lp的懲罰因子.Rp(lp)能量項(xiàng)的值可以通過比較像素p的灰度與給定的目標(biāo)和前景的灰度直方圖來獲得.將預(yù)定義的種子點(diǎn)作為前景的概率表示為:Pr(Ip|′obj′);將預(yù)定義的種子點(diǎn)作為背景的概率表示為:Pr(Ip|′bkg′).分割時希望能量最小,所以懲罰因子R取概率的負(fù)對數(shù)值,0代表背景,1代表前景則

Rp(1) = -lnPr(Ip|′obj′),

(3)

Rp(0) = -lnPr(Ip|′bkg′).

(4)

由(3)式和(4)式可以看到,當(dāng)像素p的灰度值屬于目標(biāo)的概率Pr(Ip|′obj′)大于背景Pr(Ip|′bkg′),那么Rp(1)就小于Rp(0),也就是說當(dāng)像素p更有可能屬于目標(biāo)時,將p歸類為目標(biāo)就會使能量R(L)小.如果全部的像素都被正確劃分為目標(biāo)或者背景,這時候能量就是最小的.邊界項(xiàng)

(5)

邊界平滑項(xiàng)主要體現(xiàn)分割L的邊界屬性,其中,p和q為鄰域像素,B可以解析為像素p和q之間不連續(xù)的懲罰.一般來說如果p和q越相似,那么B越大,如果他們非常不同,那么B就接近于0[6].換句話說,如果兩鄰域像素差別很小,那么它屬于同一個目標(biāo)或者同一背景的可能性就很大,如果他們的差別很大,那說明這兩個像素很有可能處于目標(biāo)和背景的邊緣部分,則被分割開的可能性比較大.所以當(dāng)兩鄰域像素差別越大,B越小,即能量越小[8].

1.2 幀間差分

幀間差法是利用兩幀圖像相減從而得到運(yùn)動信息.圖像中物體位置發(fā)生了變化,則該處的像素灰度值也相應(yīng)變化,而物體位置沒有發(fā)生變化則該處的像素灰度值基本不變化.由于兩幀之間時間間隔短,受光線等外界因素干擾小,幀間差法檢測出的前景目標(biāo)像素點(diǎn)準(zhǔn)確,對光線場景的適應(yīng)能力很強(qiáng),不會引入較多的噪聲點(diǎn)[9].

但是幀間差法往往無法提取出完整的運(yùn)動目標(biāo)信息,在運(yùn)動目標(biāo)本身灰度值較為均勻且運(yùn)動速度較慢的情況下,利用幀間差法檢測出的一般為運(yùn)動物體的邊緣像素點(diǎn).

1.3 Graph Cuts與幀間差分相結(jié)合的前景分割法

如圖1所示,假設(shè)圖中是一個水平向右運(yùn)動的矩形的第N幀與第N+1幀,兩幀相減后得到的區(qū)域可以分為I、II、III三個部分.對于一般灰度值均勻的運(yùn)動目標(biāo),區(qū)域III在經(jīng)過幀間差后的閾值處理會被歸納到非運(yùn)動部分.這也是幀間差提取目標(biāo)時發(fā)生空洞的原因.而區(qū)域I和區(qū)域II則被認(rèn)識是運(yùn)動的,該部分為運(yùn)動物體的邊緣.因而可以根據(jù)區(qū)域I和區(qū)域II確定運(yùn)動物體的輪廓.

圖1 水平向右運(yùn)動的矩形框

在定義Graph Cuts摳圖約束矩形框的時候,矩形框應(yīng)該是包含區(qū)域I和區(qū)域II的最小外接矩形.如果將區(qū)域I作為種子目標(biāo)像素點(diǎn),區(qū)域II作為種子背景像素點(diǎn),所得到的則是第N幀的運(yùn)動目標(biāo);如果將區(qū)域II作為種子目標(biāo)像素點(diǎn),區(qū)域I作為種子背景像素點(diǎn),所得到的則是第N+1幀的運(yùn)動目標(biāo).

2 實(shí)驗(yàn)結(jié)果

不同的幀間間隔所得到的I、II、III區(qū)域也不同,幀間間隔越長所獲得的種子像素點(diǎn)越多,但是同時外接矩形面積也會越大.表1是720×480的圖像,二值化像素閾值設(shè)置為90,在不同幀率下的實(shí)驗(yàn)結(jié)果.

表1 不同幀率下的實(shí)驗(yàn)結(jié)果

當(dāng)幀間間隔時間變長,雖然增加了種子像素點(diǎn)但是同樣會引入許多錯誤的種子點(diǎn),也會擴(kuò)大了最小外接矩形的面積.對于不同的幀間間隔時間需要設(shè)定不同的閾值排除錯誤種子點(diǎn)的干擾.圖2是不同幀率下得到的種子點(diǎn)集合.

圖2 不同幀率下得到的種子點(diǎn)

圖3和圖4分別是本文實(shí)驗(yàn)中行人運(yùn)動的第N幀和第N+1幀.圖5是將第N幀與第N+1進(jìn)行幀間差后再經(jīng)過閾值處理的結(jié)果.圖6是根據(jù)幀間差得到的運(yùn)動信息對Graph Cuts進(jìn)行約束分割后的圖像.

圖3 第N幀圖像

圖4 第N+1幀圖像

圖5 第N+1減去第N幀圖像

圖6 Graph Cuts進(jìn)行目標(biāo)分割圖像

2 總 結(jié)

本文利用Graph Cuts結(jié)合幀間差分的方法對運(yùn)行目標(biāo)進(jìn)行分割.幀間差分無法獲得完整的運(yùn)動信息,但是具有良好的穩(wěn)健性.利用幀間差分獲得的有限運(yùn)動信息,構(gòu)建Graph Cuts在目標(biāo)分割時的約束矩形框和種子前景點(diǎn)以及種子背景點(diǎn),從而得到運(yùn)動目標(biāo)分割的效果.實(shí)驗(yàn)證明該方法具有良好的穩(wěn)健性和準(zhǔn)確性.但是Graph Cuts算法較為復(fù)雜,降低了目標(biāo)提取的效率.這是以后有待改進(jìn)的地方.

[1] Chen G H,Li Y J.Research of adaptive frame difference moving target segmentation based on MRF [C].International Conference on Image & Graphics,Washington,D.C.:IEEE,2013.

[2] Patra J C,Widjaja F,Das A,et al.A fast neural network-based detection and tracking of dim moving targets in FLIR imagery [C].Proceedings 2005 IEEE International Joint Conference on Neural Networks,Montreal:IEEE,2005.

[3] Barniv Y.Dynamic programming solution for detecting dim moving targets [J].IEEE Transactions on Aerospace & Electronic Systems,1985,21(1):144-156.

[4] Sanchez-Ferreira C,Mori J Y,Llanos C H.Back ground subtraction algorithm for moving object detection in FPGA [J].Middle East Journal of Scientific Research,2014,20(2):198-204.

[5] Hu G,Lian H,Wang P.Design and research on the motion target detection and tracking algorithm [C].International Conference on Information Science & Engineering,2010,2:1114-1117.

[6] Boykov Y Y,Jolly M.Interactive graph cuts for optimal boundary and region segmentation of objects in N-D images [C].Proceedings of eighth IEEE international conference on computer vision,2001,1:105-112.

[7] Ramya R,Jayanthi K B.Automatic image segmentation by graph cuts for bio-medical applications [C].International Conference on Advances in Engineering Science & Management,Nagapattinam:IEEE,2012.

[8] V K,R.Z.What energy functions can be minimized via graph cuts? [J].IEEE Transactions on Pattern Analysis & Machine Intelligence,2002,26(2):147-159.

[9] Liu H,Hou X.Moving detection research of background frame difference based on gaussian model [C].International Conference on Computer Science & Service System,Nanjing:IEEE,2012.

(責(zé)任編輯：包震宇)

A method of moving object segmentation based oninter frame difference and Graph Cuts

Chen Juan, Ying Jun*, Wang Jian, Zeng Shuang

(Digital Community and Smart Home Research Center, College of Information Mechanical and Electrical Engineering,Shanghai Normal University,Shanghai 200234,China)

Motion segmentation is meaningful video processing.Traditional method like background subtraction and frame difference shortcomings.Image segmentation based on threshold,EDGE histogram only used for static object segmentation.Frame difference method has good robutness and Graph Cuts can get complete motion.Segmentation of Graph Cuts is restricted by incomplete motion information provided by frame moving object can be extract accurately and stably.

frame difference; Graph Cuts; motion segmentation

2015-11-02

陳 娟(1993-),女,碩士研究生,主要從事圖像處理方面的研究.E-mail:jchen@shmiic.com

導(dǎo)師簡介: 應(yīng) 駿(1973-),男,講師,主要從事圖像處理、嵌入式系統(tǒng)方面的研究.E-mail:junying@shnu.edu.cn

TN 919.8

A

1000-5137(2017)02-0242-05

*通信作者