一種改進(jìn)的幀間差光流場(chǎng)算法

吳振杰，毛曉波

鄭州大學(xué) 電氣工程學(xué)院，鄭州 450001

一種改進(jìn)的幀間差光流場(chǎng)算法

吳振杰，毛曉波

鄭州大學(xué) 電氣工程學(xué)院，鄭州 450001

1 引言

序列圖像中的運(yùn)動(dòng)目標(biāo)檢測(cè)與追蹤技術(shù)是圖像處理與計(jì)算機(jī)視覺研究領(lǐng)域一個(gè)非?；钴S的分支，在國(guó)民經(jīng)濟(jì)和軍事領(lǐng)域有著廣泛的應(yīng)用。對(duì)運(yùn)動(dòng)目標(biāo)的檢測(cè)是視覺跟蹤、目標(biāo)分類、行為理解等各種后續(xù)處理的基礎(chǔ)。目前研究運(yùn)動(dòng)目標(biāo)檢測(cè)的方法有背景減除法、幀間差分法和光流場(chǎng)計(jì)算法等多種[1]。

背景減除法能提供完整的特征數(shù)據(jù)，且算法簡(jiǎn)單、快速，但對(duì)于如光照、陰影、背景擾動(dòng)等環(huán)境變化特別敏感。幀間差分法對(duì)光照等環(huán)境變化的適應(yīng)性強(qiáng)，但通常只能獲得運(yùn)動(dòng)目標(biāo)的部分信息，難以提取出物體完整的輪廓，同時(shí)也容易受到噪聲干擾。光流場(chǎng)方法[2]反應(yīng)了序列圖像中的速度場(chǎng)，善于在運(yùn)動(dòng)場(chǎng)景中捕捉運(yùn)動(dòng)對(duì)象的運(yùn)動(dòng)特征，它對(duì)圖像的運(yùn)動(dòng)場(chǎng)進(jìn)行估計(jì)，能夠直接用于攝像機(jī)運(yùn)動(dòng)下的目標(biāo)檢測(cè)[3]，且不需要預(yù)先知道場(chǎng)景的信息，檢測(cè)結(jié)果精確可靠。但大多數(shù)光流算法計(jì)算復(fù)雜，不適合實(shí)時(shí)處理。鑒于直接光流計(jì)算算法復(fù)雜且耗時(shí)太多，本文提出一種結(jié)合幀間差的光流計(jì)算方法，先對(duì)序列圖像進(jìn)行隔幀差分，針對(duì)差值圖中不為零處的像素（它們往往對(duì)應(yīng)于灰度梯度較大的點(diǎn)）來計(jì)算其光流，較之計(jì)算整個(gè)運(yùn)動(dòng)物體的光流場(chǎng)更為可靠、精確和快速。

2 隔幀差分法的運(yùn)動(dòng)區(qū)域提取

運(yùn)動(dòng)目標(biāo)檢測(cè)方法中許多是基于目標(biāo)圖像幀序列的灰度變化進(jìn)行目標(biāo)判別的[4]，當(dāng)視頻幀圖像中出現(xiàn)運(yùn)動(dòng)目標(biāo)時(shí)，連續(xù)兩幀之間灰度值會(huì)出現(xiàn)較為明顯的差別，兩幀相減得到兩幀圖像灰度值差的絕對(duì)值，通過閾值化和濾波等方法檢測(cè)運(yùn)動(dòng)目標(biāo)。該方法具有簡(jiǎn)單高效的特點(diǎn)，但對(duì)運(yùn)動(dòng)速度慢和弱小目標(biāo)檢測(cè)效果不理想。為了檢測(cè)到不同運(yùn)動(dòng)速度的目標(biāo)，并提高檢測(cè)速度，采用隔幀差分法[5]先檢測(cè)包含運(yùn)動(dòng)目標(biāo)的區(qū)域，再用光流法在上述區(qū)域精確檢測(cè)目標(biāo)。

視頻序列圖像在經(jīng)過中值濾波預(yù)處理后，去掉圖像隨機(jī)噪聲，再將彩色的視頻圖像進(jìn)行灰度變換，得到灰度圖像?；叶饶Ｊ娇梢允褂枚噙_(dá)256級(jí)灰度來表現(xiàn)圖像，使圖像的過渡更平滑細(xì)膩?；叶葓D像的每個(gè)像素有一個(gè)0（黑色）到255（白色）之間的亮度值。

在經(jīng)過灰度變換后的動(dòng)態(tài)視頻圖像中，以間隔n幀選取三幀圖像，其中前一幀圖像fi-n(x，y)，當(dāng)前幀圖像fi(x，y)，下一幀圖像fi-n(x，y)。當(dāng)n=1時(shí)，就是傳統(tǒng)連續(xù)幀差分計(jì)算，當(dāng)n=2時(shí)，為隔1幀差分，當(dāng)n=3時(shí)，為隔2幀差分，依此類推。隔幀的時(shí)間間隔選擇取決于運(yùn)動(dòng)目標(biāo)的速度和大小，對(duì)快速運(yùn)動(dòng)或者大的物體，需要選擇較小的時(shí)間間隔；對(duì)慢速運(yùn)動(dòng)或者弱小的物體，需要選擇較大的時(shí)間間隔。

計(jì)算當(dāng)前幀與前一幀的前向幀差圖像FDb(x，y)和下一幀與當(dāng)前幀的后向幀差圖像FDf(x，y)，通過閾函數(shù)值T，對(duì)隔幀差分后的圖像進(jìn)行閾值化處理，得到隔幀差分后的二值圖像，其計(jì)算公式如式（1a）、（1b）所示。本文利用文獻(xiàn)[6]介紹的二維Otsu閾值化的快速算法，確定閾值T。按式（2）計(jì)算幀差圖像FDb(x，y)和FDf(x，y)的交集得到運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)區(qū)域E(x，y)。

隔幀差分的方法不僅能完整檢測(cè)到大的目標(biāo)，而且可以檢測(cè)到幀間位移小于1個(gè)像元而多幀累積位移大于1個(gè)像元的運(yùn)動(dòng)點(diǎn)目標(biāo)，因此不僅提高了視頻運(yùn)動(dòng)目標(biāo)檢測(cè)速度，還提高了檢測(cè)目標(biāo)的能力。

3 改進(jìn)光流場(chǎng)算法的運(yùn)動(dòng)目標(biāo)檢測(cè)

3.1 光流算法原理

所謂光流指圖像中灰度模式運(yùn)動(dòng)速度。光流計(jì)算進(jìn)行像素級(jí)運(yùn)動(dòng)估計(jì)，記t時(shí)刻圖像上的點(diǎn)(x，y)處的灰度值為I(x，y，t)，如果u(x，y)和v(x，y)是該點(diǎn)光流的x和y分量，點(diǎn)在t+dt時(shí)運(yùn)動(dòng)到(x+dx，y+dy)時(shí)（其中dx=udt，dy=vdt），對(duì)應(yīng)的灰度值為I(x+dx，y+dy，t+dt)，假定它與I(x，y，t)相等，即

將左邊在(x，y，z)點(diǎn)用泰勒公式展開，經(jīng)簡(jiǎn)化并略去二階和二階以上項(xiàng)可以得到基本光流約束方程為：

由于光流場(chǎng)U=(u，v)T有兩個(gè)變量，而基本約束方程只有一個(gè)，只能求出光流場(chǎng)沿梯度方向的值，因此從基本光流方程求解光流場(chǎng)是一個(gè)不適定問題，必須引入附加約束條件。

Horn和Schunck[7]使用光流在整個(gè)圖像上光滑變化的假設(shè)來求解光流，即運(yùn)動(dòng)既滿足光流約束方程又滿足全局平滑性。Horn附加約束條件的基本思想是要求光流本身盡可能平滑，即引入了對(duì)光流的平滑性約束使平滑約束項(xiàng)極小化。即極小化Es：

盡可能得小。另一方面，由基本等式，當(dāng)然要求極小化Ec：

盡可能得小，于是將光流場(chǎng)(u，v)的計(jì)算歸結(jié)為求如下的變分問題的解：

其中λ是一參數(shù)，它決定了上述兩種誤差（一種是偏離光滑性要求的誤差Es，另一種是偏離基本等式的誤差Ec）之間的相對(duì)權(quán)重。對(duì)此，采用迭代法求解：

其中n是迭代次數(shù)，u0和v0是光流的初始值，一般取為零。當(dāng)相鄰兩次迭代結(jié)果的距離小于預(yù)定的某一小值時(shí)，迭代過程終止。在以上公式中，如果Ii，j，k表示圖像在(x，y，t)點(diǎn)的強(qiáng)度I(x，y，t)，Ii，j，k+1表示圖像在(x，y，t+dt)點(diǎn)的強(qiáng)度I(x,y,t+dt)，那么Ix，Iy和It可由下式近似計(jì)算：

3.2 動(dòng)態(tài)圖像模型用于光流法改進(jìn)

由于光流場(chǎng)的不連續(xù)性及違反守恒假設(shè)條件處光流場(chǎng)分布是不可靠的，針對(duì)差值圖中不為零處的像素對(duì)應(yīng)于灰度梯度較大的點(diǎn)，而這些點(diǎn)處的光流場(chǎng)基本方程近似成立。采用這種約束措施后，可使得計(jì)算出的光流場(chǎng)分布更為可靠和精確，同時(shí)也減少了計(jì)算量。因此，通過修正的光流定義來表示在動(dòng)態(tài)圖像中的幾何變化和輻射度變化。這個(gè)修正的定義是用三個(gè)元素的向量來代替?zhèn)鹘y(tǒng)的兩個(gè)元素向量。其中第三個(gè)元素表示這個(gè)點(diǎn)的亮度變化，引入通用動(dòng)態(tài)圖像模型（GDIM）[8]，用來解決在亮度變化條件下光流估計(jì)問題中的輻射度變化。在GDIM中亮度變化描述成為數(shù)乘和一個(gè)偏移量。結(jié)合在上面公式（2）中得到的運(yùn)動(dòng)區(qū)域和GDIM模型定義新的約束模型：

其中m(r)和c(r)分別表示場(chǎng)亮度變化場(chǎng)的數(shù)乘和偏移量；r=[x，y，z]T是時(shí)空維上的一個(gè)點(diǎn)?；贕DIM的擴(kuò)展光流模型為：

Er是幀差[9]區(qū)域中任意點(diǎn)的灰度，從t到t+dt的時(shí)間間隔里，圖像中這點(diǎn)的灰度變化為dE=E(r+dr)-E(r)。在時(shí)變圖像中同時(shí)包含了圖像灰度模式的幾何變化和輻射度變化的信息。m(r)的期望值接近于1，c(r)的期望值接近于0。當(dāng)m(r)=1和c(r)=0時(shí)這個(gè)方程還原為亮度守恒的光流約束方程。

u，v和m，c四個(gè)變量由下式計(jì)算得到：

其中，W是一個(gè)很小的空間領(lǐng)域，這里取9×9像素大小。Ex，Ey和Et，E的計(jì)算與式（9）相同。通過該公式和初值可以快速準(zhǔn)確計(jì)算出運(yùn)動(dòng)點(diǎn)的速度、坐標(biāo)、方向和灰度值等運(yùn)動(dòng)信息，從而準(zhǔn)確檢測(cè)出運(yùn)動(dòng)目標(biāo)。再通過對(duì)光流算法獲得的運(yùn)動(dòng)信息進(jìn)行后處理，可以完整地提取出檢測(cè)到的運(yùn)動(dòng)目標(biāo)[10]。本文改進(jìn)算法的流程如圖1所示，主要分為區(qū)域分析和光流分析兩個(gè)階段。

圖1 改進(jìn)光流算法流程

區(qū)域分析階段通過聯(lián)合幀間差分法提取運(yùn)動(dòng)對(duì)象所在區(qū)域；光流分析階段對(duì)區(qū)域進(jìn)行光流計(jì)算提取運(yùn)動(dòng)對(duì)象特征。

4 實(shí)驗(yàn)結(jié)果分析

下面對(duì)上述算法進(jìn)行實(shí)驗(yàn)分析。實(shí)驗(yàn)系統(tǒng)環(huán)境為Windows XP，實(shí)驗(yàn)用軟件Visual C++6.0、OpenCV視覺庫(kù)。

實(shí)驗(yàn)選用測(cè)試序列SampleVideo.avi和highway.avi。圖2和圖3分別給出了標(biāo)準(zhǔn)SampleVideo和highway序列分別用幀間差分法、上文的HS光流法和本文的隔幀差分光流法進(jìn)行視頻運(yùn)動(dòng)檢測(cè)的比較結(jié)果。其中，（a）為原始視頻圖前一幀圖像，（b）為后一幀的圖像，（c）是背景圖像，（d）為隔幀差分法檢測(cè)結(jié)果，（e）為HS光流法檢測(cè)的結(jié)果，（f）為本文算法檢測(cè)結(jié)果。

圖2 samplevideo序列檢測(cè)結(jié)果比較

圖3 highway序列檢測(cè)結(jié)果比較

為了定量評(píng)價(jià)兩種算法的優(yōu)劣性，分別計(jì)算了兩種算法的用時(shí)，其對(duì)比如表1所示。

表1 兩種算法結(jié)果耗時(shí)定量比較 s

對(duì)光流計(jì)算結(jié)果進(jìn)行誤差估計(jì)，假定Vc(x，y)為真實(shí)的運(yùn)動(dòng)向量，Vg為計(jì)算所得的運(yùn)動(dòng)向量，則可以采用如下的方法進(jìn)行誤差估計(jì)，結(jié)果為表2和表3。

表2 SampleVideo序列兩種光流算法誤差比較

表3 highway序列的兩種光流算法誤差比較

（1）單個(gè)角度誤差Ψ=arccos(Vc·Vg)

通過用時(shí)和誤差分析可以看出，本文算法具有用時(shí)短、魯棒性強(qiáng)、穩(wěn)定性高的特點(diǎn)，能夠比較穩(wěn)定檢測(cè)出圖像序列中的光流。

5 結(jié)論

本文主要研究了幀間差光流場(chǎng)算法的原理以及應(yīng)用，針對(duì)于光流算法在光流約束方程不成立時(shí)存在的無法檢測(cè)到目標(biāo)，本文提出了一種改進(jìn)方法，引入通用動(dòng)態(tài)圖像模型，建立了像素點(diǎn)的梯度較大處的新的約束方程，提高了檢測(cè)的精確性和檢測(cè)時(shí)間，并且通過實(shí)例仿真，證明了算法的有效性與合理性。

[1]張娟，毛曉波，陳鐵軍，等.基于視頻流連續(xù)性的快速運(yùn)動(dòng)目標(biāo)檢測(cè)方法[J].計(jì)算機(jī)應(yīng)用研究，2010，27（8）：3198-3200.

[2]Stein F.Efficient computation of optical flow using the census transform[J].Pattern Recognition，2004，3175（1）：79-86.

[3]Wong K Y，Spetsakis M E.Tracking based motion segmentation under relaxed statistical assumptions[J].Computer Vision and Image Understanding，2006，101：45-64.

[4]魏巍，申鉉京，千慶姬.工業(yè)檢測(cè)圖像灰度波動(dòng)變化自適應(yīng)閾值分割算法[J].自動(dòng)化學(xué)報(bào)，2011，37（8）：944-953.

[5]陳鳳東，洪炳熔.基于動(dòng)態(tài)閾值背景差分算法的目標(biāo)檢測(cè)方法[J].哈爾濱工業(yè)大學(xué)學(xué)報(bào)，2005，37（7）：883-884.

[6]郝穎明，朱楓.2維Otsu自適應(yīng)閾值的快速算法[J].中國(guó)圖象圖形學(xué)報(bào)，2005（4）：484-488.

[7]Serre T，Kouh M，Knoblich U，et al.A theory of object recognition：computations and circuits in the feedforward path of the ventral steam in primate visual cortex[R].2005.

[8]Magee D.Tracking multiple vehicle using foreground background and motion models[J].Image and Vision Computing，2004，22（2）：143-145.

[9]李超，熊璋，赫陽(yáng)，等.基于幀間差的區(qū)域光流分析及其應(yīng)用[J].計(jì)算機(jī)工程與應(yīng)用，2005，41（31）：195-197.

[10]Yuan Lei，Li Jinzong，Li Dongdong.Discontinuity preserving optical flow algorithm[J].Journal of Systems Engineering and Electronics，2007，18（2）：347-354.

WU Zhenjie,MAO Xiaobo

School of Electrical Engineering,Zhengzhou University,Zhengzhou 450001,China

An improved optical flow estimation algorithm based on the frame difference is proposed,which is used for detecting the moving target.In the first part,the discontinuous frame difference is applied to detecting the moving target with the inter-frame displacement smaller than one pixel and accumulated displacement bigger than one pixel.In the second part,the General Dynamic Image Model（GDIM）is introduced to form a new optical constraint equation,which has overcome the problem that the equation is not tenable.Only not zero pixels are calculated by using the optical flow method.As a result,accuracy and speed of the target detection are improved.The effectiveness of the proposed method is verified by the simulation results.

target tracking;frame difference;optical flow;local optical flow

結(jié)合運(yùn)動(dòng)目標(biāo)檢測(cè)幀差法運(yùn)算速度快和光流法活動(dòng)目標(biāo)檢測(cè)準(zhǔn)確度高的特點(diǎn)，提出一種改進(jìn)的幀間差光流場(chǎng)計(jì)算的運(yùn)動(dòng)目標(biāo)檢測(cè)算法。在幀差部分采用隔幀差分從而可以檢測(cè)到幀間位移小于1個(gè)像元而多幀累積位移大于1個(gè)像元的運(yùn)動(dòng)點(diǎn)目標(biāo)；在光流計(jì)算時(shí)，引入通用動(dòng)態(tài)圖像模型（GDIM）建立新的光流約束條件，克服了亮度變化引起的約束方程不成立問題。算法僅對(duì)幀差法后圖像中不為零的像素進(jìn)行光流場(chǎng)計(jì)算，提高了目標(biāo)檢測(cè)的準(zhǔn)確性和檢測(cè)速度。仿真實(shí)驗(yàn)證明了該算法的有效性。

目標(biāo)跟蹤；幀差法；光流法；區(qū)域光流檢測(cè)

A

TP39

10.3778/j.issn.1002-8331.1112-0475

WU Zhenjie,MAO Xiaobo.Improved optical flow estimation algorithm based on frame difference.Computer Engineering and Applications,2013,49（18）：200-203.

高等學(xué)校博士學(xué)科點(diǎn)專項(xiàng)科研基金（No.20114101110005）；河南省重大科技攻關(guān)項(xiàng)目（No.102101210100）；河南省教育廳自然科學(xué)基礎(chǔ)研究計(jì)劃（No.2009A410001）。

吳振杰（1985—），男，碩士研究生,研究方向：計(jì)算機(jī)視覺；毛曉波（1965—），通訊作者，男，博士，教授，碩士生導(dǎo)師，研究方向：仿生機(jī)器視覺、智能儀器儀表。E-mail：mail-mxb@zzu.edu.cn

2011-12-26

2012-03-06

1002-8331（2013）18-0200-04

CNKI出版日期：2012-05-21 http://www.cnki.net/kcms/detail/11.2127.TP.20120521.1141.024.html

◎信號(hào)處理◎