基于改進(jìn)光流算法的運(yùn)動(dòng)目標(biāo)檢測(cè)技術(shù)研究

張艷艷， 婁 莉， 梁 碩

(西安石油大學(xué) 計(jì)算機(jī)學(xué)院， 西安 710065)

引言

運(yùn)動(dòng)目標(biāo)檢測(cè)[1]的目的是從背景圖像中盡可能完整地提取出運(yùn)動(dòng)目標(biāo)。這是計(jì)算機(jī)視覺(jué)中一項(xiàng)關(guān)鍵技術(shù)，廣泛應(yīng)用于工業(yè)、醫(yī)學(xué)、軍事、交通等領(lǐng)域。運(yùn)動(dòng)目標(biāo)檢測(cè)是目標(biāo)跟蹤、行為分析的基礎(chǔ)，檢測(cè)的結(jié)果直接影響后續(xù)處理，所以運(yùn)動(dòng)目標(biāo)檢測(cè)尤為重要。然而，現(xiàn)在已有的運(yùn)動(dòng)目標(biāo)檢測(cè)算法還不能達(dá)到最佳效果，所以對(duì)此的研究仍在進(jìn)行。由于現(xiàn)實(shí)場(chǎng)景非常豐富，不論是復(fù)雜的背景環(huán)境、檢測(cè)目標(biāo)的速度，還是光照的變化、目標(biāo)的遮擋都會(huì)影響檢測(cè)效果，因此，要想達(dá)到良好的運(yùn)動(dòng)目標(biāo)檢測(cè)效果非常不易。

目前常用的運(yùn)動(dòng)目標(biāo)檢測(cè)算法有三大類(lèi)，即背景減除法、幀間差分法和光流法，而且均呈現(xiàn)出各自一定的優(yōu)缺點(diǎn)[2]。其中，背景減除法原理簡(jiǎn)單，檢測(cè)效果好；缺點(diǎn)是難以得到絕對(duì)的靜態(tài)背景模型，并且需要對(duì)背景模型進(jìn)行實(shí)時(shí)更新。幀間差分法對(duì)于圖像序列的變化有較強(qiáng)的適應(yīng)能力，更新、識(shí)別速度快；缺點(diǎn)是對(duì)于得到的運(yùn)動(dòng)目標(biāo)易產(chǎn)生“空洞”現(xiàn)象，檢測(cè)的目標(biāo)不完整。光流法不僅包含了被提取運(yùn)動(dòng)目標(biāo)的運(yùn)動(dòng)信息，也包含目標(biāo)場(chǎng)景的三維結(jié)構(gòu)信息，最重要的是該方法適用于攝像頭運(yùn)動(dòng)的情況；其缺點(diǎn)是容易受到遮擋、光照突變和噪聲等因素的影響，而不能獲得正確的光流場(chǎng)，影響運(yùn)動(dòng)目標(biāo)的檢測(cè)精度。由于使用單一的運(yùn)動(dòng)目標(biāo)檢測(cè)算法尚存諸多不足，本文即通過(guò)將Lucas-Kanade光流法與最大類(lèi)間方差的圖像分割法相結(jié)合用于運(yùn)動(dòng)目標(biāo)檢測(cè)，從而提高運(yùn)動(dòng)目標(biāo)檢測(cè)的精度。

由于傳統(tǒng)光流法耗時(shí)長(zhǎng)且受噪聲影響較大，而Lucas-Kanade光流屬于稀疏光流，處理像素點(diǎn)少，耗時(shí)小，所以本文選用Lucas-Kanade光流法。具體步驟為：首先對(duì)圖像序列進(jìn)行灰度化處理，再通過(guò)Lucas-Kanade光流處理得到其光流場(chǎng)，通過(guò)最大類(lèi)間方差的圖像分割法進(jìn)行前景提取，將光流不連續(xù)的區(qū)域視為前景，光流連續(xù)的區(qū)域視為背景，最后對(duì)圖像進(jìn)行形態(tài)學(xué)處理，完成運(yùn)動(dòng)目標(biāo)的檢測(cè)過(guò)程。通過(guò)Matlab實(shí)驗(yàn)仿真驗(yàn)證了本文算法可以切實(shí)檢測(cè)出更為精確的運(yùn)動(dòng)目標(biāo)，而且相對(duì)于傳統(tǒng)的光流法，耗時(shí)更短。

1 常用算法的基本原理

1.1 Lucas-Kanade光流算法基本原理

光流是指圖像表觀運(yùn)動(dòng)的瞬時(shí)速度，包含觀測(cè)物體變化信息、景物三維結(jié)構(gòu)信息。光流場(chǎng)是一種二維的瞬時(shí)速度場(chǎng)，光流算法就是將三維的運(yùn)動(dòng)場(chǎng)轉(zhuǎn)化為二維的光流場(chǎng)，方便后續(xù)前景提取。經(jīng)典的光流法有基于全局的Horn-Schunc光流法[3]和基于局部的Lucas-Kanade光流法[4]。

本文主要使用Lucas-Kanade光流法來(lái)展開(kāi)設(shè)計(jì)仿真實(shí)驗(yàn)，所以在此只討論Lucas-Kanade光流法的基本原理。設(shè)像素點(diǎn)(x,y)在t時(shí)刻的灰度值為I(x,y)，此像素點(diǎn)在t+dt時(shí)刻到達(dá)新位置點(diǎn)(x+dx,y+dy)，對(duì)應(yīng)的灰度值為I(x+dx,y+dy)[5]。根據(jù)圖像一致性假設(shè)，當(dāng)dt→0時(shí)，圖像的亮度保持不變，即：

I(x,y,t)=I(x+dx,y+dy,t+dt)

(1)

經(jīng)過(guò)一系列推導(dǎo)可得：

(2)

I·U+It=0

(3)

Lucas-Kanade光流法是由Lucas和Kanade共同提出的一種基于局部約束的光流計(jì)算方法。該方法假設(shè)在(x,y)的小鄰域Ω內(nèi)，所有像素點(diǎn)的光流矢量保持恒定，均可大致近似為(u,v)；再賦予區(qū)域內(nèi)各點(diǎn)不同的權(quán)重，根據(jù)權(quán)重和(u,v)，計(jì)算(x,y)點(diǎn)處的精確光流。

設(shè)鄰域Ω內(nèi)有n個(gè)像素點(diǎn)，每個(gè)像素點(diǎn)對(duì)應(yīng)的(u,v)應(yīng)滿(mǎn)足以下n個(gè)基本方程:

Ixiu+Iyiv+Iti=0i=1,2,…,n

(4)

根據(jù)亮度恒定假設(shè)中，光流基本約束方程的誤差為：

Ec(u,v)=?[Ixu+Iyv+It]2dxdy

(5)

在鄰域Ω內(nèi)，Lucas-Kanade光流的誤差為：

ELK(u,v)=?W2(x,y).(Ixu+Iyv+It)2dxdy

(6)

其中，W(x,y)={wi|i=1,2,…,n}是鄰域Ω內(nèi)各點(diǎn)的權(quán)重，其分布特點(diǎn)為中心的權(quán)重最大，越偏離中心，相應(yīng)的權(quán)重值越小。

Lucas-Kanade光流法和Horn-Schunck光流法類(lèi)似，即求解光流的過(guò)程都是求解誤差值最小時(shí)的(u,v)的過(guò)程。實(shí)際計(jì)算時(shí)的圖像數(shù)據(jù)是離散化的數(shù)據(jù)，所以必須對(duì)式(6)做出離散化處理，才能求得實(shí)際的水平方向光流u和垂直方向光流v。離散化處理后，可得：

(7)

則公式(7)可表示為：

(8)

其中,

W=diag(w1,w1,…,w1),b=[It1,It2,…,Itn]T

(9)

式(8)的解可記為：

(10)

這就是通過(guò)Lucas-Kanade方法計(jì)算得出的光流。

1.2 OTSU算法基本原理

圖像分割技術(shù)指將圖像分為若干個(gè)各具特征的區(qū)域[7]，也就是研究分析圖像內(nèi)容的具體特征信息，根據(jù)一定的準(zhǔn)則，把圖像分割成相鄰的有意義的區(qū)域。特征信息包括灰度、紋理、色彩等。圖像分割中最重要的內(nèi)容是分割方法的設(shè)計(jì)與選擇，分割方法的選擇是否得當(dāng)將直接影響分割結(jié)果及后續(xù)處理。目前常用的圖像分割方法有：基于聚類(lèi)的圖像分割、基于形變模型的圖像分割、基于區(qū)域的圖像分割、基于閾值的圖像分割等。由于基于閾值的圖像分割方法簡(jiǎn)單，分割效果較好，本文將使用此類(lèi)方法進(jìn)行圖像分割。

閾值分割[8]法主要有單閾值分割和多閾值分割法兩種。分析可得，單閾值分割法只能簡(jiǎn)單地分割出目標(biāo)區(qū)域和背景區(qū)域，只需一個(gè)閾值即可完成分割。多閾值分割方法的目的是分割出圖像中不同的目標(biāo)區(qū)域，對(duì)分割結(jié)果的要求更精確。閾值分割過(guò)程中的關(guān)鍵步驟是最佳閾值的選取，閾值過(guò)高或過(guò)低，都會(huì)影響圖像分割效果。本文采用自適應(yīng)的閾值確定方法OTSU算法、即最大類(lèi)間方差法進(jìn)行圖像分割。

OTSU算法的基本思想是為了將圖像分成背景區(qū)域和前景區(qū)域兩類(lèi)，用方差來(lái)判斷背景區(qū)域和前景區(qū)域的差別，當(dāng)兩者之間的類(lèi)間方差達(dá)到最大的時(shí)候，可確定最佳閾值、即為此時(shí)類(lèi)間方差最大的灰度級(jí)。

OTSU算法原理是對(duì)圖像I(x,y)，前景和背景的分割閾值記為T(mén)，屬于前景的像素點(diǎn)數(shù)占整幅圖像的比例記為Pa，平均灰度為wa；背景像素點(diǎn)數(shù)占整幅圖像的比例為Pb，平均灰度為wb；整幅圖像的平均灰度記為w0。

假設(shè)圖像的灰度級(jí)為L(zhǎng)，大小為M×N，圖像中灰度級(jí)為i的像素總個(gè)數(shù)為Ni，則計(jì)算灰度級(jí)i的概率為：

(11)

根據(jù)OTSU算法，最佳閾值求解公式為：

(12)

其中,

(13)

(14)

(15)

(16)

(17)

這就是通過(guò)OTSU算法得到最佳閾值的過(guò)程，本文使用此方法對(duì)相關(guān)實(shí)驗(yàn)圖像實(shí)現(xiàn)閾值分割。

2 改進(jìn)算法研究

本文將Lucas-Kanade光流法和OTSU算法相結(jié)合用于運(yùn)動(dòng)目標(biāo)的檢測(cè)，從而得到一種改進(jìn)的算法，算法設(shè)計(jì)流程如圖1所示。

圖1 本文算法流程Fig. 1 Flow chart of the algorithm in this paper

由于Lucas-Kanade算法是光流基本算法之一，使得其具備了光流的優(yōu)點(diǎn)，即不需要建立背景模型，就可以得到檢測(cè)物體的運(yùn)動(dòng)信息，且能獲得比較完整的運(yùn)動(dòng)目標(biāo)，與Horn-Schunck光流法相比，Lucas-Kanade是稀疏光流，僅對(duì)部分像素，而不是全部像素進(jìn)行計(jì)算，因此耗時(shí)較短。在此基礎(chǔ)上，本文將采用此方法進(jìn)行光流的計(jì)算。

圖像分割方法很多，由于閾值法實(shí)現(xiàn)簡(jiǎn)單、計(jì)算量小、性能較穩(wěn)定，所以在圖像分割中堪稱(chēng)是基礎(chǔ)性和應(yīng)用最廣泛的設(shè)計(jì)技術(shù)。而最佳閾值的選擇對(duì)圖像分割技術(shù)發(fā)揮著至關(guān)重要的作用，閾值選擇過(guò)高則會(huì)遺漏一些細(xì)節(jié)信息，閾值選擇過(guò)低又會(huì)引入多余的噪聲。所以本文選擇采用自適應(yīng)的閾值選擇的OTSU算法，此方法能通過(guò)計(jì)算方差來(lái)得到最佳閾值。

算法實(shí)現(xiàn)步驟為：先獲取兩幀連續(xù)圖像，對(duì)圖像進(jìn)行灰度化處理，得到其灰度圖像；其次，對(duì)兩幀灰度圖像運(yùn)行Lucas-Kanade光流算法得到光流場(chǎng)，從光流場(chǎng)中可以看出，光流連續(xù)的區(qū)域?yàn)楸尘皡^(qū)域，光流不連續(xù)的區(qū)域?yàn)榍熬皡^(qū)域，即運(yùn)動(dòng)目標(biāo)所在區(qū)域；再通過(guò)OTSU算法運(yùn)算得到最佳閾值，對(duì)其進(jìn)行二值化處理，得到二值圖像；最后進(jìn)行形態(tài)學(xué)處理，使得到的運(yùn)動(dòng)目標(biāo)更加完整。

3 實(shí)驗(yàn)結(jié)果與分析

本文使用的軟件為Matlab2016a，為了將本文所用算法與傳統(tǒng)運(yùn)動(dòng)目標(biāo)檢測(cè)算法做對(duì)比，實(shí)驗(yàn)采用LASIESTA數(shù)據(jù)集中的I_BS_02室內(nèi)圖像序列作為輸入圖像。圖像展示序列如下：圖2為當(dāng)前幀圖像；圖3為背景減除法處理結(jié)果，第75幀圖像為當(dāng)前幀圖像，第248幀為背景圖像；圖4為幀間差分法處理結(jié)果，第75幀圖像為當(dāng)前幀圖像，第74幀為前一幀圖像；圖5為本文方法處理結(jié)果，第75幀圖像為當(dāng)前幀圖像，74幀為前一幀圖像。

圖2 當(dāng)前圖像Fig. 2 The current image

(a) 背景相減的灰度圖像 (b) 背景相減的二值圖像(a) Gray image with background subtraction (b)Binary image with background subtraction圖3 背景減除法處理結(jié)果Fig. 3 Processing results of background subtraction

(a) 幀間差分后的灰度圖像 (b) 幀間差分后的二值圖像(a) Gray image with frame difference (b) Binary image with frame difference圖4 幀間差分法處理結(jié)果Fig. 4 The processing result of frame difference method

(a) 當(dāng)前圖像 (b) 算法處理結(jié)果(a) The current image (b) The processed results圖5 本文算法處理結(jié)果Fig. 5 The processing results of algorithm in this paper

由圖3～圖5的Matlab[9]仿真實(shí)驗(yàn)結(jié)果可以看出，與傳統(tǒng)的背景減除法、幀間差分法相比，Lucas-Kanade光流與最大類(lèi)間圖像分割結(jié)合算法得到的運(yùn)動(dòng)目標(biāo)更完整，檢測(cè)效果更好。光流法在不需要知道背景信息、更無(wú)需對(duì)背景建模的情況下就可以檢測(cè)到運(yùn)動(dòng)目標(biāo)，且可以得到完整的前景目標(biāo)，而Lucas-Kanade光流法是稀疏光流，不需要對(duì)圖像中的所有像素進(jìn)行計(jì)算，使運(yùn)算時(shí)間縮短，所以本文使用的算法在運(yùn)動(dòng)目標(biāo)檢測(cè)上得到了良好效果，對(duì)后續(xù)的圖像跟蹤、識(shí)別、異常處理能起到非常重要的作用。

4 結(jié)束語(yǔ)

本文提出的將Lucas-Kanade光流法與最大類(lèi)間方差的圖像分割法相結(jié)合的算法，從Matlab仿真的實(shí)驗(yàn)結(jié)果可以看出，此方法能夠檢測(cè)到更為完整的運(yùn)動(dòng)目標(biāo)，檢測(cè)效果較好。由于Lucas-Kanade算法是稀疏算法，從而減少了運(yùn)算時(shí)間，而OTSU算法能夠自適應(yīng)地選擇最佳閾值，使得二值化的圖像更合理，因此這2種算法的結(jié)合用于運(yùn)動(dòng)目標(biāo)檢測(cè)既能得到較好的結(jié)果，又可減少運(yùn)算時(shí)間。因?yàn)檫\(yùn)動(dòng)目標(biāo)檢測(cè)是目標(biāo)跟蹤、異常處理等的前提，研究可知得到更為完整的運(yùn)動(dòng)目標(biāo)則尤顯重要，運(yùn)動(dòng)目標(biāo)檢測(cè)的研究將具備可觀的實(shí)用價(jià)值。

[1] 慈文彥. 運(yùn)動(dòng)目標(biāo)檢測(cè)方法綜述[J]. 信息技術(shù),2016(12):93-96,100.

[2] 李曄. 常見(jiàn)視頻運(yùn)動(dòng)目標(biāo)提取方法原理及特點(diǎn)再探析[J]. 科技經(jīng)濟(jì)導(dǎo)刊,2016(32):90.

[3] HORN B K P, SCHUNCK B G. Determining optical flow[J]. Artificial intelligence, 1981, 17(1-3): 185-203.

[4] LUCAS B D, KANADE T. An iterative image registration technique with an application to stereo vision[J]. Nutrient Cycling in Agroecosystem, 1981 , 83 (1) :13-26.

[5] 趙小川. MATLAB圖像處理：能力提高與應(yīng)用案例[M]. 北京：北京航空航天大學(xué)出版社，2014.

[6] CHAO Haiyang , GU Yu ,NAPOLITANO M . A survey of optical flow techniques for robotics navigation applications[J]. Journal of Intelligent & Robotic Systems,2014,73(1-4):361-372.

[7] 韓思奇,王蕾. 圖像分割的閾值法綜述[J]. 系統(tǒng)工程與電子技術(shù),2002, 24(6):91-94,102.

[8] 倪麟. 基于Otsu理論的圖像分割算法的研究[D]. 重慶：重慶大學(xué),2013.

[9] 胡敏,李梅,汪榮貴. 改進(jìn)的Otsu算法在圖像分割中的應(yīng)用[J]. 電子測(cè)量與儀器學(xué)報(bào),2010,24(5):443-449.

[10]江鐵成. 基于MATLAB的數(shù)字圖像處理技術(shù)研究[J]. 合肥師范學(xué)院學(xué)報(bào),2017,35(6):25-27.