改進(jìn)幀差與分水嶺算法融合的運(yùn)動(dòng)目標(biāo)檢測(cè)法

黃應(yīng)清，趙 哲，閆興鵬，趙 鍇

(1．裝甲兵工程學(xué)院控制工程系，北京100072;2．裝甲兵工程學(xué)院 信息工程系，北京100072)

1 引言

運(yùn)動(dòng)目標(biāo)檢測(cè)和提取已成為機(jī)器視覺(jué)研究的熱點(diǎn)問(wèn)題，在智能監(jiān)控、交通控制、軍事戰(zhàn)場(chǎng)的應(yīng)用越來(lái)越廣泛。運(yùn)動(dòng)目標(biāo)檢測(cè)算法主要有:光流分析法、幀間差分法和背景差分法三種［1－4］。近年來(lái)，學(xué)者們提出了許多新的運(yùn)動(dòng)目標(biāo)檢測(cè)算法，以W4［5］算法、基于MAP－MRF［6］(Maximum A Posteriori－Markov Random Field)檢測(cè)算法最為突出。W4算法作為一種參數(shù)建模算法，運(yùn)算效率較高，但抗噪性一般;基于MAP－MRF框架的運(yùn)算效率未取得突破，實(shí)時(shí)性有待提升。幀間差分法對(duì)相鄰幀進(jìn)行差分運(yùn)算［7］，系統(tǒng)資源要求少且能保證實(shí)時(shí)處理。本文運(yùn)用基于方差齊性檢驗(yàn)的三幀差法檢測(cè)運(yùn)動(dòng)目標(biāo)，融合優(yōu)化分水嶺算法，經(jīng)檢驗(yàn)，本文方法更適于視頻檢測(cè)中消除噪聲及運(yùn)動(dòng)目標(biāo)檢測(cè)的問(wèn)題。

2 基于方差齊性檢驗(yàn)的改進(jìn)幀差法

幀差法是一種檢測(cè)臨近幀變化量的一種方法［7］，通過(guò)序列圖相鄰兩幀或三幀，進(jìn)行一定圖像運(yùn)算來(lái)檢測(cè)目標(biāo)［8］。圖1(a)表示為相鄰兩幀的差分圖。

采用三幀差法［9］時(shí)，將三幀的圖像進(jìn)行三幀差分，中間幀和前一幀差分與后一幀與中間幀差分得到兩幅灰度圖像，將結(jié)果圖像d1(i，j)和d2(i，j)進(jìn)行邏輯與運(yùn)算，如式(1)所示，從而得到三幀差分圖像ds1(i，j)，如圖1(b)所示。本算法提出二次三幀差法，即用后兩幀差分與三幀差分結(jié)果邏輯異或運(yùn)算，如公式(2)所示，結(jié)果如圖1(c)所示。異或結(jié)果再與三幀差分圖相與運(yùn)算如公式(3)所示，結(jié)果如圖1(d)所示。

圖1 幀差法的原理圖

采用二次三幀差法，輪廓變細(xì)，可一定程度上解決“雙影”問(wèn)題，比三幀差分更接近實(shí)際目標(biāo)輪廓。

式中，mean x，( )y為窗口內(nèi)所有像素均值。本算法取N=4。

關(guān)于計(jì)算S2b，需要從有限幀差樣本中估算全局背景像素總體方差σb2。由大量實(shí)驗(yàn)可知，檢測(cè)視頻左側(cè)的若干列像素通常屬于背景像素，因?yàn)闄z測(cè)運(yùn)動(dòng)目標(biāo)不會(huì)長(zhǎng)期占據(jù)圖像一側(cè)。由此，可提出計(jì)算S2b的辦法。將左側(cè)K列像素分割成數(shù)個(gè)K×K的窗口，獲取WK窗口的像素絕對(duì)值總和選最小窗口W為樣本，同樣，按式(6)計(jì)算S2b。

依照幀差圖每個(gè)像素dsx，( )y的F檢驗(yàn)結(jié)果，可得到關(guān)于當(dāng)前幀的運(yùn)動(dòng)檢測(cè)掩模:

經(jīng)由F檢驗(yàn)的檢測(cè)圖結(jié)果可看出，該算法仍存在部分噪聲，同時(shí)可能漏檢測(cè)，將運(yùn)動(dòng)像素歸為背景區(qū)域。這在于融合空間域的分割算法以完善運(yùn)動(dòng)目標(biāo)缺失甚至漏檢情況，而分水嶺算法的分割效果可以很好的滿足上述要求。

3 分水嶺算法優(yōu)化

3．1 分水嶺算法原理

分水嶺算法是在借鑒形態(tài)學(xué)基礎(chǔ)上，將一幅圖看作是測(cè)地學(xué)上的拓?fù)涞孛玻總€(gè)像素點(diǎn)灰度值對(duì)應(yīng)地形的高度值。高度值對(duì)應(yīng)山峰，低灰度值對(duì)應(yīng)山谷［10－11］。不足之處在于算法容易受噪聲的影響，存在嚴(yán)重的過(guò)分割或丟失重要分割線等現(xiàn)象［12］。

直接采用分水嶺算法很難得到滿意的分割效果。這依賴前期的形態(tài)學(xué)處理加以優(yōu)化及后期與幀差法融合獲取標(biāo)記區(qū)域進(jìn)行合理分割。

3．2 數(shù)學(xué)形態(tài)學(xué)方法優(yōu)化

圖像的高帽濾波(Top－h(huán)at filtering)定義為:

圖像的低帽濾波(Bottom－h(huán)at filtering)定義為:

式(8)中。表示開運(yùn)算，高帽變換可有效檢測(cè)圖像邊緣信息，增強(qiáng)陰影細(xì)節(jié)，以增強(qiáng)圖像對(duì)比度。式(9)中·表示閉運(yùn)算，低帽變換可以去除圖像極暗細(xì)節(jié)，以尋找圖像的灰度谷值，使分水嶺線更加準(zhǔn)確。

擬合高帽濾波、低帽濾波的形態(tài)學(xué)處理方法增強(qiáng)圖像，便于微弱邊緣檢測(cè)。用原圖像加上高帽變換后的圖像，如圖2(a)所示，再減去低帽變換后的圖像，如圖2(b)所示，增強(qiáng)圖像如圖2(d)所示。

圖2 效果對(duì)比圖

式中，原圖加高帽變換結(jié)果，可使圖像中灰度值較大的區(qū)域更亮;再減低帽變換結(jié)果，可使圖像中灰度值較小的區(qū)域更暗，目標(biāo)和背景反差明顯。

為驗(yàn)證圖2(d)的銳化效果顯著，現(xiàn)設(shè)圖像為g( i，j)，窗口尺寸定為 ( 2w+1)× ( 2w+1 )，則其自相關(guān)函數(shù)定義為式(11)，它對(duì)窗口內(nèi)的每個(gè)像素點(diǎn) ( i，j)與偏離值ε，η=0，±1，±2，…的像素間相關(guān)值作計(jì)算:

圖2的自相關(guān)函數(shù)三維圖如圖3所示，圖像的邊緣信息的自相關(guān)函數(shù)隨著ε、η的增加，圖3(a)的下降趨勢(shì)比圖3(b)要慢。根據(jù)文獻(xiàn)［13］可知，自相關(guān)函數(shù)波峰寬度同圖像銳度指數(shù)成正比。可見(jiàn)圖2(d)更加清晰，增大了圖像和背景反差。

圖3 自相關(guān)函數(shù)對(duì)比圖

本算法設(shè)定可手動(dòng)調(diào)整分水嶺低谷閾值，對(duì)不同背景復(fù)雜度的視頻序列選取較為合適的分割閾值。分水嶺算法通過(guò)允許在梯度圖像上和片段連接的標(biāo)識(shí)區(qū)域“擁有”邊沿定義的山谷來(lái)分割圖像。改進(jìn)分水嶺分割效果圖如圖4所示。

圖4 改進(jìn)分水嶺分割效果

4 算法融合

在已經(jīng)獲得的分割結(jié)果的基礎(chǔ)上，對(duì)運(yùn)動(dòng)目標(biāo)的檢測(cè)問(wèn)題定義如下:已知當(dāng)前幀It的運(yùn)動(dòng)檢測(cè)掩模和分割標(biāo)注圖像Iw，及前一幀的運(yùn)動(dòng)目標(biāo)掩模Mt－1，利用三幅圖生成當(dāng)前幀的運(yùn)動(dòng)掩模。

算法融合步驟如下:

首先結(jié)合當(dāng)前幀It的運(yùn)動(dòng)檢測(cè)掩模Mpt，分析當(dāng)前幀的分割標(biāo)注圖像Iw各個(gè)區(qū)域，統(tǒng)計(jì)區(qū)域Ri的像素在Mpt中為1的數(shù)目Ni，和其在區(qū)域Ri面積Ai中的比例，大于閾值T，則標(biāo)記Ri為運(yùn)動(dòng)區(qū)域。標(biāo)記完當(dāng)前幀所有運(yùn)動(dòng)區(qū)域后，即獲得僅由當(dāng)前幀運(yùn)動(dòng)所造成的運(yùn)動(dòng)區(qū)域掩模MRt，如下式所示:

即:

該融合算法有如下優(yōu)點(diǎn):一是具有記憶前一幀運(yùn)動(dòng)對(duì)象分割的積累結(jié)果;二是在視頻序列前處理若干幀，視頻對(duì)象會(huì)逐漸完整;三是相鄰幀若目標(biāo)沒(méi)有運(yùn)動(dòng)仍能保證分割出完整目標(biāo)。缺點(diǎn)是較大運(yùn)動(dòng)情況下，運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果可能有多余背景。

5 實(shí)驗(yàn)結(jié)果與分析

運(yùn)用Visual Studio 2012軟件和OpenCV2進(jìn)行實(shí)驗(yàn)仿真，對(duì)運(yùn)動(dòng)目標(biāo)的視頻序列進(jìn)行實(shí)驗(yàn)，F(xiàn)檢驗(yàn)由Visual Studio調(diào)用Matlab統(tǒng)計(jì)工具箱函數(shù)vartest2實(shí)現(xiàn)。

結(jié)合實(shí)驗(yàn)視頻1對(duì)改進(jìn)的幀差法效果進(jìn)行比對(duì)，實(shí)驗(yàn)結(jié)果如圖5所示。

圖5 改進(jìn)三幀差實(shí)驗(yàn)效果對(duì)比圖

實(shí)驗(yàn)結(jié)果表明，本文采用的基于方差齊性檢驗(yàn)的改進(jìn)幀差法，得到的動(dòng)態(tài)像素點(diǎn)情況更接近于實(shí)際，對(duì)于監(jiān)控系統(tǒng)中消除雜波和運(yùn)動(dòng)目標(biāo)檢測(cè)有著較好的處理效果。

對(duì)連續(xù)三幀圖像進(jìn)行改進(jìn)的幀差運(yùn)算，獲取目標(biāo)大致輪廓，與當(dāng)前幀獲得的優(yōu)化分水嶺算法輪廓進(jìn)行融合，實(shí)驗(yàn)結(jié)果如圖6所示。因?yàn)榉炙畮X算法獲得的類似地形的拓?fù)涞孛矆D，過(guò)分割情況使其并不能完整截取目標(biāo)輪廓。由F檢驗(yàn)獲取的區(qū)域內(nèi)運(yùn)動(dòng)像素點(diǎn)，與分割出多個(gè)區(qū)域的分水嶺算法融合，就可很好地獲取目標(biāo)的輪廓信息。同時(shí)基于對(duì)運(yùn)動(dòng)目標(biāo)內(nèi)部信息的感興趣程度，適當(dāng)調(diào)整分水嶺算法的低谷像素閾值，也可取得不錯(cuò)的效果，由此基本解決了一般幀差法存在目標(biāo)“空洞”及輪廓檢測(cè)問(wèn)題。

圖6 實(shí)驗(yàn)結(jié)果

圖7 給出了較為復(fù)雜環(huán)境下視頻序列的實(shí)驗(yàn)結(jié)果，其中圖7(a)為原視頻圖像某測(cè)試幀，圖7(b)為分水嶺結(jié)果，圖7(d)為融合檢測(cè)結(jié)果。

根據(jù)檢測(cè)率(PR)和虛警率(FR)兩個(gè)指標(biāo)［14］，對(duì)算法進(jìn)行定量比對(duì)，用公式描述如下式中:

圖7 復(fù)雜環(huán)境視頻測(cè)試結(jié)果

其中，DM為檢測(cè)出來(lái)屬于運(yùn)動(dòng)目標(biāo)的像素點(diǎn)數(shù)，DN為檢測(cè)出來(lái)不屬于運(yùn)動(dòng)目標(biāo)的像素點(diǎn)數(shù)，NM為未檢測(cè)出來(lái)的運(yùn)動(dòng)目標(biāo)像素點(diǎn)數(shù)。對(duì)目標(biāo)檢測(cè)結(jié)果進(jìn)行定量分析，如表1所示。

表1 目標(biāo)檢測(cè)結(jié)果

改進(jìn)后，針對(duì)算法復(fù)雜度測(cè)算，由算法執(zhí)行效率體現(xiàn)，如圖8所示。

圖8 算法執(zhí)行效率

結(jié)果表明，該改進(jìn)的運(yùn)動(dòng)目標(biāo)檢測(cè)算法有效。

但對(duì)于目標(biāo)和背景顏色相近的多目標(biāo)情況，算法效果一般，出現(xiàn)的漏檢測(cè)絕大部分出自于此。分析結(jié)果是由兩方面原因造成的。一是可能被漏檢的區(qū)域像素值變化不大，未大于F檢驗(yàn)設(shè)定的閾值;二是分水嶺算法和改進(jìn)幀差法對(duì)目標(biāo)的輪廓獲取不完整，這關(guān)乎于分水嶺的低谷閾值像素選取問(wèn)題。

6 小結(jié)

本文對(duì)運(yùn)用幀差法檢測(cè)運(yùn)動(dòng)目標(biāo)的方法進(jìn)行了研究，介紹了幀間差分目標(biāo)檢測(cè)過(guò)程，并提出一種融合分水嶺分割算法并基于方差齊性檢驗(yàn)的改進(jìn)幀差法的運(yùn)動(dòng)目標(biāo)檢測(cè)方法。

通過(guò)實(shí)驗(yàn)驗(yàn)證，該方法可獲得真實(shí)目標(biāo)的輪廓，同時(shí)有效地去除無(wú)用信息。系統(tǒng)對(duì)運(yùn)動(dòng)物體所在的環(huán)境沒(méi)有特殊約束，所以這種方法可以應(yīng)用到很多視頻場(chǎng)所中。

下一步的工作考慮不采用傳統(tǒng)經(jīng)驗(yàn)給定值，在檢測(cè)前引入先驗(yàn)信息，則可大幅度提高分割以及融合的魯棒性;同時(shí)運(yùn)行速度有待進(jìn)一步提升，可采用分水嶺區(qū)域映射法，對(duì)幀差獲取的目標(biāo)大致區(qū)域內(nèi)的像素值進(jìn)行分水嶺分割，對(duì)連續(xù)兩幀，極值點(diǎn)進(jìn)行雙向匹配，可直接對(duì)目標(biāo)結(jié)果進(jìn)行跟蹤。

［1］ Horn B K，Schunch B G．Determining optical flow［J］．Artificial Intelligent，1981，17:185－203．

［2］ SUN Shaoyuan，GU Xiaoqian，GE Man，et al．Pedestrian detection and tracking of vehicle infrared images［J］．Laser＆Infrared，2012，42(8):949－953．(in Chinese)孫韶媛，谷小婧，戈曼，等．車載紅外圖像的行人檢測(cè)與跟蹤技術(shù)［J］．激光與紅外，2012，42(8):949－953．

［3］ YANG Shun，ZHAO Baojun，MAO Erke，et al．Non－uniformity correction algorithm based on registration of different motions of target and background［J］．Laser＆Infrared，2013，43(11):1286－1290．(in Chinese)楊碩，趙保軍，毛二可，等．基于目標(biāo)與背景相異位移配準(zhǔn)的非均勻校正算法［J］．激光與紅外，2013，43(11):1286－1290．

［4］ DAI Kexue，LI Guohui，TU Dan．Prospects and current studies on background subtraction techniques for moving objects detection from surveillance video［J］．Journal of Image and Graphics，2006，11(7):921－927．(in Chinese)代科學(xué)，李國(guó)輝，涂丹，等．監(jiān)控視頻運(yùn)動(dòng)目標(biāo)檢測(cè)減背景技術(shù)的研究現(xiàn)狀和展望［J］．中國(guó)圖象圖形學(xué)報(bào)，2006，11(7):921－927．

［5］ Haritaoglu I，Harwood D，Davis L S．W4:Real－time surveillance of people and their activities［C］//IEEE Transactions on Pattern Analysis and Machine Intelligence，2000，22:809－830．

［6］ Sheikh Y，Shah M．Bayesian modeling of dynamic scenes for object detection［C］//IEEE Transactions on Pattern Analysis and Machine Intelligence，2005，27:1778－1792．

［7］ GAN Minggang，CHEN Jie，LIU Jin，et al．Moving object detection algorithm based on three－frame－differencing and edge information［J］．Journal of Electronics＆Information Technology，2010，32(4):894－897．(in Chinese)甘明剛，陳杰，劉勁，等．一種基于三幀差分和邊緣信息的運(yùn)動(dòng)目標(biāo)檢測(cè)方法［J］．電子與信息學(xué)報(bào)，2010，32(4):894－897．

［8］ ZHAO Ji，F(xiàn)ENG Chuang，SHAO Fuqun，et al．Moving object detection and segmentation based on adaptive frame difference and level set［J］．Information and Control，2012，41(2):153－158．(in Chinese)趙驥，馮闖，邵福群，等．基于自適應(yīng)幀差和水平集的運(yùn)動(dòng)目標(biāo)檢測(cè)和分割［J］．信息與控制，2012，41(2):153－158．

［9］ Gregory M Wojcik，Wieslaw A Kaminski．Liquid state machine built of hodgkin－h(huán)uxley neurons and pattern recognition［J］．Neurocomputing，2004，58－60:245－251．

［10］ZHANG Lihong，LIANG Yingbo，WU Dingyun．Watershed algorithm research of medical image segmentation based on fuzzy enhancement［J］．Laser＆Infrared，2013，43(11):1307－1310．(in Chinese)張利紅，梁英波，吳定允．基于模糊增強(qiáng)的醫(yī)學(xué)圖像分割分水嶺算法研究［J］．激光與紅外，2013，43(11):1307－1310．

［11］Grau V，Mewes A U J，Alcaniz M．Improved watershed transform for medical image segmentation using prior information［J］．IEEE Trans on Medical Imaging，2004，23(4):447－460．

［12］HAN Feng．Research on the technologies of an adaptive watershed digital image segmentation［D］．Changsha:Hunan University，2007．(in Chinese)韓峰．一種自適應(yīng)分水嶺數(shù)字圖像分割技術(shù)研究［D］．長(zhǎng)沙:湖南大學(xué)，2007．

［13］SONG Kang，ZHANG Tao，LIAO Junbi．Theoretical analysis of autocorrelation function of image as sharpness evaluation function［J］．Journal of Southwest Jiaotong Unviersity，2008，43(5):578－581．(in Chinese)宋康，張濤，廖俊必．圖像自相關(guān)函數(shù)作為清晰度評(píng)價(jià)函數(shù)的理論依據(jù)［J］．西南交通大學(xué)學(xué)報(bào)，2008，43(5):578－581．

［14］Fakharian A，Hosseini S，Gustafson T．Hybrid object detection using improved gaussian mixture model［C］//International Conference on Control，Automation and Systems，2011:1475－1479．