張秋艷,何明一,畢凱凱
(西北工業(yè)大學(xué) 電子信息學(xué)院,陜西 西安710072)
近來,智能視頻監(jiān)控[1]成為人們關(guān)注的熱點(diǎn)之一,它涉及圖像處理、模式識(shí)別、計(jì)算機(jī)視覺等諸多技術(shù)。而運(yùn)動(dòng)目標(biāo)檢測[2]作為智能視頻監(jiān)控中的重要環(huán)節(jié)也得到學(xué)者的持續(xù)研究。
智能視頻監(jiān)控中的運(yùn)動(dòng)目標(biāo)檢測主要分為3類[3]:光流法、幀間差分法和背景差分法。光流法檢測效果較好,但計(jì)算耗時(shí)難以滿足視頻監(jiān)控實(shí)時(shí)性的要求,且收斂速度依賴于場景、運(yùn)動(dòng)形態(tài)和噪聲。幀間差分法不易受光線變化影響,檢測穩(wěn)定有效,但易出現(xiàn)虛假和空洞目標(biāo)。背景差分法適合于攝像機(jī)靜止的情形,需要建立準(zhǔn)確的背景模型,優(yōu)點(diǎn)是檢測速度快,但真實(shí)場景復(fù)雜多變,建立的背景難以自適應(yīng)的更新。
利用DWT(Discrete Wavelet Transform,離散小波變換)顯著降低圖像噪聲[4]和分層次提取圖像信息以及YCbCr空間具有把顏色亮度和色調(diào)分量分離的優(yōu)勢[5],本文在圖像小波變換后分別在YCbCr三通道檢測目標(biāo),再和函數(shù)提取法檢測[6]的結(jié)果融合,實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)檢測。
本文的運(yùn)動(dòng)目標(biāo)檢測方法主要包括視頻序列的預(yù)處理、背景建立、差值決策、通道分離結(jié)果的融合和圖像后處理以及DWT通道分離結(jié)果和函數(shù)提取法結(jié)果的融合,其中圖像預(yù)處理和通道分離為本算法的重點(diǎn)。算法流程圖如1所示。
圖1 本文算法流程圖Fig.1 Frame chart of moving target detection
其檢測步驟是:
1)對(duì)視頻幀進(jìn)行去噪處理包括直方圖均衡和中值濾波;
2)對(duì)視頻幀進(jìn)行2級(jí)小波變換,提取2層主分量LL2[k];
3)對(duì)每幀均進(jìn)行RGB到Y(jié)CbCr色彩空間轉(zhuǎn)換,并用自適應(yīng)更新的均值法[7]建立背景;
4)采用背景幀差法求取每通道的差值圖像,對(duì)差值圖像Otsu[8]二值化即三通道運(yùn)動(dòng)目標(biāo)的初始輪廓。
5)采用投票決策法對(duì)每幀相應(yīng)的像素點(diǎn)進(jìn)行3選1,融合得到通道分離的最終目標(biāo)輪廓。
6)DWT通道分離結(jié)果和函數(shù)提取法結(jié)果融合,得到本文最終的檢測目標(biāo)結(jié)果。
隨著計(jì)算機(jī)網(wǎng)絡(luò)的發(fā)展,傳輸彩色高清圖像和視頻的需求日益突出。彩色圖像比黑白圖像包含了更多視覺信息,如色調(diào),飽和度,同時(shí)大大增加了網(wǎng)絡(luò)傳輸?shù)膲毫?。本文在預(yù)處理中采用DWT和通道分離法,利用YCbCr空間優(yōu)勢,減少數(shù)據(jù)冗余,降低計(jì)算和存儲(chǔ)成本。
1.1.1 小波變換
小波分析的應(yīng)用和成熟的小波理論緊密聯(lián)系在一起的,它是泛函數(shù)、傅里葉分析、調(diào)和分析和數(shù)值分析的完美結(jié)晶。小波變換是時(shí)域和頻域的局部變換,具有多分辨率分析(Multi-resolution Analysis)的特點(diǎn)。由于小波變換子帶的某一位置和其相應(yīng)的不同頻率的子帶具有相似的空間信息,使其在圖像處理領(lǐng)域得到廣泛的應(yīng)用,如圖像壓縮,去噪。
如圖2所示,二維DWT能夠把一幅圖像分解為4個(gè)不同子帶圖像,即LL1、LH1、HL1以及HH1,不同子帶圖像反映了圖像不同頻率的信息。二維DWT的二級(jí)分解如圖3所示,一級(jí)分解的低頻部分(LL1)被再次分解成LL2、LH2、HL2以及HH2,二級(jí)低頻部分LL2包含了圖像的基本信息。類似地,LL2還可進(jìn)行三級(jí)分解。本文利用二級(jí)小波變換減少計(jì)算量和降低噪聲,并采用二級(jí)主分量(LL2)進(jìn)一步建立背景,檢測目標(biāo)。
圖2 二維DWT分解結(jié)構(gòu)Fig.2 The structure of a forward 2-D DWT
圖3 2級(jí)DWT子帶Fig.3 Sub-band of DWT
1.1.2 顏色模型
顏色模型是用來精確度量和生成其它各種顏色的一套規(guī)則和定義。顏色模型通常用多維坐標(biāo)系統(tǒng)來表示空間中的單個(gè)像素點(diǎn),整個(gè)空間可以表示顏色域的所有色彩,以此來方便的指定需要的顏色。顏色模型主要有 RGB、HSI、YCbCr、CMY等。通常,顏色模型可以劃分為兩大類,面向彩色圖形顯示設(shè)備的如RGB模型;和人的直觀色彩感知相一致的如HIS、YCbCr模型,本文采用YCbCr顏色模型。
1)RGB顏色模型
RGB模型是電子顯示領(lǐng)域的標(biāo)準(zhǔn)顏色,用R(紅)、G(綠)、B(藍(lán))三種顏色的值來表示顏色分量,三原色相加實(shí)現(xiàn)顏色的合成,即混色。RGB顏色模型對(duì)應(yīng)的三維坐標(biāo)系統(tǒng)如圖4所示的顏色立方體,所有的色彩均已歸一化到[0,1]范圍內(nèi)。黑色坐標(biāo)為[0,0,0],白色坐標(biāo)為[1,1,1]。
圖4 RGB顏色模型的坐標(biāo)系統(tǒng)Fig.4 The coordinate system of RGB color model
2)YCbCr顏色模型
YCbCr顏色模型具有與人類視覺感知相類似的構(gòu)成原理,是YUV壓縮和偏移的一種相對(duì)顏色空間,能夠?qū)D像的亮度信息分離出來,是JPEG、MPEG、攝像機(jī)和數(shù)字電視普遍采用的顏色格式,和RGB空間相比,YCbCr更符合人眼視覺特性,三通道關(guān)聯(lián)性小,表示形式相比HIS簡單。硬件支持的RGB空間到Y(jié)CbCr 空間的轉(zhuǎn)換為線性變換如下:
對(duì)視頻序列中第幀進(jìn)行2級(jí)DWT,然后對(duì)其2級(jí)主分量包含信息的圖像進(jìn)行RGB到Y(jié)CbCr空間轉(zhuǎn)換,得到三通道圖像,并分別與背景幀相減如公式(2)所示。
通道分離法像素級(jí)融合后得到的初始輪廓存在噪聲和不完整的邊緣,通過圖像數(shù)學(xué)形態(tài)學(xué)的恢復(fù)和噪聲消除等圖像后處理,能得到較完整的目標(biāo)輪廓。但是有時(shí)行人運(yùn)動(dòng)的不規(guī)則性,導(dǎo)致整體錄像不清晰,提高快門速度,減少曝光,使得視頻序列灰度降低。提取函數(shù)法能夠在灰度值較低的場景中取得滿意的目標(biāo)檢測效果。為了進(jìn)一步提升目標(biāo)檢測的精度,我們進(jìn)一步結(jié)合提取函數(shù)法和通道分離法的像素級(jí)融合來獲取精確的目標(biāo)。
圖5 DWT通道分離法流程圖Fig.5 Flow chart of DWT channel separation
設(shè)坐標(biāo)為(i,j)的待檢測圖像幀為f(i,j),當(dāng)前背景灰度為b(i,j),其取值范圍均為[0,255]。則坐標(biāo)點(diǎn)(i,j)的提取函數(shù)計(jì)算方法為公式(3)。
由定義可知其取值范圍為[0 1]。對(duì)提取函數(shù)二值化,如公式(4)所示。
式中,t1為設(shè)定的閾值。由t(i,j)的變化趨勢,t1=0.03分割目標(biāo)錯(cuò)誤率最小。當(dāng)背景灰度和當(dāng)前幀灰度相同時(shí),t(i,j)為0。當(dāng)f(i,j)和b(i,j)差值增大時(shí),t(i,j)隨之增大,即檢測為運(yùn)動(dòng)目標(biāo)。當(dāng)b(i,j)=5時(shí),t(i,j)變化較快,可知在低灰度區(qū)間,該方法也能很好的區(qū)分背景和前景,從而忽略中高灰度區(qū)間的變化。提取函數(shù)法可以依據(jù)灰度背景自適應(yīng)的調(diào)整圖像灰度的差值,精確地提取低灰度的目標(biāo),彌補(bǔ)了幀差法的不足。進(jìn)一步分析表明,提取函數(shù)法能夠根據(jù)圖像的灰度狀況自適應(yīng)的提取運(yùn)動(dòng)目標(biāo),以此來解決低灰度區(qū)漏檢的現(xiàn)象。
通道分離法充分利用了圖像的三通道信息提取物體的輪廓,提取函數(shù)法在低灰度區(qū)間具有良好的檢測特性。通過實(shí)驗(yàn)驗(yàn)證,DWT通道檢測的結(jié)果和提取函數(shù)法檢測的結(jié)果具有互補(bǔ)的特點(diǎn),本文采用二者像素級(jí)的融合,即二者結(jié)果的對(duì)應(yīng)像素點(diǎn)只要有一個(gè)為1,則該點(diǎn)判定為1,否為判定為0,可獲取較好的目標(biāo)輪廓。對(duì)視頻流中的第k幀圖像,其融合規(guī)則為式(5)。
其中Dk(i,j)為第k幀DWT通道分離法的檢測結(jié)果,Tk(i,j)為第k幀提取函數(shù)法檢測的結(jié)果,Ok(i,j)為融合后的結(jié)果。
本文實(shí)驗(yàn)環(huán)境為Intel(R)Core(TM)i5-2400 CPU,主頻為3.10 GHz,實(shí)驗(yàn)軟件為Matlab 2010a。實(shí)驗(yàn)視頻為實(shí)驗(yàn)室利用三角架固定相機(jī)拍攝的西北工業(yè)大學(xué)校園,視頻格式為.avi,分辨率為 720*576,時(shí)長 13 s,幀率 25 fps。 圖 6、圖 7和圖 8為實(shí)驗(yàn)結(jié)果圖。
圖6 DWT通道分離檢測法Fig.6 Detection of DWT channel separation
圖7 提取函數(shù)檢測圖Fig.7 Detection of extraction function
圖8 通道分離法和提取函數(shù)法融合效果圖Fig.8 Fusion effect of channel separation and extraction function
由圖6可知,三通道分離法能夠較好的檢測到運(yùn)動(dòng)目標(biāo),同時(shí)抑制小的背景干擾,如背景中運(yùn)動(dòng)的小狗和通過的汽車,二值圖像經(jīng)過處理包括圖像恢復(fù),行列的掃描填充和形態(tài)學(xué)濾波后,輪廓較清晰。函數(shù)提取法在低的對(duì)比度下能夠取得較好的檢測結(jié)果,和三通道提取法像素級(jí)融合后的目標(biāo)如圖8所示。本文提出的方法能夠快速準(zhǔn)確的檢測出運(yùn)動(dòng)目標(biāo),受噪聲影響較小。
為了定量分析本文算法的時(shí)間復(fù)雜度,與在預(yù)處理中沒有利用DWT的原始檢測方法做了對(duì)比。兩種方法的每幀檢測所需時(shí)間如表1所示。
表1 本文算法與沒有利用DWT的原始檢測算法計(jì)算時(shí)間對(duì)比Tab.1 Computing time comparison of proposed algorithm with the original algorithm
由表1知,本文的算法計(jì)算量較少,速度較快,檢測精確度較高,基本能滿足智能視頻監(jiān)控中目標(biāo)檢測的要求。
本文提出將DWT算法應(yīng)用到智能視頻監(jiān)控的目標(biāo)檢測算法中,使得圖像高頻噪聲得到消除,同時(shí)大大的減少了計(jì)算量,二層主分量包含有圖像的主要信息,對(duì)以后的目標(biāo)檢測提供足夠的信息。同時(shí)充分利用YCbCr的亮度和色差信息,采用背景差分法較好的檢測目標(biāo)輪廓。結(jié)合提取函數(shù)法低對(duì)比度下的檢測特性,使通道檢測結(jié)果和提取函數(shù)法檢測的效果圖像素級(jí)融合,融合圖像較好的顯示目標(biāo)輪廓。由實(shí)驗(yàn)結(jié)果得知,該方法計(jì)算量較少、速度較快,檢測的目標(biāo)輪廓較完整。
[1] Held C, Krumm J, Markel P, et al. Intelligent videosurveillance[J].Computer,2012,45(3):83-84.
[2]Corbetta M,Kincade J M,Ollinger J M,et al.Voluntary orienting is dissociated from target detection in human posterior parietal cortex[J].Nature Neuroscience,2000,3(3):292-297.
[3]湯寧,何明一.視頻監(jiān)視中運(yùn)動(dòng)物體檢測的一種新算法[J].電子測量技術(shù),2007,30(10):45-48.TANG Ning,HE Ming-yi.New algorithm of moving objects detection for video surveillan [J].Electronic Measurement Technology,2007,30(10):45-48.
[4]Youssef S M,Hamza M A,Fayed A F.Detection and tracking of multiple moving objects with occlusion in smart video surveillance systems[C]//.5th IEEE International Conference on Intelligent Systems,2010:120-125.
[5]Shajeena J,Ramar K.A novel way of tracking moving objects in video scenes[C]//.Proc.of 2011 International Conference on Emerging Trends in Electrical and Computer Technology(ICETECT).IEEE,2011:805-810.
[6]劉曉東,蘇光大,周全,等.一種可視化智能戶外監(jiān)控系統(tǒng)[J].中國圖像圖形學(xué)報(bào),2000,5(12):1024-1029.LIU Xiao-dong,SU Guang-da,ZHOU Quan,et al.A visual intelligent outdoor surveillance system[J].Chinese Journal of Image and Graphics.2000,5(12):1024-1029.
[7]楊茂清.車輛檢測技術(shù)研究[D].北京:北京交通大學(xué),2012.
[8]Ronggui H M L M W.Application of an improved Otsu algorithm in image segmentation [J].Journal of Electronic Measurement and Instrument,2010,24(5)443:449.