基于背景減除的運(yùn)動(dòng)檢測(cè)在嵌入式監(jiān)控系統(tǒng)中的應(yīng)用

盧 靜，李 莉

(河南工程學(xué)院 計(jì)算機(jī)科學(xué)與工程系，河南 鄭州 451191)

隨著計(jì)算機(jī)技術(shù)、網(wǎng)絡(luò)技術(shù)、嵌入式技術(shù)和視頻壓縮技術(shù)的快速發(fā)展，嵌入式視頻監(jiān)控的應(yīng)用范圍越來越廣泛.視頻監(jiān)控的主要目的就是發(fā)現(xiàn)監(jiān)控過程中的異常情況并及時(shí)處理，監(jiān)控系統(tǒng)中的異常情況主要是運(yùn)動(dòng)目標(biāo)檢測(cè)，該過程是將原始圖像中的運(yùn)動(dòng)變化區(qū)域從背景圖像中提取與分析，它是整個(gè)視頻監(jiān)控的基礎(chǔ)，檢測(cè)結(jié)果的準(zhǔn)確性將直接影響整個(gè)監(jiān)控系統(tǒng)的性能.目前，常用的運(yùn)動(dòng)目標(biāo)檢測(cè)算法主要有光流法[1]、幀差法[2]、背景減除算法[3]等，每種算法計(jì)算的復(fù)雜性、實(shí)時(shí)性和準(zhǔn)確性都不同.

由于嵌入式視頻監(jiān)控在硬件方面的局限性，導(dǎo)致它對(duì)檢測(cè)過程中的運(yùn)算量和實(shí)時(shí)性均有較高的要求.背景減除法具有計(jì)算量小、實(shí)時(shí)性高、檢測(cè)位置準(zhǔn)確等優(yōu)點(diǎn)，同時(shí)由于一般監(jiān)控?cái)z像機(jī)的背景較為固定，所以本研究使用一種基于背景減除的方法進(jìn)行運(yùn)動(dòng)檢測(cè).又因該方法對(duì)動(dòng)態(tài)場(chǎng)景的變化太敏感，故在背景維護(hù)部分使用了一種改進(jìn)的背景維護(hù)策略.實(shí)驗(yàn)表明，用本方法可以有效提高監(jiān)控過程中運(yùn)動(dòng)目標(biāo)檢測(cè)的準(zhǔn)確性.

1 背景減除法

背景減除法的工作原理是利用當(dāng)前幀圖像與背景圖像進(jìn)行差分，從而檢測(cè)出當(dāng)前幀中的運(yùn)動(dòng)變化區(qū)域.該方法的基本思想是首先建立背景模型，然后將每幀圖像與背景模型做差分運(yùn)算，像素變化比較大的區(qū)域即為運(yùn)動(dòng)目標(biāo),工作流程如圖1所示.

圖1 背景減除算法流程Fig.1 Background subtraction algorithm process

(1)該工作流程中的圖像預(yù)處理主要有兩個(gè)作用：①把圖像轉(zhuǎn)換為灰度圖，在YUV顏色空間中，Y分量表示像素點(diǎn)的亮度，而人眼對(duì)亮度的變化最敏感，故可把原圖像轉(zhuǎn)換為用Y分量表示的灰度圖，利用Y分量檢測(cè)圖像中的運(yùn)動(dòng)對(duì)象;②通過降低幀率或幀的大小減少待處理的數(shù)據(jù)量,以保證嵌入式視頻監(jiān)控在實(shí)時(shí)性方面的高要求.

(2)建立/更新背景模型：背景模型是該算法的核心，背景模型的選取既要對(duì)背景環(huán)境的變化有足夠的魯棒性，又能準(zhǔn)確地檢測(cè)出運(yùn)動(dòng)目標(biāo).進(jìn)行背景建模的方法有很多，主要分為兩類——基于像素信息的背景建模和基于區(qū)域信息的背景建模.不同的方法依據(jù)的理論基礎(chǔ)也不相同，但主要手段都是對(duì)樣本圖像序列進(jìn)行統(tǒng)計(jì)分析，提取出圖像背景并建立背景模型.

(3)運(yùn)動(dòng)檢測(cè)：將當(dāng)前幀圖像與背景圖像進(jìn)行差分運(yùn)算，根據(jù)設(shè)置的檢測(cè)閥值，若當(dāng)前幀中的像素與背景圖像中對(duì)應(yīng)位置的像素的差分運(yùn)算結(jié)果大于閥值，則分離出這部分像素作為前景(運(yùn)動(dòng)目標(biāo))，否則視為背景，用公式表示為

|Ft(x，y)-Bt(x，y)|>T，

(1)

其中，F(xiàn)t(x，y)為t幀中(x，y)位置的像素值，Bt(x，y)為t幀中(x，y)位置的背景像素值，T為檢測(cè)閥值.

(4)后期處理：通過上述運(yùn)動(dòng)檢測(cè)分離出來的運(yùn)動(dòng)目標(biāo)往往范圍過大，除了實(shí)際的運(yùn)動(dòng)目標(biāo)外，通常還包含一些干擾區(qū)域，例如背景中原來靜止的部分發(fā)生移動(dòng)，像風(fēng)吹動(dòng)窗簾、水面波動(dòng)等；光線的突然變化也會(huì)影響背景的提取，從而造成誤檢.后期處理的任務(wù)就是排除這些異常，去除影響檢測(cè)結(jié)果的干擾、噪聲等，提高檢測(cè)的準(zhǔn)確性.

(5)輸出目標(biāo)圖像：將運(yùn)動(dòng)檢測(cè)部分檢測(cè)到的前景像素置1、背景像素置0，形成二值圖像后輸出.在輸出的圖像中，運(yùn)動(dòng)目標(biāo)區(qū)域顯示為白色，未改變的區(qū)域以黑色顯示，即從當(dāng)前幀中把運(yùn)動(dòng)目標(biāo)分離出來.

2 背景更新策略

背景的維護(hù)與更新是背景減除算法的核心算法，它直接影響到運(yùn)動(dòng)目標(biāo)檢測(cè)的準(zhǔn)確性.由于本研究是在嵌入式視頻監(jiān)控系統(tǒng)中進(jìn)行運(yùn)動(dòng)目標(biāo)檢測(cè)，所以對(duì)算法的復(fù)雜性與檢測(cè)的實(shí)時(shí)性都有較高的要求，故使用了一種基于W4模型[4]的改進(jìn)算法，該算法實(shí)現(xiàn)簡單，運(yùn)算量小，能夠滿足實(shí)時(shí)性的要求.而且，該算法對(duì)運(yùn)動(dòng)目標(biāo)比較敏感，能夠精確地檢測(cè)出運(yùn)動(dòng)目標(biāo).

2.1 建立背景模型

設(shè)訓(xùn)練周期為T，從已知的視頻序列中抽取連續(xù)M幀圖像，記做I1，I2，…，IM，用Yn(x，y)(n=1，2，…，M)表示幀號(hào)為n的圖像中(x，y)位置處的像素亮度值，計(jì)算所有M幀圖像中該位置亮度的最大值YMAXt(x，y)、最小值YMINt(x，y)及最大鄰間差分值YDMAXt(x，y)，則

YMAXt(x，y)=MAX(Yn(x，y))，n=1，2，…，M，

(2)

YMINt(x，y)=MIN(Yn(x，y))，n=1，2，…，M，

(3)

YDMAXt(x，y)=MAX(Yn(x，y)-Yn-1(x，y))，n=2，…，M，

(4)

初始背景模型中每個(gè)像素點(diǎn)都用這3個(gè)值表示.

2.2 運(yùn)動(dòng)目標(biāo)分割

該過程主要將運(yùn)動(dòng)目標(biāo)從當(dāng)前幀圖像中分離出來，用Ft(x，y)表示當(dāng)前幀中(x，y)處像素的亮度值，若滿足式(5)或式(6)，則認(rèn)為該像素為前景，對(duì)該像素進(jìn)行二值化處理，否則按照2.3中的論述更新背景模型：

|Ft(x，y)-YMAXt(x，y)|>YDMAXt(x，y)，

(5)

|Ft(x，y)-YMINt(x，y)|>YDMAXt(x，y)，

(6)

對(duì)判斷為前景的像素進(jìn)行二值化處理，用St表示輸出的圖像，則

(7)

二值化處理后，當(dāng)前幀中的運(yùn)動(dòng)區(qū)域在St中以白色表示，即完成運(yùn)動(dòng)目標(biāo)的分離.

由于Ft(x，y)表示當(dāng)前幀中某點(diǎn)的亮度值，所以當(dāng)監(jiān)控場(chǎng)景中的光線強(qiáng)度突然變化時(shí)，式(5)或式(6)的條件也成立，這樣就會(huì)造成誤檢，這種情況應(yīng)單獨(dú)處理.當(dāng)光線突然增強(qiáng)或減弱時(shí)，當(dāng)前幀中所有像素的亮度都會(huì)發(fā)生變化，針對(duì)這個(gè)特點(diǎn)，可以構(gòu)造出另外一種算法以應(yīng)對(duì)光線強(qiáng)度的突然改變.

令Sf表示當(dāng)前幀中所有像素的亮度之和，Sb表示背景圖像中所有像素的亮度和，則

(8)

(9)

其中，w表示當(dāng)前幀的寬度，h表示當(dāng)前幀的高度.令T表示亮度變化閥值，則當(dāng)|Sf-Sb|>T時(shí)表示光線強(qiáng)度突然發(fā)生變化，這種情況應(yīng)排除在異常事件之外.

2.3 背景更新

實(shí)際中的背景總是要發(fā)生變化的，這時(shí)就必須對(duì)背景進(jìn)行更新，否則背景中就會(huì)存在大量的虛假信息，影響檢測(cè)結(jié)果的準(zhǔn)確性.本研究使用基于背景消減法的算法進(jìn)行背景模型的更新，背景消減法主要通過對(duì)前景圖像進(jìn)行閥值處理并根據(jù)處理結(jié)果，用當(dāng)前幀中的圖像更新背景模型.

通過上面的討論可知，根據(jù)式(5)或式(6)可檢測(cè)出前景圖像，令I(lǐng)t(x，y)表示當(dāng)前運(yùn)動(dòng)區(qū)域中(x，y)處的亮度值，則閥值可表示為

T=MIN(|It(x，y)-YMAXt(x，y)|，|It(x，y)-YMINt(x，y)|，|It(x，y)-YDMAXt(x，y)|).

根據(jù)T的值，決定更新背景模型中(x，y)處哪個(gè)分量的值：

若T=|It(x，y)-YMAXt(x，y)|，則

YMAXt+1(x，y)=αFt(x，y)+βYMAXt(x，y),

(10)

若T=|It(x，y)-YMINt(x，y)|，則

YMINt+1(x，y)=αFt(x，y)+βYMINt(x，y),

(11)

若T=|It(x，y)-YDMAXt(x，y)|，則

YDMAXt+1(x，y)=αFt(x，y)+βYDMAXt(x，y),

(12)

其中，α(0<α<1)和β是背景更新因子(β=1-α).

3 算法實(shí)現(xiàn)

根據(jù)上述討論，將基于背景減除的運(yùn)動(dòng)檢測(cè)算法在嵌入式視頻監(jiān)控系統(tǒng)中進(jìn)行了實(shí)現(xiàn)，系統(tǒng)采用C/S模式，其體系結(jié)構(gòu)如圖2所示.該系統(tǒng)的前端工作在嵌入式Linux平臺(tái)上，主要完成視頻的采集、圖像預(yù)處理、運(yùn)動(dòng)檢測(cè)、視頻數(shù)據(jù)的壓縮與存儲(chǔ)及網(wǎng)絡(luò)傳送功能，其軟件部分采用模塊化思想進(jìn)行設(shè)計(jì).

圖2 嵌入式視頻監(jiān)控系統(tǒng)體系結(jié)構(gòu)圖Fig.2 Embedded video surveillance system architecture

(1)視頻采集模塊.采集原始的視頻序列，使用Linux的v4l[5]實(shí)現(xiàn)，幀率25幀/s.

(2)圖像預(yù)處理模塊.為后續(xù)的運(yùn)動(dòng)檢測(cè)模塊提供圖像，從原始的視頻序列中每隔5幀抽取1幀作為該模塊的輸入.

圖3 運(yùn)動(dòng)檢測(cè)處理流程Fig.3 Moving objects detection process

(3)運(yùn)動(dòng)檢測(cè)模塊.提取每幀中的Y分量，根據(jù)RGB與YUV顏色空間的變換關(guān)系，計(jì)算每幀圖像中的Y分量：Y=0.3R+0.59G+0.11B，把原始圖像轉(zhuǎn)變?yōu)橛肶分量表示的灰度圖.根據(jù)上述文中背景更新策略中的算法檢測(cè)出運(yùn)動(dòng)目標(biāo)，輸出運(yùn)動(dòng)目標(biāo)的二值圖像并進(jìn)行現(xiàn)場(chǎng)幀的抓拍、存儲(chǔ)或發(fā)送現(xiàn)場(chǎng)幀圖像到用戶指定的位置,其處理流程如圖3所示.

(4)壓縮編碼模塊.該模塊主要完成視頻信息的壓縮編碼.本系統(tǒng)使用軟件實(shí)現(xiàn)數(shù)據(jù)壓縮編碼方案，選用的數(shù)據(jù)壓縮標(biāo)準(zhǔn)為H.264[6].H.264是一種成熟的高效率編碼標(biāo)準(zhǔn)，其編碼器是開源的，可以從網(wǎng)上下載，本系統(tǒng)中使用的是t264，對(duì)轉(zhuǎn)換后的YUV格式數(shù)據(jù)進(jìn)行逐幀壓縮.

(5)網(wǎng)絡(luò)傳輸模塊.通過該模塊將編碼后的數(shù)據(jù)打包發(fā)送到網(wǎng)絡(luò)中，由于本系統(tǒng)對(duì)實(shí)時(shí)性的要求較高，所以本模塊使用了RTP傳輸協(xié)議.實(shí)際網(wǎng)絡(luò)環(huán)境中帶寬的變化往往不可預(yù)料，網(wǎng)絡(luò)抖動(dòng)會(huì)降低傳輸質(zhì)量，造成傳輸時(shí)延增大、丟包等現(xiàn)象的發(fā)生，這可能導(dǎo)致監(jiān)控過程中的關(guān)鍵畫面丟失,所以該模塊需具備網(wǎng)絡(luò)帶寬自適應(yīng)性，可通過RTCP的反饋信息進(jìn)行碼率的動(dòng)態(tài)調(diào)整,具體過程在文獻(xiàn)[7]中有詳細(xì)的討論，此處不再贅述.

(6)設(shè)備控制模塊.該模塊根據(jù)用戶的控制命令完成對(duì)攝像頭設(shè)備的控制.

(7)存儲(chǔ)管理模塊.該模塊使用嵌入式數(shù)據(jù)庫MySQL存儲(chǔ)編碼后的視頻數(shù)據(jù)，供以后的檢索和回放.由于系統(tǒng)硬件的限制，所以擴(kuò)充一塊USB接口硬盤來存放數(shù)據(jù)庫，系統(tǒng)中的設(shè)備信息、用戶信息、運(yùn)動(dòng)檢測(cè)模塊檢測(cè)到的現(xiàn)場(chǎng)幀添加時(shí)間、地點(diǎn)信息也存儲(chǔ)在該數(shù)據(jù)庫中.本模塊的存儲(chǔ)管理采用等長分組存儲(chǔ)策略,按時(shí)序關(guān)系給待存儲(chǔ)的數(shù)據(jù)分組，每個(gè)分組存儲(chǔ)于一個(gè)大小固定的存儲(chǔ)單元內(nèi).

4 實(shí)驗(yàn)結(jié)果

本實(shí)驗(yàn)只對(duì)運(yùn)動(dòng)檢測(cè)部分進(jìn)行分析，監(jiān)控系統(tǒng)運(yùn)行在飛凌S3C2440開發(fā)板上，攝像頭為普通的USB攝像頭，監(jiān)控畫面通過開發(fā)板自帶的3.5寸觸屏進(jìn)行預(yù)覽，監(jiān)控過程中若檢測(cè)出運(yùn)動(dòng)目標(biāo)則對(duì)該幀圖像進(jìn)行抓拍.

圖4為監(jiān)控過程中的某幀圖像，圖5為背景，對(duì)這兩幀圖像進(jìn)行灰度處理后得到用Y分量表示的灰度圖，如圖6所示.圖7為經(jīng)過中值濾波后的檢測(cè)結(jié)果.

圖4 原始圖像 圖5 背景圖像 Fig.4 Original image Fig.5 Background image

圖6 原始灰度圖 圖7 檢測(cè)結(jié)果 Fig.6 Gray scale image Fig.7 Detection result

5 結(jié)束語

本研究使用了一種改進(jìn)的背景減除算法進(jìn)行運(yùn)動(dòng)檢測(cè)，該算法實(shí)現(xiàn)簡單，有較好的實(shí)時(shí)性，對(duì)移動(dòng)目標(biāo)非常敏感.在該算法的基礎(chǔ)上，使用H.264編碼技術(shù)，實(shí)現(xiàn)了一個(gè)具有運(yùn)動(dòng)目標(biāo)檢測(cè)功能的嵌入式視頻監(jiān)控系統(tǒng).實(shí)驗(yàn)證明，該系統(tǒng)能準(zhǔn)確地捕捉到視頻中的運(yùn)動(dòng)目標(biāo)，環(huán)境適應(yīng)性較強(qiáng).

參考文獻(xiàn)：

[1] Iketani A,Kuno Y,Shimada N. Real time surveillance system detecting persons in complex scenes[C]∥Proceedings of Image Analysis and Processing.Lonelon，1999:1112-1115.

[2] Anderson C,Burt P,Waals G. Change detection and tracking using pyramid transformation techniques [C]∥Proceedings of SPIE Intelligent Robots and Computer Vision.Lonelon，1985:72-78.

[3] Collins R T. A system for video surveillance and monitoring[EB/OL].http://www.cs.cmu.edu.

[4] 代科學(xué),李國輝.監(jiān)視視頻運(yùn)動(dòng)目標(biāo)檢測(cè)減背景技術(shù)的研究現(xiàn)狀和展望[J].中國圖像圖形學(xué)報(bào),2006,11(7):919-927.

[5] 范永開.Linux應(yīng)用開發(fā)技術(shù)詳解[M].北京:人民郵電出版社,2006.

[6] Thomas W,Gary J S,Gisle B,et al.Overview of the H.264/AVC video coding standard[J].IEEE Transactions on Circuits and Systems for Video Technology，2003,13(7):560-576.

[7] 盧靜,李華.網(wǎng)絡(luò)帶寬自適應(yīng)傳輸算法的研究與實(shí)現(xiàn)[J].河南工程學(xué)院學(xué)報(bào):自然科學(xué)版,2010,22(1):12-14.