夜間弱光環(huán)境下運動目標(biāo)的檢測

張運楚, 陳永福, 楊紅娟

(1.山東建筑大學(xué) 信息與電氣工程學(xué)院，濟南 250101；2. 山東省智能建筑技術(shù)重點實驗室，山東 濟南 250101；3. 棗莊市市中區(qū)房產(chǎn)管理局，山東 棗莊 277100)

?

夜間弱光環(huán)境下運動目標(biāo)的檢測

張運楚1,2, 陳永福3, 楊紅娟1,2

(1.山東建筑大學(xué) 信息與電氣工程學(xué)院，濟南 250101；2. 山東省智能建筑技術(shù)重點實驗室，山東 濟南 250101；3. 棗莊市市中區(qū)房產(chǎn)管理局，山東 棗莊 277100)

夜間弱光環(huán)境下視頻圖像具有像噪聲高、對比度低、無彩色信息等特點，加大了運動目標(biāo)檢測難度, 可靠的運動目標(biāo)檢測是實現(xiàn)智能視頻監(jiān)控的關(guān)鍵。文章針對夜間弱光環(huán)境下視頻監(jiān)控近紅外圖像的特點，基于改進的近似中值濾波原理，建立了夜間弱光環(huán)境下視頻圖像雙尺度背景模型，對運動目標(biāo)進行雙尺度檢測，并通過實驗驗證了該方法對夜間弱光環(huán)境下運動目標(biāo)檢測的有效性。

運動目標(biāo)檢測；夜間場景；近似中值濾波；背景模型

0　引言

夜間是入侵、盜竊等非法行為的多發(fā)時段。日/夜轉(zhuǎn)換型監(jiān)控攝像機能根據(jù)環(huán)境照度的高低，在彩色模式和黑白模式之間自動切換，以保證圖像的可辨識性。為改善夜間成像質(zhì)量，監(jiān)控攝像機通常配置850或940 nm的近紅外LED輔助照明燈，但紅外燈具有較強的指向性，照亮的場景范圍和距離有限，光線不均勻，所采集的近紅外圖像仍為灰度圖像，且噪聲高、對比度低，丟失了場景中色彩和紋理等重要信息，同時還受路燈、車燈引起的高亮光斑、照度波動等干擾，尤其是遠景下，運動目標(biāo)成像尺寸小，視覺顯著性差，區(qū)分度下降，加大了檢測難度。在日光環(huán)境下，運動目標(biāo)檢測算法常選擇色彩、紋理特征進行背景建模[1-3]，但在夜間弱光環(huán)境下算法性能會大幅下降。因此，智能視頻監(jiān)控系統(tǒng)要實現(xiàn)24 h全天候運行，就必須提高夜間弱光環(huán)境下運動目標(biāo)的檢測能力。Huang和Song等提出了基于局部對比度分析的夜間運動目標(biāo)檢測方法，將圖像劃分為若干尺寸為像素的互不重疊圖像子塊，定義圖像子塊局部對比度為該子塊圖像標(biāo)準差與均值的比值，依據(jù)圖像子塊局部對比度的大小初步判斷圖像子塊內(nèi)是否存在顯著的可見圖像內(nèi)容，得到目標(biāo)候選區(qū)域；再根據(jù)圖像子塊局部對比度的幀間變化，進一步判斷子塊圖像是否含有運動目標(biāo)，最后通過目標(biāo)跟蹤抑制誤檢。由于對比度是物體與周圍背景之間灰度值相對差異的度量，僅當(dāng)運動目標(biāo)整體或部分位于圖像子塊內(nèi)時，局部對比度作為可見圖像內(nèi)容存在的依據(jù)才有意義，因此，該方法存在圖像子塊大小與運動目標(biāo)大小的匹配問題[4-5]。Wang研究了夜晚大樓電梯間行人檢測問題，針對電梯門開關(guān)時產(chǎn)生的光照突變進行光照補償，以維持圖像亮度空間統(tǒng)計特性的時域一致；然后計算每一像素的改進局部二值模式特征值，并采用指定半徑圓形鄰域中所有像素局部二值模式特征直方圖來表達該像素的紋理背景結(jié)構(gòu)；為描述背景的動態(tài)變化，每個像素用K個加權(quán)圓域局部二值模式LBP(Local Binary Pattern)特征直方圖作為背景模型，直方圖匹配則采用交集距離測度，采用類似高斯混合背景模型的算法機理進行模型更新和運動目標(biāo)分割。局部二值模式實際為一種紋理特征，對噪聲比較敏感，不適合低信噪比、低對比度的室外夜間場景[6]。張棉好提出雙模式高斯混合模型檢測夜間視頻圖像中的運動目標(biāo)，消除感應(yīng)式照明設(shè)施對背景的影響[7]。封子軍等針對在弱可見光條件下熱紅外圖像分辨率低、場景細節(jié)模糊的特點，提出了一種將紅外運動目標(biāo)與可見光圖像融合的目標(biāo)檢測與定位策略[8]。Tsai針對夜間場景光照波動、光斑和陰影問題，采用高斯混合背景模型和多區(qū)域背景分類方法，將圖像分割成候選目標(biāo)、背景、陰影和亮斑等區(qū)域，再通過面積濾波實現(xiàn)運動目標(biāo)檢測[9]。Cheng為解決夜間視頻監(jiān)控的誤報警和漏報警問題，采用基于塊的目標(biāo)檢測方法，根據(jù)目標(biāo)的大小把近紅外圖像分割成互不重疊的子塊，對每個子塊進行閾值分割，得到運動目標(biāo)；然后利用二階紋理特征和支持向量機SVM對候選目標(biāo)區(qū)域進行分類，最終得到行人目標(biāo)。由于夜間近紅外圖像幾乎無彩色信息，子塊閾值分割時采用YCbCr顏色模型不盡合理[10]。金左輪針對微光圖像對比度較低、顯著性差的目標(biāo)檢測，提出了一種基于圖像粗糙度特征的紋理顯著性度量算法[11]。

文章針對夜間視頻監(jiān)控近紅外圖像的特點，首先將圖像劃分為一系列圖像子塊，計算這些圖像子塊的灰度均值，作為下采樣值構(gòu)造一幅低分辨率圖像。建立基于改進的近似中值濾波雙尺度背景模型[12]，利用低分辨率圖像背景模型對運動目標(biāo)進行粗檢測，然后采用原圖像背景模型對上述結(jié)果進一步細化，獲取更為精確的目標(biāo)輪廓。其獨特之處在于能在不降低空間分辨力的前提下實現(xiàn)夜間弱光環(huán)境下運動目標(biāo)的檢測。

1　夜間弱光環(huán)境下視頻圖像背景建模

背景減除法是攝像機固定配置下常用的運動目標(biāo)檢測方法，它假定攝像機視場固定，場景中的背景物體處于靜止?fàn)顟B(tài)，且運動物體表面材料光學(xué)特性不同于被遮擋的背景物體。因此，無運動物體進入攝像機視場時，圖像像素值處于穩(wěn)定狀態(tài)；一旦有物體進入視場，或場景中原本靜止的物體開始移動，便形成對背景物體的遮擋或暴露，導(dǎo)致圖像中對應(yīng)投影區(qū)域像素值將發(fā)生變化。如果圖像像素值變化顯著，則認為該像素源于運動目標(biāo)，否則為背景。

但在實際應(yīng)用中，引起圖像變化的原因除了運動物體的介入外，還有諸多場景因素，如背景物體的自運動、環(huán)境光照的變化、攝像機的抖動等。因此，能否對像素變化進行有效溯源，決定了運動目標(biāo)檢測的成敗。

視頻圖像中每個像素在時間線上的觀察樣本構(gòu)成了一個隨機時間序列，這些樣本可能來自背景或運動物體兩個不同的總體。大多數(shù)應(yīng)用場合，運動物體在視場中存在的持續(xù)時間較短、外觀特征差異性大，因此，觀察樣本多來自于背景。背景建模的任務(wù)就是利用像素特征值歷史樣本建立模式分類決策模型，然后對當(dāng)前觀察值來源是背景還是前景做出推斷。背景建模包括特征選擇、模型表達、模型更新等環(huán)節(jié)。背景模型是對攝像機視場中場景背景先驗知識的描述，包含了把背景與其它我們感興趣的運動物體區(qū)別開所需的重要特征信息及其表達和組織方式。背景建模位于視覺計算理論框架的低層，企圖表達高層的語義信息，再加上構(gòu)成場景背景的諸多環(huán)境要素的動態(tài)行為，使得背景建模成為難點。

背景建模通過選擇合理的圖像特征可以在一定程度上抑制背景的某些動態(tài)變化。包括特征空間尺度的選擇，如像素、團塊、區(qū)域等，以及特征類型的選擇，如顏色特征、邊緣特征、立體特征、運動特征和紋理特征等。在夜間弱光環(huán)境下，視頻監(jiān)控采集的近紅外圖像為灰度圖像，且噪聲高、對比度低，丟失了場景中色彩和紋理等重要信息，同時還受路燈、車燈引起的高亮光斑、照度波動等影響，相鄰像素噪聲常相互干擾，呈現(xiàn)一定程度的斑狀效應(yīng)[13]，這為背景模型的特征選擇帶來一定難度。

文章針對夜間視頻監(jiān)控近紅外圖像特點，根據(jù)場景中可能出現(xiàn)的最小運動目標(biāo)的大小，將圖像劃分為一系列圖像子塊，計算這些圖像子塊的灰度均值，構(gòu)造一幅低分辨率圖像。然后建立基于改進的近似中值濾波雙尺度背景模型。

1.1構(gòu)造低分辨率圖像子塊均值圖像

在隨機噪聲存在的情況下，視頻序列t時刻圖像幀f中像素(x,y)的灰度值f(x,y,t)可由式(1)

表示為

f(x,y,t)=fs(x,y,t)+η(x,y,t)

(1)

式中:fs(x,y,t)取決于成像時對應(yīng)場景“物點”亮度;η(x,y,t)為隨機噪聲。從其空間統(tǒng)計特性來看，η(x,y,t)可認為是在x、y空間分布的各態(tài)歷經(jīng)平穩(wěn)隨機過程；從其時間統(tǒng)計特性來看，可認為是時間平穩(wěn)隨機過程[14-15]。

設(shè)原圖像f的大小為M行×N列，將其劃分成(M/a)×(N/b)個大小為a×b互不重疊的圖像子塊，計算每個圖像子塊的算術(shù)平均值，按(2)式構(gòu)建圖像子塊均值圖像g(i,j)為

(2)

對視頻序列中每幀圖像按式(2)構(gòu)建其子塊均值圖像g，從而得到一個低分辨率圖像序列。為說明子塊均值圖像g用于圖像變化檢測的噪聲抑制能力，計算相鄰幀間差分的絕對值由式(3)表示為

(3)

式(3)中，第①部分反映了原始圖像f中圖像子塊Sij對應(yīng)的場景“物點”的平均亮度變化，第②部分為標(biāo)準差變小后的隨機噪聲分量。顯然，子塊均值圖像g的幀間差分能準確反映場景改變引起的圖像變化，同時又降低了隨機噪聲的影響。圖像分塊尺寸a、b是影響算法性能的重要參數(shù)，a、b越大，噪聲抑制能力越強，但會降低運動目標(biāo)檢測的空間和對比度分辨力,可根據(jù)圖像中待檢運動目標(biāo)可能的最小尺寸來確定參數(shù)a、b的值，一般略小于目標(biāo)尺寸，且不大于8，這樣就可以在信噪比提升和目標(biāo)分辨力之間取得折中。

1.2對近似中值濾波背景模型的改進

McFarlane等提出了一種基于近似中值濾波器(Approximate Median Filter)的背景模型[12]。令f(x,y,t)表示像素(x,y)在時刻t的灰度值，B(x,y,t)表示對從0到t時間內(nèi)該像素灰度值歷史數(shù)據(jù)中值的估計。為適應(yīng)背景的動態(tài)變化，在t時刻，對B(x,y,t+1)由式(4)更新為

(4)

式中：β為一個大于0的增量，決定了模型的學(xué)習(xí)速度。McFarlane采用β=1，對于場景恒定、目標(biāo)運動速度較慢的場合，該值常導(dǎo)致運動目標(biāo)被過快地融合到背景中。因此，文章采用可變增量β，根據(jù)背景擾動的劇烈程度和運動目標(biāo)的運動速度在0～1之間取值。實驗表明，對于廣角遠景監(jiān)控視頻序列，運動目標(biāo)遠離攝像機，圖像中場景變化以及目標(biāo)運動速度較慢，此時可以適當(dāng)降低背景學(xué)習(xí)速度，β值可取小一些，可在0.2～0.5之間取值。而對于近景監(jiān)控視頻序列，由于運動目標(biāo)和背景距攝像機較近，變化較為劇烈，此時應(yīng)適當(dāng)加大學(xué)習(xí)速度，β值一般在0.5～1之間取值。

背景模型經(jīng)過學(xué)習(xí)后很快收斂，對t時刻的圖像f(x,y,t) 按下式進行判斷，得到運動目標(biāo)的二值圖像由式(5)表示為

(5)

式中：T為閾值，一般在15～25之間取值。

1.3基于改進的近似中值濾波雙尺度背景模型

令Fbg(x,y,t) 表示原始圖像從0到t時間內(nèi)像素灰度值歷史數(shù)據(jù)的近似中值估計，Gbg(i,j,t) 表示子塊均值圖像從0到t時間內(nèi)各子塊均值歷史數(shù)據(jù)的近似中值估計，分別建立原始圖像分辨率背景模型，和由圖像子塊均值構(gòu)建的低分辨率背景模型，并按式(6)更新模型為

利用低分辨率圖像背景模型對運動目標(biāo)進行粗檢測，然后采用原圖像分辨率背景模型對上述結(jié)果進一步細化，以獲取更為精確的目標(biāo)輪廓。

2　運動目標(biāo)的雙尺度檢測

2.1運動目標(biāo)粗檢測

根據(jù)當(dāng)前圖像f，構(gòu)建相應(yīng)的子塊均值圖像g，對低分辨率背景模型Gbg進行更新，并按下式完成運動目標(biāo)的粗檢測。如果g中(i,j)處像素滿足式(7)，則判為運動目標(biāo)，否則為背景。

(7)

式中：T1為閾值，依據(jù)圖像子塊大小和目標(biāo)檢測靈敏度而定，一般取8～15。

然后將上述粗檢測結(jié)果映射到原圖像空間。令Mfg代表原圖像尺寸的運動目標(biāo)前景圖像，如果子塊均值圖像g中(i,j)處像素被判為運動目標(biāo)，則由式(8)確定為

Mfg(x,y)=1,(x,y)∈Sij

(8)

式中：Sij表示原始圖像f中，與子塊均值圖像g中(i,j)處像素所對應(yīng)的圖像子塊區(qū)域。

2.2運動目標(biāo)的細化檢測

粗檢測步驟得到的運動目標(biāo)區(qū)域呈現(xiàn)塊狀粗糙感，如圖2中(b)、(e)、(h)所示。為獲得更為精確的運動目標(biāo)輪廓區(qū)域，利用Mfg給出的運動目標(biāo)候選區(qū)域信息，在原圖像尺度空間上對運動目標(biāo)做細化檢測。

令Rk表示Mfg中第k個目標(biāo)候選區(qū)域，其包圍盒的左上角和右下角頂點坐標(biāo)分別為(xtk,ytk)、(xbk,ybk)，將該區(qū)域擴大為矩形(xtk-δ,ytk-δ)、(xbk+δ,ybk+δ), 從而得到待細化檢測的興趣區(qū)域Rke。選擇合適的δ以便包含完整的運動目標(biāo)，如圖1所示。

圖1　運動目標(biāo)細化檢測圖像區(qū)域的確定圖

然后計算原圖像分辨率背景模型Fbg和當(dāng)前圖像f在Rke限定圖像區(qū)域的背景差，并利用式(9)得到細化檢測結(jié)果Ifg為

Ifg存在一定的孤點和斑狀噪聲，孤點噪聲可采用中值濾波消除；對于殘留的斑狀噪聲，可根據(jù)區(qū)域面積來濾除，計算出檢測得到的所有前景區(qū)域的面積，若小于設(shè)定的最小目標(biāo)面積，則視為斑狀噪聲予以消除，最終運動目標(biāo)檢測結(jié)果如圖2中(c)、(f)、(i)所示。

3　實驗結(jié)果驗證

為了驗證文章提出的算法，選取了三段光照條件不同的夜間監(jiān)控視頻進行實驗，圖2給出了實驗結(jié)果。“Square”為某廣場夜間遠景監(jiān)控視頻序列，運動目標(biāo)遠離攝像機，有單個行人、多人結(jié)伴、汽車等，圖像中的運動目標(biāo)小(最小5×5個像素)、對比度低；測試時，算法主要控制參數(shù)為a=4、b=4、β=0.2、T1=12、T2=10?！癝quare_rain”為同一廣場雨夜遠景監(jiān)控視頻序列，場景略微拉近；由于下雨，光照條件更差，存在雨滴、地面積水對燈光的反射等干擾?！癝treet”為某街道夜間遠景監(jiān)控視頻序列，存在較多的燈光干擾，導(dǎo)致行人等運動目標(biāo)與背景的區(qū)分度較差?！癝quare_rain”和“Street”兩段視頻測試時，算法主要控制參數(shù)為a=8、b=4、β=0.2、T1=T2=10。

實驗結(jié)果表明，基于子塊均值圖像的低分辨率背景模型能有效抑制夜間圖像中的點狀和斑狀隨機噪聲干擾，對運動目標(biāo)有很好的檢測能力。圖像分塊參數(shù)a、b是影響算法性能的重要參數(shù)，同時也影響閾值T1的選擇；a、b越大，噪聲抑制能力越強，運動目標(biāo)的空間和對比度分辨力越低，但可通過降低閾值T1應(yīng)加以彌補。實驗中，也存在一定的誤檢、漏檢情況。誤檢主要發(fā)生在“Street”視頻序列，主要原因是行駛在街道上的汽車燈光的強光影響。

圖2　夜間弱光環(huán)境下運動目標(biāo)檢測實驗結(jié)果圖(a)Square視頻序列第255幀；(b)對第255幀粗檢測得道的運動目標(biāo)區(qū)域；(c)對第255幀細化檢測得到的運動目標(biāo)區(qū)域；(d)Square_rain視頻序列第224幀；(e)對第224幀粗檢測得道的運動目標(biāo)區(qū)域；(f)對第224幀細化檢測得到的運動目標(biāo)區(qū)域；(g)Street視頻序列第359幀；(h)對第359幀粗檢測得道的運動目標(biāo)區(qū)域；(i)對第359幀細化檢測得到的運動目標(biāo)區(qū)域

4　結(jié)語

文章針對夜間視頻監(jiān)控近紅外圖像的特點，建立了一種基于改進的近似中值濾波雙尺度背景模型，算法利用子圖塊均值對圖像下采樣，在粗粒度上檢測圖像中的運動變化，提高運動目標(biāo)導(dǎo)致圖像顯著變化的檢出率和可靠性，然后在原圖像粒度上細化目標(biāo)輪廓。實驗結(jié)果表明文章提出的算法控制參數(shù)少、計算效率高，能有效檢測出夜間弱光環(huán)境下的低對比度小尺寸運動目標(biāo)，具有良好的對比度分辨力和空間分辨力。

[1]Zhang X., Yang Y., Han Z.,etal.. Object class detection: a survey[J]. ACM Computing Surveys, 2013, 46 (1):1-53.

[2]李洪艷,曹建榮,談文婷,等.圖像分割技術(shù)綜述[J].山東建筑大學(xué)學(xué)報,2010,25(1):85-88.

[3]曾慶貴,宋世軍,張佳福,等.一種基于信息融合的圖像分割方法[J].山東建筑大學(xué)學(xué)報,2008,23(2):154-158.

[4]Huang K.,Wang L.,Tan T.,etal..A real-time object detecting and tracking system for outdoor night surveillance[J]. Pattern Recognition, 2008,41(1):432- 444.

[5]Soumya T.. A Moving Object Segmentation Method for Low Illumination Night Videos[J]. Lecture Notes in Engineering & Computer Science, 2008, 2173(1):763-768.

[6]Wang Y., Fan C. T.. Moving Object Detection for Night Surveillance[C]. Proceedings of the 2010 Sixth International Conference on Intelligent Information Hiding and Multimedia Signal Processing, Darmstadt:Betal Hirshman Publishing Conpany,2010.

[7]張棉好.夜間近紅外線視頻監(jiān)控圖像人體目標(biāo)檢測[J].激光雜志,2012,33(2):25-26.

[8]封子軍,張曉玲,張慧杰.運動目標(biāo)檢測的紅外與可見光圖像融合方法[J]. 計算機工程與應(yīng)用,2012,48(7):9-11.

[9]Tsai T. , Huang C., Fan C.. A High Performance Foreground Detection Algorithm for Night Scenes[C]. Proceedings of the 2013 IEEE Workshop on Signal Processing Systems (SiPS), Taipei:Dongli Publishing Group, 2013.

[10]Cheng C.,Wen K.,Chang H.,etal.. Night Video Surveillance Based on the Second-Order Statistics Features[C]. Proceedings of the 2014 Tenth International Conference on Intelligent Information Hiding and Multimedia Signal Processing (IIH-MSP), Kitakyushu:Yanbo publishing conpany, 2014.

[11]金左輪,韓靜.基于紋理顯著性的微光圖像目標(biāo)檢測[J].物理學(xué)報,2014(6):413-424.

[12]McFarlane N., Schofield C.. Segmentation and tracking of piglets in images[J]. Machine Vision and Applications, 1995, 8(3):187-193.

[13]曹治國,馬怡偉,桑農(nóng),等. 夜間圖像匹配中的斑狀噪聲預(yù)處理[J]. 紅外與激光工程,2004,33(3):278-281.

[14]Bouwmans T., Elbaf F., Vachon B.. Background modeling using mixture of Gaussians for foreground detection-a survey[J]. Recent Patents on Computer Science,2008,1(3):219-237.

[15]吳軍輝,郜竹香,張玉竹. 紅外成像系統(tǒng)圖像空間噪聲分析與估計[J].紅外技術(shù), 2001,23(3):19-22.

[16]龔昌來.算術(shù)平均值濾波器抗噪性能分析及應(yīng)用[J].嘉應(yīng)大學(xué)學(xué)報,2000,18(6):38-40.

(學(xué)科責(zé)編：李雪蕾)

Moving object detection in the low illumination night scene

Zhang Yunchu1,2, Chen Yongfu3, Yang Hongjuan1,2

(1.School of Information and Electrical Engineering, Shandong Jianzhu University, Jinan 250101, China;2. Shandong Provincial Key Laboratory of Intelligent Building Technology, Jinan 250101, China; 3.Zaozhuang Shizhong District Real Estate Management Bureau, Zaozhuang 277100, China)

Images captured in the low illumination night scene for visual surveillance have high noise, low contrast，no color information，and poor distinction between the object and the background, which poses more challenges to moving object detection. Reliable moving objects detection is the key to realizing the intelligent video surveillance system. This paper analyzes the characteristics of the near infrared image of the video surveillance in the weak light environment at night, and establishes a dual-scale background model based on the improved Approximate Median Filter, to detect moving objects by dual-scale way. The experiments show that the proposed algorithm is able to detect moving objects effectively at night under adverse illumination conditions.

moving object detection; night scenario; approximate median filter; background model

2016-03-17

國家自然科學(xué)基金青年基金項目(61303087)

張運楚(1968-),男,教授,博士, 主要從事機器視覺等方面研究.E-mail: yczhang@sdjzu.edu.cn

1673-7644(2016)02-0119-06

TP391.41

A