光照快速變化條件下的運動目標檢測

張金敏，王 斌( 蘭州交通大學 機電工程學院，蘭州 730070 )

?

光照快速變化條件下的運動目標檢測

張金敏，王 斌
( 蘭州交通大學 機電工程學院，蘭州 730070 )

摘要：為了解決視頻監(jiān)控系統(tǒng)中光照快速變化對運動目標檢測產生的影響，提出一種新的運動目標檢測方法。通過建立光照變化模型、色度差模型和亮度比模型來消除光照快速變化產生的影響。當光照快速變化的時候，背景像素和運動目標像素會被檢測為前景像素。為了從檢測到的前景像素中分離出運動目標像素和偽前景像素，分別建立色度差模型和亮度比模型來估計偽前景像素的亮度差和亮度比。色度差模型和亮度比模型的建立均依賴于光照變化模型。實驗結果表明，本文的方法在光照快速變化的條件下具有較好的檢測效果和檢測實時性。

關鍵詞：運動目標檢測；光照變化模型；色度差模型；亮度比模型；前景像素

0 引 言

近年來，視頻監(jiān)控系統(tǒng)的應用不斷增加，并且越來越智能化，可實現(xiàn)對運動目標的自動檢測、跟蹤與識別。背景分離法就是運動目標檢測中的一個經典方法，比如基于混合高斯模型的檢測方法[1]。背景分離法可從混亂和變化時間較長的場景中檢測出運動目標。但是在一些動態(tài)場景中，比如，周期性的運動、蕩漾的水面以及搖曳的植被等，變化的背景也會被檢測為運動目標。為了解決動態(tài)場景產生的問題，學者對原始混合高斯模型進行了改進，得到了新的背景建模法[2-3]。這種方法可以消除動態(tài)場景中的偽前景像素，但是無法消除光照變化引起的偽前景像素。

在不存在光照變化的條件下，通過背景分離法可將運動目標像素檢測為前景像素。然而，當存在光照變化時，受到光照變化影響的固定背景像素和運動目標像素都會被檢測為前景像素。

為了解決光照變化問題，文獻[4]提出調整混合高斯模型的學習率，但是，當圖像中的運動目標暫時停止運動時，增加學習率會導致將運動目標識別為背景。文獻[5]采用基于顏色不變特性的運動目標檢測方法，但是，當運動目標與背景具有相近的色度時，該方法無法檢測出運動目標。文獻[6]提出基于亮度歸一化和同態(tài)濾波的檢測方法，但是，當場景中部分光照發(fā)生變化時，該方法無法滿足檢測的要求；此外，該方法也沒有考慮攝像機的自曝光問題。文獻[7]采用在光照變化時基本不發(fā)生變化的圖像邊緣和紋理特征進行運動目標的檢測；但是，當背景比較簡單且圖像中存在大量的噪聲時，該方法得不到較好的檢測效果。文獻[8]采用改進的自適應混合高斯模型進行運動目標檢測中將前景像素與背景像素的分離，該方法具有很好的檢測效率，但是對光照的變化比較敏感。文獻[9]采用基于圖像紋理和邊緣的LBP方法進行運動目標檢測，能夠很好的解決光照快速變亮產生的偽前景問題，但其往往會將運動目標附近復雜的背景誤檢為運動前景。文獻[10]采用基于光照和空間似然模型的方法進行運動目標檢測，雖然有很好的檢測實時性，但是檢測精度無法滿足實際需要。

本文采用一個新的方法來解決光照快速變化對運動目標檢測產生的影響。光照的變化會將固定的背景像素檢測為偽前景像素，因此，為了準確的檢測出運動目標，需要將前景像素分離為運動目標像素和偽前景像素兩部分。本文采用色度差模型和亮度比模型來區(qū)別運動目標像素和偽前景像素，色度差模型和亮度比模型均考慮到了光照變化和攝像機的自曝光問題。色度差模型和亮度比模型無需事先對光照變化進行離線訓練，并且在攝像機進行自曝光以及部分場景發(fā)生光照變化時，均能得到較好的檢測效果。

1 光照變化模型

建立的光照變化模型如圖1所示。

在光照變化模型中存在兩種光照。一種是來自于太陽光的單一可見光源；另一種是來自于外界光照的擴散光源。場景中的每一個點具有相同的外界光照。由于太陽光的光線是相互平行的，因此，亮物體與亮背景的每一個像素具有相同的太陽光照。當太陽光穿過云層照射時，其會發(fā)生衰減。在光照變化模型中，假設云層產生的光照衰減不會影響太陽光方向，只對光照強度產生影響。

圖1 光照變化模型Fig.1 Illumination change model

光照變化模型是以馮氏陰影模型為基礎[8]。假設目標表面的單面反射性很弱或者不存在。由于背景和運動目標具有朗伯表面，因此可使用雙向反射分布函數(shù)。基于以上的假設，場景中點X處的反射光Lo(X )：

其中：ρ(X)是反射系數(shù)，l(X)是從點X到每一個光源的方向向量，n(X)是點X處的法向量，Li(X)是i時刻的入射光，N是光源的數(shù)量。由于光照包括兩部分(太陽光照和環(huán)境光照)，那么可得到：

其中：La是環(huán)境光照，Ls是太陽光照。

定義每一個圖像的亮度為KI，其中K代表R、G、B。類似地，Lo,ρ(X ),La和Ls的每一個RGB組成部分可分別表示為,ρK(X ),和。定義RGB光照的攝像機傳感器靈敏度為KO。場景中的點X可映射為圖像平面上的像素p(x, y)。那么可定義p(x, y)的亮度為(x, y)，且(x, y)可表示為

在光照變化模型中，亮物體和亮背景均包括太陽光照和環(huán)境光照。因此，亮物體和亮背景的亮度和可分別表示為

由于太陽光被不透明物體遮擋，暗物體、陰影以及暗背景只有環(huán)境光照，暗物體的亮度、陰影的亮度以及暗背景的亮度分別用、和表示。

在白天，戶外的太陽光或者環(huán)境光照變化比較緩慢，因此，當太陽被云層遮擋時就會產生光照的快速變化。在這種情況下，亮度的衰減量會從α變化為α?。如果光照快速變化，那么整個圖像的平均亮度也會發(fā)生變化；這個時候，攝像機的自動曝光就會發(fā)揮作用。在本文中，將曝光的改變定義為攝像機靈敏度的改變，且從O到?。

定義亮物體、暗物體、陰影、亮背景以及暗背景受到光照變化后的亮度分別為，以及，且有：

用于視頻監(jiān)控的攝像機一般安裝在道路、十字交叉路、廣場以及停車場等地方。在這樣的環(huán)境下，背景是平坦的，或者說背景是由一些具有相同表面法向量的平面組成的。因此，背景上的每一個點具有相同的表面法向量n(X)。l(X)表示太陽光的方向，且場景中每一個地方的太陽光照方向相同。因此，背景中每一個點的表面法向量和太陽光方向的乘積n(X) . l( X )具有相同的定值c。那么，式(1)、式(2)可重寫為

圖2和　Ibb(x, y)Fig.2and Ibb(x,y)

圖3和Idb(x,y)Fig.3and Idb(x,y)

然而，如果p(x, y)為亮物體或者暗物體像素，其亮度將依賴于反射系數(shù)或者表面法向量。因此，亮物體和暗物體的亮度比：

此外，當場景中出現(xiàn)大量的運動目標時，其會影響到整個圖像的平均亮度。在這種情況下，攝像機的自曝光將發(fā)揮作用。如果是由運動目標而不是光照的變化引起攝像機的自曝光，即：。那么，可得到：

2 偽前景像素估計

2.1 整體方案

在運動目標的檢測過程中，如果不存在光照的變化，運動目標會被檢測為前景像素。然而，實際環(huán)境中往往受到光照變化的影響，這時偽前景像素和運動目標像素均會被檢測為前景像素。為了區(qū)分實際的運動目標像素和偽前景像素，建立色度差模型和亮度比模型，如圖4所示。

圖4 光照變化下的檢測方法Fig.4 Detection method under illumination variation

色度差模型對偽前景像素進行估計，并且通過混合高斯模型分離出運動目標像素和可能的偽前景像素。然而，分離出來的偽前景像素仍然可能存在運動目標像素，此時其色度差為零。在這種情況下，采用亮度比模型可將運動目標像素準確的檢測出來。最終，通過色度差模型和亮度比模型的串聯(lián)消除偽前景像素，實現(xiàn)運動目標在光照變化條件下的準確檢測。

2.2 色度差模型

在進行運動目標的檢測過程中，如果光照發(fā)生變化，偽前景像素和運動目標像素都會被檢測為前景像素。為了消除前景像素p(x, y)中的偽前景像素，建立色度差模型(Chromaticity Difference Model，CDM)。

定義p(x, y)的色度差為C(x, y)，且C(x, y)的RGB分量為

其中：I(x, y)是輸入圖像像素的亮度，Ib(x, y)是背景像素的亮度。在本文中，定義每一個背景像素的亮度為混合高斯模型最高加權層的平均值。此外，陰影、亮背景以及暗背景的色度差分別用和表示。

由于亮物體和暗物體像素的亮度比依賴于反射系數(shù)和表面法向量，色度差是隨機分布的。因此，如果為零，像素p(x, y)為偽前景像素，如果不為零，像素p(x, y)為運動目標像素。

在實際戶外環(huán)境中，太陽光和環(huán)境光照并不總是白色的，這時圖像中就會存在噪聲。在這種情況下，以及不完全如圖2和圖3所示，可能不在同一條線上，但也不會偏離太遠。因此，陰影、亮背景和暗背景的值近似為零。

首先，對陰影、亮背景和暗背景色度差的可能分布進行估計；接著，使用估計出的分布對每一個前景像素進行運動目標像素和偽前景像素的分離。采用最大似然估計實現(xiàn)分布的估計，且定義偽前景像素色度差的可能分布為

對于每一個前景像素，定義一個像素p(x, y)為可能的偽前景像素或者運動目標像素，即：如果為偽前景像素，否則，p(x, y)為運動目標像素。在本文中，T取0.054 8，其可C靠性可達到95%。輸入圖像以及運動目標圖像如圖5所示。

圖5 CDM運動目標檢測結果Fig.5 CDM moving object detection results

從圖5(b)中可以看出，當色度差模型進行運動目標檢測時，其在檢測出真正運動目標的同時，還將大量的背景像素檢測為偽前景，這是由光照變化引起的。此外，對圖像的前景像素進行直方圖統(tǒng)計，有很多運動目標像素的CK0≈，運動目標像素和偽前景像素接近于0。在這種情況下，可能的偽前景像素中就會存在色度差接近于零的運動目標像素，即零色度差運動目標像素。

2.3 亮度比模型

通過色度差模型可將前景像素分離為運動目標像素和可能的偽前景像素(Candidate False Foreground Pixel，CFFP)；但是，CFFP中仍然存在零色度差的運動目標像素。因此，建立亮度比模型(Brightness Ratio Model，BRM)來區(qū)分偽前景像素和零色度差的運動目標像素，且所有的陰影像素、亮背景像素和暗背景像素分別具有相同的亮度比。定義p(x, y)的亮度比為B(x, y)，且B(x, y)的RGB分量為

其中：I(x, y)是輸入圖像的亮度，Ib(x, y)是背景亮度。陰影、亮背景和暗背景像素的亮度比分別用、和表示。

然而，由于亮物體和暗物體像素的亮度比依賴于反射系數(shù)和面法向量，其亮度比分布是任意的。因此，可對BK(x, y)進行判斷，如果BK(x, y)是一個特定的常量，那么p(x, y)為偽前景像素，否則是運動目標像素。

首先，對陰影、亮背景和暗背景亮度比的可能分布進行估計；接著，對偽前景像素和零色度差的運動目標像素進行分離。在亮度比模型中，由于陰影、亮背景和暗背景最多有三個高斯分布，所以可以采用一個具有三個高斯模態(tài)的混合高斯模型對其分布進行估計。為了找出上述的三個高斯模態(tài)，采用最大期望算法。定義數(shù)據集為X，X的第nth個參數(shù)為xn；參數(shù)向量集為θ，θ的第ith個參數(shù)為iθ。

在本文中，對θ的初始值作如下設定：所有的iα相等，所有的iσ具有相同的隨機最大值。

結合估計的θ值，定義偽前景像素亮度比的概率密度如下所示：

對于可能的偽前景像素中的每一個像素，通過下面的方法判斷其是偽前景像素或者運動目標像素：如果就為偽前景像素，否則就是運動目標像素。在本文中，T取0.058 4，且具有B95%的可靠性。

輸入圖像、CDM檢測結果、偽前景圖像以及BRM檢測結果如圖6所示。

在圖6中，圖6(c)中紅色部分表示的是采用BRM方法提取出的偽前景像素，白色部分表示的是真正的運動目標。

圖6 BRM運動目標檢測結果Fig.6 BRM moving object detection results

3 實驗結果與分析

為了驗證本文算法的有效性，在室內拍攝相關視頻作為實驗樣本，通過控制燈光的強弱來實現(xiàn)光照的快速變亮以及變暗；同時，為了突出光照快速變化帶來的影響，選擇的運動背景也較為復雜。此外，本文實驗的硬件環(huán)境為Intel CoreTMi3 CPU(2.40 GHz)，DDR 4.0 GB內存，NVIDA GeForce GT610M顯卡，采集的視頻序列大小為320×240。

為了說明本文方法在光照快速變化條件下進行運動目標檢測的優(yōu)越性，采用自適應高斯混合模型法[8]、基于圖像紋理和邊緣的LBP方法[9]以及基于光照和空間似然模型的方法[10]與本文方法進行運動目標檢測效果的對比。

在光照快速變亮條件下，采用上述四種方法進行運動目標檢測的結果如圖7所示。

圖7 光照快速變亮條件下運動目標檢測結果Fig.7 Moving object detection results under the condition of illumination fast lighting

在圖7中，圖7(a)表示的是光照正常條件下采集的圖像，而圖7(b)表示的是人物在運動過程中光照大幅度變亮之后采集的圖像，從圖7(a)到圖7(b)反應了光照的快速變亮。圖7(c)為采用自適應高斯混合模型法進行運動目標檢測的結果，從圖中可以看出，自適應混合高斯模型能夠檢測出運動目標，但是該方法無法消除由于光照快速變亮產生的背景反光對運動目標檢測的影響，特別是在光照強度急劇變亮的部分，從而導致了大量偽前景的出現(xiàn)，無法滿足運動目標檢測的準確性要求。圖7(d)為采用LBP方法進行運動目標檢測的結果，該方法對光照的快速變化表現(xiàn)出了很好的抑制作用，能夠很好的解決光照快速變亮產生的偽前景問題，但其往往會將運動目標附近復雜的背景誤檢為運動前景。圖7(e)為采用文獻[10]方法進行運動目標檢測的結果，該方法一方面解決了光照快速變化引起的偽前景問題，另一方面也實現(xiàn)了運動目標檢測過程中的陰影剔除，但其檢測出的運動目標不是很完全。圖7(f)采用本文方法得到的運動目標檢測結果，該方法不僅對光照快速變化有很好的抗性，而且能夠比較完整的檢測出運動目標。通過對上述四種檢測方法檢測結果的分析可以看出，本文所采用的方法在運動目標檢測的過程中表現(xiàn)出了非常好的檢測效果，具有很高的檢測準確性，同時也說明在建立色度差和亮度比模型時進行的高斯分布假設能夠滿足實際光照快速變亮情況下運動目標檢測的需求，且確立的參數(shù)和選擇的門限值是合理的，具有很好的適應性。

在光照快速變暗的情況下，采用不同檢測方法進行運動目標檢測的結果如圖8所示。

在圖8中，圖8(a)和圖8(b)反應了光照快速變暗的過程。從圖8(c)中可以看出，自適應混合高斯模型法進行運動目標檢測時對光照的快速變化是非常敏感的，導致了誤檢，出現(xiàn)了大量的偽前景。圖8(d)為采用LBP法進行運動目標檢測的結果，雖然能夠檢測到運動目標，但是不能剔除運動目標周圍的復雜背景。圖8(e)表示的采用文獻[10]所述方法進行運動目標檢測的結果，能夠很好的檢測出運動目標，但檢測出的運動目標有明顯的缺失，精確性不是很高。圖8(f)是采用本文方法進行運動目標檢測的結果，從圖中可以看出，該方法一方面對光照的快速變化有很好的抑制作用，另一方面起到光照補償?shù)淖饔?，從而能夠檢測出更加細節(jié)的部分，使得檢測出的運動目標比較完整。通過對四種運動目標檢測方法的檢測結果進行分析，本文采用的方法在光照快速變暗的條件下具有最好的檢測性能，同時也說明在建立色度差和亮度比模型時進行的高斯分布假設能夠滿足實際光照快速變暗情況下運動目標檢測的需求，且確立的參數(shù)和選擇的門限值是合理的，具有很好的適應性。

圖8 光照快速變暗條件下運動目標檢測結果Fig.8 Moving object detection results under the condition of illumination fast darking

在實際的智能視頻監(jiān)控系統(tǒng)中，不僅要考慮運動目標檢測準確性問題，還需要重點關注檢測的實時性問題。為了說明本文所采用運動目標檢測方法的實時性，在實驗的過程中對上述四種檢測方法檢測一幀圖像所需要的時間進行統(tǒng)計，在光照快速變亮和快速變暗兩種情況下的統(tǒng)計結果如表1所示。

表1 運動目標檢測耗時比較Table 1 Comparing of moving object detection time-consuming s

從表1中可以看出，文獻[9]所采用的方法在進行運動目標檢測時檢測一幀圖像所消耗的時間最長，實時性是最差的；文獻[8]和文獻[10]所采用的運動目標檢測方法檢測一幀圖像的耗時雖然比文獻[9]的方法少很多，但結合其檢測的準確性，仍然無法滿足智能視頻監(jiān)控系統(tǒng)的要求；通過對比發(fā)現(xiàn)，本文所采用方法進行運動目標檢測時檢測一幀圖像的耗時是最少的，無論是光照快速變亮，還是光照快速變暗，檢測時間都控制在100 ms以內，完全能夠滿足智能視頻監(jiān)控系統(tǒng)的實時性要求。這就說明本文所采用的運動目標檢測方法同時具有較好的檢測準確性和檢測實時性。

為了定量的對本文所采用的檢測算法進行性能上的評價，在光照快速變亮和光照快速變暗的條件下，選取采集到的視頻序列中具有運動目標的某一幀作為研究對象，并采用文獻[8-10]的算法和本文算法對其進行運動目標的檢測。在本文中，定義運動目標檢測率為η，背景檢測率為ξ，則有：

其中：Oo為運動目標像素數(shù)，Bb為背景像素數(shù)，Bo為將運動目標誤檢為背景的像素數(shù)，Ob為將背景誤檢為運動目標的像素數(shù)。

對上述的Oo、Bb、Bo和Ob進行統(tǒng)計并計算η和ξ的值，其結果如表2所示。從表2可以看出，無論是η還是ξ，本文算法比文獻[8-10]采用的算法均具有較好的檢測效果。本文所采用的算法也可使η和ξ的值保持在90%以上。這就充分說明了本文算法在運動目標檢測中對光照的快速變化具有很好的抑制性，從而也驗證了本文算法的有效性和魯棒性。

表2 光照快速變亮和光照快速變暗情況下運動目標檢測性能比較Table 2 Comparing of moving object detection performance under illumination fast lighting and illumination fast darking

4 結 論

為了解決智能視頻監(jiān)控系統(tǒng)中光照快速變化對運動目標檢測結果的影響，本文首先建立了光照變化的模型，然后采用CDM和BRM方法將運動目標檢測結果中的偽前景像素提取出來，最后在光照快速變亮和快速變暗兩種情況下進行了實驗驗證，從而實現(xiàn)了光照快速變化條件下運動目標的準確檢測。本文采用的運動目標檢測方法并不需要對相關參數(shù)進行手動設置，也不需要進行離線訓練，其在運動目標檢測的過程中表現(xiàn)出了非常好的檢測性能，完全能夠滿足智能視頻監(jiān)控系統(tǒng)對運動目標檢測的準確性和實時性要求。此外，在運動目標的檢測過程中，本文并沒有考慮陰影檢測的問題，這將是下一步的研究工作。

參考文獻：

[1] 邱聯(lián)奎，劉啟亮，趙予龍，等. 混合高斯背景模型目標檢測的一種改進算法 [J]. 計算機仿真，2014，31(5)：378-384，392.

QIU Liankui，LIU Qiliang，ZHAO Yulong，et al. Improved Algorithm of Mixture Gaussian Background Model for Object Detection [J]. Computer Simulation，2014，31(5)：378-384，392.

[2] Dalley G，Migdal J，Eric W. Background Subtraction for Temporally Rrregular Dynamic Textures [C]// IEEE Workshop on Applications of Computer Vision，Jan 7-9，2008：1-7.

[3] 閆鈞華，褚林臻，艾淑芳，等. 地面劇烈旋轉運動背景中運動目標檢測 [J]. 儀器儀表學報，2014，35(9)：2078-2086.

YAN Junhua，CHU Linzhen，AI Shufang，et al. Moving object detection in violently rotational ground background [J]. Chinese Journal of Scientific Instrument，2014，35(9)：2078-2086.

[4] 李敏，劉珂，羅惠瓊，等. 基于混合高斯模型的異常檢測算法改進 [J]. 計算機應用與軟件，2014，2(6)：198-200.

LI Min，LIU Ke，LUO Huiqiong，et al. Anomaly detection algorithm improvement based on gaussian mixture model [J]. Computer Applications and Software，2014，2(6)：198-200.

[5] 魏國劍，侯志強，李武，等. 融合顏色不變量的彩色圖像光流估計算法 [J]. 電子與信息學報，2013，35(12)：2927-2933.

WEI Guojian，HOU Zhiqiang，LI Wu，et al. Color Image Optical Flow Estimation Algorithm Fused with Color Invariants [J]. Journal of Electronics & Information Technology，2013，35(12)：2927-2933.

[6] 李志明，張琦，武霞. 一種適應光線變化的運動手勢檢測與跟蹤方法 [J]. 電子科技，2014，27(4)：154-158.

LI Zhiming，ZHANG Qi，WU Xia. An Algorithm of Good Illumination Robustness for Detecting and Tracking Moving Gestures [J]. Electronic Science and Technology，2014，27(4)：154-158.

[7] WEI Zhong，JIANG Shuqiang，HUANG Qingming. A Pixel-Wise Local Information-Based Background Subtraction Approach [C]// IEEE International Conference Multimedia and Expo，Hannover，June 23- 26，2008：1501-1504.

[8] CHEN Guanghua，SHENG Guizhi. Detection of Moving Objects Based on Mixture Gaussian Model [J]. Advanced Materials Research(S1662-8985)，2014，1039(1)：274-279.

[9] YANG Jianwei，WANG Shizheng，LEI Zhen，et al. Spatio-Temporal LBP based Moving Object Segmentation in Compressed Domain [C]// 9th IEEE International Conference on Advanced Video and Signal-Based Surveillance，Beijing，China，Sept 18-21，2012：252-257.

[10] Pilet J，Strecha C，F(xiàn)ua P. Making Background Subtraction Robust to Sudden Illumination Changes [C]// Proceedings of the 10th European Conference on Computer Vision，Marseille，Oct 12-18，2008：567-580.

Moving Object Detection under Condition of Fast Illumination Change

ZHANG Jinmin，WANG Bin
( School of Mechatronic Engineering, Lanzhou Jiaotong University, Lanzhou 730070, China )

Abstract：In order to solve the impact of fast illumination change on moving object detection in a visual surveillance system, a new method of moving target detection is put forward. Through establishing illumination change model, the chromaticity difference model and brightness ratio model are used to eliminate the impact of fast illumination change. When fast illumination is changing fast, background pixels and moving object pixels are detected as foreground pixels. To separate moving object pixels and false foreground pixels from detected foreground pixels, chromaticity difference model and brightness ratio model are developed respectively to estimate the intensity difference and intensity ratio of false foreground pixels. The establishment of Chromaticity Difference Model (CDM) and Brightness Ratio Model (BRM) are based on the proposed illumination change model. The experimental results show that the method has good detection effect and real-time in the rapidly changing of illumination conditions.

Key words：moving target detection; illumination change model; chromaticity difference model; brightness ratio model; foreground pixels

通信作者：王斌(1988-)，男(漢族)，甘肅蘭州人。碩士研究生，主要研究工作是圖像處理。E-mail：377576284@qq.com。

作者簡介：張金敏(1966-)，女(漢族)，甘肅蘭州人。副教授，研究領域為檢測理論與方法，圖像處理與模式識別。

收稿日期：2015-05-06； 收到修改稿日期：2015-10-13

文章編號：1003-501X(2016)02-0014-08

中圖分類號：TP391.4

文獻標志碼：A

doi：10.3969/j.issn.1003-501X.2016.02.003