基于幀差法的運動車輛陰影去除算法

李　萌，鄭娟毅，門　瑜

(西安郵電大學 通信與信息工程學院，陜西 西安 710121)

?

基于幀差法的運動車輛陰影去除算法

李萌，鄭娟毅，門瑜

(西安郵電大學 通信與信息工程學院，陜西 西安 710121)

在視頻交通車輛目標檢測中，陰影問題是影響其檢測準確性的關鍵問題之一。為了解決這個問題，提出了一種結合單模高斯模型和幀差法的運動目標陰影去除方法。首先通過單模高斯模型背景建模獲取前景包括陰影在內的目標圖像，再結合幀差法去除陰影。實驗結果證明，該方法得到的車輛目標比較完整，并較好地去除了運動車輛陰影。

運動陰影去除；幀間差分法；單模高斯模型；車輛檢測

交通流量[1]是指在單位時間內通過道路某一點或某一橫截面的車輛數目，對于視頻交通車輛目標檢測就是為了方便統(tǒng)計交通流量。由于監(jiān)控攝像機安裝維護方便、獲取信息量大的特點，使得視頻車輛運動目標檢測在交通流量統(tǒng)計中十分有用。為了準確檢測出車輛目標，陰影問題就成為必須要解決的問題之一。本文介紹了通過幀差法[2]去除陰影的算法。

在實際的監(jiān)控視頻中，由于自然界光線被物體遮擋會造成陰影現象，而在目標檢測[3]中，陰影常常會影響到檢測結果。在車輛視頻監(jiān)控中，常常看到車輛陰影伴隨著車輛一起運動，如果不加區(qū)分地把陰影看做車輛的一部分，可能會使檢測結果中的運動區(qū)域增加，也有可能導致不同車道或同一車道上的多輛車連成一片區(qū)域，無法區(qū)分不同的車輛。這些都會影響到車輛的檢測及車流量統(tǒng)計的準確性，因此，對車輛檢測目標陰影的去除是十分必要的。

1　去除陰影的基本方法

在實際陰影分析中，車輛視頻監(jiān)控圖像中的陰影一般具有以下幾個特征：陰影區(qū)域只是亮度會明顯降低，但并沒有改變覆蓋區(qū)域路面或其他基礎設施的紋理；運動車輛與它的陰影有共同的運動屬性[4]；雖然陰影主要是由車輛遮擋了光線的傳播造成的投影，但陰影區(qū)域的形狀大小與車輛自身的差距很大?；谶@些特征，目前的陰影檢測方法主要可以分為基于目標物體的形狀特性[5]和基于陰影圖像[6]的性質兩大類。第一種方法主要是先了解檢測目標的立體結構，然后在不同特性光源下計算陰影的形狀和位置，但是在實際系統(tǒng)中需要大量的計算和存儲空間，很難做到這一點。第二種方法主要通過分析陰影圖像在色彩、亮度、形狀等不同方面的特征來識別陰影區(qū)域，不容易實現。由于第一種方法具有局限性，因而第二種方法得到了廣泛的研究和應用。

目前主要運用的陰影檢測方法是基于RGB和HSV顏色空間的檢測方法。RGB陰影檢測[7]方法是利用陰影部分在3個顏色通道中的分量，依此以B，G，R順序降低的特性來對陰影進行檢測。有人提出了一種通過歸一化色彩模型處理陰影[8]的方法，該方法首先獲取彩色圖像的RGB這3個通道分量，并對各個通道分量進行歸一化處理，由于B通道分量包含陰影信息最多，所以對歸一化和原始B分量進行閾值判決，最后通過小區(qū)域去除、形態(tài)學處理等手段，得到了比較準確的陰影區(qū)域。HSV[9]陰影檢測方法的主要特點是利用色度(H)與飽和度(S)差別小，而圖像像素的亮度值(V)在陰影區(qū)域的部分明顯小于目標區(qū)域的特性進行陰影檢測的。比較經典的一個判斷陰影圖像的公式如下

(1)

式中：F(x，y)表示圖像中的陰影區(qū)域；1表陰影區(qū)，0表示非陰影區(qū)；I(x，y)表示當前幀圖像；B(x，y)表示當前幀的背景圖像；α和β是亮度閾值，必須滿足0<α<β<1，根據當前幀光線強弱，調整α值的大小，若光線變強，陰影變暗，陰影的最低亮度值變小，則α變小，β限定了當前幀圖像陰影區(qū)的亮度不能太接近背景亮度；γS是飽和度的閾值，實驗證明，當背景區(qū)被覆蓋成陰影時，該區(qū)域的飽和度會降低；γH是色度閾值，它的應用有助于取得更精確的檢測結果，但γS和γH的值常常根據經驗取得，自適應性弱。

當采用這類方法時，會使車輛自身與影子顏色相似的部分也被消除，造成車輛目標信息缺失，如圖1所示，采用基于HSV顏色空間去除陰影效果圖。很顯然，雖然該方法有效地去除了車輛目標的陰影部分，但也使車輛邊緣、車窗等部分區(qū)域被誤判為陰影去除了。近些年，也有許多學者對這類方法提出了改進，改善了檢測效果。如韓中民等人提出的一種綜合色度、亮度和邊緣信息的檢測方法，但是算法復雜并且在特定的環(huán)境中才有較好的檢測效果，在實際復雜的環(huán)境中很難做到較好地自適應檢測，所以導致其使用受到一定的限制。

圖1　基于HSV顏色空間去除陰影檢測結果

2　幀間差分法

幀間差分法是一種基于圖像視頻序列中具有較強相關性的相鄰兩幀做差分運算來獲取運動目標輪廓的方法，也可以是多幀圖像或間隔幾幀來互相做差分運算。其基本原理是：當運動目標經過圖像采集設備的范圍時，相距間隔比較近的幾幀圖像在運動目標附近區(qū)域會出現比較大的差別，選取兩幀圖像相減，就能得到運動目標變化區(qū)域亮度的絕對值，通過判斷它與閾值的大小關系來確定目標物體。假設第m幀和第n幀圖像用gm(x，y)和gn(x，y)表示，它們之間的差分圖像用f(x，y)表示，T表示閾值，m與n之間差的絕對值可以等于1，也可以大于1，則幀間差分法可以表示為

(2)

式中：255(白)表示前景運動目標；0(黑)表示背景。

幀間差分法的優(yōu)點是因為不同幀之間相隔時間短，光照強度變化不大，所以對光照條件變化的環(huán)境具有較強的適應性。該算法的運算簡單，檢測速度快，程序設計復雜度低。但是也存在一些不足之處：很難檢測出運動目標完整的區(qū)域，尤其對于紋理較簡單的運動目標，檢測結果常常存在斷裂或有大片區(qū)域空洞只有邊界的情況，這些都會對后續(xù)的處理造成一定的影響；對于快速運動的物體如果選擇的時間間隔不合適，就會產生虛影，導致檢測的運動目標增大，甚至會出現兩個完全分開的目標；對于目標物體運動較慢的，應該選擇時間間隔小的幀做差分，否則在兩幅幾乎完全相同的圖像上檢測不到任何物體。尤其在城市道路中，車輛速度慢，在有紅路燈的路口需要等待，這樣的問題就更容易凸顯出來。

以相鄰兩幀圖像差分為例仿真結果如圖2所示。

圖2　幀間差分法檢測

3　單模高斯分布模型

單模高斯分布模型[10]的原理是假設圖像像素都服從均值為μ，方差為σ2的高斯分布，對每個像素點來說，這樣的分布都是獨立的。單模高斯分布模型建立背景并不需要使用多幀連續(xù)圖像，但容易出現拖影現象，造成背景誤判。

假設用gk(x，y)代表第k幀圖像坐標(x，y)處的像素值，k可取1,2,3,…，N,且所有N幀圖像(x，y)處的像素值服從均值為μ，方差為σ2的高斯分布N(μ,σ2)，高斯分布函數表示為

(3)

T表示概率閾值，如果下一幀圖像在該點的像素值大于等于T，該值歸為背景，否則判別為前景，然后根據判決結果更新均值μ和方差σ2。

設Bk(x，y)表示第k幀的背景圖，則判決公示表示為

(4)

4　本文提出的幀差法陰影去除方法

本文主要研究的是基于背景差分法對交通車輛進行檢測，但是車輛陰影面積較大時會造成車輛粘連，多輛車檢測結果為一輛，造成漏檢；或者把其他車道的陰影當成車輛，造成誤檢。這些都會影響到車輛計數的準確性。由于傳統(tǒng)的去除陰影的方法大都是基于顏色空間模型的，這種方法一般都需要較多的參數，計算量較大。本文提出了基于幀間差分法去除陰影的方法，因為車輛在道路中以運動為主，所以研究重點對象是運動車輛，所有的計算基于灰度圖像的處理。

4.1算法的基本原理

對于道路中的運動車輛來說，車輛的陰影是隨著車輛一起移動的，而且陰影內部的像素值分布比較均勻。隨著電子技術的發(fā)展，視頻采集技術已經可以達到很高的幀率，因此，在視頻序列相鄰兩幀中的運動車輛位移會變得很小。對這兩幀圖像進行差分，就可以消除兩幀圖像中重疊的陰影部分，而車輛自身由于色彩豐富，絕大部分都會保留下來。對此時差分后的圖像再進行灰度化并二值處理，選取合適的閾值可以去除陰影重疊部分，但是陰影的外邊緣很難去除；當差分后圖像的陰影部分與車身部分灰度值接近的情況下，很難選取合適的閾值來區(qū)分車輛與陰影，從而使車輛與陰影都被判為前景，或大部分車輛也被判為背景，影響檢測結果。

由前面的幀差法可以看出，相鄰幀圖像做差有去除陰影的作用，由此本文提出一種基于三幀差法去除陰影的算法。讀取視頻序列中三幀圖像，為了減少運算量，選取的圖像間隔以三幀圖像車輛首位大致相連接為準，也可以有部分重疊，即如果把三幀圖像重疊起來會使車輛的長度約為原車輛的二到三倍，再把三幀圖像進行灰度化處理。然后將第一幀圖像與第二幀圖像差分后記為M1，將第二幀圖像與第三幀圖像差分后記為M2，兩圖像之間由于車輛位置錯開，它們的陰影位置也會互相分離。其次再將兩幅幀間差分圖像M1與M2做一次差分，就會將第二幀圖像中車輛陰影部分的像素值降低到接近零值，而車輛自身由于豐富的灰度而保留下來；另外，由于車輛前擋風玻璃和車體其他部位亮度差異大，會使該部位與車輛其他部位多次互相差分之后，車體的主要部分仍然保持較大的像素值。這三幀圖像差分之后，只有第二幀圖像車輛的陰影部分被去除，而其他主要部分都被保留了下來。最后將第二幀圖像通過單模高斯背景模型獲取的前景圖像與最后差分后的圖像求取共同的部分，就得到去除陰影后的目標車輛。

4.2算法步驟

通過單模高斯模型背景建模獲取前景包括陰影在內的目標圖像，再與幀差法結合去除陰影的主要算法步驟為：

1)根據車速和幀率選擇合適的幀間隔提取圖像，對連續(xù)提取的三幀圖像分別做第一、二幀和第二、三幀的差分，并將差分后的圖像灰度化，再將灰度圖像做一次差分，得到消除第二幀圖像陰影的三幀差分圖像。

2)通過單模高斯背景模型獲取背景，與提取的第二幀圖像差分獲得前景圖像，并得到前景灰度圖。然后對前景灰度圖做濾波和形態(tài)學處理。

3)對得到的三幀差分圖像和前景圖像做與操作，獲取兩幅圖像共同的車體部分，并進行二值化。

4)對上面取得二值化的圖像進行中值濾波去除噪聲，并用開運算和閉運算修整車輛邊緣，填補車輛內部存在的空洞。

5　仿真實驗及結果分析

綜合上述算法，在實際環(huán)境中得到了驗證。實驗中，在陽光強烈的道路中提取視頻素材，實驗條件為：VisualStidio2010開發(fā)平臺，運用OpenCV2.3.1進行編程實現。對研究對象做灰度圖像處理，如圖3所示。

圖3　幀差法去除陰影過程

實驗結果可以看出圖3f中的大部分陰影已經去除，但是檢測結果中的車身部分有些失真，代表了車輛絕大部分的位置，為了分割準確，可以對檢測結果進行外接矩形的提取，從帶有陰影的灰度圖或背景差分完的前景圖像中提取車輛區(qū)域。

6　結束語

本算法雖然采用了三幀差分法去除了第二幀圖像中車輛的陰影，但是現實城市道路中運行的車輛不僅有小型車輛，還有公交車等大型車輛，因此很難選取同時滿足不同類型車輛的幀差間隔，而且檢測出來的車輛總是第二幀的信息，不是當前第一幀的最新信息，在實時性上有一定的差距。針對這兩方面的問題還有待進一步的改進。

[1]陳繼國，沈超敏.單幅圖像的保紋理陰影去除[J]．計算機工程，2010，36(22)：219-221.

[2]ARBEL E，HELOR H．Texture-preserving shadow removal in color images containing curved surfaces[C]//Proc. IEEE CVPR 2007．Minneapolis，USA：IEEE，2007：1-8．

[3]袁博，阮秋琦，安高云.改進的自適應灰度視頻序列陰影檢測方法[J].信號處理，2014，30(11)：1370-1374.

[4]SALVADOR E，CAVALLARO A，EBRAHIMI T. Cast shadow segmentation using invariant color features[J]．Computer vision and image understanding，2004，95(2)：238-259.

[5]王圣男，郁梅，蔣剛毅.智能交通系統(tǒng)中基于視頻圖像處理的車輛檢測與跟蹤方法綜述[J].計算機應用研究，2005，22(9)：9-14.

[6]魏巖，涂錚錚，鄭愛華，等. 結合RGB顏色特征和紋理特征的消影算法[J].計算機技術與發(fā)展，2013，23(10)：72-79.

[7]譚歆，武岳.基于OpenCV的運動目標檢測方法研究與應用[J].電視技術，2010，34(S1)：184-193.

[8]PRATI I，MIKIC M，TRIVEDI M，et al. Detecting moving shadows：algorithms and evaluation[J]. IEEE transactions on pattern analysis and machine intelligence，2003，25(7)：918-924.

[9]李媛，張艷珠，渠彪，等. HSV空間特征和紋理特征的陰影檢測算法研究[J].沈陽理工大學學報，2012，31(4)：11-15.

[10]林慶，徐柱，王士同，等. HSV自適應混合高斯模型的運動目標檢測[J].計算機科學，2010，37(10)：254-256．

李萌(1992— )，女，碩士生，主研寬帶無線通信；

鄭娟毅(1977— )，女，高級工程師，碩士生導師，主研寬帶無線通信、計算機通信；

門瑜(1992— )，女，碩士生，主研寬帶無線通信。

責任編輯：時雯

Algorithm of moving vehicle shadow elimination based on frame difference

LI Meng，ZHENG Juanyi，MEN Yu

(SchoolofCommunicationandInformationEngineering，Xi’anUniversityofPostsandTelecommunications，Xi’an710121，China)

Transport vehicles in the video object detection，shadow problem is one of the key issues affecting the detection accuracy. To solve this problem， a combination of moving objects shadow single-mode Gaussian model and frame difference method of removal methods is proposed. Firstly， get the target image includes shadows prospects， including through the single-mode Gaussian model， background modeling， combined with the frame difference remove the shadow. Experimental results show that the vehicle target obtained by this method is more complete, and can get better shadow addition to moving vehicles.

moving shadow removal；inter-frame difference method；single-mode gaussian model；vehicle detection

TN391

ADOI：10.16280/j.videoe.2016.10.003

國家自然科學基金項目(11401469)；陜西省自然科學基金研究計劃項目(2014JQ1030)

2016-02-29

文獻引用格式：李萌，鄭娟毅，門瑜.基于幀差法的運動車輛陰影去除算法[J].電視技術，2016，40(10)：11-14.

LI M，ZHENG J Y，MEN Y.Algorithm of moving vehicle shadow elimination based on frame difference[J].Video engineering，2016,40(10)：11-14.