基于分層碼本模型的陰影消除方法

張　峰　熊慶國

(武漢科技大學信息科學與工程學院　湖北 武漢 430081)

?

基于分層碼本模型的陰影消除方法

張峰熊慶國

(武漢科技大學信息科學與工程學院湖北 武漢 430081)

摘要為了解決復雜環(huán)境，特別是背景改變帶來的背景模型變化，對運動目標的陰影檢測與消除效果產(chǎn)生影響的問題，給出一種在YCbCr顏色空間下基于分層碼本模型的陰影消除方法。目標檢測時采用分層建模與檢測技術檢測出運動區(qū)域并更新背景模型，從永久背景模型中提取背景圖像并采用基于色度的陰影檢測方法消除陰影，避免在陰影檢測與消除中使用固定背景的問題。在公開測試集上的實驗結果表明，該方法能有效地適應背景的動態(tài)變化，對復雜環(huán)境中的前景目標檢測與陰影消除有很好的效果。

關鍵詞陰影檢測與消除背景建模分層碼本目標檢測

SHADOW ELIMINATION APPROACH BASED ON LAYERED CODEBOOK MODEL

Zhang FengXiong Qingguo

(School of Information Science and Technology,Wuhan University of Science and Technology,Wuhan 430081,Hubei,China)

AbstractThe background model changes brought about by the complex environment, and in particular the variation of background have the impact on the shadow detection and elimination effects for moving objects. In order to solve this problem, we proposed a shadow elimination method which is based on layered codebook model in YCbCr colour space. In objects detection phase, the method uses the stratified modelling and detection technique to detect the moving regions and to update the background model, and extracts from the permanent background model the background images, and adopts the chroma-based shadow detection method to remove shadows, thus avoids the problem of using the fixed background when detecting and removing shadows. Results of experiment on public test set demonstrated that the method was able to effectively adapt to the dynamic changes of background, and had excellent effect on foreground objects detection and shadow elimination in complex environment.

KeywordsShadow detection and eliminationBackground modellingLayered codebookObject detection

0引言

一種常用的運動目標檢測方法是背景減除法，即將當前圖像與參考背景模型相減或找出不同點，從而標識非靜止或新出現(xiàn)的物體[1]。但在檢測運動目標時，因目標的陰影具有和前景目標相似的運動模式及色彩變化，會很大程度上影響目標的精確提取，從而帶來錯誤的目標檢測及分類結果。針對背景無明顯變化的場景現(xiàn)有技術能夠穩(wěn)定地檢測出運動目標并消除陰影。但是在一些背景動態(tài)變化的場景中，即背景在連續(xù)的圖像序列中不斷地發(fā)生變化，此時運動目標檢測、陰影檢測及消除變成了一個難點，對此應采取相應的背景更新策略。對背景減除法而言，如何正確且高效地建立并更新背景模型，以及如何去除陰影將是兩個主要也是具有挑戰(zhàn)性的工作。Yang等[2]提出的建立自適應背景模型方法能夠從圖像序列中獲取信息建立初始背景模型，但在背景更新中存在參數(shù)選擇問題，影響檢測效果。王彬等[3]提出了一種基于顏色空間的浮動氣球模型，將像素值序列描述為顏色空間的點集，并將背景更新過程描述為浮動氣球在顏色空間內浮動的過程，用于解決監(jiān)控場景中的自適應背景建模問題。相對于混合高斯模型等多種背景建模方法，碼本模型對復雜背景有更強的適應性以及較好的實時性優(yōu)點，成為應用最廣泛的方法。

目前，Prati等[4]對陰影檢測算法的分類和評估進行了詳細的討論。Sanin等[5]在其基礎上提出：基于色度、物理特性、尺度和紋理特征的陰影去除方法，同時也指出基于色度特征的陰影去除方法，相較于其他三種方法，具有快速實現(xiàn)的特點。其中基于色度的方法假設當背景被陰影覆蓋時，對應像素的亮度變小但色度卻基本保持不變。鄧亞麗等[6]根據(jù)陰影和目標在YCbCr顏色空間的顏色統(tǒng)計特性設計陰影消除算法，然而該方法使用固定的背景，一旦背景發(fā)生改變時該方法將失效。劉清等[7]根據(jù)獲取的前景運動區(qū)域考慮YUV顏色空間的亮度和色度信息來檢測陰影區(qū)域，該方法同樣使用固定背景而沒有考慮到背景發(fā)生改變的情況。張志鵬等[8]提出一種基于HSV空間的三層碼本模型陰影檢測方法，從備選碼本中提取具備陰影色度特征的像素值構建陰影碼本模型，和其他層碼本模型一樣，陰影碼本模型需要建立和更新兩個階段，這無疑增加了算法的復雜度。李志慧等[9]根據(jù)運動目標的RGB顏色變化度的特點將運動陰影區(qū)域與非陰影部分的顏色變化表達為兩個混合高斯分布過程實現(xiàn)陰影的檢測，和碼本背景建模方法相比有更大的算法復雜度。

在本文中，我們分析了經(jīng)典碼本模型[1]，考慮到陰影區(qū)域和背景像素的相關性，結合YCbCr顏色空間的亮度分量和色度分量關聯(lián)小特點，提出一種基于YCbCr顏色空間在動態(tài)背景下消除陰影的方法。首先通過雙層碼本模型的背景減除法提取出運動前景和陰影區(qū)域；其次從背景模型中提取實時背景圖像，考慮到背景的動態(tài)變化，雙層碼本模型的作用在于學習背景的新變化，如靜止的汽車移動后導致的背景變化；最后運用背景和陰影像素在YCbCr顏色空間中的特征設計算法實現(xiàn)陰影去除。本文的創(chuàng)新點在于：1) 在經(jīng)典碼本模型的基礎上，為了達到檢測陰影的目的重新設計了碼本描述子，并實現(xiàn)雙層碼本的背景模型，該模型能夠有效地適應動態(tài)背景的變化；2) 算法能夠從永久背景模型中提取出當前幀對應的背景圖像，并將其用于陰影檢測中；3) 將易于實現(xiàn)的陰影檢測方法應用到該模型中，關鍵在于能從背景模型中提取實時的背景，避免使用固定背景并增強了方法的適用性。

1背景碼本的創(chuàng)建

經(jīng)典碼本模型采用一種量化和聚類技術從連續(xù)的像素采樣值中構建背景模型。它為每一個像素點建立一個包含若干個碼字的碼本模型，碼字的個數(shù)由當前場景的變化情況決定，其工作過程可分為訓練和檢測兩個階段。訓練階段對序列圖像中每個像素點進行固定幀數(shù)的訓練，按落入?yún)^(qū)間進行聚類，根據(jù)像素值及時間信息進行學習和更新[10]。

1.1碼本模型的建立

假設X={x1,x2,…,xN}表示N幀連續(xù)序列圖像中某一像素點的采樣值；C={c1,c2,…,cL}表示由該像素點的連續(xù)采樣值建立的碼本模型，其中包含L個碼字ci(1≤i≤L)。每個碼字定義為二元組結構：

(1)

(2)

其中，Rmin和Rmax代表著R通道的最小值和最大值，其他依次類推。

1.2訓練碼本模型

訓練階段將得到背景碼本模型，將t時刻像素點采樣值(R,G,B)t與當前碼本相比較，如果有碼字ci(i是該碼字在碼本中的索引)與之匹配，表示該碼字命中一次。初始碼本訓練過程如下：

Step1初始化每個像素的碼本，即L=0。

Step2進行N幀的背景訓練，每個像素的序列值X={x1,x2,…,xN}，xt=(Rt,Gt,Bt)，其中t=1,2,…,N;初始化cbBounds[n]代表邊界，其中數(shù)組初始值設置為10，high[n]為當前像素各通道值與cbBounds[n]之和；low[n]為為當前像素各通道值與cbBounds[n]之差，并調整計算結果至0~255。

1) 以式(3)為依據(jù)在碼本中尋找與之匹配的碼字，其中Pn表示像素點的三個通道采樣值且n=1,2,3。

learningLow[n]≤Pn≤learningHigh[n]

(3)

2) 如果碼本為空，或者不存在匹配碼字，則新建碼字并置相關參數(shù)值如下式所示：

(4)

并設置learningLow[n]為low[n]，learningHigh[n]為high[n]，其中n=1,2,3。

3) 如果存在匹配的碼字ci，則該碼字參數(shù)按下式作更新：

(5)

Step3對于每個碼字ci(i=1,2,…,L),調整λi，使λi=max{λi,(N-qi+pi-1)}。

需要指出的是：在Step2中LearningLow[n]和LearningHigh[n]表示背景訓練過程中的學習邊界。當下一幀圖像來臨時，根據(jù)學習邊界是否位于low[n]和high[n]之間，對其上下界進行調整。即當新輸入像素值求得的學習邊界大于high[n]時，對其逐步加調整；反之，當求得的學習邊界小于下限時，對其下限進行逐步減調整。其中min(Rmin,Rt)指取Rmin和Rt的較小值。

1.3構造初始背景

真正的背景應該包含靜止和運動的背景像素，對于運動背景通常是類周期性的，即某一像素值在一個有限周期內重復出現(xiàn)[1]。在初始碼本的訓練過程中，考慮到可能含有的運動前景物體，通過時域指標λ改善初始訓練的碼本模型，濾除可能含有的運動碼字，從而得到背景模型。通過下式實現(xiàn)：

M={ci|ci∈C∧λi≤TM}

(6)

2檢測運動目標

目標檢測主要是檢測當前幀圖像與背景模型的差異，這種差異通過像素采樣值與碼本是否匹配來判斷。具體步驟如下：

Step1假設當前幀圖像某位置像素采樣值為x=(R,G,B)。

Step2在對應像素的碼本模型中尋找與之匹配的碼字，條件如下式所示：

min[n]-minMod[n]≤

P(x,n)≤max[n]+maxMod[n]

(7)

Step3如果符合以上條件，則說明找到了相匹配的碼字，并輸出為背景點；反之，則輸出為前景點。若輸出為背景點，則按照1.2節(jié)中的Step2的3)更新碼字。

其中min[n]和max[n]就是碼本訓練過程中得到的各個通道的最小及最大值，即碼字描述子vi?？紤]到像素值的波動性，在兩邊界上分別增加偏移量minMod[n]和maxMod[n]。這種碼本描述簡單且易于實現(xiàn)，運算量比經(jīng)典碼本模型小。

3構建雙層碼本模型

考慮復雜背景下，相對于訓練碼本階段的背景，檢測階段背景是隨時可能發(fā)生改變的。若一直使用訓練得來的背景模型，一旦背景發(fā)生改變，改變的區(qū)域將持續(xù)檢測為運動目標，當然這種檢測結果顯然是錯誤的。為了更好地檢測運動目標就需要隨時更新背景，為此我們實現(xiàn)了分層建模與檢測[1]，主要目的是實現(xiàn)背景的更新，更好地從新的背景中檢測出運動目標。

在目標檢測過程中，更新碼本過程采用如下方法：首先將初始創(chuàng)建的背景模型定義為永久碼本M，同時創(chuàng)建一個緩沖碼本H。在檢測運動目標的過程中，若將當前像素檢測為前景點，則在緩沖碼本H中尋找與之匹配的碼字并更新該碼字或創(chuàng)建新碼字，其過程和訓練碼本模型相似。其次，使用參數(shù)TH過濾緩沖碼本中的碼字，同樣為了濾除運動前景所產(chǎn)生的碼字。最后將緩沖碼本中重復次數(shù)超過Tadd的碼字增加到永久背景碼本M中，并將超過Tdelete未訪問的碼字從永久背景碼字中刪除。具體實現(xiàn)如下：

Step1對于新輸入的像素，如果在永久背景碼本M中找到與之匹配的碼字則更新該碼字；若未找到與之匹配的碼字，則在緩沖碼本H中尋找，若找到則更新該碼字，反之若未找到則以該像素各通道值新建碼字，其創(chuàng)建過程和訓練階段相似。

Step2使用時間參數(shù)TH消除緩沖碼本中代表運動前景的碼字，如下式所示：

H=H-{ci|ci∈H,λi>TH}

(8)

Step3使用下式將H中停留足夠長時間的碼字移到M中。

M=M+{ci|ci∈H,(qi-pi)>Tadd}

(9)

Step4將M中超過一定時間未被訪問的碼字刪除，如下式所示：

M=M-{ci|ci∈M,λi>Tdelete}

(10)

如上所述，該模型能夠跟蹤背景的變化，在后面的實驗中可以看到：相對于訓練階段的背景，在檢測階段中若是該背景發(fā)生改變，雙層碼本背景模型很快會學習這一變化，并將其添加進永久碼本模型中。

4背景提取與陰影去除

正如引言部分提到的，當前研究陰影檢測及去除的工作都使用的是固定背景，而實際檢測通常都是較復雜背景，如背景物體的運動等，因此背景提取顯得尤為重要。本文實現(xiàn)陰影檢測及去除的算法來源于陰影和背景在色度上的差別，即當區(qū)域被陰影覆蓋時，陰影部分亮度低于背景像素和前景像素的亮度；而色度與背景像素色度幾乎相等[4]。具體步驟如下：

Step1使用雙層碼本模型對當前幀圖像進行運動目標檢測，其結果包含運動前景及陰影區(qū)域，輸出為運動區(qū)域掩膜。

Step2從永久碼本背景模型M中提取運動區(qū)域掩膜所指向的背景像素，構建當前幀的背景圖像。具體如下：

1) 遍歷運動區(qū)域掩膜所指像素，在永久碼本背景模型中找到各像素碼本中首次被訪問的碼字，其含義代表該碼字最有可能為當期幀的背景，如下式所示：

(11)

其輸出結果B代表背景碼字。

2) 求取滿足1)要求的碼字對應的各通道的最大值作為背景像素值，如下式所示：

(12)

Step3將使用當前幀與從Step2的2)中提取出的背景以及當前幀圖像轉化到YCbCr顏色空間中，在掩膜所指區(qū)域進行差分，根據(jù)以下閾值條件判斷結果為運動前景或陰影，如下式所示：

(13)

5實驗與結果分析

為了驗證本文方法的有效性，本文在公共測試集(http://cvrr.ucsd.edu/aton/shadow/)上進行了測試，測試集采用三組監(jiān)控錄像完成實驗，分別名為Laboratory_raw, campus_raw, highwayI_raw的監(jiān)控錄像，對以上監(jiān)控錄像進行了前背景轉化和陰影消除實驗。實驗采用VS2010下利用C++編程結合OpecnCV的測試環(huán)境，所用機器配置為：酷睿雙核CPU，主頻2.0 GHz，1 GB內存。

5.1前背景轉換測試

在實驗1中視頻采用320×240大小的Laboratory_raw.avi實驗室監(jiān)控錄像，該視頻中含有背景變動及陰影的復雜場景。在訓練階段選擇0~20幀圖像，測試階段由20幀后圖像組成。對比測試結果如下：圖1為經(jīng)典碼本算法得到運動區(qū)域掩膜結果，圖2為雙層碼本算法得到的運動區(qū)域掩膜結果，圖3為從永久碼本模型中提取的當前幀背景圖像。圖1中依次為視頻中的第97、376、480、566幀圖像。從圖1中可見第0~300幀中柜子門是關閉狀態(tài);第315幀時柜子門由實驗員緩緩打開，在后續(xù)幀中可以看到本文方法逐漸將停留的實驗員轉換成背景，同時在其運動后又檢測為運動前景;第376幀顯示柜子重新變?yōu)楸尘?。需要指出的是：?15幀到第376幀圖像背景發(fā)生變化，視頻中實驗員逐漸“融入”背景中。測試時的參數(shù)設置為TH=5，Tadd=15，Tdelete=10，單位為幀數(shù)；cbBound[n]=10，minMod[n]=3，maxMod[n]=10，其中i=0,1,2。

圖1　Laboratory_raw經(jīng)典碼本算法檢測運動區(qū)域掩膜

圖2　Laboratory_raw雙層碼本算法檢測運動區(qū)域掩膜

圖3　Laboratory_raw背景圖像

圖2的結果顯示雙層碼本算法檢測運動區(qū)域能有效地處理背景的變化。在圖3的檢測結果中，當背景發(fā)生變化時，永久碼本模型進行了背景的更新得到了正確的背景，表明從永久背景模型中提取當前幀背景方法是有效的。測試結果沒有進行區(qū)域填充等形態(tài)學圖像處理，而是給出兩種方法處理的直接結果作為比較。

在實驗2中采用352×288大小的campus_raw.avi校園監(jiān)控錄像，其中作為背景的攔車桿的離開造成了背景變化，算法能有效地處理該背景變化，將其逐漸轉化為背景。圖4中依次為視頻中的第58、78、190、283幀圖像。在第78幀圖像中攔截桿離開原有位置，直到第190幀圖像中攔截桿在新的位置停止運動，且原來位置轉化為背景。圖5提取到的背景圖像說明了背景提取方法的有效性。

圖4　campus_raw運動區(qū)域掩膜

圖5　campus_raw背景圖像

在實驗3中，采用320×240大小的highwayI_raw.avi公路監(jiān)控錄像，該復雜場景含有陰影和左右晃動的樹影。圖6中依次為視頻中的第95、97、101、104幀圖像。圖6和圖7的結果表明背景的復雜變化并沒有影響到運動前景和背景圖像的提取。

圖6　highwayI_raw運動區(qū)域掩膜

圖7　highwayI_raw背景圖像

5.2陰影消除測試及分析

背景改變后算法能夠很快學習并轉化該變化，即從緩沖碼本中將碼字轉移至永久碼本，以此構成背景模型。在背景發(fā)生改變后，使用本文中提到的陰影檢測算法能夠得到較好的測試結果，證明了本文所述方法的可行性和有效性。使用本文提及的陰影檢測與消除算法采用的是固定閾值，其中在Laboratory_raw實驗中使用閾值TY為62，TCr為3，TCb為4；campus_raw實驗中使用閾值TY為50，TCr為8，TCb為6；highwayI_raw實驗中使用閾值TY為106，TCr為5，TCb為6。

從圖8可見陰影消除效果比圖9和圖10較理想，其中實驗1為室內環(huán)境，實驗2和實驗3為室外環(huán)境。本文中基于色度的陰影消除效果考慮的條件是：當區(qū)域被陰影覆蓋時，陰影部分亮度低于背景像素和前景像素的亮度；而色度與背景像素色度幾乎相等。在YCbCr顏色空間中，Y分量表示亮度分量，閾值設置時優(yōu)先考慮該分量閾值。三組實驗數(shù)據(jù)對比可見，對不同測試數(shù)據(jù)需要不同的閾值才能得到較好的測試結果。

圖8　Laboratory_raw各幀陰影消除結果

圖9　campus_raw各幀陰影消除結果

圖10　highwayI_raw各幀陰影消除結果

6結語

本文在前人研究的基礎上實現(xiàn)了雙層碼本的背景建模算法，同時使用基于色度的陰影檢測技術在YCbCr顏色空間中實現(xiàn)了對復雜背景的陰影檢測及消除，并通過實驗驗證該方法的可行性及有效性。該過程主要特點是針對陰影檢測與消除目標優(yōu)化了碼字描述子和訓練過程。采用分層建模與檢測使算法適用于運動背景，提出了在永久背景碼本的基礎上提取運動背景圖像的方法，保證了在復雜環(huán)境下檢測和消除陰影的準確性。在陰影消除算法中用到亮度閾值，實驗結果也表明不同環(huán)境下亮度閾值對實驗結果的影響。下一步的研究工作是對該算法作改進并對閾值的自適應設定進行研究。

參考文獻

[1] Kim K,Chalidabhongse T H,Harwood D,et al.Real-time foreground-background segmentation using codebook model[J].Real-time Imaging,2005,11(3):172-185.

[2] Yang T,Li S Z,Pan Q,et al.Real-time and accurate segmentation of moving objects in dynamic scene[C]//Proceedings of the ACM 2nd International Workshop on Video Surveillance & Sensor Networks.ACM,2004:136-143.

[3] 王彬,馮遠靜,郭海峰,等.交通場景中車輛的運動檢測與陰影消除[J].中國圖象圖形學報,2012,17(11):1391-1399.

[4] Prati A,Mikic I,Trivedi M M,et al.Detecting moving shadows:algorithms and evaluation[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2003,25(7):918-923.

[5] Sanin A,Sanderson C,Lovell B C.Shadow detection:A survey and comparative evaluation of recent methods[J].Pattern Recognition,2012,45(4):1684-1695.

[6] 鄧亞麗,毋立芳,李云騰.一種有效的圖像陰影自動去除算法[J].信號處理,2011,27(11):1724-1728.

[7] 劉清,秦秀麗,文松柏,等.YUV顏色空間和圖論切割的陰影去除算法[J].智能系統(tǒng)學報,2010,5(6):556-560.

[8] 張志鵬,王正勇,高明亮,等.基于多層碼書模型的運動陰影檢測算法[J].四川大學學報:自然科學版,2013,50(1):61-66.

[9] 李志慧,張長海,曲紹偉,等.交通流視頻檢測中背景模型與陰影檢測算法[J].吉林大學學報:工學版,2006,36(6):993-997.

[10] Tu Q,Xu Y,Zhou M.Box-based codebook model for real-time objects detection[C]//Intelligent Control and Automation,2008.WCICA 2008.7th World Congress on.IEEE,2008:7621-7625.

中圖分類號TP391.41

文獻標識碼A

DOI:10.3969/j.issn.1000-386x.2016.02.043

收稿日期：2014-08-29。張峰，碩士生，主研領域：圖像處理，計算機視覺。熊慶國，教授。