下雪天氣條件下的運(yùn)動(dòng)目標(biāo)檢測(cè)

屠禮芬，彭 祺，張凱兵

?

下雪天氣條件下的運(yùn)動(dòng)目標(biāo)檢測(cè)

屠禮芬a，彭 祺a，張凱兵b

( 湖北工程學(xué)院a. 物理與電子信息工程學(xué)院；b. 計(jì)算機(jī)與信息科學(xué)學(xué)院，湖北孝感 432000 )

針對(duì)下雪天氣條件下高精度的運(yùn)動(dòng)目標(biāo)檢測(cè)，本文在GMM算法基礎(chǔ)上進(jìn)行改進(jìn)，首先采用多分辨率、高低閾值的思想對(duì)其進(jìn)行優(yōu)化，克服下雪天動(dòng)態(tài)背景噪聲的影響；然后運(yùn)用計(jì)算顏色模型，抑制運(yùn)動(dòng)目標(biāo)產(chǎn)生的弱陰影和光照變化；最后在各目標(biāo)最小約束矩形內(nèi)進(jìn)行空洞修補(bǔ)，填充由于陰影過(guò)度抑制和被雪覆蓋目標(biāo)表面丟失的運(yùn)動(dòng)掩模。實(shí)驗(yàn)結(jié)果表明：改進(jìn)算法7項(xiàng)指標(biāo)都優(yōu)于GMM算法，與當(dāng)前較優(yōu)秀的FTSG算法相比，7項(xiàng)指標(biāo)中有4項(xiàng)超越，2項(xiàng)接近。

運(yùn)動(dòng)目標(biāo)檢測(cè)；下雪天氣；GMM；動(dòng)態(tài)噪聲；空洞修補(bǔ)

0 引 言

運(yùn)動(dòng)目標(biāo)檢測(cè)是通過(guò)分析視頻序列，去除靜止背景，保留運(yùn)動(dòng)前景，準(zhǔn)確、快速地獲取運(yùn)動(dòng)目標(biāo)[1]，是實(shí)現(xiàn)目標(biāo)跟蹤、異常檢測(cè)、行為分析等智能視頻監(jiān)控[2]領(lǐng)域關(guān)鍵技術(shù)的基礎(chǔ)。靜止背景下的運(yùn)動(dòng)目標(biāo)檢測(cè)已經(jīng)有較成熟的方法和具體的應(yīng)用，該領(lǐng)域較為權(quán)威的小組IEEE Change Detection Workshop(CDW)[3-4]的研究表明：當(dāng)前關(guān)于運(yùn)動(dòng)目標(biāo)檢測(cè)中的常見(jiàn)問(wèn)題，如動(dòng)態(tài)背景[5]、像機(jī)抖動(dòng)[6]、間歇運(yùn)動(dòng)[7]、運(yùn)動(dòng)陰影[8]等都有比較好的解決方法，但在惡劣天氣下的運(yùn)動(dòng)目標(biāo)檢測(cè)仍然是一個(gè)難題。尤其是下雪天氣條件下，設(shè)計(jì)有效的運(yùn)動(dòng)目標(biāo)檢測(cè)算法依然面臨著挑戰(zhàn)：第一，空中飄舞的雪花體積較大，使整個(gè)視場(chǎng)中都有不規(guī)律的運(yùn)動(dòng)背景噪聲；第二，雪天背景亮度較大，運(yùn)動(dòng)目標(biāo)在背景表面投射弱陰影；第三，長(zhǎng)時(shí)間在戶(hù)外運(yùn)動(dòng)的目標(biāo)，表面被雪花覆蓋，與背景顏色一致，難以區(qū)分，獲取的目標(biāo)產(chǎn)生大量空洞。這些問(wèn)題給高精度的運(yùn)動(dòng)目標(biāo)檢測(cè)帶來(lái)了挑戰(zhàn)，也給智能視頻監(jiān)控引入了障礙。因此，研究下雪天氣中運(yùn)動(dòng)前景與背景的圖像特征，并設(shè)計(jì)適應(yīng)惡劣天氣的影響，實(shí)現(xiàn)下雪場(chǎng)景中實(shí)時(shí)、高精度的運(yùn)動(dòng)目標(biāo)檢測(cè)是十分必要的。

針對(duì)以上問(wèn)題，本文提出一種適應(yīng)于下雪天氣的運(yùn)動(dòng)目標(biāo)檢測(cè)算法(Snowy Weather Moving Object，SWMO)，采用多分辨率、互補(bǔ)閾值思想對(duì)傳統(tǒng)GMM算法[9]進(jìn)行優(yōu)化，抑制動(dòng)態(tài)背景噪聲；通過(guò)分析大量下雪天氣中的視頻圖像樣本，獲取弱陰影的顏色差異和亮度差異特征，剔除運(yùn)動(dòng)陰影；根據(jù)所獲取運(yùn)動(dòng)掩模形態(tài)特點(diǎn)，在各目標(biāo)最小包圍矩形中進(jìn)行修補(bǔ)，填充空洞。

1 算法實(shí)現(xiàn)

文獻(xiàn)[5]針對(duì)環(huán)境中的動(dòng)態(tài)噪聲問(wèn)題，提出了一種基于多分辨率模型的運(yùn)動(dòng)目標(biāo)檢測(cè)方法，采用基于像素的背景差分法，在低分辨率下獲取目標(biāo)的區(qū)域，在高分辨率下獲取目標(biāo)的細(xì)節(jié)。本文提出的SWMO算法，繼續(xù)采用多分辨率、高低閾值的思想，對(duì)傳統(tǒng)GMM算法進(jìn)行改進(jìn)，獲取初始運(yùn)動(dòng)掩模，再進(jìn)行弱陰影抑制和空洞修補(bǔ)，在下雪天氣條件下進(jìn)行有效的運(yùn)動(dòng)目標(biāo)檢測(cè)。算法流程圖如圖1所示。

圖1 流程圖

1.1 抑制動(dòng)態(tài)噪聲

傳統(tǒng)的GMM是將每個(gè)像素點(diǎn)用不同狀態(tài)表示的一種數(shù)學(xué)模型，源自于高斯函數(shù)。假設(shè)圖像中的每個(gè)點(diǎn)都用個(gè)高斯模型來(lái)表示，那么在時(shí)刻，當(dāng)前像素值為的概率表示式：

(2)

其中2為向下采樣2次后的低閾值檢測(cè)結(jié)果，將該結(jié)果向上采樣后與向下采樣1次后的高低閾值檢測(cè)結(jié)果M1、1相融合，生成中間掩模1，向上采樣后，與原始分辨率下的高低閾值檢測(cè)結(jié)果M0、0相融合，獲得最終的運(yùn)動(dòng)目標(biāo)檢測(cè)結(jié)果，融合方法參考文獻(xiàn)[5]。

由圖2可以看出：雖然該視頻序列中，有大量飄舞雪花產(chǎn)生的背景噪聲，但檢測(cè)結(jié)果卻未發(fā)生誤檢測(cè)。但該結(jié)果也有顯著缺陷，受雪景高亮的影響，運(yùn)動(dòng)掩模中誤檢測(cè)出大量運(yùn)動(dòng)陰影區(qū)域。另外，被雪覆蓋的目標(biāo)表面，顏色與背景一致，出現(xiàn)了空洞。

圖2 背景噪聲抑制結(jié)果

1.2 克服弱陰影

計(jì)算顏色模型[10]是自然場(chǎng)景下用來(lái)剔除陰影和抑制光照變化的經(jīng)典方法，彩色圖像由R、G、B三分量組成，當(dāng)前幀和背景幀在圖像坐標(biāo)處的點(diǎn)可用三維空間矢量表示：和。那么投射到的矢量與的長(zhǎng)度比值為亮度差異，用表示，投射到的距離為色度差異，用表示，其計(jì)算式：

(4)

文獻(xiàn)[10]的研究表明，陰影和光照變化引起的亮度差異和色度差異應(yīng)滿(mǎn)足以下條件：對(duì)于室外場(chǎng)景，且；對(duì)于室內(nèi)場(chǎng)景，該條件則為且。該組參數(shù)是根據(jù)文獻(xiàn)[10]給出的經(jīng)驗(yàn)值，對(duì)于大部分場(chǎng)景，可以較好地克服光照變化的影響。但顯然，該組值對(duì)于不同的場(chǎng)景，最佳閾值是不一樣的，并且對(duì)于本文所研究的下雪場(chǎng)景，陰影的特征有所不同。本步驟的主要目的，就是盡可能地去除弱陰影的影響，允許有少量目標(biāo)區(qū)域的丟失，經(jīng)過(guò)大量的實(shí)驗(yàn)，認(rèn)為由高亮背景引起的弱陰影區(qū)域亮度差異和色度差異應(yīng)滿(mǎn)足條件：且。該條件可以顯著抑制弱陰影區(qū)域，采用該方法對(duì)圖2的結(jié)果進(jìn)一步處理，效果如圖3所示。

圖3 弱陰影抑制

由圖3可以看出：地面的弱陰影區(qū)域抑制效果較好，但也由于陰影限制條件的弱化，丟失了許多與陰影有類(lèi)似屬性的真實(shí)目標(biāo)區(qū)域，使目標(biāo)出現(xiàn)較多空洞。

通過(guò)梳理可以發(fā)現(xiàn)，改革開(kāi)放以來(lái)，全國(guó)抗戰(zhàn)勝利紀(jì)念活動(dòng)除逐步多樣化之外，還實(shí)現(xiàn)了常態(tài)化、規(guī)范化。具體體現(xiàn)在：召開(kāi)中央一級(jí)紀(jì)念大會(huì)、座談會(huì)常態(tài)化，黨和國(guó)家領(lǐng)導(dǎo)人出席常態(tài)化，最高領(lǐng)導(dǎo)人發(fā)表重要講話(huà)常態(tài)化，抗戰(zhàn)紀(jì)念設(shè)施、遺址名錄制度建立，不同類(lèi)型紀(jì)念日及紀(jì)念活動(dòng)的法制化，等等。

1.3 目標(biāo)空洞修補(bǔ)

被雪覆蓋的目標(biāo)表面，陰影過(guò)度抑制，表現(xiàn)為真實(shí)運(yùn)動(dòng)目標(biāo)區(qū)域的部分丟失，要保證運(yùn)動(dòng)目標(biāo)檢測(cè)精度，必須要對(duì)上述結(jié)果進(jìn)一步優(yōu)化。文獻(xiàn)[11]提出一種基于線(xiàn)掃描方式的斷橋修補(bǔ)法，以圖像的行為單位，分析黑白像素的分布規(guī)律，對(duì)兩個(gè)相連白像素段之間的短黑像素段進(jìn)行修補(bǔ)，達(dá)到填充空洞的目的。該方法對(duì)于小的目標(biāo)空洞效果較好，但有兩個(gè)缺陷：一是當(dāng)有多個(gè)目標(biāo)出現(xiàn)在場(chǎng)景中時(shí)，整幅圖像的行掃描方式會(huì)使多個(gè)相連目標(biāo)錯(cuò)誤連接；二是對(duì)于大的空洞無(wú)法有效填充。而下雪天氣下的運(yùn)動(dòng)目標(biāo)掩模，不可避免地會(huì)出現(xiàn)這樣的困難。針對(duì)這些問(wèn)題，本文提出的目標(biāo)空洞修補(bǔ)方法，以個(gè)體目標(biāo)區(qū)域?yàn)閱挝贿M(jìn)行獨(dú)立修補(bǔ)，并且考慮到目標(biāo)區(qū)域的方向特征，構(gòu)建傾斜的最小包圍矩形為掃描區(qū)域，算法步驟如下：

1)對(duì)上一步獲取的運(yùn)動(dòng)掩模進(jìn)行一次中值濾波處理，去除少量的顆粒噪聲，再對(duì)結(jié)果用3×3長(zhǎng)方形結(jié)構(gòu)元素進(jìn)行3次膨脹處理，把原目標(biāo)區(qū)域向外進(jìn)行擴(kuò)展，得到1，如圖4(a)中的白色區(qū)域所示；

2)用OpenCV的函數(shù)cvFindContours獲取1中掩模區(qū)域的輪廓，并擬合最小包圍矩形限定各子區(qū)域的修補(bǔ)范圍，通常情況下，該矩形是傾斜的，如圖4(a)中的紅色矩形，該圖被分為3個(gè)獨(dú)立區(qū)域；

3)在每個(gè)矩形內(nèi)，以矩形的左下角為原點(diǎn)，矩形的長(zhǎng)邊和短邊為坐標(biāo)軸，構(gòu)建坐標(biāo)系。在該坐標(biāo)系內(nèi)，分別進(jìn)行水平方向和垂直方向線(xiàn)掃描，若兩白點(diǎn)之間的線(xiàn)距離小于與該方向平行的矩形邊長(zhǎng)的一半，則填充這兩點(diǎn)之間的空洞。

運(yùn)用該方法對(duì)圖3的掩模進(jìn)行修補(bǔ)，結(jié)果如圖4(b)所示。由圖4(b)可以看出：該修補(bǔ)方法可以較好地恢復(fù)被雪覆蓋而丟失的目標(biāo)表面，以及由于陰影過(guò)度抑制產(chǎn)生的目標(biāo)空洞。

圖4 空洞修補(bǔ)

2 實(shí)驗(yàn)結(jié)果與分析

將本文提出的SWMO算法進(jìn)行測(cè)試，數(shù)據(jù)源來(lái)自于公共網(wǎng)站CDW提供的標(biāo)準(zhǔn)測(cè)試序列，該數(shù)據(jù)源中，不僅有大量不同特征的典型下雪天圖像序列，而且提供了這些序列的真實(shí)檢測(cè)結(jié)果，便于對(duì)所提出的算法進(jìn)行評(píng)價(jià)。本文研究對(duì)象是下雪天的運(yùn)動(dòng)目標(biāo)檢測(cè)，故選取“badWeather”序列進(jìn)行測(cè)試，將檢測(cè)結(jié)果與傳統(tǒng)GMM算法和當(dāng)前CDW網(wǎng)站公布的優(yōu)秀算法FTSG[12]進(jìn)行定性和定量的對(duì)比。圖5所示為三種不同場(chǎng)景的定性對(duì)比結(jié)果，按列排布，其中：第1列，即圖5(a)，為3種不同場(chǎng)景中的當(dāng)前幀圖像，場(chǎng)景1為典型的小目標(biāo)，且各目標(biāo)緊密相連，場(chǎng)景2中的目標(biāo)有陰影和被雪覆蓋表面，且場(chǎng)景中有光照變化，場(chǎng)景3為典型的背景噪聲豐富場(chǎng)景；第2列，即圖5(b)，用來(lái)作為參考的真實(shí)目標(biāo)檢測(cè)結(jié)果；第3列，即圖5(c)，為GMM檢測(cè)結(jié)果；第4列，即圖5(d)，為FTSG檢測(cè)結(jié)果；第1列到第4列圖像均來(lái)源于CDW網(wǎng)站；第5列，即圖5(e)，為本文提出的SWMO檢測(cè)結(jié)果。檢測(cè)結(jié)果中：白色為目標(biāo)區(qū)域，黑色為背景區(qū)域，灰色為不感興趣區(qū)域。

由圖5可以看出：對(duì)于小目標(biāo)和被雪覆蓋的目標(biāo)表面，只有本文提出的SWMO算法有較好的檢測(cè)效果，GMM和FTSG都有不同程度的丟失；對(duì)于陰影的處理和光照變化的適應(yīng)，SWMO和FTSG算法有較好的效果，未發(fā)生誤檢測(cè)，而GMM有少量的誤檢測(cè)區(qū)域；對(duì)于動(dòng)態(tài)噪聲的抑制，SWMO和FTSG算法都有一定的效果，場(chǎng)景中未出現(xiàn)大量的背景噪聲，但GMM算法背景噪聲較嚴(yán)重；對(duì)于目標(biāo)的形態(tài)，F(xiàn)TSG算法與真實(shí)值最為接近，本文提出的SWMO算法，由于進(jìn)行了形態(tài)學(xué)處理，目標(biāo)形狀發(fā)生了變化，邊緣不精確，但目標(biāo)的完整性較好。

圖5 不同序列定性對(duì)比結(jié)果(從(a)~(e)依次為：當(dāng)前幀，真實(shí)值，GMM結(jié)果，F(xiàn)TSG結(jié)果和本文SWMO結(jié)果)

定量實(shí)驗(yàn)依然運(yùn)用CDW提出的7項(xiàng)評(píng)價(jià)指標(biāo)，令T表示檢測(cè)到的正確前景點(diǎn)數(shù)，T表示正確的背景點(diǎn)數(shù)，F(xiàn)表示錯(cuò)誤的背景點(diǎn)數(shù)，即漏檢測(cè)的前景點(diǎn)，F(xiàn)表示錯(cuò)誤的前景點(diǎn)，即誤檢測(cè)的前景點(diǎn)，那么7項(xiàng)評(píng)價(jià)指標(biāo)可以表示為

1) 召回率：e=T/(T+F)；2) 特異度：p=T/(T+F)；3) 前景點(diǎn)錯(cuò)誤率：FP=F/(F+T)；4) 背景點(diǎn)錯(cuò)誤率：FN=F/(T+F)；5) 分類(lèi)錯(cuò)誤率：PW=100(F+F)/(T+F+F+T)；6) F測(cè)度：F=2P×e/(P+e)；7) 精度：P=T/(T+F)。

定量對(duì)比結(jié)果見(jiàn)表1，其中GMM和FTSG的數(shù)據(jù)來(lái)源于CDW網(wǎng)站。參數(shù)FP，F(xiàn)N和PW代表錯(cuò)誤率，值越小越好，其他代表正確率，值越大越好，表中最好的指標(biāo)已加粗。由表1可以看出：本文提出的SWMO算法各項(xiàng)指標(biāo)都優(yōu)于GMM算法，表明本文的優(yōu)化取得了良好的效果；與當(dāng)前綜合指標(biāo)較好的FTSG算法相比，SWMO算法有4項(xiàng)指標(biāo)優(yōu)于FTSG算法，除了精度P，另外2項(xiàng)指標(biāo)也與之接近。

表1 定量對(duì)比結(jié)果

本實(shí)驗(yàn)的軟件平臺(tái)是Microsoft Visual C++ 6.0和OpenCV1.0，硬件平臺(tái)為：Intel i3處理器，3.4 GHz，內(nèi)存4 G，測(cè)試圖像序列分辨率為720×480和720×540，系統(tǒng)運(yùn)行穩(wěn)定后，平均處理速度分別為16 f/s和13 f/s左右。

3 結(jié) 論

本文研究下雪天氣條件下的運(yùn)動(dòng)目標(biāo)檢測(cè)問(wèn)題，為了克服動(dòng)態(tài)背景噪聲和保留小目標(biāo)、適應(yīng)弱陰影和光照變化影響、以及填充被雪覆蓋目標(biāo)表面丟失區(qū)域，對(duì)傳統(tǒng)GMM算法進(jìn)行了一系列優(yōu)化，提出一種SWMO算法。用公共測(cè)試網(wǎng)站提供的視頻序列對(duì)算法的效果進(jìn)行了測(cè)試，結(jié)果表明：SWMO算法能夠克服以上三個(gè)難點(diǎn)，適應(yīng)下雪天氣條件下運(yùn)動(dòng)目標(biāo)檢測(cè)；且各項(xiàng)定量指標(biāo)都優(yōu)于GMM算法，7項(xiàng)指標(biāo)中，有4項(xiàng)超越了FTSG算法，有2項(xiàng)與之接近。SWMO算法的缺陷是所提取的目標(biāo)邊緣精度不高，在后續(xù)研究中將對(duì)其進(jìn)行進(jìn)一步優(yōu)化。

參考文獻(xiàn)：

[1] Goyette N，Jodoin P M，Porikli F，. Changedetection.net：a new change detection benchmark dataset [C]// IEEE Conference on Computer Vision and Pattern Recognition Workshops，Providence，RI，USA，Jun 12-21，2012：1-8.

[2] Sanjay G，Amudha J，Jose J T. Moving human detection in video using dynamic visual attention model [J]. Advances in Intelligent Systems and Computing(S2194-5357)，2015，320：117-124.

[3] WANG Yi，Jodoin P M，Porikli F，. CDnet 2014：An expanded change detection benchmark dataset [C]// IEEE Conference on Computer Vision and Pattern Recognition Workshops，Columbus，OH，USA，Jun 23-28，2014：393-400.

[4] 2014 IEEE Change Detection Workshop. Change detection.net video database [EB/OL]// [2015-05]. http：//wordpress-jodoin.dmi.usherb.ca/cdw2014/.

[5] 屠禮芬，仲思東，彭祺. 基于序列圖像的運(yùn)動(dòng)目標(biāo)檢測(cè) [J]. 應(yīng)用光學(xué)，2012，33(5)：899-903.

TU Lifen，ZHONG Sidong，PENG Qi. Moving object detection based on image sequences [J]. Journal of Applied Optics，2012，33(5)：899-903.

[6] 屠禮芬，彭祺，仲思東. 一種適應(yīng)相機(jī)抖動(dòng)的運(yùn)動(dòng)目標(biāo)檢測(cè)方法 [J]. 電子與信息學(xué)報(bào)，2013，35(8)：1914-1920.

TU Lifen，PENG Qi，ZHONG Sidong. A moving object detection method adapted to camera jittering [J]. Journal of Electronics & Information Technology，2013，35(8)：1914-1920.

[7] Evangelio R H，Sikora T. Complementary background models for the detection of static and moving objects in crowded environments [C]// Advanced Video and Signal-Based Surveillance，Klagenfurt，Austria，Aug 30-Sep 2，2011：71-76.

[8] Khare M，Srivastava R K，Khare A. Moving shadow detection and removal - a wavelet transform based approach [J]. IET Computer Vision(S1751-9632)，2014，8(6)：701-717.

[9] Stauffer C，Grimson W E L. Adaptive background mixture models for real-time tracking [C]// Proceedings of the Computer Society Conference on Computer Vision and Pattern Recognition，F(xiàn)ort Collins，CO，USA，Jun 23-25，1999：246-252.

[10] Horprasert T，Harwood D，Davis L S. A statistical approach for real-time robust background subtraction and shadow detection [C]// IEEE ICCV’99 Frame-Rate Workshop，Corfu，Greece，Sep 21，1999：1-19.

[11] 陳炳文，王文偉，楊文英. 基于圖像塊和邊緣增強(qiáng)的運(yùn)動(dòng)目標(biāo)檢測(cè) [J]. 計(jì)算機(jī)工程，2010，36(17)：192-194.

CHEN Bingwen，WANG Wenwei，YANG Wenying. Moving object detection based on image block and edge enhancement [J]. Computer Engineering，2010，36(17)：192-194.

[12] WANG Rui，Bunyak F，Seetharaman G，. Static and moving object detection using flux tensor with split gaussian models [C]// IEEE Conference on Computer Vision and Pattern Recognition Workshops，Columbus，OH，USA，Jun 23-28，2014：420-424.

Moving Object Detection in Snowy Weather Condition

TU Lifena，PENG Qia，ZHANG Kaibingb

( a. School of Physics and Electronic Information Engineering; b. School of Computer and Information Science, Hubei Engineering University, Xiaogan 432000, Hubei, China )

In order to realize the high precision moving object detection in snowy weather condition, this paper improves the GMM algorithm. Firstly, the multi-resolution, high and low threshold concepts are used to optimize the detection results, which can overcome the influence of the dynamic background noise. Then, the color model is used to suppress the weak shadows and illumination changes by moving objects. Finally, the hole is filled in the rectangle with the minimum constraint of each object, and the motion mask is filled due to the excessive suppression of the shadow and the loss of the surface covered by snow. Experimental results show that the improved algorithm is better than the GMM algorithm for all of the seven indicators. Compared with the current outstanding algorithm FTSG, there are four of the seven transcend, the two close.

moving object detection; snowy weather; GMM; dynamic noise; hole patching

1003-501X(2016)10-0025-05

TP391.41

A

10.3969/j.issn.1003-501X.2016.10.005

2015-10-26；

2015-12-28

國(guó)家自然科學(xué)基金(61471161)；湖北省自然科學(xué)基金(2015CFC770)；湖北省教育廳科學(xué)技術(shù)研究項(xiàng)目(Q20152701,Q20162701)；湖北工程學(xué)院科學(xué)研究項(xiàng)目資助(201607,201512)

屠禮芬(1986-)，女(漢族)，湖北孝感人。講師，博士，主要研究工作是圖像處理與機(jī)器視覺(jué)。

彭祺(1983-)，男(回族)，天津人。講師，博士，主要研究工作是圖像處理與機(jī)器視覺(jué)。E-mail: petersky0316@163.com。