融合超像素與三維自組織背景減除的前景目標(biāo)提取

程艷云 朱松豪 代心靈

1.南京郵電大學(xué)；2.南京華蘇科技股份有限公司

0 引言

傳統(tǒng)的視頻監(jiān)控系統(tǒng)，主要用于記錄，對異常行為事件的實(shí)時(shí)檢測和事后的事故原因分析仍需人的參與。智能視頻監(jiān)控系統(tǒng)具有自主判斷監(jiān)控場所行為的能力，即當(dāng)監(jiān)控視頻中發(fā)生異常行為時(shí)，智能監(jiān)控系統(tǒng)能較快地做出反應(yīng)，并向視頻監(jiān)視人員發(fā)出警報(bào)。因此，智能監(jiān)控系統(tǒng)中的目標(biāo)檢測、目標(biāo)跟蹤、異常行為檢測，日益成為近年來計(jì)算機(jī)視覺領(lǐng)域研究的一個(gè)熱點(diǎn)。

運(yùn)動(dòng)目標(biāo)檢測技術(shù)作為智能監(jiān)控技術(shù)中的核心部分，常用的方法有背景減除法、幀差法和光流法等。傳統(tǒng)目標(biāo)減除方法各有優(yōu)缺點(diǎn)，國內(nèi)外許多學(xué)者采用背景模型和幀差法相結(jié)合的目標(biāo)檢測方法，這在一定程度上改進(jìn)了檢測性能，但在檢測長時(shí)間停滯的目標(biāo)時(shí)，由于背景建模無法有效建立，導(dǎo)致檢測效果不是十分令人滿意。

背景建模雖然計(jì)算簡單，但受光照突變、目標(biāo)遮擋等因素影響，容易將背景像素錯(cuò)判為前景目標(biāo)，引起檢測誤差。此外，運(yùn)動(dòng)目標(biāo)的陰影也會(huì)導(dǎo)致誤判。因此，本文依然沿用三維自組織背景減除算法中HSV顏色空間歐式距離的計(jì)算方法。

本文提出結(jié)合超像素算法與三維自組織背景減除算法結(jié)合的框架，實(shí)現(xiàn)運(yùn)動(dòng)目標(biāo)檢測。該框架的主要思想如圖1所示，描述如下：首先，利用超像素算法，對圖像幀進(jìn)行區(qū)域分割；然后，通過三維自組織背景減除算法，對每個(gè)分割區(qū)域進(jìn)行背景建模；最后，使用最佳權(quán)重策略，準(zhǔn)確提取前景目標(biāo)。相比三維自組織背景減除算法，本文提出的融合超像素分割的三維自組織背景減除算法，在一定程度上提高了檢測精度和處理速度。

圖1 本文所提方法的框架

創(chuàng)新與發(fā)展——大數(shù)據(jù)、云計(jì)算、網(wǎng)信安全及其他新技術(shù)

1 三維自組織背景減除算法

前景提取的目的是從圖像中得到較為完整的前景目標(biāo)運(yùn)動(dòng)區(qū)域，本文采用融合超像素分割的自組織背景減除算法（Self-Organizing Background Subtraction algorithm，SOBS），能很好地構(gòu)建背景模型。

3DSOBS算法是一個(gè)基于自組織方法，自動(dòng)生成神經(jīng)網(wǎng)絡(luò)模型的運(yùn)動(dòng)目標(biāo)檢測方法，能在提取運(yùn)動(dòng)目標(biāo)時(shí)去除陰影區(qū)域。該算法采用神經(jīng)網(wǎng)絡(luò)模型：首先，構(gòu)建一個(gè)n層神經(jīng)網(wǎng)絡(luò)模型；然后，計(jì)算當(dāng)前幀與背景模型的最佳權(quán)重，從而判斷每個(gè)像素是否為背景像素。該算法主要包括以下三個(gè)主要步驟：模型初始化、前景檢測、模型更新。

1.1 背景模型的構(gòu)建

在3DSOBS算法中，背景初始模型的構(gòu)建過程就是將第一幀圖像的所有像素x擴(kuò)展為n層的神經(jīng)網(wǎng)絡(luò)模型Bt的過程：

1.2 背景模型的初始化

初始背景模型B0中每個(gè)像素x的權(quán)重，為每個(gè)像素的亮度值：

1.3 背景模型的更新

背景模型的更新是通過將t時(shí)刻圖像It的像素x與背景模型Mt-1（x）的像素x進(jìn)行比較，以確定是否存在一個(gè)最佳的權(quán)重mbt-1（x）：如果存在一個(gè)可接受的匹配權(quán)重，則將圖像It的像素x視為背景像素；如果不存在一個(gè)可接受的匹配權(quán)重，則可將圖像It的像素x視為前景像素。

1.3.1 背景模型的更新

在t時(shí)刻，通過背景模型的像素Mt-1（x）={m1t-1（x），m2t-1（x），…，mnt-1（x）}與當(dāng)前圖像It的像素比較，以確定最佳的背景模型：

上式中的第i個(gè)背景圖像像素的權(quán)重mit-1（x）與圖像像素值It（x）之間的距離公式如下：

上式中的（mH，mS， mV）和（IH，IS，IV）分別表示mit-1（x）和It（x）的色調(diào)、色度和強(qiáng)度分量。

1.3.2 背景模型的權(quán)重更新

為使神經(jīng)網(wǎng)絡(luò)背景模型更好地適應(yīng)場景的微小變化，對t時(shí)刻的背景模型Mt-1（x）進(jìn)行更新：

上式中的Nx是像素x的w2D鄰域。

式（5）中的α（x，y）表示像素x與其鄰近像素y∈Nx間的關(guān)系權(quán)重：

上式中的γ表示學(xué)習(xí)因子，G2D（?）=N（?;0， σ2）表示均值為0、方差為σ2的二維高斯低通濾波器，Dt（x）表示包含像素x在內(nèi)的背景區(qū)域的占有率，St（x）表示運(yùn)動(dòng)目標(biāo)陰影的掩碼值。

式（6）中學(xué)習(xí)因子的大小取決于場景變化的強(qiáng)度：較大的值，能確保背景模型的學(xué)習(xí)速度與背景變化的強(qiáng)度保持一致，但同時(shí)也會(huì)將背景模型像素誤判為前景目標(biāo)像素；相反，較小的值，有利于適應(yīng)緩慢變化的背景模型，且能依據(jù)自組織避免過多的誤判。

由于式（5）僅能更新當(dāng)前背景模型以選擇最佳背景圖像模型，所以，本文利用下式對最佳背景圖像的相鄰背景圖像進(jìn)行更新：

上式中的i表示最佳背景圖像的鄰域。

式（7）中的δ （x）表示像素x與其鄰近像素y∈Nx間的關(guān)系權(quán)重：

上式中的v為學(xué)習(xí)因子，與式（6）中的學(xué)習(xí)因子γ具有相同的性質(zhì)。G1D（?）= N（?;0， σ21D）是在鄰近區(qū)域的一個(gè)均值為0、方差為σ2的一維高斯低通濾波器，Dt（x）和St（x）與式（6）中Dt（x）和St（x）的意義相同。

1.3.3 背景區(qū)域的占有率更新

利用連續(xù)像素間像素值的差異，可有助于實(shí)現(xiàn)連續(xù)區(qū)域的判斷：來自同一前景目標(biāo)的鄰近像素間像素值的差異強(qiáng)度是一致的，而自不同前景目標(biāo)的鄰近像素間像素值的差異強(qiáng)度是不連貫的。因此，利用場景目標(biāo)與場景背景的空間一致性，可計(jì)算背景區(qū)域的占有率：

上式中的NCFt（x）表示像素的鄰域一致性：

上式中的Hx={y:|x-y|≤h}表示像素x的（2h+1）×（2h+1）的二維鄰域，Ωx表示Hx集合最佳的匹配像素：

上式中的∈表示區(qū)分前景像素與背景像素的閾值：較大的閾值，會(huì)導(dǎo)致將前景目標(biāo)像素誤判為背景像素；而較小的閾值，則有利于避免將前景像素誤判為背景像素。

式（9）中的Dt（x）用于確保選擇性地更新背景模型，以適應(yīng)不同場景：當(dāng)NCFt（x）＞0.5時(shí)，表示像素x及其鄰近像素能很好地代表背景模型，此時(shí)可將像素x視為背景像素，則Dt（x）=0；當(dāng)NCFt（x）≤0.5，表示像素x及其鄰近像素不能很好地代表背景模型，可將像素x視為前景像素，則Dt（x）=1。

1.3.4 前景目標(biāo)陰影區(qū)域識(shí)別

相對于前景目標(biāo)像素，前景目標(biāo)陰影像素的色度和強(qiáng)度會(huì)明顯降低很多。因此，在t時(shí)刻，當(dāng)前圖像幀It的前景目標(biāo)陰影的掩碼值St（x）可表示為：

上式中的（mH，mS，mV）和（IH，IS，IV）分別表示m i t-1（x）和It（x）的色調(diào)、色度和強(qiáng)度分量，閾值τVl，τVu，τS及τH需根據(jù)實(shí)際情況動(dòng)態(tài)設(shè)置。

1.4 改進(jìn)的3DSOBS模型

由上述可知，3DSOBS的學(xué)習(xí)因子是恒定不變的，且運(yùn)動(dòng)區(qū)域的權(quán)重也是恒定不變的。因此，當(dāng)如式（13）所示的前景像素發(fā)生較小更新時(shí)，式（14）所示的背景模型則會(huì)發(fā)生較大的更新。

由于背景模型較為復(fù)雜，所以使用如式（15）所示的自適應(yīng)學(xué)習(xí)因子更新背景模型：

上式中的Tinc和Tdec為預(yù)先設(shè)置常量，且：

2 改進(jìn)的超像素分割算法

2.1 超像素分割算法

由于自組織背景減除算法中的權(quán)重計(jì)算較為復(fù)雜，所以需對圖像進(jìn)行超像素分割，從而降低算法復(fù)雜度。

超像素對圖像進(jìn)行分割時(shí)，在既定的區(qū)域周圍，將同質(zhì)像素歸為一類，即為一超像素。簡單線性迭代聚類 （simple linear iterative clustering，SILC）算法是依據(jù)顏色、位置信息，實(shí)現(xiàn)聚類的超像素分割。本文利用Lab空間信息及像素的x、y坐標(biāo)信息構(gòu)造相似性度量，實(shí)現(xiàn)圖像局部聚類，形成超像素區(qū)域；然后，利用GPU、NVIDIA、CUDA等硬件加快處理速度，將簡單線性迭代聚類算法速度提高10～20倍，促使簡單線性迭代聚類算法應(yīng)用到實(shí)時(shí)性要求比較高的系統(tǒng)中。

簡單線性迭代聚類算法的具體實(shí)現(xiàn)步驟包括：

（1）初始化種子點(diǎn)。假設(shè)將含有N×N個(gè)像素點(diǎn)的圖像分割為K×K個(gè)超像素，則每個(gè)超像素大小接近N2/K2，且每個(gè)種子點(diǎn)的間距近似為S=N/K。為避免種子點(diǎn)位于圖像邊緣，以致對后續(xù)聚類處理造成干擾，需將種子點(diǎn)從以它為中心的3×3窗口內(nèi)，移到如公式（18）所示的梯度值最小的位置，同時(shí)為每個(gè)種子分配一個(gè)標(biāo)簽。

上式中的l（x， y）是LAB顏色空間中的像素值。由此得到初始種子點(diǎn)pi（i=1， 2， ……， K2）。

（2）相似度度量。 SLIC算法的相似度度量公式為：

上式中的dlab表示像素點(diǎn)間的色差，dxy表示像素點(diǎn)間的空間距離，S表示像素個(gè)數(shù)與設(shè)置的超像素個(gè)數(shù)間的比值。d（i，k）為第i個(gè)像素點(diǎn)與第k個(gè)聚類中心間的相似度，取值越小，兩者越相似。m為平衡參數(shù)，用以平衡顏色值與空間信息在相似性度度量中的比重，本文取經(jīng)驗(yàn)值m=10。通過計(jì)算像素點(diǎn)與聚類中心的距離，可將距離較近的像素點(diǎn)聚為一類，實(shí)現(xiàn)預(yù)分割，得到超像素。

（3）快速K均值聚類方法更迭種子點(diǎn)。假定在X-Y平面上聚類中心的像素點(diǎn)位于2S×2S區(qū)域內(nèi)，所有像素點(diǎn)關(guān)聯(lián)到最近的種子點(diǎn)后，將新種子點(diǎn)更新為同類別中所有像素點(diǎn)特征的平均值。反復(fù)此過程，直到收斂，停止迭代。

（4）形成超像素。將最相似的聚類中心標(biāo)簽賦給像素點(diǎn)，形成K×K個(gè)超像素。

2.2 改進(jìn)的超像素分割算法

從上述算法實(shí)現(xiàn)過程中可看出，簡單線性迭代聚類算法存在分割數(shù)目固定的缺點(diǎn)：分割數(shù)目K由研究者自行確定，且K值確定之后將不再變化；若指定分割數(shù)目欠妥，則容易出現(xiàn)欠分割或者過度分割的現(xiàn)象，不能達(dá)到滿意的分割效果。所以，本文采用自適應(yīng)的K值調(diào)整方法：

為了更好地降低算法的復(fù)雜度，對式（19）中的色差和空間距離進(jìn)行簡化，使用絕對值的方法進(jìn)行計(jì)算，雖然在一定程度上引入了誤差，但是這種誤差是在允許范圍內(nèi)的：

3 融合SLIC的3DSOBS算法

由于3DSOBS算法中權(quán)重向量的計(jì)算復(fù)雜度較高，且需計(jì)算每個(gè)像素對應(yīng)的權(quán)重向量，所以在實(shí)時(shí)性要求比較高的系統(tǒng)中無法使用。本文使用SLIC算法對整幅圖像進(jìn)行超像素分割，得到K個(gè)超像素，從而減小算法復(fù)雜度，提高算法效率。

（1）首先使用SLIC算法對圖像幀進(jìn)行處理，得到K×K個(gè)超像素的標(biāo)簽。（2）然后使用3DSOBS對處理之后的圖像進(jìn)行前景檢測。計(jì)算式（3）中像素x的最佳權(quán)重時(shí)，利用超像素內(nèi)若干像素點(diǎn)的平均特征表示這個(gè)超像素的特征，從而減小計(jì)算量：

更新權(quán)重向量時(shí)，依然使用原方法。

計(jì)算背景區(qū)域的占有率時(shí)，同樣利用超像素內(nèi)若干像素點(diǎn)的平均特征表示這個(gè)超像素的特征，從而簡化計(jì)算。對式（10）的改進(jìn)如下：

上式中的Hx={yj:|x-yj|≤h， yj∈Li}表示像素x的（2h+1）×（2h+1）二維鄰域，Ωx表示Hx集合中找最佳的匹配像素：

上式中的yj表示超像素Li中的像素。

融合SLIC與3DSOBS算法的圖像分割過程如下表所示。

4 實(shí)驗(yàn)結(jié)果

本次的操作系統(tǒng)設(shè)置為：Windows 7x64，酷睿i7 4790 3.6GHz，GTX960 4G，8G內(nèi)存。

本次的實(shí)驗(yàn)平臺(tái)設(shè)置為：基于OpenCV計(jì)算機(jī)開源視覺庫搭建的VS2013開發(fā)實(shí)驗(yàn)平臺(tái)。本次的實(shí)驗(yàn)數(shù)據(jù)為：MSA、PETS2009數(shù)據(jù)庫。

本次的對比算法有：傳統(tǒng)的高斯混合模型算法、ViBe背景減除算法、3DSOBS算法。實(shí)驗(yàn)結(jié)果如圖2-圖5所示。

圖2 MSA數(shù)據(jù)庫第158幀的運(yùn)動(dòng)目標(biāo)檢測結(jié)果

圖3 PETS2009數(shù)據(jù)庫S0中Background場景中第118幀的檢測結(jié)果

圖4 PETS2009數(shù)據(jù)庫S0的City_Center場景中第48幀的檢測結(jié)果

圖5 PETS2009數(shù)據(jù)庫S2L1場景中第56幀的檢測結(jié)果

從圖2-圖5的檢測實(shí)驗(yàn)結(jié)果可以看出，基于本文算法的檢測效果要明顯好于其它三種算法。對于3DSOBS算法，本文使用GPU進(jìn)行加速且融合超像素分割算法，有效地提取速度有所提升。從圖2-圖5的目標(biāo)檢測試驗(yàn)中，傳統(tǒng)的混合高斯模型和ViBe模型對于進(jìn)入場景之后靜止的物體無法進(jìn)行提取，從而對后續(xù)的丟棄物等異常無法進(jìn)行識(shí)別。

5 結(jié)束語

雖然已經(jīng)在前景檢測鄰域取得了豐碩的成功，但是依然存在很多實(shí)際應(yīng)用中的問題需要解決，以便更好地實(shí)現(xiàn)后續(xù)的跟蹤、識(shí)別等一系列的處理。后續(xù)處理均需要從前景檢測中提取信息，所以前景檢測作為智能監(jiān)控領(lǐng)域一個(gè)較為重要的研究方向，提高前景檢測的效率和準(zhǔn)確率能夠有效改善后續(xù)對圖像的處理?；谌诤蟂LIC的3DSOBS算法在實(shí)驗(yàn)中表現(xiàn)出較好的性能。

本文圍繞前景檢測的關(guān)鍵技術(shù)進(jìn)行研究，研究內(nèi)容涉及運(yùn)動(dòng)目標(biāo)的檢測和運(yùn)動(dòng)目標(biāo)進(jìn)入場景靜止之后再運(yùn)動(dòng)。具有一定的理論研究價(jià)值和現(xiàn)實(shí)的應(yīng)用意義。