基于GMM和超像素馬爾科夫隨機(jī)場的運(yùn)動目標(biāo)檢測*

王廣龍， 朱文杰， 高鳳岐， 田 杰

(陸軍工程大學(xué)石家莊校區(qū) 納米技術(shù)與微系統(tǒng)實(shí)驗(yàn)室，河北 石家莊 050003)

0 引 言

運(yùn)動目標(biāo)檢測是從場景中將對于研究任務(wù)感興趣的，重要的前景運(yùn)動目標(biāo)從環(huán)境背景中分離處理，以便用于后續(xù)的目標(biāo)識別、跟蹤、智能視頻監(jiān)控、無人駕駛等高層次應(yīng)用[1,2]?，F(xiàn)有的運(yùn)動目標(biāo)檢測方法[3]主要分為三大類。幀差法運(yùn)算簡單、處理速度快，但檢測結(jié)果容易存在斷裂和拖影現(xiàn)象；光流法可以適應(yīng)于動態(tài)背景的場景，但實(shí)時(shí)性較差；背景建模法是其中計(jì)算復(fù)雜度適中、可用于實(shí)際場景且檢測效果較好的一類方法。文獻(xiàn)[4]對傳統(tǒng)的高斯混合模型(Gaussian mixture model，GMM)的背景模型個(gè)數(shù)、學(xué)習(xí)率及閾值參數(shù)等進(jìn)行改進(jìn)，取得了較好的效果；文獻(xiàn)[5]采用亮度、色度空間分量分離判別的方法進(jìn)行建模及更新，但對于強(qiáng)目標(biāo)陰影檢測及去除效果較差。

本文采用GMM算法超像素馬爾科夫隨機(jī)場(Markov random field,MRF)建模并通過圖切法進(jìn)行求解，得到最終的運(yùn)動目標(biāo)檢測結(jié)果。

1 高斯混合模型

位置(i,j)處的像素在t時(shí)刻取值I(i,j),t滿足的概率分布

η(I(i,j),t;μ(i,j),t,n,Σ(i,j),t,n)

(1)

式中K為GMM中高斯分布的個(gè)數(shù)；w(i,j),t,n，μ(i,j),t,n，Σ(i,j),t,n分別為對應(yīng)于描述t時(shí)刻(i,j)處像素的第n個(gè)高斯分布的權(quán)重、均值和協(xié)方差矩陣，η為高斯概率密度函數(shù)。為簡化計(jì)算，通常假定協(xié)方差矩陣用下式計(jì)算

(2)

式中E單位矩陣。由于視頻序列是動態(tài)變化的過程，則

|I(i,j),t-μ(i,j),t,n|≤Dσ(i,j),t,n

(3)

式中D為置信度參數(shù)。式(3)表示若新輸入的像素I(i,j),t位于某一個(gè)高斯項(xiàng)均值之差在Tσ(i,j),t,n范圍內(nèi)，則T(i,j),t與該高斯項(xiàng)匹配。對匹配的高斯項(xiàng)用式(4)～式(6)[6]進(jìn)行更新

w(i,j),t,n=(1-α)w(i,j),t-1,n+α

(4)

μ(i,j),t,n=(1-β)μ(i,j),t-1,n+βI(i,j),t

(5)

(I(i,j),t-μ(i,j),t,n)

(6)

式中α,β為參數(shù)學(xué)習(xí)速率。

如果沒有高斯項(xiàng)與I(i,j),t匹配，則將所有高斯項(xiàng)中權(quán)重最小的一項(xiàng)分別用一個(gè)較小的權(quán)值初值w0，較大的方差初值σ0進(jìn)行初始化。然后對K個(gè)高斯項(xiàng)按w(i,j),t,n/σ(i,j),t,n降序排列，選擇前B個(gè)滿足式(7)的項(xiàng)為背景高斯分布

(7)

式中T為0～1間的閾值參數(shù)。如果I(i,j),t與B個(gè)背景高斯項(xiàng)都不能滿足式(3)，則該點(diǎn)為前景目標(biāo)，否則為背景像素。

2 概率超像素MRF

2.1 圖像幀的超像素分析

超像素的一個(gè)特性是其和物體的邊緣對齊[7]。

本文在經(jīng)典SLIC算法[7]的基礎(chǔ)上對其進(jìn)行改進(jìn)。SLIC算法首先將待處理圖像劃分為大小規(guī)則的區(qū)域；之后，將每一個(gè)區(qū)域的中心點(diǎn)移動到周圍3×3鄰域內(nèi)的梯度最低點(diǎn)處，以避免將超像素的中心選在了圖像的邊緣輪廓位置；然后從每一個(gè)中心點(diǎn)位置開始，通過K-means對每個(gè)區(qū)域進(jìn)行聚類，反復(fù)迭代計(jì)算，調(diào)整聚類中心，直到聚類殘差小于一定的閾值聚類完成。與標(biāo)準(zhǔn)K-means聚類不同的是，SLIC算法中采用的K-means步驟，計(jì)算周圍像素與聚類中心點(diǎn)距離時(shí)只在聚類中心2N×2N范圍內(nèi)進(jìn)行，而不是搜索整個(gè)圖像區(qū)域，這樣可以極大提高搜索效率。

2.2 概率超像素

令F為第1節(jié)GMM檢測得到的輸入圖像對應(yīng)的前景二值圖像，S表示原始對應(yīng)的超像素圖像。令S∈Ω表示超像素圖像中的一個(gè)單元，|S|為該單元的像素總數(shù)，令I(lǐng)S∈S超像素單元S中的像素。根據(jù)F二值圖像結(jié)果，令

(8)

定義超像素S屬于前景的概率為

(9)

由P(S)的取值，根據(jù)式(10)對超像素圖像進(jìn)行前背景分割判定，得到概率超像素二值圖像

(10)

2.3 馬爾科夫隨機(jī)場建模

MRF由貝葉斯理論框架下推理而來[8]，利用最優(yōu)化算法，將運(yùn)動目標(biāo)前景檢測轉(zhuǎn)化為求解使后驗(yàn)概率達(dá)到最大(maximum A posteriori,MAP)時(shí)的標(biāo)記配置的最優(yōu)化問題。

超像素分解通常會得到過分割的圖像，并且通常前景目標(biāo)會有很多個(gè)超像素單元組成，可以利用超像素之間的鄰域相關(guān)性信息增強(qiáng)前景目標(biāo)的檢測結(jié)果。定義能量函數(shù)

(11)

式中fΩ∈{0,1}為前景/背景的標(biāo)號域；Ne為鄰域，US(fS)為自相關(guān)項(xiàng)；VST(fS,fT)與條件概率項(xiàng)相對應(yīng)。

對于某一超像素單元S來說，希望將其劃分為概率最大的標(biāo)簽fS，此時(shí)對應(yīng)的劃分代價(jià)US(fS)為達(dá)到最小，因此標(biāo)記概率與代價(jià)成反比，取S屬于標(biāo)簽fS的概率的負(fù)對數(shù)值來計(jì)算代價(jià)函數(shù)US(fS)為。定義對任一個(gè)超像素單元S劃分的代價(jià)函數(shù)為

US(fS)-lnP(S)fS-ln(1-P(S))(1-fS)

(12)

而對于任意兩個(gè)相鄰的超像素S和T，如果S和T具有很強(qiáng)的相似性，同屬于前景目標(biāo)或靜止背景，則此時(shí)將S和T分開(劃分為不同類別)的代價(jià)較大。本文用超像素單元S和T中心點(diǎn)的距離來衡量其相關(guān)性，距離越近，則其相關(guān)性越高，同屬一類的可能性也越大。因此定義連接鄰域超像素S和T的邊對應(yīng)的權(quán)重為

VST=(fS,fT)=|fS-fT| (λ1+λ2·e-β‖μS-μT‖)

(13)

如果鄰域超像素S和T的顏色均值μS和μT差別較大，則由λ2引入一個(gè)大的懲罰項(xiàng)。參數(shù)β用來表征顏色均值差分的期望。

圖切法可以將式(11)所示的能量最小化問題轉(zhuǎn)化為圖的最小切問題，基本思想是構(gòu)造一個(gè)有向圖G=(V,e)，式中V代表節(jié)點(diǎn)，e代表連接各個(gè)頂點(diǎn)鄰域像素的邊。對于運(yùn)動目標(biāo)檢測任務(wù)來說，只需要對像素屬于前景或者背景進(jìn)行判定，屬于一個(gè)二分類問題，因此,其對應(yīng)的有向圖中有兩個(gè)特殊的頂點(diǎn)，一個(gè)稱為源節(jié)點(diǎn)(source,s)，另一個(gè)稱為匯節(jié)點(diǎn)(sink,s)。s和t節(jié)點(diǎn)分別對應(yīng)著標(biāo)號域中的前景和背景兩個(gè)標(biāo)號，如圖1所示。任一像素頂點(diǎn)與s和t節(jié)點(diǎn)相連的邊的權(quán)重，即為式(11)所示的代價(jià)函數(shù)。

圖1 使用圖切法求解MRF問題示意

3 算法框圖

根據(jù)上文所述，本文提出的運(yùn)動目標(biāo)檢測算法的整體流程框圖如圖2所示。

圖2 算法整體處理流程框圖

4 實(shí)驗(yàn)結(jié)果與對比分析

分別選取CDnet2014數(shù)據(jù)庫[6]及采用實(shí)驗(yàn)室搭建的實(shí)驗(yàn)平臺獲取的視頻進(jìn)行處理，并與在當(dāng)前評測中效果較好的幾種典型的運(yùn)動目標(biāo)檢測算法進(jìn)行定性和定量的實(shí)驗(yàn)對比分析。這幾種算法分別是DPGMM[7],LBP[8],GMM[9],ViBe[10],IMBS[11]。實(shí)驗(yàn)中本文算法參數(shù)設(shè)置如下：α=0.9，λ1=0.3，λ2=3。其他相關(guān)算法按照原始文獻(xiàn)中提出的參數(shù)值進(jìn)行設(shè)定。

4.1 CDnet2014數(shù)據(jù)庫實(shí)驗(yàn)

實(shí)驗(yàn)選取CDNet2014中的6類室內(nèi)外的典型場景，首先對本文算法的各個(gè)環(huán)節(jié)處理結(jié)果進(jìn)行定性分析，結(jié)果如圖3所示。

圖3 CDNet2014數(shù)據(jù)庫不同場景下幾種算法運(yùn)動目標(biāo)檢測效果對比

圖3中從上到下依次為highway,boats,overpass,corridor及turbunence3數(shù)據(jù)序列，可以看出，本文算法都能得到比較好的效果，而本文經(jīng)過概率超像素分解，及MRF模型處理之后得到的前景區(qū)域更加完整，且噪聲像素較少。同時(shí)傳統(tǒng)GMM檢測結(jié)果中含有很多的虛警像素而本文算法得到的結(jié)果則較為干凈和完整。

令TP為正確檢測的前景像素?cái)?shù)，TN為正確檢測的背景像素?cái)?shù)，F(xiàn)N為前景被檢測為背景的像素?cái)?shù)，F(xiàn)P為背景被檢測為前景的像素?cái)?shù)。采用如下參數(shù)指標(biāo)[12]：檢出率Re=TP/(FP+FN)，準(zhǔn)確度Pr=TP/(TP+FP)，誤正率FPR=FP/(FP+TN)，誤負(fù)率FNR=FN/(TN+FP)，錯分百分比PB=100(FN+FP)/(TP+FN+FP+TN)，及F=2Re×Pr/(Re+Pr)值進(jìn)行定量分析。表1給出了幾種算法在上述6個(gè)場景下得到的6類參數(shù)的平均值。

表1中對每類參數(shù)指標(biāo)中最優(yōu)的兩種算法指標(biāo)值進(jìn)行了加粗顯示?？梢钥闯霰疚奶岢龅乃惴ㄓ?jì)算得到的指標(biāo)值大都優(yōu)于其他算法。對于綜合評價(jià)指標(biāo)F值，本文算法在所選的幾種對比算法中得到的綜合性能最優(yōu)。

表1 幾種算法在6個(gè)場景下的整體平均性能參數(shù)對比

圖4以highway視頻序列為例。從圖中可以看出，在視頻幀的絕大部分序列內(nèi)，本文算法檢測結(jié)果的檢出率和精度指標(biāo)均優(yōu)于其他兩種算法。

圖4 三種算法得到的Recall和Precision曲線

4.2 實(shí)際捕獲視頻檢測

設(shè)計(jì)的實(shí)驗(yàn)裝置由仿人眼中心距的雙目廣角攝像頭以及底部的機(jī)械支撐結(jié)構(gòu)、雙自由度電機(jī)驅(qū)動機(jī)構(gòu)等部分組成。測試硬件環(huán)境基于NVIDIA Jetson TX2平臺。軟件在Ubuntu Linux環(huán)境下基于OpenCV框架采用C++編程實(shí)現(xiàn)算法。實(shí)驗(yàn)結(jié)果如圖5所示。

圖5 實(shí)際環(huán)境檢測結(jié)果

5 結(jié) 論

利用超像素分解，充分利用圖像的鄰域相關(guān)性信息，克服傳統(tǒng)GMM等基于單像素建模方法存在的缺陷；同時(shí)，由于超像素單元的數(shù)目比圖像原始的像素?cái)?shù)目少得多，因此可以極大地降低后續(xù)MRF相關(guān)處理的運(yùn)算量；本文還提出了概率超像素的概念，并將超像素概率算式融入MRF建模中的能量函數(shù)構(gòu)造過程之中；通過圖切法進(jìn)行最優(yōu)化求解，得到目標(biāo)與背景的最優(yōu)劃分。在公開數(shù)據(jù)庫及實(shí)驗(yàn)室裝置實(shí)測的視頻圖像上，均取得了較好的效果，關(guān)鍵參數(shù)指標(biāo)相比對比算法得到了顯著提升。同時(shí)本文提出的算法是一種運(yùn)算簡單，且可以和其他方法相結(jié)合的后處理方法，提高其他算法的性能。