基于混合信息的運(yùn)動(dòng)目標(biāo)檢測(cè)優(yōu)化研究

徐武，郭興，文聰，唐文權(quán)，孔玲玲

云南民族大學(xué) 電氣信息工程學(xué)院，云南 昆明 650500

近些年，運(yùn)動(dòng)目標(biāo)檢測(cè)被廣泛用于視頻檢測(cè)及工業(yè)檢測(cè)等方面。運(yùn)動(dòng)目標(biāo)檢測(cè)主要功能是快速、準(zhǔn)確地將視頻中的運(yùn)動(dòng)目標(biāo)提取出來(lái)[1]。

部分學(xué)者提出，利用顏色圖像信息或者是深度圖像信息進(jìn)行目標(biāo)檢測(cè)[2]。文獻(xiàn)[3]利用深度圖像信息進(jìn)行目標(biāo)檢測(cè)，再利用“與運(yùn)算”進(jìn)行特征信息融合，改善了目標(biāo)與背景模型距離較近的問(wèn)題，但是沒(méi)有考慮到光照突變對(duì)實(shí)驗(yàn)本身的影響。文獻(xiàn)[4]采用顏色信息進(jìn)行前景目標(biāo)的檢測(cè)，但是當(dāng)背景模型是復(fù)雜多變的情況時(shí)，該種方法難以解決問(wèn)題。文獻(xiàn)[5]分別利用彩色圖像特征與深度圖像特征進(jìn)行目標(biāo)檢測(cè)，通過(guò)邏輯運(yùn)算將特征信息進(jìn)行融合處理，但當(dāng)邊緣存在噪聲點(diǎn)時(shí)，檢測(cè)效果明顯降低，且存在漏檢現(xiàn)象[6]。

針對(duì)以上存在的問(wèn)題，本文在RGB色彩空間模型的基礎(chǔ)上，采用SOFM模型改善色彩空間顏色的真實(shí)性；再根據(jù)像素值的邊緣特性以及上一幀圖像的檢測(cè)信息，為分類器分配合適的權(quán)重值，解決彩色視頻檢測(cè)存在的問(wèn)題。

1 顏色空間建模

由于大部分視頻都為彩色視頻，因此視頻圖像的特征信息可以作為運(yùn)動(dòng)目標(biāo)檢測(cè)判斷依據(jù)[7]。不同彩色圖像對(duì)應(yīng)不同的顏色特征信息，導(dǎo)致顏色空間的選擇成為影響前景檢測(cè)性能的重要因素。

本文采用SOFM模型空間模型完成運(yùn)動(dòng)目標(biāo)檢測(cè)，如圖1所示。

圖1 目標(biāo)檢測(cè)流程

SOFM模型通過(guò)已有背景模型進(jìn)行訓(xùn)練，像素值認(rèn)為是樣本，對(duì)前景模型目標(biāo)進(jìn)行判斷[8]。若視頻任意位置Y處的顏色值記為S，公式如下：

式中：α表示背景模型；β表示移動(dòng)對(duì)象；θ表示約束參數(shù)。式(1)表示S與Y的概率關(guān)系，式(2)則是對(duì)相關(guān)參數(shù)進(jìn)行定義。

此背景模型主要利用混合概率表示每一類像素對(duì)應(yīng)的特征信息，完成任何顏色前景背景模型的創(chuàng)建，構(gòu)建模型如式(3)及式(4)所示：

式中：L表示顏色總空間；g(L)表示L的三維卷積。從式(4)中可以看出，由于每一個(gè)神經(jīng)元對(duì)應(yīng)一組輸入數(shù)據(jù)集，并且任意位置點(diǎn)的背景像素值與場(chǎng)景特征有關(guān)聯(lián)。因此，利用概率自組織映射模型可以解決任意像素的背景顏色分布[9]：

式中M代表SOFM模型的神經(jīng)元個(gè)數(shù)。

假設(shè)神經(jīng)元分布在一個(gè)矩陣空間里，則任何兩個(gè)神經(jīng)元K、G的歐氏距離記為

式中：l(K,G)代表神經(jīng)元K、G之間的拓?fù)渚嚯x；TK、TG表示K、G在矩形空間里所處位置信息。

為減小算法的冗余度，可以把映射中的神經(jīng)元作為一個(gè)高斯概率密度分布模型[10]，如式(5)所示：

式中：σ2代表方差；σ1表示σ的上邊界；σ2表示σ的下邊界。式(6)的約束條件能夠保證SOFM模型準(zhǔn)確地描述輸入像素的分布。

2 基于混合信息的運(yùn)動(dòng)目標(biāo)檢測(cè)

2.1 距離圖像與彩色圖像的配準(zhǔn)

當(dāng)獲取視頻場(chǎng)景的視頻序列以后，得到視頻序列的內(nèi)外部參數(shù)，再對(duì)視頻序列的距離圖像信息和彩色圖像信息進(jìn)行融合配準(zhǔn)處理，最終距離圖像獲取的分辨率與彩色圖像獲取的分辨率一致[11]。

2.2 運(yùn)動(dòng)目標(biāo)檢測(cè)

本文優(yōu)化算法的流程圖，如圖2所示。

圖2 基于混合信息的優(yōu)化流程

在RGB色彩空間處理基礎(chǔ)上，首先利用經(jīng)配準(zhǔn)融合處理的距離圖像和彩圖圖像，構(gòu)建像素級(jí)分類器CLC和CLD；其次，輸入圖像的像素c，將深度圖像信息CA送至CLD分類器進(jìn)行處理，顏色圖像信息CB送至CLC分類器進(jìn)行處理，二者輸出的結(jié)果形成一個(gè)新的矩陣QC[3]，如式(7)所示：

式中：q(wnc)|CA、q(wmc)|CA表示CLD分類器得到的像素c是背景模型q(wnc)、q(wmc) 的概率值；q(wnc)|CB、q(wmc)|CB表示CLC分類器得到的像素c是背景模型q(wnc)、q(wmc)的概率值[12]。由于圖像每個(gè)區(qū)域間存在差異，因此，各個(gè)區(qū)域的顏色信息和深度信息對(duì)檢測(cè)結(jié)果有著不同程度的影響[4]。故需要對(duì)分類器的輸出值設(shè)定權(quán)重值Wj(j∈{A,B})。此時(shí)，像素c的概率值為q(wj|c)，見(jiàn)式(8)：

式中：q(wj|c)表示分類器像素c處的概率值；q(wj|cA)表示距離圖像A對(duì)應(yīng)的概率值；q(wj|cB)表示彩色圖像B對(duì)應(yīng)的概率值；wA、wB代表權(quán)重值。wA+wB=1，像素c屬于較大q(wj|c)與之對(duì)應(yīng)的wj類。

2.3 權(quán)重選取方案

配準(zhǔn)融合處理的距離圖像存在如下問(wèn)題：1)由于視頻中的場(chǎng)景信息不相同，導(dǎo)致配準(zhǔn)融合處理過(guò)后的距離圖像，出現(xiàn)信息缺失[13]；2)由于圖像自身存在較大的邊緣噪聲，進(jìn)而導(dǎo)致邊緣的信息誤差值大[14]。針對(duì)以上存在的問(wèn)題，結(jié)合顏色信息和深度信息對(duì)區(qū)域的差異影響，故選擇一種權(quán)重值選取方案，操作流程如下所示：

1)對(duì)第g幀的像素c進(jìn)行深度信息判斷[15]，當(dāng)像素c獲得深度信息時(shí)，執(zhí)行步驟2)；否則，采用顏色圖像信息對(duì)運(yùn)動(dòng)目標(biāo)進(jìn)行檢測(cè)，公式為

式中：wA(c,g)表示g時(shí)刻像素c獲取的CLD分類器的圖像信息值；wB(c,g)表示g時(shí)刻像素c獲取的CLC分類器的圖像信息值。此時(shí)，像素c未獲取到深度信息。

2)選擇Prewitt算子對(duì)像素c進(jìn)行邊緣區(qū)塊檢測(cè)處理，當(dāng)像素c的梯度值F(s)大于閾值H時(shí)，則認(rèn)為是邊緣區(qū)域，跳轉(zhuǎn)3)；當(dāng)像素c的梯度值F(s)小于閾值H時(shí)，則判定為中間區(qū)域；當(dāng)像素c被判定為邊緣區(qū)域時(shí)，跳轉(zhuǎn)執(zhí)行步驟4)；

3)當(dāng)深度信息受邊緣噪聲較大影響時(shí)，需要對(duì)權(quán)重值進(jìn)行調(diào)整，以此減小邊緣噪聲影響，權(quán)重調(diào)整公式為

4)當(dāng)運(yùn)動(dòng)目標(biāo)逐漸向背景模型移動(dòng)時(shí)，會(huì)導(dǎo)致CLD分類器出現(xiàn)漏檢現(xiàn)象。故本文加入了視頻上一幀的檢測(cè)結(jié)果L(c，g-1)對(duì)權(quán)重值重新進(jìn)行分配。

①當(dāng)L(c，g-1)被判定為背景模型時(shí)，按照式(12)進(jìn)行權(quán)重值選擇：

②當(dāng)L(c，g-1)被判定為運(yùn)動(dòng)目標(biāo)時(shí)，則需要對(duì)第g-1幀的像素c存在的深度圖像信息與CLD分類器的距離關(guān)系進(jìn)行計(jì)算，公式為

式中：κ代表深度圖像信息與CLD分類器的距離關(guān)系。若 κ(c,g?1)的值越大，代表像素c運(yùn)動(dòng)目標(biāo)與背景模型的距離值越大；反之，若 κ(c,g?1)的值越小，代表像素c運(yùn)動(dòng)目標(biāo)與背景模型的距離值越小。為防止運(yùn)動(dòng)目標(biāo)靠近背景模型時(shí)出現(xiàn)漏檢情況，需對(duì)wA的 值進(jìn)行動(dòng)態(tài)調(diào)整[15]，即：wA伴 隨 κ的增大而增大。本文利用廣義邏輯函數(shù)對(duì)權(quán)重wA的值進(jìn)行分配，權(quán)重wA的分配公式為

式中：B為常量，通常取值為0.5；Yc為樣本值。

2.4 分類器設(shè)定

文章利用CLC分類器、CLD分類器，得到每一種分類器像素c的概率值q(wj|c)。假定運(yùn)動(dòng)目標(biāo)概率值和背景模型概率值相同，依據(jù)貝葉斯公式[16]，可將式(8)重新定義為

式 中，q(cA|wnc)、q(cA|wmc)表 示CLD分 類器 得到 的像 素c為 背 景 模 型R(wnc) 的 后 驗(yàn) 概 率 值；q(cB|wnc)、q(cB|wmc)表示CLC分類器得到的像素c為背景模型R(wmc)的后驗(yàn)概率值。

3 實(shí)驗(yàn)仿真的對(duì)比分析

本文實(shí)驗(yàn)采用TOF相機(jī)進(jìn)行視頻采集，分辨率為1 800×1 080。為驗(yàn)證本文改進(jìn)算法的有效性，本文對(duì)運(yùn)動(dòng)目標(biāo)與背景模型顏色類似、背景模型運(yùn)動(dòng)和光照突變3種不同類型的室內(nèi)視頻幀序列進(jìn)行仿真。本文所有實(shí)驗(yàn)均采用MATLAB 2018b軟件進(jìn)行仿真分析。

3.1 實(shí)驗(yàn)參數(shù)的設(shè)定

本文算法受到諸多參數(shù)的限制影響，這些參數(shù)的設(shè)定值將會(huì)對(duì)算法產(chǎn)生影響，為保證算法在整體上獲得良好性能優(yōu)勢(shì)，在結(jié)合大量實(shí)驗(yàn)數(shù)據(jù)的基礎(chǔ)上對(duì)表1的參數(shù)值進(jìn)行設(shè)定。

表1 算法參數(shù)的設(shè)定

3.2 運(yùn)動(dòng)目標(biāo)與背景模型顏色類似

當(dāng)運(yùn)動(dòng)目標(biāo)與背景模型顏色相同時(shí)，序列1背景模型見(jiàn)圖3(a)所示，圖3(b)選擇的盒子顏色與背景模型顏色相同。為保證實(shí)驗(yàn)結(jié)果的準(zhǔn)確性，只保留圖3(b)中的盒子部分，如圖3(c)所示。在圖4(a)中，采用CLC分類器進(jìn)行目標(biāo)檢測(cè)，從圖中明顯看出，檢測(cè)結(jié)果存在嚴(yán)重缺失；在圖4(b)中，利用CLD分類器融合特征信息進(jìn)行目標(biāo)檢測(cè)，檢測(cè)的目標(biāo)基本完整，但由于噪聲點(diǎn)的影響，導(dǎo)致檢測(cè)出的目標(biāo)邊緣不清晰；圖4(c)采用本文改進(jìn)算法進(jìn)行目標(biāo)檢測(cè)，該算法檢測(cè)效果最佳。與圖4(d)手工檢測(cè)結(jié)果對(duì)比，兩者檢測(cè)結(jié)果相近。

圖3 序列1第342幀圖像

圖4 序列1檢測(cè)結(jié)果

3.3 背景模型運(yùn)動(dòng)

若背景模型快速移動(dòng)時(shí)，序列2的背景模型如圖5(a)所示，在圖5(b)中，第165幀圖像背景模型開(kāi)始運(yùn)動(dòng)，圖5(c)為第342幀信息融合后的距離圖像。圖6(a)是采用CLC分類器對(duì)背景模型進(jìn)行更新，此時(shí)，檢測(cè)圖中出現(xiàn)“鬼影”；圖6(b)是采用CLD分類器依據(jù)本文提出的背景更新策略，對(duì)背景中移動(dòng)物體進(jìn)行判斷，且有效克制了“鬼影”現(xiàn)象，但由于噪聲點(diǎn)的影響，導(dǎo)致檢測(cè)出的目標(biāo)邊緣不清晰；圖6(c)采用改進(jìn)算法進(jìn)行目標(biāo)檢測(cè)，本文改進(jìn)算法可以對(duì)運(yùn)動(dòng)的背景模型進(jìn)行快速、準(zhǔn)確判斷，且有效消除了“鬼影”區(qū)域，檢測(cè)效果最佳，與圖6(d)手工檢測(cè)結(jié)果基本相同。

圖5 序列2第165幀圖像

圖6 序列2檢測(cè)結(jié)果

3.4 光照突變

序列3為光照突變的視頻序列，第769幀時(shí)光照突變。為保證實(shí)驗(yàn)結(jié)果的準(zhǔn)確性，仍然對(duì)檢測(cè)目標(biāo)進(jìn)行截取處理；為確保實(shí)驗(yàn)檢測(cè)結(jié)果的一般性，在進(jìn)行圖像截取時(shí)，截取部分未進(jìn)行特征信息融合處理。在圖7的檢測(cè)結(jié)果圖中，圖7(a)采用CLC分類器不能適應(yīng)光照快速突變；圖7(b)利用CLD分類器融合特征信息進(jìn)行目標(biāo)檢測(cè)，檢測(cè)的目標(biāo)基本完整，但由于噪聲點(diǎn)的影響，導(dǎo)致檢測(cè)出的目標(biāo)邊緣不清晰；圖7(c)采取的本文算法雖無(wú)法獲取距離圖像的完整信息，但受到光照突變的影響較小，與圖7(d)的手工檢測(cè)結(jié)果相對(duì)比，存在些許差異，但從整體來(lái)講，本文算法可以有效抑制“鬼影”以及光照突變的情況。

圖7 序列3第769幀檢測(cè)結(jié)果

3.5 實(shí)驗(yàn)結(jié)果的定量分析

為了更加準(zhǔn)確地對(duì)3種算法進(jìn)行評(píng)估分析，選定多個(gè)評(píng)價(jià)指標(biāo)對(duì)其進(jìn)行評(píng)估，評(píng)估參數(shù)主要包括召回率(Re)、精度(Pr)、F數(shù)，其中，召回率、F數(shù)、精度的值越大，說(shuō)明算法的性能越好；計(jì)算公式為

式中：TP表示被成功檢測(cè)為運(yùn)動(dòng)目標(biāo)時(shí)的像素值；TN表示被成功檢測(cè)為背景模型時(shí)的像素值；FN表示被錯(cuò)判為背景模型時(shí)的像素值；FP表示被錯(cuò)判為運(yùn)動(dòng)目標(biāo)時(shí)的像素值；F數(shù)表示對(duì)Pr和Re兩項(xiàng)指標(biāo)進(jìn)行綜合評(píng)價(jià)，F(xiàn)數(shù)可以更加全面地對(duì)算法的性能進(jìn)行綜合評(píng)估。表2為幾種算法的評(píng)估對(duì)比。

從表2數(shù)據(jù)可以看出，采用本文算法所得到的精度、召回率以及F數(shù)均為最優(yōu)，驗(yàn)證了本文改進(jìn)算法的可行性。

表2 3種算法的綜合評(píng)估指標(biāo)

4 結(jié)論

1)采用SOFM模型有效改善了色彩空間模型的真實(shí)性；

2)在SOFM模型基礎(chǔ)上，利用CLC和CLD分類器進(jìn)行檢測(cè)，有效避免了光照突變、背景模型顏色相似、背景模型運(yùn)動(dòng)等問(wèn)題；

3)通過(guò)對(duì)召回率、精度、F數(shù)的綜合考評(píng)分析。本文采用算法的評(píng)價(jià)指標(biāo)均為最優(yōu)，進(jìn)而驗(yàn)證了本文算法的可行性。