一種基于全景視覺的運(yùn)動(dòng)目標(biāo)檢測改進(jìn)方法

夏麗娟， 姚明磊， 張曉玲

(江蘇理工學(xué)院機(jī)械工程學(xué)院,江蘇 常州 213000)

0 引言

隨著視覺領(lǐng)域的快速發(fā)展，全景視覺和運(yùn)動(dòng)目標(biāo)檢測成為當(dāng)前研究和討論的重點(diǎn)，它能夠在水平方向 360°和垂直方向240°的區(qū)域內(nèi)獲取場景中的高分辨率圖像和視頻，可以有效克服傳統(tǒng)視覺傳感器只能檢測部分信息的缺點(diǎn)，因此，如何提高其運(yùn)動(dòng)目標(biāo)檢測的精準(zhǔn)性和可靠性成為研究重點(diǎn)。一般來說獲取全景視覺的為魚眼鏡頭[1]，它的廣闊視角使得其在機(jī)器人導(dǎo)航[2]、智能視頻監(jiān)控[3]、航空航天[4]等領(lǐng)域得到廣泛運(yùn)用。

在運(yùn)動(dòng)目標(biāo)檢測方法中經(jīng)常使用的是幀差法[5]、光流法[6-7]、背景減除法[8]。其中，幀差法的原理是對(duì)像素點(diǎn)進(jìn)行處理，作為前景對(duì)象的圖像的相鄰兩幀的像素值差異很大，這種方法的優(yōu)點(diǎn)在于操作簡單、速度快，但是提取到的前景對(duì)象容易出現(xiàn)空洞，正是因?yàn)榇嬖谶@種不足，所以這種方法一般用于精度要求不高的初級(jí)提取操作；光流法的計(jì)算過程復(fù)雜，并且對(duì)使用的設(shè)備條件有比較高的要求，難以得到實(shí)時(shí)檢測結(jié)果；關(guān)于背景減除法，STAUFFER等[9]提出的等高斯模型方法最為流行，混合高斯模型使用一個(gè)或多個(gè)高斯模型描述時(shí)間序列中的像素。特別地，像素值在給定的時(shí)間段內(nèi)波動(dòng)很大，并且大多數(shù)典型區(qū)域使用多個(gè)高斯分布建模。對(duì)于變化的場景高斯混合模型通過模型的自動(dòng)更新，產(chǎn)生的結(jié)果相較于其他傳統(tǒng)背景模型準(zhǔn)確率和穩(wěn)定性有所提高，但是不足之處依然存在：得到的結(jié)果中前景目標(biāo)中有空洞，輪廓不連續(xù)；由于模型采用統(tǒng)一的刷新率，無法及時(shí)地更新運(yùn)動(dòng)目標(biāo)移動(dòng)而暴露的區(qū)域，從而導(dǎo)致此區(qū)域被錯(cuò)誤地歸類為前景。

面對(duì)以上這些問題，針對(duì)應(yīng)用在全景圖像上的運(yùn)動(dòng)目標(biāo)的檢測，本文提出基于全景圖像改進(jìn)的運(yùn)動(dòng)目標(biāo)檢測方法，改進(jìn)的方法是將五幀差分法和混合高斯模型結(jié)合起來，五幀差分法可以利用連續(xù)多幀之間的檢測提高獲取目標(biāo)的完整度，有效克服空洞現(xiàn)象；混合高斯背景模型的改進(jìn)解決了運(yùn)動(dòng)目標(biāo)出現(xiàn)在檢測結(jié)果中的重影現(xiàn)象，降低背景中出現(xiàn)的干擾，再通過形態(tài)學(xué)處理得到最終結(jié)果。實(shí)驗(yàn)表明，本文方法更加著重于前景檢測率，得到更加精準(zhǔn)和可靠的檢測結(jié)果。

1 傳統(tǒng)混合高斯模型

混合高斯背景建模[10]是一種基于像素模型的統(tǒng)計(jì)數(shù)據(jù)來表示背景的方法，它利用大量像素在長時(shí)間內(nèi)大量樣本值的概率密度等統(tǒng)計(jì)信息來表示背景，然后通過統(tǒng)計(jì)變量來確定目標(biāo)像素，從而獲得前景目標(biāo)，過程如圖1所示。

圖1 混合高斯建模的基礎(chǔ)流程圖Fig.1 Basic flow chart of Gaussian mixture modeling

1.1 混合高斯背景建模理論

在圖像序列中，對(duì)于任意的像素點(diǎn)(x0,y0)來說，隨著時(shí)間的推移形成一個(gè)“像素序列”，表達(dá)形式如下

{X1,…,Xt}={I(x0,y0,i):1≤i≤t}

(1)

式中，I(x0,y0,i)表示的是對(duì)應(yīng)像素點(diǎn)(x0,y0)的像素值，并且將這一系列像素點(diǎn)用K個(gè)高斯模型來近似，觀測到的像素值Xt的概率可以表示為

(2)

(3)

1.2 背景模型的參數(shù)更新

將每一幀的像素值Ii(x,y)所計(jì)算的高斯分布遵循優(yōu)先級(jí)進(jìn)行降序排列，若像素值與高斯分布匹配，那么滿足式(4)，對(duì)第1個(gè)匹配的高斯分布按式(5)-式(8)更新高斯混合模型參數(shù),即

|It(x,y)-ui,t-1|

(4)

wi,t=(1-α)wi,t-1+α

(5)

μ=(1-β)μi，t-1+βIi(x,y)

(6)

(7)

β=αη(It(x,y))|μ,δi,t

(8)

式中:α為學(xué)習(xí)速率，0≤α≤1，表示高斯混合背景模型的更新速率；β為更新率，是由α和η(Xt,μi,t,Σi，t)所決定的。

1.3 前景分割

隨著背景模型的更新，Xt對(duì)應(yīng)的分布權(quán)重會(huì)增加，從而降低方差并且提高優(yōu)先級(jí)，則所用時(shí)間最長的高斯分布擁有最大的優(yōu)先級(jí)，說明該高斯分布最接近原背景。將所有的高斯分布按降序排列時(shí)，離背景最近的高斯分布是前景，所以放在前面，反之，越靠近后面的高斯分布越不可能正確表示背景。因此用前B個(gè)分布來表示背景，即

(9)

式中，T為閾值，表示創(chuàng)建背景所需的最小權(quán)重比，當(dāng)T取值很小時(shí)，表示背景用一個(gè)高斯分布來表示，當(dāng)T取值較大時(shí)，表示背景用多個(gè)高斯分布來表示。在上述T個(gè)分布中至少有一個(gè)分布與像素值Xt相匹配，那么就將此像素點(diǎn)判斷為背景點(diǎn)；反之為前景點(diǎn)，以此來實(shí)現(xiàn)前景分割。背景圖像中像素值Xb,t表示為

(10)

2 結(jié)合五幀差分法改進(jìn)的混合高斯背景建模

本文方法是混合高斯建模方法和五幀差分法的結(jié)合，并且最后對(duì)結(jié)果進(jìn)行形態(tài)學(xué)處理，得到最終目標(biāo)結(jié)果，流程如圖2所示。

圖2 本文方法流程圖Fig.2 Flow chart of the proposed algorithm

2.1 改進(jìn)的自適應(yīng)混合高斯模型

檢測到的圖像會(huì)產(chǎn)生重影現(xiàn)象是因?yàn)榉€(wěn)定不變的學(xué)習(xí)速率，而重影的產(chǎn)生會(huì)對(duì)檢測結(jié)果的準(zhǔn)確性造成影響。如果學(xué)習(xí)速率太高，模型更新的速度會(huì)太快，將檢測目標(biāo)與背景混淆；如果學(xué)習(xí)速率太低，背景模型更新速度會(huì)變慢，造成背景模型的變化不符合實(shí)際場景，導(dǎo)致沒有準(zhǔn)確判斷出被檢測目標(biāo)的背景，影響檢測結(jié)果。因此，對(duì)學(xué)習(xí)速率使用不同的更新方法，即

(11)

式中:N檢為當(dāng)前檢測幀的圖像總像素?cái)?shù)；N全為指定檢測目標(biāo)的像素?cái)?shù)，根據(jù)目標(biāo)像素在整個(gè)圖像幀所有像素的比例來分配學(xué)習(xí)速率。在檢測的第一階段，檢測目標(biāo)還沒有在背景中，目標(biāo)像素在整個(gè)圖像中的占比低，λ值較小，需要有較快的更新速度來加速消除“鬼影”，這種情況下有必要加大學(xué)習(xí)速率；當(dāng)目標(biāo)進(jìn)入背景時(shí)，目標(biāo)像素的占比高，λ值較大，背景模型趨于穩(wěn)定，這種情況下有必要降低學(xué)習(xí)速率，以便不將檢測目標(biāo)設(shè)置為背景。

每個(gè)像素包含若干個(gè)固定的高斯分布，它在執(zhí)行流程操作的實(shí)現(xiàn)中會(huì)占用大量系統(tǒng)資源，因此，通過刪除多余的高斯分布來減少運(yùn)算。每相隔y幀，則對(duì)高斯分布進(jìn)行掃描，檢查所有的高斯分布的權(quán)重，權(quán)重公式為wi,t=(1-α)wi,t-1。若存在高斯分布滿足

(12)

則判斷其為多余的高斯分布，并將其刪除。

2.2 五幀差分法

幀間差分法是通過對(duì)相鄰兩幀或多個(gè)圖像幀進(jìn)行差分運(yùn)算從而得到檢測目標(biāo)的方法。在檢測過程中，多幀連續(xù)檢測能更好地減少目標(biāo)空洞問題，提升目標(biāo)檢測精度。兩幀差分法[11-12]可以方便快捷地檢測出運(yùn)動(dòng)目標(biāo)，但會(huì)出現(xiàn)明顯的空洞和雙陰影，準(zhǔn)確率低。不同于兩幀差分的是三幀差分法[13],通過3幅連續(xù)的視頻圖像進(jìn)行差分操作，與固定閾值進(jìn)行比較，然后再細(xì)分。雖然雙影現(xiàn)象[14]得到改善，但是不足之處是仍然存在空洞。在此基礎(chǔ)上，五幀差分法[15-16]可以有效解決目標(biāo)中出現(xiàn)空洞問題。取連續(xù)的5幀圖像Ik-2(x,y),Ik-1(x,y),Ik(x,y),Ik+1(x,y),Ik+2(x,y)以第k幀圖像作為當(dāng)前幀，分別與前2幀和后2幀進(jìn)行差分和二值化運(yùn)算，即

(13)

(14)

(15)

(16)

得到差分后的圖像g1k,g2k,g3k,g4k，M為固定的二值化閾值。最后，為了使獲得的目標(biāo)空洞更少，使用先“與”后 “或”的邏輯操作，即

g1∩g2=k1

(17)

g3∩g4=k2

(18)

k1∪k2=K

(19)

得到最終的差分圖像K。

3 實(shí)驗(yàn)結(jié)果及分析

為驗(yàn)證本文方法，采用如下仿真實(shí)驗(yàn)進(jìn)行比較分析。在本次實(shí)驗(yàn)中使用的計(jì)算機(jī)CPU為AMD Ryzen-7-4800H-with-Radon-Graphics 2.90 GHz，仿真軟件openCV3.4.1,VS2017,獲取全景圖像所使用的魚眼鏡頭型號(hào)為FE185C086HA-1 F1.8/2.7 mm，相機(jī)型號(hào)為acA1600-20uc-Basler ace，最高分辨率為1626像素×1234像素。

實(shí)驗(yàn)1 本實(shí)驗(yàn)針對(duì)2段使用魚眼相機(jī)獲取的視頻進(jìn)行對(duì)比，分別采用幀間差分法、傳統(tǒng)高斯混合模型以及本文改進(jìn)方法進(jìn)行測試，然后將實(shí)驗(yàn)得到的結(jié)果進(jìn)行對(duì)比，第1段視頻實(shí)驗(yàn)結(jié)果對(duì)比如圖3所示。

圖3 實(shí)驗(yàn)結(jié)果對(duì)比Fig.3 Comparison of experimental results

在上述實(shí)驗(yàn)中，運(yùn)動(dòng)目標(biāo)勻速移動(dòng)，并且在移動(dòng)過程中有小部分障礙物遮掩。從效果圖中可以發(fā)現(xiàn)，在獲取的全景圖像中，目標(biāo)檢測的準(zhǔn)確率會(huì)受到影響。幀間差分法所得到的目標(biāo)結(jié)果中存在巨大空洞且不連貫，輪廓粗大與實(shí)際有出入，傳統(tǒng)的高斯混合模型重影現(xiàn)象嚴(yán)重，而且存在噪聲干擾。而本文方法明顯優(yōu)于前兩種，改進(jìn)的高斯混合模型不僅使得運(yùn)動(dòng)目標(biāo)檢測結(jié)果的完整度得到改善，并且對(duì)于噪聲的去除也有所提高，在有遮擋物的情況下依然可以檢測到目標(biāo)，可以使檢測結(jié)果更加精確。

實(shí)驗(yàn)2 為了驗(yàn)證運(yùn)動(dòng)目標(biāo)移動(dòng)速度對(duì)本文方法的影響，仿真實(shí)驗(yàn)中使用魚眼鏡頭分別對(duì)步行和跑步時(shí)的目標(biāo)進(jìn)行檢測。實(shí)驗(yàn)對(duì)比結(jié)果如圖4所示。

圖4 速度對(duì)檢測結(jié)果影響Fig.4 Effect of speed on test results

在上述仿真實(shí)驗(yàn)中，對(duì)于魚眼鏡頭獲取的全景圖像，在實(shí)驗(yàn)1中使用幀間差分法，運(yùn)動(dòng)目標(biāo)速度慢時(shí)檢測不到對(duì)象，實(shí)驗(yàn)2中目標(biāo)人物步行和跑步時(shí)，速度變化由慢到快，檢測結(jié)果并未受到明顯影響，運(yùn)動(dòng)目標(biāo)邊緣輪廓流暢，提取的目標(biāo)信息內(nèi)容比較豐富，可見，改進(jìn)后方法明顯優(yōu)于其他實(shí)驗(yàn)方法。

通過識(shí)別率P和誤檢率F對(duì)改進(jìn)方法的效率和準(zhǔn)確度進(jìn)行分析評(píng)估，具體計(jì)算過程為

(20)

(21)

式中:M為正確檢測出的前景像素點(diǎn)數(shù)；N為未被檢測出的前景像素點(diǎn)數(shù)；D為檢測錯(cuò)誤的個(gè)數(shù)。表1所示為3種方法的識(shí)別率和誤檢率。

表1 3種方法的識(shí)別率和誤檢率Table 1 Recognition rate and false detection rate of three methods %

從表1中可以明顯看出，3種不同方法的識(shí)別率接近，在實(shí)驗(yàn)中都可以檢測出運(yùn)動(dòng)目標(biāo)，但是在誤檢率上有明顯差距，本文方法既可以滿足一定的識(shí)別率，也可以降低誤檢率，檢測結(jié)果較為精準(zhǔn)。

4 結(jié)束語

本文提出基于全景圖像的運(yùn)動(dòng)目標(biāo)檢測改進(jìn)方法，將五幀差分法和混合高斯背景模型法結(jié)合起來，利用形態(tài)學(xué)對(duì)結(jié)果進(jìn)行處理，得到最終的目標(biāo)檢測結(jié)果，在運(yùn)動(dòng)目標(biāo)的檢測結(jié)果的完整度上有一定提高，在一定程度上有效克服空洞現(xiàn)象，同時(shí)，混合高斯的自適應(yīng)學(xué)習(xí)率可以減少運(yùn)動(dòng)目標(biāo)出現(xiàn)在檢測結(jié)果中的重影現(xiàn)象，提高目標(biāo)檢測精度和速度，降低背景造成的干擾。實(shí)驗(yàn)結(jié)果表明，本文方法更加著重于前景檢測率，得到更加精準(zhǔn)和可靠的檢測，效果上比其他檢測方法更可靠，總體來說，本文方法可以滿足在全景領(lǐng)域的應(yīng)用，使得全景圖像的應(yīng)用更為廣泛，但面對(duì)復(fù)雜的背景變化對(duì)全景圖像帶來的影響需要在未來的研究中進(jìn)一步改進(jìn)和提高。