夏麗娟, 姚明磊, 張曉玲
(江蘇理工學(xué)院機(jī)械工程學(xué)院,江蘇 常州 213000)
隨著視覺領(lǐng)域的快速發(fā)展,全景視覺和運(yùn)動(dòng)目標(biāo)檢測成為當(dāng)前研究和討論的重點(diǎn),它能夠在水平方向 360°和垂直方向240°的區(qū)域內(nèi)獲取場景中的高分辨率圖像和視頻,可以有效克服傳統(tǒng)視覺傳感器只能檢測部分信息的缺點(diǎn),因此,如何提高其運(yùn)動(dòng)目標(biāo)檢測的精準(zhǔn)性和可靠性成為研究重點(diǎn)。一般來說獲取全景視覺的為魚眼鏡頭[1],它的廣闊視角使得其在機(jī)器人導(dǎo)航[2]、智能視頻監(jiān)控[3]、航空航天[4]等領(lǐng)域得到廣泛運(yùn)用。
在運(yùn)動(dòng)目標(biāo)檢測方法中經(jīng)常使用的是幀差法[5]、光流法[6-7]、背景減除法[8]。其中,幀差法的原理是對(duì)像素點(diǎn)進(jìn)行處理,作為前景對(duì)象的圖像的相鄰兩幀的像素值差異很大,這種方法的優(yōu)點(diǎn)在于操作簡單、速度快,但是提取到的前景對(duì)象容易出現(xiàn)空洞,正是因?yàn)榇嬖谶@種不足,所以這種方法一般用于精度要求不高的初級(jí)提取操作;光流法的計(jì)算過程復(fù)雜,并且對(duì)使用的設(shè)備條件有比較高的要求,難以得到實(shí)時(shí)檢測結(jié)果;關(guān)于背景減除法,STAUFFER等[9]提出的等高斯模型方法最為流行,混合高斯模型使用一個(gè)或多個(gè)高斯模型描述時(shí)間序列中的像素。特別地,像素值在給定的時(shí)間段內(nèi)波動(dòng)很大,并且大多數(shù)典型區(qū)域使用多個(gè)高斯分布建模。對(duì)于變化的場景高斯混合模型通過模型的自動(dòng)更新,產(chǎn)生的結(jié)果相較于其他傳統(tǒng)背景模型準(zhǔn)確率和穩(wěn)定性有所提高,但是不足之處依然存在:得到的結(jié)果中前景目標(biāo)中有空洞,輪廓不連續(xù);由于模型采用統(tǒng)一的刷新率,無法及時(shí)地更新運(yùn)動(dòng)目標(biāo)移動(dòng)而暴露的區(qū)域,從而導(dǎo)致此區(qū)域被錯(cuò)誤地歸類為前景。
面對(duì)以上這些問題,針對(duì)應(yīng)用在全景圖像上的運(yùn)動(dòng)目標(biāo)的檢測,本文提出基于全景圖像改進(jìn)的運(yùn)動(dòng)目標(biāo)檢測方法,改進(jìn)的方法是將五幀差分法和混合高斯模型結(jié)合起來,五幀差分法可以利用連續(xù)多幀之間的檢測提高獲取目標(biāo)的完整度,有效克服空洞現(xiàn)象;混合高斯背景模型的改進(jìn)解決了運(yùn)動(dòng)目標(biāo)出現(xiàn)在檢測結(jié)果中的重影現(xiàn)象,降低背景中出現(xiàn)的干擾,再通過形態(tài)學(xué)處理得到最終結(jié)果。實(shí)驗(yàn)表明,本文方法更加著重于前景檢測率,得到更加精準(zhǔn)和可靠的檢測結(jié)果。
混合高斯背景建模[10]是一種基于像素模型的統(tǒng)計(jì)數(shù)據(jù)來表示背景的方法,它利用大量像素在長時(shí)間內(nèi)大量樣本值的概率密度等統(tǒng)計(jì)信息來表示背景,然后通過統(tǒng)計(jì)變量來確定目標(biāo)像素,從而獲得前景目標(biāo),過程如圖1所示。
圖1 混合高斯建模的基礎(chǔ)流程圖Fig.1 Basic flow chart of Gaussian mixture modeling
在圖像序列中,對(duì)于任意的像素點(diǎn)(x0,y0)來說,隨著時(shí)間的推移形成一個(gè)“像素序列”,表達(dá)形式如下
{X1,…,Xt}={I(x0,y0,i):1≤i≤t}
(1)
式中,I(x0,y0,i)表示的是對(duì)應(yīng)像素點(diǎn)(x0,y0)的像素值,并且將這一系列像素點(diǎn)用K個(gè)高斯模型來近似,觀測到的像素值Xt的概率可以表示為
(2)
(3)
將每一幀的像素值Ii(x,y)所計(jì)算的高斯分布遵循優(yōu)先級(jí)進(jìn)行降序排列,若像素值與高斯分布匹配,那么滿足式(4),對(duì)第1個(gè)匹配的高斯分布按式(5)-式(8)更新高斯混合模型參數(shù),即
|It(x,y)-ui,t-1| (4) wi,t=(1-α)wi,t-1+α (5) μ=(1-β)μi,t-1+βIi(x,y) (6) (7) β=αη(It(x,y))|μ,δi,t (8) 式中:α為學(xué)習(xí)速率,0≤α≤1,表示高斯混合背景模型的更新速率;β為更新率,是由α和η(Xt,μi,t,Σi,t)所決定的。 隨著背景模型的更新,Xt對(duì)應(yīng)的分布權(quán)重會(huì)增加,從而降低方差并且提高優(yōu)先級(jí),則所用時(shí)間最長的高斯分布擁有最大的優(yōu)先級(jí),說明該高斯分布最接近原背景。將所有的高斯分布按降序排列時(shí),離背景最近的高斯分布是前景,所以放在前面,反之,越靠近后面的高斯分布越不可能正確表示背景。因此用前B個(gè)分布來表示背景,即 (9) 式中,T為閾值,表示創(chuàng)建背景所需的最小權(quán)重比,當(dāng)T取值很小時(shí),表示背景用一個(gè)高斯分布來表示,當(dāng)T取值較大時(shí),表示背景用多個(gè)高斯分布來表示。在上述T個(gè)分布中至少有一個(gè)分布與像素值Xt相匹配,那么就將此像素點(diǎn)判斷為背景點(diǎn);反之為前景點(diǎn),以此來實(shí)現(xiàn)前景分割。背景圖像中像素值Xb,t表示為 (10) 本文方法是混合高斯建模方法和五幀差分法的結(jié)合,并且最后對(duì)結(jié)果進(jìn)行形態(tài)學(xué)處理,得到最終目標(biāo)結(jié)果,流程如圖2所示。 圖2 本文方法流程圖Fig.2 Flow chart of the proposed algorithm 檢測到的圖像會(huì)產(chǎn)生重影現(xiàn)象是因?yàn)榉€(wěn)定不變的學(xué)習(xí)速率,而重影的產(chǎn)生會(huì)對(duì)檢測結(jié)果的準(zhǔn)確性造成影響。如果學(xué)習(xí)速率太高,模型更新的速度會(huì)太快,將檢測目標(biāo)與背景混淆;如果學(xué)習(xí)速率太低,背景模型更新速度會(huì)變慢,造成背景模型的變化不符合實(shí)際場景,導(dǎo)致沒有準(zhǔn)確判斷出被檢測目標(biāo)的背景,影響檢測結(jié)果。因此,對(duì)學(xué)習(xí)速率使用不同的更新方法,即 (11) 式中:N檢為當(dāng)前檢測幀的圖像總像素?cái)?shù);N全為指定檢測目標(biāo)的像素?cái)?shù),根據(jù)目標(biāo)像素在整個(gè)圖像幀所有像素的比例來分配學(xué)習(xí)速率。在檢測的第一階段,檢測目標(biāo)還沒有在背景中,目標(biāo)像素在整個(gè)圖像中的占比低,λ值較小,需要有較快的更新速度來加速消除“鬼影”,這種情況下有必要加大學(xué)習(xí)速率;當(dāng)目標(biāo)進(jìn)入背景時(shí),目標(biāo)像素的占比高,λ值較大,背景模型趨于穩(wěn)定,這種情況下有必要降低學(xué)習(xí)速率,以便不將檢測目標(biāo)設(shè)置為背景。 每個(gè)像素包含若干個(gè)固定的高斯分布,它在執(zhí)行流程操作的實(shí)現(xiàn)中會(huì)占用大量系統(tǒng)資源,因此,通過刪除多余的高斯分布來減少運(yùn)算。每相隔y幀,則對(duì)高斯分布進(jìn)行掃描,檢查所有的高斯分布的權(quán)重,權(quán)重公式為wi,t=(1-α)wi,t-1。若存在高斯分布滿足 (12) 則判斷其為多余的高斯分布,并將其刪除。 幀間差分法是通過對(duì)相鄰兩幀或多個(gè)圖像幀進(jìn)行差分運(yùn)算從而得到檢測目標(biāo)的方法。在檢測過程中,多幀連續(xù)檢測能更好地減少目標(biāo)空洞問題,提升目標(biāo)檢測精度。兩幀差分法[11-12]可以方便快捷地檢測出運(yùn)動(dòng)目標(biāo),但會(huì)出現(xiàn)明顯的空洞和雙陰影,準(zhǔn)確率低。不同于兩幀差分的是三幀差分法[13],通過3幅連續(xù)的視頻圖像進(jìn)行差分操作,與固定閾值進(jìn)行比較,然后再細(xì)分。雖然雙影現(xiàn)象[14]得到改善,但是不足之處是仍然存在空洞。在此基礎(chǔ)上,五幀差分法[15-16]可以有效解決目標(biāo)中出現(xiàn)空洞問題。取連續(xù)的5幀圖像Ik-2(x,y),Ik-1(x,y),Ik(x,y),Ik+1(x,y),Ik+2(x,y)以第k幀圖像作為當(dāng)前幀,分別與前2幀和后2幀進(jìn)行差分和二值化運(yùn)算,即 (13) (14) (15) (16) 得到差分后的圖像g1k,g2k,g3k,g4k,M為固定的二值化閾值。最后,為了使獲得的目標(biāo)空洞更少,使用先“與”后 “或”的邏輯操作,即 g1∩g2=k1 (17) g3∩g4=k2 (18) k1∪k2=K (19) 得到最終的差分圖像K。 為驗(yàn)證本文方法,采用如下仿真實(shí)驗(yàn)進(jìn)行比較分析。在本次實(shí)驗(yàn)中使用的計(jì)算機(jī)CPU為AMD Ryzen-7-4800H-with-Radon-Graphics 2.90 GHz,仿真軟件openCV3.4.1,VS2017,獲取全景圖像所使用的魚眼鏡頭型號(hào)為FE185C086HA-1 F1.8/2.7 mm,相機(jī)型號(hào)為acA1600-20uc-Basler ace,最高分辨率為1626像素×1234像素。 實(shí)驗(yàn)1 本實(shí)驗(yàn)針對(duì)2段使用魚眼相機(jī)獲取的視頻進(jìn)行對(duì)比,分別采用幀間差分法、傳統(tǒng)高斯混合模型以及本文改進(jìn)方法進(jìn)行測試,然后將實(shí)驗(yàn)得到的結(jié)果進(jìn)行對(duì)比,第1段視頻實(shí)驗(yàn)結(jié)果對(duì)比如圖3所示。 圖3 實(shí)驗(yàn)結(jié)果對(duì)比Fig.3 Comparison of experimental results 在上述實(shí)驗(yàn)中,運(yùn)動(dòng)目標(biāo)勻速移動(dòng),并且在移動(dòng)過程中有小部分障礙物遮掩。從效果圖中可以發(fā)現(xiàn),在獲取的全景圖像中,目標(biāo)檢測的準(zhǔn)確率會(huì)受到影響。幀間差分法所得到的目標(biāo)結(jié)果中存在巨大空洞且不連貫,輪廓粗大與實(shí)際有出入,傳統(tǒng)的高斯混合模型重影現(xiàn)象嚴(yán)重,而且存在噪聲干擾。而本文方法明顯優(yōu)于前兩種,改進(jìn)的高斯混合模型不僅使得運(yùn)動(dòng)目標(biāo)檢測結(jié)果的完整度得到改善,并且對(duì)于噪聲的去除也有所提高,在有遮擋物的情況下依然可以檢測到目標(biāo),可以使檢測結(jié)果更加精確。 實(shí)驗(yàn)2 為了驗(yàn)證運(yùn)動(dòng)目標(biāo)移動(dòng)速度對(duì)本文方法的影響,仿真實(shí)驗(yàn)中使用魚眼鏡頭分別對(duì)步行和跑步時(shí)的目標(biāo)進(jìn)行檢測。實(shí)驗(yàn)對(duì)比結(jié)果如圖4所示。 圖4 速度對(duì)檢測結(jié)果影響Fig.4 Effect of speed on test results 在上述仿真實(shí)驗(yàn)中,對(duì)于魚眼鏡頭獲取的全景圖像,在實(shí)驗(yàn)1中使用幀間差分法,運(yùn)動(dòng)目標(biāo)速度慢時(shí)檢測不到對(duì)象,實(shí)驗(yàn)2中目標(biāo)人物步行和跑步時(shí),速度變化由慢到快,檢測結(jié)果并未受到明顯影響,運(yùn)動(dòng)目標(biāo)邊緣輪廓流暢,提取的目標(biāo)信息內(nèi)容比較豐富,可見,改進(jìn)后方法明顯優(yōu)于其他實(shí)驗(yàn)方法。 通過識(shí)別率P和誤檢率F對(duì)改進(jìn)方法的效率和準(zhǔn)確度進(jìn)行分析評(píng)估,具體計(jì)算過程為 (20) (21) 式中:M為正確檢測出的前景像素點(diǎn)數(shù);N為未被檢測出的前景像素點(diǎn)數(shù);D為檢測錯(cuò)誤的個(gè)數(shù)。表1所示為3種方法的識(shí)別率和誤檢率。 表1 3種方法的識(shí)別率和誤檢率Table 1 Recognition rate and false detection rate of three methods % 從表1中可以明顯看出,3種不同方法的識(shí)別率接近,在實(shí)驗(yàn)中都可以檢測出運(yùn)動(dòng)目標(biāo),但是在誤檢率上有明顯差距,本文方法既可以滿足一定的識(shí)別率,也可以降低誤檢率,檢測結(jié)果較為精準(zhǔn)。 本文提出基于全景圖像的運(yùn)動(dòng)目標(biāo)檢測改進(jìn)方法,將五幀差分法和混合高斯背景模型法結(jié)合起來,利用形態(tài)學(xué)對(duì)結(jié)果進(jìn)行處理,得到最終的目標(biāo)檢測結(jié)果,在運(yùn)動(dòng)目標(biāo)的檢測結(jié)果的完整度上有一定提高,在一定程度上有效克服空洞現(xiàn)象,同時(shí),混合高斯的自適應(yīng)學(xué)習(xí)率可以減少運(yùn)動(dòng)目標(biāo)出現(xiàn)在檢測結(jié)果中的重影現(xiàn)象,提高目標(biāo)檢測精度和速度,降低背景造成的干擾。實(shí)驗(yàn)結(jié)果表明,本文方法更加著重于前景檢測率,得到更加精準(zhǔn)和可靠的檢測,效果上比其他檢測方法更可靠,總體來說,本文方法可以滿足在全景領(lǐng)域的應(yīng)用,使得全景圖像的應(yīng)用更為廣泛,但面對(duì)復(fù)雜的背景變化對(duì)全景圖像帶來的影響需要在未來的研究中進(jìn)一步改進(jìn)和提高。1.3 前景分割
2 結(jié)合五幀差分法改進(jìn)的混合高斯背景建模
2.1 改進(jìn)的自適應(yīng)混合高斯模型
2.2 五幀差分法
3 實(shí)驗(yàn)結(jié)果及分析
4 結(jié)束語