改進(jìn)ViBe 算法及其在運(yùn)動(dòng)船舶目標(biāo)檢測(cè)中的應(yīng)用

楊家軒，秦 碩，宋慶垚,

(1.大連海事大學(xué) 航海學(xué)院，遼寧 大連 116026；2.遼寧省航海安全保障重點(diǎn)實(shí)驗(yàn)室，遼寧 大連 116026)

0 引 言

在計(jì)算機(jī)視覺(jué)領(lǐng)域中，運(yùn)動(dòng)目標(biāo)檢測(cè)是國(guó)內(nèi)外學(xué)者研究的熱點(diǎn)。目前，幀差法[1-2]、光流法[3]、背景差分法[4]，是應(yīng)用較為廣泛的幾種檢測(cè)方法。背景差分法會(huì)先確定背景模型，然后將圖像序列中的當(dāng)前幀和背景模型進(jìn)行對(duì)比，并進(jìn)行減法運(yùn)算，得到前景運(yùn)動(dòng)區(qū)域，從而確定運(yùn)動(dòng)物體的各項(xiàng)特征?；旌细咚鼓Ｐ?GMM)[5]、碼本(codebook) 算法[6]和視覺(jué)背景提取(visual background extractor, ViBe)算法[7-8]都是背景差分法的應(yīng)用。與幀差法、混合高斯模型和codebook 算法相比，ViBe 算法計(jì)算量小，運(yùn)行速度快，實(shí)時(shí)性高，抗噪聲干擾能力強(qiáng)，還具有較好的魯棒性。同時(shí)，ViBe 算法不受運(yùn)動(dòng)目標(biāo)的速度影響，靜態(tài)背景下檢測(cè)效果良好，與以上算法相比，前景檢測(cè)效果較為優(yōu)異。但其缺點(diǎn)也很明顯，如“鬼影”、檢測(cè)目標(biāo)不完整以及對(duì)動(dòng)態(tài)背景魯棒性差等問(wèn)題。

為了彌補(bǔ)原始ViBe 算法的不足，楊依忠等[9]提出了一種“與”和“或”類型三幀差法與原始ViBe 算法相結(jié)合，通過(guò)“與”運(yùn)算減少海面閃爍點(diǎn)被誤檢測(cè)為前景的情況，再通過(guò)“或”運(yùn)算盡可能地保留運(yùn)動(dòng)目標(biāo)，最后對(duì)結(jié)果進(jìn)行顯著性檢測(cè)。該方法在一定程度上抑制了首幀出現(xiàn)的“鬼影”，在近距離的大型目標(biāo)上檢測(cè)效果理想，但是不適用于小目標(biāo)檢測(cè)。VAN D 等[10]在ViBe 算法的基礎(chǔ)上引入了閃爍等級(jí)的概念，并引用了codebook 算法中的顏色畸變測(cè)量。楊毅等[11]在原始ViBe 的基礎(chǔ)上擴(kuò)大樣本取值范圍，結(jié)合自適應(yīng)閾值和閃爍等級(jí)，對(duì)輸入的視頻序列采用高斯金字塔變換，獲得不同分辨率的圖像，最后對(duì)這些圖像分別使用改進(jìn)的Vibe 算法檢測(cè)出結(jié)果，并進(jìn)行融合。該方法可以有效抑制海面閃爍點(diǎn)，但未對(duì)目標(biāo)“鬼影”進(jìn)行抑制，造成船舶運(yùn)動(dòng)目標(biāo)的誤檢。

基于以上分析，為了提高運(yùn)動(dòng)船舶識(shí)別的檢測(cè)率和準(zhǔn)確性，本文對(duì)傳統(tǒng)V i B e 算法進(jìn)行改進(jìn)。在ViBe 算法的基礎(chǔ)上，本文算法用多幀連續(xù)圖像初始化背景模型，減少“鬼影”對(duì)前景檢測(cè)結(jié)果的影響；通過(guò)自適應(yīng)閾值和閃爍等級(jí)抑制海面雜波，再通過(guò)多幀前景圖像像素點(diǎn)對(duì)比消除“鬼影”，提取移動(dòng)的船舶。最后對(duì)輸入的動(dòng)態(tài)視頻進(jìn)行高斯金字塔多尺度分解，提取出第4 層的低分辨率視頻。本文算法流程如圖1 所示。

圖1 算法流程圖Fig.1 Flow chart of the algorithm

1 ViBe 算法

ViBe 算法流程如下：初始化單幀圖像中每個(gè)像素點(diǎn)的背景模型、對(duì)后續(xù)的圖像序列進(jìn)行前景目標(biāo)分割和模型更新[11]。

1.1 模型初始化

算法對(duì)視頻進(jìn)行處理時(shí)，使用首幀圖像進(jìn)行初始化。首先，為每一個(gè)像素點(diǎn)創(chuàng)造一個(gè)大小為N的樣本集，從每個(gè)像素的8 個(gè)鄰域中隨機(jī)選取N個(gè)像素值放入N個(gè)模型樣本中，背景模型M(x)如下：

式中：vi表示背景模型中樣本的像素值；N為背景模型中樣本的數(shù)量。

1.2 前景檢測(cè)

模型初始化之后，從第2 幀圖像開(kāi)始，將每個(gè)新的像素點(diǎn)與模型中已有的樣本進(jìn)行對(duì)比，以此判斷是否是前景像素。假設(shè)v(x)是當(dāng)前像素點(diǎn)x的像素值，ViBe 算法會(huì)定義一個(gè)以v(x)為圓心，R為半徑的圓形區(qū)域SR(v(x))，該區(qū)域包含了到v(x)的歐氏距離小于等于R的所有像素點(diǎn)，如圖2 所示。其中，C1和C2為二維顏色空間的分量，M表示M(x)落在SR(v(x))內(nèi)的樣本數(shù)量，當(dāng)M大于預(yù)設(shè)閾值時(shí)，v(x)為背景，否則為前景。圖中黑色點(diǎn)表示M(x)的樣本點(diǎn)。

圖2 背景模型示意圖Fig.2 Schematic of backgrounding model

1.3 模型更新

當(dāng)前像素v(x)被分類為背景點(diǎn)時(shí)，v(x)會(huì)以1/φ的概率更新自身的背景模型，之后會(huì)隨機(jī)替換樣本模型中的某一像素點(diǎn)，同時(shí)也會(huì)以1/φ的概率更新其8 個(gè)鄰域內(nèi)像素點(diǎn)背景。

2 改進(jìn)的ViBe 海面船舶運(yùn)動(dòng)目標(biāo)檢測(cè)算法

2.1 背景建模

ViBe 算法使用視頻的第1 幀初始化式(1)中的參數(shù)。如果在第1 幀中有1 個(gè)像素是前景目標(biāo)，那么作為前景的像素也將被分類為背景樣本點(diǎn)。若第1 幀存在前景目標(biāo)，則前景像素也將被分類為背景樣本點(diǎn)。由于前景一直運(yùn)動(dòng)，某些長(zhǎng)時(shí)間保持不變的前景區(qū)域被認(rèn)為是“鬼影”。如圖3(b)所示，矩形框內(nèi)為運(yùn)動(dòng)目標(biāo)殘留的鬼影區(qū)域。因此，在初始化時(shí)，為了弱化運(yùn)動(dòng)目標(biāo)對(duì)背景建模的影響，本文算法采用前N 幀圖像進(jìn)行建模。

圖3 “鬼影”檢測(cè)Fig.3 Ghost detection

式中，PN(x)為前N幀圖像的像素值。

在摩爾定律的指引下，芯片特征尺寸不斷減小，芯片上可集成的功能模塊增多，設(shè)計(jì)的復(fù)雜度也逐漸上升.工藝參數(shù)波動(dòng)對(duì)芯片良率的影響越來(lái)越明顯，因此有時(shí)不得不進(jìn)行過(guò)度設(shè)計(jì)，以增加時(shí)序閾度提高芯片良率.流片后，工藝參數(shù)的波動(dòng)固定，針對(duì)參數(shù)的波動(dòng)和具體的芯片工作需求，對(duì)特殊延時(shí)器件進(jìn)行調(diào)整，即可提高芯片良率.

2.2 背景建模自適應(yīng)閾值和閃爍等級(jí)

ViBe 算法中所采用的固定半徑R不能適應(yīng)海面動(dòng)態(tài)背景的變化，易受海浪雜波的干擾，產(chǎn)生大量的誤檢。因此，使用自適應(yīng)閾值[12-15]，并根據(jù)動(dòng)態(tài)背景的變化自動(dòng)調(diào)整閾值。參考文獻(xiàn)[12]將閾值定義為：

式中：L(x)是當(dāng)前幀；Li(x)為背景模型樣本。T反映背景的變化程度，R根據(jù)T的動(dòng)態(tài)變化自適應(yīng)地調(diào)整模型進(jìn)行更新，如下式：

式中：ε為閾值調(diào)節(jié)改變量，設(shè)置門(mén)限RH和RL(分別取40 和20)防止閾值變化較大。當(dāng)環(huán)境變化較小時(shí)，R(x)趨于穩(wěn)定；當(dāng)背景變化較大時(shí)，R(x)就會(huì)逐漸增大。

引用文獻(xiàn)[10 - 11]中的閃爍等級(jí)B降低海面雜波的干擾。閃爍等級(jí)即若某一背景像素的8 鄰域中存在前景，根據(jù)像素的8 鄰域狀態(tài)與前一幀同位置像素8 鄰域狀態(tài)不同，對(duì)B進(jìn)行修改。若B≥30，認(rèn)為該像素正在閃爍，表示為：

式中：B為閃爍等級(jí)；SI為像素點(diǎn)8 鄰域狀態(tài)，SI-1為上一幀同位置像素的8 鄰域狀態(tài)；

式中：v(x)為像素值。

2.3 “鬼影”消除策略與前景檢測(cè)

“鬼影”消除策略如下：

步驟1以是否檢測(cè)到“鬼影”作為第1 個(gè)判斷，連續(xù)兩幀中相同位置的像素被判斷為前景。如果存在“鬼影”，則進(jìn)行步驟2，否則跳轉(zhuǎn)至步驟3。

步驟2結(jié)合幀間信息，增加第2 次判斷，即統(tǒng)計(jì)前n幀中相同位置的前景像素的次數(shù)，并與n比較。如果小于n，則確定為前景像素，否則為“鬼影”。此時(shí)“鬼影”更新為背景像素，如式(7)所示。

步驟3通過(guò)改進(jìn)的ViBe 算法提取前景區(qū)域，然后與Log 邊緣檢測(cè)和形態(tài)學(xué)運(yùn)算提取的前景目標(biāo)進(jìn)行“與”運(yùn)算，消除“鬼影”。

其中：I(x,y)是值為(x,y)的像素，1 是前景，0 是背景。

在前景檢測(cè)過(guò)程中，基于背景模型提取運(yùn)動(dòng)前景，并進(jìn)行如下操作：

步驟1第2 次判斷“鬼影”后，提取船舶運(yùn)動(dòng)的前景區(qū)域W1；

步驟2利用Log 算子對(duì)當(dāng)前幀進(jìn)行邊緣檢測(cè)，將運(yùn)動(dòng)目標(biāo)區(qū)域簡(jiǎn)化并進(jìn)行填充；

步驟3利用形態(tài)學(xué)運(yùn)算先膨脹，將運(yùn)動(dòng)區(qū)域邊緣進(jìn)行連接；然后腐蝕，消除邊緣周?chē)w細(xì)區(qū)域，得到目標(biāo)區(qū)域W2；

步驟4將W1和W2兩個(gè)運(yùn)動(dòng)區(qū)域進(jìn)行“與”計(jì)算，得到最終目標(biāo)區(qū)域W。

由于改進(jìn)ViBe 算法仍存在些許的海浪雜波，同時(shí)邊緣檢測(cè)也易檢測(cè)非目標(biāo)邊緣，如圖4(b)和圖4(c)所示。將邊緣檢測(cè)和改進(jìn)的ViBe 算法進(jìn)行“與”運(yùn)算可以進(jìn)一步抑制改進(jìn)的ViBe 算法殘留的海面雜波以及干擾邊緣帶來(lái)的影響，從而獲得完整目標(biāo)的顯著圖，如圖4(d)所示。

圖4 船舶目標(biāo)區(qū)域顯著圖Fig.4 The significant area of the ship's target area:

3 多尺度分解

前景檢測(cè)是在不同分辨率的同一視頻上執(zhí)行的。與高分辨率視頻相比，低分辨率視頻具有模糊、尺寸較小、灰度值變化小等特點(diǎn)，從而抑制了海面雜波。高斯金字塔可以對(duì)視頻圖像進(jìn)行多尺度采樣，還可以將它們排列成金字塔的形式。金字塔層數(shù)越多，圖像尺寸越小，分辨率越低。假設(shè)第k層輸入圖像的分辨率為M×N，則經(jīng)過(guò)低通濾波和下采樣之后，第k+1 層圖像的分辨率為M/2×N/2。

在動(dòng)態(tài)背景下，海上航行船舶的檢測(cè)會(huì)到受海浪的影響，為了減少海面雜波的干擾，采用高斯金字塔提取5 層分辨率視頻，使用改進(jìn)的ViBe 算法提取船舶運(yùn)動(dòng)目標(biāo)。如圖5(b)、圖5(c)和圖5(d)所示，前3 層分辨率視頻中存在大量海面雜波干擾，高分辨率還降低了運(yùn)行速度。單幀視頻的運(yùn)行時(shí)間分別為1 018 ms，285 ms，153 ms，如表1 所示。從圖5(f)和表1 可以看出，海浪的干擾得到了抑制，第5 層分辨率視頻的單幀視頻處理耗時(shí)為29 ms。然而，由于丟失了部分船體，目標(biāo)檢測(cè)不完整。在第4 層分辨率視頻中，海雜波得到了很好的抑制，而且艦船目標(biāo)的顯著區(qū)域也比較完整，如圖5(e)所示。同時(shí)，單幀視頻運(yùn)行時(shí)間為97 ms，滿足實(shí)時(shí)性要求。因此，本文對(duì)分辨率為1 280×720 的視頻采用高斯金字塔分解，得到第4 層160×90的低分辨率視頻。根據(jù)以上實(shí)驗(yàn)結(jié)果，使用改進(jìn)的ViBe 算法提取運(yùn)動(dòng)船舶目標(biāo)的前景，避免了海浪對(duì)高分辨率船舶目標(biāo)提取精度的影響，可以準(zhǔn)確提取運(yùn)動(dòng)中的船舶目標(biāo)。

圖5 船舶目標(biāo)區(qū)域顯著圖Fig.5 The significant area of the ship's target area

表1 5 層分辨率視頻單幀畫(huà)面運(yùn)行時(shí)間對(duì)比Tab.1 Comparison of running time of single frame image of layers resolution video

4 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)中使用分辨率為1 280 ×720，604 幀的視頻進(jìn)行仿真。改進(jìn)算法的部分參數(shù)取值與ViBe 算法一致，其中背景樣本數(shù)設(shè)置為20，最小匹配個(gè)數(shù)設(shè)置為2，模板更新率設(shè)置為16，R的初始值是20。

ViBe 算法在進(jìn)行船舶目標(biāo)檢測(cè)時(shí)會(huì)受到大量海浪雜波的影響，如圖6(b)所示。在ViBe 算法基礎(chǔ)上加入自適應(yīng)動(dòng)態(tài)閾值和閃爍等級(jí)判斷，魯棒性較好，對(duì)海浪雜波的抑制較為明顯(見(jiàn)圖6(c))，船舶目標(biāo)檢測(cè)的準(zhǔn)確率得到了提高。

圖6 海面雜波抑制效果對(duì)比Fig.6 Sea clutter suppression effect

經(jīng)過(guò)高斯金字塔分解，得到第4 層160 ×90 低分辨率視頻，之后通過(guò)多幀連續(xù)圖像初始化背景模型，加入像素點(diǎn)對(duì)比，從而消除“鬼影”對(duì)船舶目標(biāo)檢測(cè)的影響，如圖7 所示。圖7(b)為ViBe 算法對(duì)前景提取的效果，存在“鬼影”的干擾，而本文算法采用像素點(diǎn)對(duì)比，“鬼影”抑制效果顯著，如圖7(c)所示。船舶運(yùn)動(dòng)目標(biāo)前景提取完整，可以避免“鬼影”對(duì)海面船舶檢測(cè)準(zhǔn)確性的影響。圖8(c)為ViBe 算法前景檢測(cè)結(jié)果，受“鬼影”區(qū)域的影響較大，存在目標(biāo)檢測(cè)不完整以及誤檢等問(wèn)題。圖8(d)為本文基于像素點(diǎn)對(duì)比的前景檢測(cè)結(jié)果，“鬼影”區(qū)域得到抑制，船舶目標(biāo)檢測(cè)完整且準(zhǔn)確。

圖7 “鬼影”抑制效果對(duì)比Fig.7 Comparison of ghost suppression

圖8 前景檢測(cè)效果對(duì)比Fig.8 Comparison of foreground detection

圖9 為同一視頻下3 種算法第82，208，263，465 視頻幀前景顯著區(qū)域提取結(jié)果對(duì)比圖。從圖9 第2，3 列82 幀和208 幀可以看出，ViBe 算法和文獻(xiàn)[11]中產(chǎn)生的“鬼影”區(qū)域嚴(yán)重影響船舶運(yùn)動(dòng)目標(biāo)前景提取完整度和準(zhǔn)確度，而本文算法在“鬼影”區(qū)域的抑制上效果顯著，船舶運(yùn)動(dòng)目標(biāo)前景提取完整。從第2，3 列可知，ViBe 算法對(duì)“鬼影”區(qū)域的更新緩慢，文獻(xiàn)[11]中在263 幀視頻圖像已完成“鬼影”區(qū)域上的更新，但依然存在部分海浪雜波的影響造成海面船舶運(yùn)動(dòng)目標(biāo)的誤檢，如圖9(c)所示。在465 幀時(shí)，由于背景變化過(guò)快，ViBe 算法和文獻(xiàn)[11]的背景更新速度無(wú)法滿足背景的變化，出現(xiàn)大面積區(qū)域誤檢，而本文算法結(jié)合邊緣檢測(cè)進(jìn)行前景區(qū)域的提取，避免了大面積區(qū)域的誤檢，相比ViBe 算法和文獻(xiàn)[11]，本文改進(jìn)的ViBe 算法所得目標(biāo)區(qū)域較為完整和準(zhǔn)確。在低分辨率視頻下進(jìn)行檢測(cè)，不僅能抑制“鬼影”區(qū)域的影響，還可以降低動(dòng)態(tài)背景下海面噪聲的干擾，同時(shí)也適用于小目標(biāo)船舶的檢測(cè)。

圖9 前景顯著區(qū)域?qū)Ρ菷ig.9 Comparison of foreground salient area

選取檢測(cè)率(true precision rate,TPR)和虛警率(false precision rate,FPR)作為檢測(cè)結(jié)果的評(píng)價(jià)標(biāo)準(zhǔn)[16]。

式中：NFP為背景區(qū)域?qū)⑦\(yùn)動(dòng)船舶檢測(cè)為目標(biāo)的次數(shù)；NTP為背景區(qū)域沒(méi)有將運(yùn)動(dòng)船舶檢測(cè)為目標(biāo)的次數(shù)；NTP為目標(biāo)區(qū)域運(yùn)動(dòng)船舶目標(biāo)被成功識(shí)別的次數(shù)，NFN為目標(biāo)區(qū)域運(yùn)動(dòng)船舶目標(biāo)未被檢測(cè)到的次數(shù)。

在相同的實(shí)驗(yàn)條件下進(jìn)行仿真，結(jié)果如表2 所示。可知：本文算法的TPR(檢測(cè)率)為92.5%，而ViBe 算法、文獻(xiàn)[11]中算法的TPR 分別為60.1%和80.8%，本文算法的檢測(cè)效果明顯優(yōu)于其余兩者；本文算法的FPR (虛警率)為6.2%，ViBe 算法、文獻(xiàn)[11]中算法的FPR 分別為26.3%和9.1%，與其相比，F(xiàn)PR 分別降低了20.1%和2.8%。由于本文算法加入了“鬼影”消除策略，比ViBe 算法和文獻(xiàn)[11]在單幀視頻圖像耗時(shí)多61 ms 和38 ms，平均時(shí)間控制在97 ms 以內(nèi)，滿足實(shí)時(shí)檢測(cè)的要求。

5 結(jié) 語(yǔ)

為了解決運(yùn)動(dòng)船舶檢測(cè)中的“鬼影”問(wèn)題，本文對(duì)ViBe 算法進(jìn)行改進(jìn)。結(jié)果表明，本文改進(jìn)的ViBe算法的TPR(檢測(cè)率)為92.5%，ViBe 算法和文獻(xiàn)[11]中的算法的TPR 分別為60.1%和80.8%，本文算法在“Ghost”抑制方面也明顯優(yōu)于ViBe 算法和文獻(xiàn)[11]中算法。本文提出的ViBe 算法對(duì)海上運(yùn)動(dòng)船舶檢測(cè)過(guò)程中的“鬼影”抑制效果明顯，抗海浪干擾強(qiáng)，可以快速準(zhǔn)確地檢測(cè)出運(yùn)動(dòng)船舶。因此，本文算法對(duì)海浪背景下船舶目標(biāo)檢測(cè)有較好的適用性，同時(shí)為海上船舶目標(biāo)檢測(cè)提供了參考，并為海上船舶目標(biāo)跟蹤奠定了可靠的基礎(chǔ)。