基于幀差法和混合高斯的海上運(yùn)動(dòng)目標(biāo)檢測(cè)?

高海壯 段先華

（江蘇科技大學(xué)計(jì)算機(jī)學(xué)院 鎮(zhèn)江 212000）

1 引言

在計(jì)算機(jī)視覺和圖像處理領(lǐng)域中，海上運(yùn)動(dòng)目標(biāo)追蹤是一個(gè)重要的研究課題。海上運(yùn)動(dòng)目標(biāo)的自動(dòng)檢測(cè)技術(shù)在海防安全、海關(guān)管理、海上緝私以及港口船只調(diào)度等場(chǎng)合有重要的用途和意義。

海上運(yùn)動(dòng)目標(biāo)的自動(dòng)檢測(cè)在雷達(dá)以及紅外成像的圖像序列中，開展較為順利，但在最為普遍的可見光視頻圖像序列中，開展的比較困難。這是因?yàn)楹Ｉ洗嬖诖罅康牟ɡ嗽肼暎虼巳糁苯硬捎脗鹘y(tǒng)的運(yùn)動(dòng)檢測(cè)技術(shù)，往往會(huì)將這些波浪也檢測(cè)為運(yùn)動(dòng)物體，導(dǎo)致大量的誤檢。常用的運(yùn)動(dòng)目標(biāo)檢測(cè)方法有光流法［1］、幀間差分法［2］、背景減除法［3］。其中，背景減除法是目前最常見的方法。光流法算法復(fù)雜、需要特殊的硬件支持、實(shí)時(shí)性較差。幀間差分法是將相鄰的兩幀圖像對(duì)應(yīng)像素點(diǎn)進(jìn)行相減而得到運(yùn)動(dòng)目標(biāo)，能夠適應(yīng)光照突變，具有較小的計(jì)算量，但抗噪聲性能較差、易出現(xiàn)空洞現(xiàn)象。背景差分法是將當(dāng)前幀與背景模型進(jìn)行差分操作來實(shí)現(xiàn)對(duì)運(yùn)動(dòng)目標(biāo)的檢測(cè)，該算法準(zhǔn)確性高、易于實(shí)現(xiàn)、檢測(cè)速度快，但是由于實(shí)際場(chǎng)景的復(fù)雜多變，而且存在著各種噪聲干擾，造成背景建模的難度增加。文獻(xiàn)［4］提出了在混合高斯建立背景模型時(shí)對(duì)方差更新作了修改和用采取自適應(yīng)閾值的連續(xù)三幀差分的結(jié)果融合并作形態(tài)學(xué)處理提取目標(biāo)，算法能有效抑制噪聲和空洞，適應(yīng)性強(qiáng)；文獻(xiàn)［5］提出了一種基于高斯混合模型和鄰域信息項(xiàng)融合的海面運(yùn)動(dòng)目標(biāo)檢測(cè)算法，在對(duì)強(qiáng)光和不同氣候環(huán)境有較好的魯棒性；文獻(xiàn)［6］提出了利用前n幀視頻圖像的中值構(gòu)造海面背景圖像，并提出相應(yīng)的背景更新策略，實(shí)現(xiàn)了海水養(yǎng)殖海域非法侵入目標(biāo)的自動(dòng)檢測(cè)；文獻(xiàn)［4～6］都提出了改進(jìn)的方法，但也存在一些缺點(diǎn):1）對(duì)每個(gè)點(diǎn)孤立地建立多個(gè)模型，忽視了點(diǎn)的空間位置，導(dǎo)致算法復(fù)雜，計(jì)算量大，不利于實(shí)時(shí)處理；2）沒有對(duì)學(xué)習(xí)率進(jìn)行改進(jìn)，使得固定的學(xué)習(xí)率對(duì)復(fù)雜場(chǎng)景的適應(yīng)能力較差。文獻(xiàn)［7］提出了在靜態(tài)圖像中分割出感興趣區(qū)域（ROI），繼而僅在感興趣區(qū)域中應(yīng)用變形的時(shí)間差分法來檢測(cè)運(yùn)動(dòng)目標(biāo)，由于粗分辨率上的平滑作用，使得該方法不利于海上場(chǎng)景中小目標(biāo)的檢測(cè)；文獻(xiàn)［8］提出在提出在單幀圖像中采用Sobel算子計(jì)算梯度圖像從而分割出感興趣區(qū)域，然后從感興趣區(qū)域出發(fā)，根據(jù)連續(xù)幀間的感興趣區(qū)域的中心點(diǎn)是否移動(dòng)來判斷物體是否運(yùn)動(dòng)，從而找出運(yùn)動(dòng)的目標(biāo)，但由于八連通分析的時(shí)間復(fù)雜度較大，比較難實(shí)現(xiàn)實(shí)時(shí)檢測(cè)。

在前人的基礎(chǔ)上，本文從提出了一種把三幀差分法和改進(jìn)的混合高斯背景模型結(jié)合起來，用三幀差分法代替兩幀差分法，提高檢測(cè)的靈敏度和一定程度上消除“空洞”；再根據(jù)相鄰像素之間的相似性進(jìn)行區(qū)域分塊，并使用自適應(yīng)的學(xué)習(xí)率。通過上述步驟，本文算法能較好地檢測(cè)運(yùn)動(dòng)目標(biāo)并具有較強(qiáng)的魯棒性。

2 背景知識(shí)介紹

2.1 混合高斯背景模型

2.1.1 模型建立

混合高斯模型是由 Stauffer［9］等提出，它對(duì)圖像中的每個(gè)像素點(diǎn)用Κ個(gè)多維高斯分布組成的混合高斯模型來建模，即:式中，μk，t為t時(shí)刻第k個(gè)高斯分布的均值；∑k，t為t時(shí)刻第k個(gè)高斯分布的協(xié)方差矩陣；|Σ|是Σ的行列式；ωk，t為t時(shí)刻第k個(gè)高斯分布的權(quán)重，且有權(quán)重；Κ取值越大，越能描述更復(fù)雜的背景，背景模型的抗干擾能力越強(qiáng)，但也增加了計(jì)算量，影響力實(shí)時(shí)的效果。Κ一般取值3～5之間，本文取3；η為第k個(gè)高斯分布在t時(shí)刻的高斯密度函數(shù)；n為像素It的變量的維數(shù)，灰色圖像一般用灰度值描述每個(gè)像素，此時(shí)取n=1。

2.1.2 模型匹配和參數(shù)更新

當(dāng)t+1時(shí)刻新一幀圖像的像素點(diǎn)到來時(shí)，將It+1分別與Κ個(gè)高斯分布的均值 μk，t做匹配，匹配的規(guī)則為:

式中:μk，t和 σk，t分別為第k個(gè)高斯分布在t時(shí)刻的均值和標(biāo)準(zhǔn)差。λ是一個(gè)根據(jù)經(jīng)驗(yàn)自定義的參數(shù)，在實(shí)際應(yīng)用中一般取2.5。若滿足上述規(guī)則，則認(rèn)為It+1與第k個(gè)高斯函數(shù)匹配，否則，不匹配。

匹配會(huì)出現(xiàn)兩種情況:1）當(dāng)高斯混合模型的k個(gè)高斯模型中的一個(gè)或幾個(gè)與像素It+1相匹配時(shí)，則按照如下方法更新該高斯分布的參數(shù):

式中:α為學(xué)習(xí)速率，其值在0～1之間；Z為偏置，對(duì)于與當(dāng)前像素值匹配的高斯分布，Z=1，否則Z=0。通過這個(gè)式子將導(dǎo)致匹配的高斯分布權(quán)重值增加，而不匹配的高斯分布權(quán)重值減小。β為均值和方差的更新速率。

2）當(dāng)像素It+1與k個(gè)高斯模型都不匹配時(shí)，則將其混合高斯模型中權(quán)重最小的那個(gè)模型用一個(gè)新的模型取代。新模型以It+1為均值，并初始化一個(gè)較大的標(biāo)準(zhǔn)差和一個(gè)較小的權(quán)重。其中不匹配的高斯模型保持均值和方差不變，權(quán)重按式（4）更新。

2.1.3 權(quán)重的歸一化和背景估計(jì)

為提高背景模型的可靠程度，需要對(duì)權(quán)重進(jìn)行歸一化處理，即:

將高斯分布按照ωσ的值從大到小排列，取優(yōu)先級(jí)較高的前B個(gè)分布作為混合高斯的背景模型:

式中:T為閾值，代表背景模型占所有高斯分布的最小比例，一般取值為0.7～0.8。

2.1.4 前景分割

在進(jìn)行前景檢測(cè)時(shí)，選取的B個(gè)高斯分布作為背景模型后，將t+1時(shí)刻的像素值It+1與B個(gè)高斯背景模型做匹配，匹配規(guī)則按照式（3），如果像素值It+1與背景模型中的任何一個(gè)分布相匹配，則該像素點(diǎn)為背景點(diǎn)，否則為前景點(diǎn)。

2.2 幀間差分法

幀間差分法是把相鄰連續(xù)的兩幀或者三幀圖像做差分處理，通過閾值比較，從而獲得運(yùn)動(dòng)目標(biāo)。差分規(guī)則如下:

式中:dt為二值圖像；T1為分割閾值。像素值為0被認(rèn)背景點(diǎn)，像素值為1被認(rèn)為前景點(diǎn)。T1的取值影響到對(duì)后續(xù)運(yùn)動(dòng)目標(biāo)的處理。若差分圖像的某點(diǎn)像素值小于設(shè)定的閾值，就認(rèn)為該點(diǎn)是靜止的；否則，就認(rèn)為該點(diǎn)是運(yùn)動(dòng)的。

3 本文算法

3.1 三幀差分法檢測(cè)變化區(qū)域

由于用連續(xù)兩幀進(jìn)行差分，存在如下兩個(gè)缺點(diǎn):1）檢測(cè)結(jié)果是兩幀圖像中變化的信息，檢測(cè)出來的目標(biāo)點(diǎn)要比實(shí)際的目標(biāo)范圍要大；2）差分結(jié)果會(huì)導(dǎo)致兩幀重疊的部分被減掉，從而會(huì)出現(xiàn)運(yùn)動(dòng)目標(biāo)的“空洞”。

三幀差分法［10］算法簡(jiǎn)單，運(yùn)算速度快，靈敏度高，能快速的檢測(cè)出運(yùn)動(dòng)區(qū)域，消除背景顯露區(qū)域［11］，比連續(xù)兩幀差分法有明顯改進(jìn)。三幀差分法的運(yùn)算規(guī)則如下:將連續(xù)相鄰的三幀圖像 ft-1，ft，ft+1兩兩做差分，通過閾值比較得到二值圖像d1，d2，最后再對(duì)二值圖像做與操作，從而可以檢測(cè)出變化的區(qū)域。具體計(jì)算公式如下:

閾值的選取直接影響到運(yùn)動(dòng)目標(biāo)的提取和分割，T2的選值過小，會(huì)引入大量的噪聲點(diǎn)，T2的選值過大，會(huì)導(dǎo)致小的運(yùn)動(dòng)目標(biāo)漏檢。同時(shí)復(fù)雜的自適應(yīng)閾值會(huì)造成計(jì)算上的負(fù)擔(dān)。通常背景區(qū)域的像素值變化較小同時(shí)受噪聲的影響滿足高斯分布，對(duì)于滿足高斯分布的數(shù)據(jù)服從3σ準(zhǔn)則，所以閾值可以設(shè)定為T2=3σ+μ，其中σ和μ分別表示差分背景圖像的方差和均值。

3.2 不同區(qū)域的區(qū)分

由于三幀差分法是對(duì)兩兩差分圖像進(jìn)行與運(yùn)算，它能夠自動(dòng)消除上一幀被運(yùn)動(dòng)目標(biāo)覆蓋而在下一幀顯露出來的背景區(qū)域。通常場(chǎng)景中往往會(huì)存在一些周期性反復(fù)運(yùn)動(dòng)的干擾物體，比如水面的波動(dòng)、搖擺的樹枝和飄動(dòng)的旗幟等［12］。所以在運(yùn)動(dòng)目標(biāo)出現(xiàn)時(shí)，檢測(cè)到的目標(biāo)通常包含運(yùn)動(dòng)目標(biāo)自身和由干擾物體引起的變化區(qū)域。傳統(tǒng)的混合高斯背景模型因采用固定學(xué)習(xí)率，不能有效消除此類干擾。為解決此類問題，將存在干擾物體的區(qū)域從變化區(qū)域中消除，可以把當(dāng)前幀分為背景區(qū)域、干擾區(qū)域和目標(biāo)區(qū)域。

3.2.1 背景區(qū)域的區(qū)分

在相對(duì)固定的場(chǎng)景下，很多相鄰像素點(diǎn)的像素值相同或者相近，其對(duì)應(yīng)的模型參數(shù)也相同或者相近，所以可以用一個(gè)模型代替這些相鄰像素點(diǎn)。文獻(xiàn)［13］中證明了利用相鄰像素間的相關(guān)性提取運(yùn)動(dòng)目標(biāo)是一條有效途徑。通過引入分塊模型的思想，對(duì)t時(shí)刻大小為h×g的圖像 ft，從左到右，從上到下，分成大小為 h′×g′的 h″×g″個(gè)區(qū)域 OX。

對(duì)三幀差分法得到的二值圖像dt中區(qū)域進(jìn)行統(tǒng)計(jì)，其方法如下:對(duì)二值圖像dt中的區(qū)域OX進(jìn)行逐行掃描，統(tǒng)計(jì)OX中值為1像素點(diǎn)的個(gè)數(shù)nk，再用nk除以O(shè)X區(qū)域像素點(diǎn)的總個(gè)數(shù)h′×g′，就可以得到變化區(qū)域占區(qū)域面積的近似比值。通過閾值比較可以判定該區(qū)域?qū)儆诒尘皡^(qū)域還是變化區(qū)域。判斷準(zhǔn)則如下:

其中:Obg，Obh分別表示背景區(qū)域和變化區(qū)域。區(qū)域OX如果選取過小，將會(huì)增加計(jì)算量，選取過大，則會(huì)將較小的目標(biāo)錯(cuò)誤地判別為背景區(qū)域，容易造成漏檢。閾值T3的選取越小，對(duì)檢測(cè)結(jié)果的精度會(huì)有所提高。

3.2.2 變化區(qū)域的區(qū)分

可以取視頻圖像的前M幀，然后統(tǒng)計(jì)變化區(qū)域Obh在M幀出現(xiàn)的次數(shù)nl，通過閾值的比較，可以判定此區(qū)域?yàn)楦蓴_區(qū)域還是目標(biāo)區(qū)域，判別規(guī)則如下:

其中:Omb，Ogr分別表示目標(biāo)區(qū)域和干擾區(qū)域。

3.2.3 自適應(yīng)學(xué)習(xí)率的選取

由前面介紹的混合高斯背景模型可知，更新率β的大小由學(xué)習(xí)率α的大小決定。傳統(tǒng)模型中固定的學(xué)習(xí)率對(duì)復(fù)雜場(chǎng)景的適應(yīng)能力較差。如果α取值過小，適應(yīng)環(huán)境的變化能力較低，不能迅速跟上實(shí)際背景的變化；如果α取值過大，適應(yīng)環(huán)境的變化能力較強(qiáng)，但很容易引入大量的噪聲。綜上所述，需要對(duì)不同的區(qū)域采取不同的更新策略來應(yīng)對(duì)復(fù)雜場(chǎng)景的變化［14～16］。

1）賦予背景區(qū)域中像素點(diǎn)對(duì)應(yīng)的多維混合高斯分布模型較小的學(xué)習(xí)率αbg，可以保持背景區(qū)域的穩(wěn)定性，以免引入噪聲。

2）賦予目標(biāo)區(qū)域極低的學(xué)習(xí)率αmb，減少運(yùn)動(dòng)目標(biāo)對(duì)背景的影響。

3）賦予干擾區(qū)域較大的學(xué)習(xí)率αgr，這樣匹配的高斯分布將獲得較大的權(quán)值和較小的方差，其優(yōu)先級(jí)迅速提高，而其他的高斯分布權(quán)值將會(huì)減小，優(yōu)先級(jí)也相應(yīng)地降低，所以匹配的高斯分布影響背景的權(quán)重將加大，使干擾區(qū)域迅速跟上背景的變化。學(xué)習(xí)率αgr更新策略如下:

式中:γ為偏置系數(shù)，取1.5；n為當(dāng)前通過的幀數(shù)。

3.3 運(yùn)動(dòng)目標(biāo)提取

將目標(biāo)區(qū)域中像素點(diǎn)與各自的高斯分布模型進(jìn)行匹配，如果匹配，則認(rèn)為該變化點(diǎn)是由背景擾動(dòng)引起的；如與所有的高斯模型都不匹配，則認(rèn)為該變化點(diǎn)是由運(yùn)動(dòng)物體本身引起的，是前景點(diǎn)；最后再對(duì)提取出的運(yùn)動(dòng)目標(biāo)進(jìn)行后續(xù)處理（如去噪、形態(tài)學(xué)處理）工作，就可以得到完整的運(yùn)動(dòng)目標(biāo)。

4 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)使用的是攝像機(jī)在室外采集的兩組海面視頻圖像作為實(shí)驗(yàn)素材，為了驗(yàn)證本文算法的有效性，實(shí)驗(yàn)平臺(tái)為VC++2012和OpenCV3.0?；旌细咚贡尘澳Ｐ偷膮?shù)K為3；初始方差為30；α為0.02。實(shí)驗(yàn)對(duì)混合高斯模型、兩幀差分法、三幀差分法和本文方法做了對(duì)比。圖1（a）為原始視頻的第257幀的圖像。

圖1（b）是混合高斯背景模型對(duì)原始視頻的第257幀處理的結(jié)果。實(shí)驗(yàn)表明，由于海上存在較大風(fēng)浪，高斯模型對(duì)場(chǎng)景中周期性反復(fù)運(yùn)動(dòng)的干擾物，有一定的適應(yīng)能力，且運(yùn)動(dòng)目標(biāo)檢測(cè)輪廓較完整，但對(duì)這較大的干擾也會(huì)存在誤檢。

圖1（c）是兩幀差分法對(duì)原始視頻的第257幀處理的結(jié)果。可以看出不僅存在很多的噪聲干擾，抗干擾能力較低，而且運(yùn)動(dòng)目標(biāo)輪廓非常稀疏。

圖1（d）是三幀差分法對(duì)原始視頻的第257幀處理的結(jié)果?？梢钥闯鰴z測(cè)效果靈敏度提高，能檢測(cè)到目標(biāo)的大部分，有效地消除兩幀差分法帶來的“空洞”現(xiàn)象。

圖1（e）是本文方法對(duì)原始視頻的第257幀處理的結(jié)果。涉及到實(shí)驗(yàn)的幾個(gè)參數(shù):1）閾值T3的選取:閾值越小，運(yùn)動(dòng)目標(biāo)屬于變化區(qū)域的像素點(diǎn)就越多，這樣可以提高檢測(cè)精度，本文閾值選取0.4合適，檢測(cè)效果較好。2）變化區(qū)域M和T4的選取:過多的幀數(shù)會(huì)加大計(jì)算的量，對(duì)檢測(cè)的精度沒有明顯的提高，通常實(shí)驗(yàn)M取值為10，T4為5即可。3）學(xué)習(xí)率的選取:αbg=0.01，αmb=0.002。實(shí)驗(yàn)結(jié)果表明，本文算法對(duì)干擾區(qū)域進(jìn)行了判斷，沒有產(chǎn)生誤檢，很好地消除了虛假的干擾目標(biāo)，正確檢測(cè)出了運(yùn)動(dòng)目標(biāo)。

圖1 實(shí)驗(yàn)結(jié)果

5 結(jié)語

針對(duì)復(fù)雜背景下的海上視頻圖像運(yùn)動(dòng)目標(biāo)的檢測(cè)問題，首先對(duì)混合高斯背景模型法和幀間差分法進(jìn)行分析，探討了他們各自存在的檢測(cè)缺點(diǎn)。提出了一種三幀差分法和改進(jìn)的混合高斯背景模型相結(jié)合的算法。利用相鄰像素間的相關(guān)性，把每幀圖像劃分為背景區(qū)域、干擾區(qū)域和目標(biāo)區(qū)域，對(duì)不同的區(qū)域采取不同的更新策略，從而實(shí)現(xiàn)模型的自適應(yīng)學(xué)習(xí)。實(shí)驗(yàn)表明，該算法對(duì)海面場(chǎng)景中的復(fù)雜噪聲也有良好的去噪效果，同時(shí)對(duì)環(huán)境有較好的魯棒性。