一種有效抑制運(yùn)動目標(biāo)周圍“空洞”的算法

董海青，林寶軍，劉迎春

（1.中國科學(xué)院上海微系統(tǒng)與信息技術(shù)研究所上海200050；2.中國科學(xué)院微小衛(wèi)星創(chuàng)新研究院上海200120；3.上?？萍即髮W(xué)信息科學(xué)與技術(shù)學(xué)院，上海200120；4.中國科學(xué)院大學(xué)北京101407）

當(dāng)今人工智能技術(shù)風(fēng)靡全球，計算機(jī)視覺（Computer Vision，CV）已經(jīng)成為該領(lǐng)域最重要的研究方向之一。作為計算機(jī)視覺技術(shù)應(yīng)用領(lǐng)域之一的智能交通視頻監(jiān)控系統(tǒng)在交通監(jiān)控領(lǐng)域得到了研究者們的廣泛地關(guān)注[1]。

目前，基于計算機(jī)視覺技術(shù)的動態(tài)目標(biāo)檢測技術(shù)大多需要海量的視頻圖像作為訓(xùn)練模型的數(shù)據(jù)源，比如最近在動態(tài)目標(biāo)檢測領(lǐng)域比較受歡迎的區(qū)域卷積神經(jīng)網(wǎng)絡(luò)[2]，它需要大量的圖像集進(jìn)行訓(xùn)練，其計算過程非常耗時，如果將其移植到嵌入式設(shè)備，很難滿足實時性的要求。在智能交通監(jiān)控領(lǐng)域的某些應(yīng)用場景下，我們不需要很高的識別精度，比如在統(tǒng)計車流量、人流量的過程，我們只需要一個估計量即可，本論文正是在這種應(yīng)用背景下，嘗試著利用計算機(jī)視覺技術(shù)實現(xiàn)動態(tài)目標(biāo)的實時檢測與統(tǒng)計。目前，基于視頻圖像的動態(tài)目標(biāo)監(jiān)測技術(shù)已經(jīng)有幾十年的發(fā)展歷史，目前主流目標(biāo)檢測算法有背景差分法[3-5]、幀差法[6-8]、運(yùn)動場估計法[9-10]等。

文中主要研究的是基于混合高斯模型統(tǒng)計車流量的工程實現(xiàn)方法，未來的目標(biāo)是將其移植到嵌入式設(shè)備上，并且能夠?qū)崟r地較為準(zhǔn)確地估計車流量等信息。考慮到嵌入式平臺有限的硬件資源以及工程的實際需要情況，我們沒有采用較為耗時的特征點提取與匹配，而是根據(jù)混合高斯模型進(jìn)行背景建模[11-14]直接提取動態(tài)目標(biāo)。為了盡可能地提高統(tǒng)計結(jié)果的準(zhǔn)確率，在得到動態(tài)目標(biāo)前期對存在的噪聲進(jìn)行相應(yīng)的預(yù)處理；由于相機(jī)抖動、動態(tài)背景（比如樹葉搖動）等噪聲的干擾，得到的動態(tài)目標(biāo)內(nèi)部和外部存在大量的“洞”，內(nèi)部“空洞”主要通過非極大值抑制算法[15-20]剔除，外部“空洞”主要通過本文提出的鄰近幾何中心值抑制的算法剔除。

1 基于混合高斯模型的動態(tài)目標(biāo)檢測

物體分類與場景分類在過程上的相似性，決定了用物體分類數(shù)據(jù)集訓(xùn)練的DCNN可以作為一種遙感圖像場景特征提取方式。不同結(jié)構(gòu)的DCNN提取的遙感場景特征具有互補(bǔ)性。因此，融合不同結(jié)構(gòu)的DCNN特征可以提高場景分類效果。

1.1 基于混合高斯模型的動態(tài)目標(biāo)檢測存在的問題以及軟件架構(gòu)

本項目的主要目標(biāo)是實現(xiàn)交通監(jiān)控視頻中車（行人）流量的估計，核心思想是基于混合高斯模型的前景提取技術(shù)。在工程實現(xiàn)過程當(dāng)中我們發(fā)現(xiàn)，主要存在的動態(tài)干擾如圖1所示。

圖1 動態(tài)目標(biāo)檢測過程中的干擾

針對圖1（a）所示的干擾，采用非極大值抑制算法進(jìn)行抑制；針對圖1（b）所示的干擾，采用本文提出的鄰近幾何中心值抑制算法進(jìn)行抑制；本小節(jié)將整個項目的實現(xiàn)流程以軟件架構(gòu)圖的形式呈現(xiàn)，如圖2所示。

圖2 動態(tài)目標(biāo)檢測軟件架構(gòu)圖

1.2 混合高斯模型實現(xiàn)原理簡述

混合高斯模型（Gaussian Mixture Model，GMM）最早在文獻(xiàn)[12]中提出，該方法是為每個像素建立多個高斯模型，并通過基于回歸濾波在線EM近似方法對模型參數(shù)進(jìn)行更新，它能克服光照變化、樹枝搖動等造成的影響，在復(fù)雜的應(yīng)用場景下具有較高的魯棒性。

現(xiàn)對混合高斯模型作簡要的說明：假設(shè)每個像素點Xj由M個單高斯模型生成，具體它屬于哪個單高斯模型以及每個單高斯模型在混合模型中占的比例αj未知，將所有來自不同分布的數(shù)據(jù)點混在一起，就構(gòu)成了混合高斯分布模型。

從數(shù)學(xué)角度講，我們可以用加權(quán)函數(shù)來表示這些像素點的概率分布密度：

其中，

表示第j個單高斯模型。

令?j=(αj,μj,Cj)，GMM共有M個單高斯模型?，F(xiàn)在我們需要通過采集樣本數(shù)據(jù)X來估計GMM的所有參數(shù)：Φ=(?1,?2,...,?M)T，則樣本X的概率公式為：

通常用EM（Expectation Maximum）算法對GMM參數(shù)進(jìn)行估計。

2 臨近幾何中心值抑制算法

由于動態(tài)目標(biāo)中廣泛存在圖1（b）所示的干擾，利用非極大值抑制算法無法加以排除，因此，本文提出了一種能有效抑制圖1（b）所示干擾的算法。

2.1 算法描述

臨近幾何中心值抑制算法主要應(yīng)用在每幀提取到的動態(tài)目標(biāo)上，它的基本步驟用自然語言描述如下：

Step 1：在當(dāng)前幀中進(jìn)行第一層大循環(huán)，利用c++提供的容器裝入經(jīng)過非極大值抑制算法處理后所有檢測到的動態(tài)目標(biāo)，從容器boxorig中取出第一個動態(tài)目標(biāo)，計算其長度、寬度、面積以及幾何中心的坐標(biāo)，對應(yīng)地，同時定義并初始化相關(guān)幾何變 量currwidth，currheight，currarea，currcenter以及標(biāo)識boxorig中第一個動態(tài)目標(biāo)的常量constinti=0，定義并初始化下一個動態(tài)目標(biāo)的面積nextarea=0；

Step 2：進(jìn)入第二層循環(huán)，定義初始化變量從j=1開始；

Step 2.1：從容器中取出第j個動態(tài)目標(biāo)，計算其長度、寬度、面積以及幾何中心的坐標(biāo)，對應(yīng)地，同時定義并初始化相關(guān)地變量nextwidth，nextheight，nextcenter以及兩個動態(tài)目標(biāo)的歐式距離eucdistance，即第i與第j個動態(tài)目標(biāo)關(guān)于幾何中心的歐式距離；

Step 2.2：將eucdistance與預(yù)先設(shè)定的閾值THRESH進(jìn)行比較；

Step 2.2.1：如果其小于預(yù)先設(shè)定的閾值，計算并將第j個動態(tài)目標(biāo)的幾何面積賦值給nextarea，同時判斷currarea與nextarea面積的大小，如果小于nextarea的面積，則利用第j個動態(tài)目標(biāo)的幾何信息（坐標(biāo)(xj,yj)、寬度、高度、面積以及幾何中心坐標(biāo)）來更新第j個動態(tài)目標(biāo)的幾何信息；

Step 2.2.2：否則，將j個動態(tài)目標(biāo)投入預(yù)定義的boxtemp容器中；

Step 2.3：判斷j是否達(dá)到boxorig容器的尾部，如果是，則將第i個動態(tài)目標(biāo)投入到最終的容器中boxfinal；否則，跳轉(zhuǎn)到 Step 2；

Step 3：對容器boxorig進(jìn)行清零，同時將boxtemp容器中的內(nèi)容賦值給boxorig，跳轉(zhuǎn)到Step 1，經(jīng)過此次循環(huán)，容器boxorig中總的動態(tài)目標(biāo)的數(shù)目會減少一個。

2.2 算法執(zhí)行流程

為了對2.1中所描述的算法有一個清晰直觀的了解，將算法的執(zhí)行過程以流程圖的形式描述，如圖3所示。

圖3 臨近幾何中心值抑制算法執(zhí)行流程圖

在實際工程中，提取到的動態(tài)目標(biāo)大致輪廓是可以得到的，由于云煙雨霧、樹葉搖動、相機(jī)抖動等復(fù)雜因素的干擾，在主輪廓的內(nèi)部或者周圍有大量的干擾（“空洞”）存在。通常情況下，這些動態(tài)干擾的幾何面積小于主輪廓的面積，因此，本算法的核心思想正是利用這一特點，根據(jù)噪聲輪廓與主輪廓中心的歐式距離有選擇性地抑制主輪廓周圍的“空洞”。

3 實驗與分析

3.1 實驗數(shù)據(jù)

為了驗證基于混合高斯模型動態(tài)目標(biāo)檢測程序的合理性以及我們提出算法的有效性，我們搭建了相應(yīng)的實驗平臺：Windows 10操作系統(tǒng)（處理器：Intel（R）Core（TM）i5-2430M CPU2.4GHz內(nèi)存：2GB）+opencv2.4.13+vs2013+Matlab2016a以及其他的一些依賴庫，采用的數(shù)據(jù)集是一段長達(dá)17秒鐘的交通監(jiān)控視頻。實驗過程中，我們從視頻流中隨機(jī)地抽取若干幀進(jìn)行整個程序以及本文算法有效性的驗證。

在進(jìn)行實驗之前，首先要對程序中需要用到的幾個參數(shù)進(jìn)行預(yù)先的設(shè)置，其中比較重要的一個參數(shù)是閾值THRESH，設(shè)置如下：THRESH=26.05；THRESH的值就是本文提到過的主輪廓與周圍噪聲幾何中心距離的閾值，通過這個閾值對每幀當(dāng)中所有存在與動態(tài)目標(biāo)周圍的噪聲進(jìn)行有選擇性的抑制；THRESH是通過不斷地調(diào)試得來的，是一個工程經(jīng)驗值。

3.2 實驗的結(jié)果與分析

本文隨機(jī)抽取了視頻流中的第105、119幀圖像，對比結(jié)果分別為經(jīng)過混合高斯模型提取到的動態(tài)目標(biāo)原始圖像、經(jīng)過NMS抑制后的圖像以及經(jīng)過NMS和臨近幾何中心值抑制共同作用后的圖像，如圖4所示。理想情況下我們得到的結(jié)果應(yīng)該是一個完整的動態(tài)目標(biāo)，但從圖4（a）中可以看出，由于噪聲的干擾，提取到的動態(tài)目標(biāo)中會存在諸多我們不感興趣的區(qū)域，如何剔除眾多不感興趣的區(qū)域是一個亟待解決的問題。因此，我們分析了圖4（a）提取到的動態(tài)目標(biāo)特點，它們大概有兩大類特征：

1）主目標(biāo)的輪廓面積普遍大于噪聲輪廓的面積；2）噪聲大多分布在主目標(biāo)輪廓的內(nèi)部或者外部（周圍）。

結(jié)合特征1）2）對存在于主目標(biāo)輪廓內(nèi)部的噪聲，采用NMS算法抑制；存在于主目標(biāo)輪廓周圍的噪聲則采用本文提出的算法進(jìn)行抑制。圖4（a）所示為未進(jìn)行噪聲處理前提取到的動態(tài)目標(biāo)；圖4（b）所示，只采用NMS算法抑制后的結(jié)果，可以看到，雖然NMS抑制了主目標(biāo)輪廓內(nèi)的干擾，但是對周圍干擾抑制的效果并不明顯；圖4（c）顯示了NMS和本文算法相結(jié)合共同抑制噪聲的結(jié)果，可以看到，本文算法在抑制主目標(biāo)輪廓周圍噪聲上的效果顯著。

圖4 效果對比圖

我們從視頻流中共提取到了516幀圖像，對每一幀圖像中的動態(tài)目標(biāo)進(jìn)行了粗略估計，然后將3種情況下的估計結(jié)果進(jìn)行了如圖5所示的比較，從圖5（結(jié)合圖4）中可以看出，估計結(jié)果比較準(zhǔn)確的幀的范圍大概在30幀～350幀這一區(qū)間，350幀以后視頻流中幾乎沒有動態(tài)目標(biāo)，這是因為基于GMM動態(tài)目標(biāo)檢測會將運(yùn)動緩慢或者靜止的目標(biāo)逐漸更新為背景，這也是GMM的不足之處；綜述，本文算法能顯著地抑制大部分噪聲，但是在精確統(tǒng)計動態(tài)目標(biāo)的數(shù)量上還有待提高。

圖5 基于混合高斯模型統(tǒng)計動態(tài)目標(biāo)結(jié)果圖

4 結(jié)束語

基于混合高斯模型建立背景，然后利用背景差分法實現(xiàn)動態(tài)目標(biāo)檢測，由于沒有較為復(fù)雜的特征提取與匹配，基本能夠達(dá)到實時檢測的目的；但是，因為其應(yīng)用場景的復(fù)雜性，提取到的動態(tài)目標(biāo)中往往存在諸多的干擾（如“空洞”、“重影”），如果不加以剔除，會直接干擾我們估計動態(tài)目標(biāo)的統(tǒng)計結(jié)果。我們根據(jù)每幀動態(tài)干擾分布的幾何特征，提出了一種全新的算法來抑制動態(tài)目標(biāo)周圍的干擾。實驗結(jié)果表明，文中提出的算法能有效的抑制動態(tài)目標(biāo)周圍的動態(tài)干擾。

但是，文中提出的算法還有很多需要進(jìn)一步改進(jìn)的地方:其一，幾何中心閾值是一個調(diào)試出來的參考值，這個閾值設(shè)置的好壞將直接影響到我們后期估計的結(jié)果，這主要是因為當(dāng)多個動態(tài)相互靠近的時候，文中算法很容易將幾何面積較小的動態(tài)目標(biāo)剔除，這也降低了估計結(jié)果的準(zhǔn)確率；其二，從圖4中也可以看出，當(dāng)多輛車幾乎以同樣的速度運(yùn)行時，基于混合高斯算法建立的背景模型很難將它們區(qū)分為多個獨立的動態(tài)目標(biāo)。由于我們未來應(yīng)用的是嵌入式硬件平臺，在保證實時性與準(zhǔn)確性的同時，如何提高統(tǒng)計動態(tài)目標(biāo)的準(zhǔn)確率是我們將要深入研究的一個方向。