智能視頻監(jiān)控系統(tǒng)動(dòng)態(tài)目標(biāo)檢測(cè)與識(shí)別算法綜述

王 聰 劉明光 齊 飛

（北京交通大學(xué)電氣工程學(xué)院，北京 100044）

近年來(lái)，視頻監(jiān)控技術(shù)被越來(lái)越多的應(yīng)用于電力系統(tǒng)。在無(wú)人值守的變電站以及禁止人員靠近的危險(xiǎn)區(qū)域安裝視頻監(jiān)控系統(tǒng)中，可以有效地排除安全隱患，及時(shí)預(yù)警，避免事故的發(fā)生[1]。傳統(tǒng)的視頻監(jiān)控系統(tǒng)多采用由工作人員全天候值守、人為預(yù)警的方式，這種方式不僅不能通過(guò)事故預(yù)防報(bào)警來(lái)減少事故發(fā)生，而且嚴(yán)重浪費(fèi)了人力物力。如今，隨著計(jì)算機(jī)視覺(jué)研究的不斷深入，智能視頻監(jiān)控技術(shù)逐漸取代了原有的視頻監(jiān)控方式。智能視頻監(jiān)控系統(tǒng)可以在沒(méi)有工作人員參與的情況下，運(yùn)用圖像處理與計(jì)算機(jī)視覺(jué)的方法對(duì)視頻圖像進(jìn)行分析，以確定監(jiān)控地點(diǎn)的實(shí)時(shí)狀態(tài)，當(dāng)異常情況發(fā)生時(shí)可以及時(shí)上報(bào)工作人員，提示他們采取處理措施，從而實(shí)現(xiàn)預(yù)防、預(yù)警和主動(dòng)監(jiān)控的功能[2]。

目前普遍采用的智能視頻監(jiān)控算法以移動(dòng)目標(biāo)檢測(cè)算法為主，即對(duì)采集到的視頻信息進(jìn)行逐幀處理，當(dāng)被監(jiān)控區(qū)域內(nèi)有異物侵入時(shí)則發(fā)出報(bào)警信號(hào)。這種算法不能對(duì)運(yùn)動(dòng)的物體加以區(qū)分，且對(duì)應(yīng)用場(chǎng)所要求較高，不能適應(yīng)于復(fù)雜的環(huán)境。若采用高級(jí)移動(dòng)目標(biāo)檢測(cè)算法檢測(cè)運(yùn)動(dòng)物體，同時(shí)使用模式識(shí)別機(jī)器學(xué)習(xí)的方法識(shí)別運(yùn)動(dòng)物體，則可使智能視頻監(jiān)控技術(shù)具備更高的適應(yīng)性及準(zhǔn)確性。

1 移動(dòng)目標(biāo)檢測(cè)算法

目前能夠?qū)崿F(xiàn)并廣泛應(yīng)用的視頻移動(dòng)目標(biāo)檢測(cè)算法主要包括：幀間差分法、背景差分法、光流法及一些高級(jí)融合算法。

1.1 幀間差分法

文獻(xiàn)[3-5]中所采用的視頻移動(dòng)目標(biāo)檢測(cè)算法為幀間差分法。幀間差分法的算法流程如圖1所示。

圖1 幀間差分法算法流程圖

首先，把采集到的視頻信號(hào)經(jīng)過(guò)濾波和灰度值轉(zhuǎn)化處理，然后將相鄰兩幀圖像相同像素點(diǎn)的灰度值進(jìn)行差分運(yùn)算，過(guò)程如式（1）所示：

式 中 ， Ik（x,y） 和 Ik+1（x,y ）表 示 相 鄰 幀 圖 像 在 點(diǎn)（x,y）處的灰度值；Dk（x,y）表示差分圖像在該點(diǎn)的灰度值。差分運(yùn)算之后，將差分圖像進(jìn)行二值化處理，即當(dāng)差分圖像在某一點(diǎn)的灰度值大于閾值T時(shí)，則該點(diǎn)對(duì)應(yīng)的圖像區(qū)域被設(shè)置成 1，相反則設(shè)置成0，以此來(lái)區(qū)分出背景區(qū)域與運(yùn)動(dòng)目標(biāo)區(qū)域，從而實(shí)現(xiàn)前景圖像的提取[6]，即

此過(guò)程中，閾值的選取很重要，如果閾值取值過(guò)大，就會(huì)造成在復(fù)雜場(chǎng)景下檢測(cè)到的運(yùn)動(dòng)目標(biāo)不完整，而如果閾值取值較小，則會(huì)把背景信息當(dāng)成運(yùn)動(dòng)目標(biāo)的一部分，降低運(yùn)動(dòng)目標(biāo)檢測(cè)的精確性。為解決此問(wèn)題，可以根據(jù)視頻序列的每一幀圖像的具體內(nèi)容產(chǎn)生多個(gè)分割閾值，來(lái)自適應(yīng)前景和背景對(duì)比度的變化[7]。

兩幀差分法優(yōu)點(diǎn)是，算法簡(jiǎn)單，檢測(cè)速度快，適用范圍廣。該算法的缺點(diǎn)有：①很難檢測(cè)出完整的運(yùn)動(dòng)物體。當(dāng)時(shí)間間隔較長(zhǎng)，或物體移動(dòng)的速度過(guò)快時(shí)，會(huì)出現(xiàn)“重影”現(xiàn)象[8]；②當(dāng)時(shí)間間隔太短，或物體移動(dòng)速度過(guò)慢時(shí)，會(huì)導(dǎo)致前后兩幀的灰度值來(lái)不及改變，造成灰度值的差較小，導(dǎo)致把前景識(shí)別為背景，從而出現(xiàn)“空洞”現(xiàn)象[9]。在實(shí)際中可以采用“三幀差分法”或者“多幀差分法”來(lái)解決以上問(wèn)題。即在連續(xù)的圖像序列中取3個(gè)相鄰幀或者多個(gè)相鄰幀作為一組，對(duì)相鄰兩組的圖像進(jìn)行多次差分，再進(jìn)行運(yùn)動(dòng)區(qū)域的提取。

1.2 背景差分法

文獻(xiàn)[10-12]中采用的移動(dòng)目標(biāo)檢測(cè)算法為背景差分法。背景差分法的算法流程如圖2所示[13]。

圖2 背景差分法算法流程圖

使用背景差分法來(lái)進(jìn)行移動(dòng)目標(biāo)檢測(cè)首先應(yīng)該確定背景圖像，一般采用將視頻的正常的圖像信息累加再求平均的方法[14]，即選取N幀連續(xù)正常的視頻圖像進(jìn)行灰度值轉(zhuǎn)化，對(duì)相同像素點(diǎn)灰度值進(jìn)行疊加再除以總幀數(shù)，得到背景圖像的灰度值，表示為

式中，B（x,y）表示所得的背景圖像在點(diǎn)（x,y）處的灰度值；In（x,y）表示視頻信息的第n幀圖像在點(diǎn)（x,y）處的灰度值。

確定背景圖像后，將視頻的每一幀圖像與背景圖像在相同像素點(diǎn)的灰度值進(jìn)行差分運(yùn)算，得到差分圖像，通過(guò)閾值比較來(lái)實(shí)現(xiàn)差分圖像的二值化，從而確定前景圖像與背景圖像，進(jìn)而區(qū)分出運(yùn)動(dòng)的物體。此過(guò)程分別如式（4）和式（5）所示。

相比幀間差分法，背景差分法可以更好地提取出運(yùn)動(dòng)目標(biāo)且運(yùn)算量較小，運(yùn)算速度快，但對(duì)光照等擾動(dòng)的適應(yīng)性較差。若采用將檢測(cè)出的背景圖像加入到第一步的均值運(yùn)算當(dāng)中，則可以不斷更新背景圖像。這樣可以在一定程度上增加背景差分法對(duì)小擾動(dòng)的適應(yīng)性。

此外，基于背景差分法的高級(jí)背景建模方法還包括混合高斯背景模型（GMM）[15]、碼本模型[16]、GMG算法建模、VIBE算法建模[17]和核密度估計(jì)算法建模[18]等。這些高級(jí)背景建模方法也使得背景差分法能夠處理復(fù)雜背景下的運(yùn)動(dòng)目標(biāo)檢測(cè)，并且具有了更好的魯棒性、適應(yīng)性與實(shí)用性。

1.3 光流法

文獻(xiàn)[19-21]中采用的移動(dòng)目標(biāo)檢測(cè)算法為光流法。

光流指的是視頻圖像上像素點(diǎn)之間灰度值的變化，即運(yùn)動(dòng)物體的瞬時(shí)“速度”。光流法是一種通過(guò)研究視頻圖像序列的光流場(chǎng)，利用圖像中運(yùn)動(dòng)物體的光流信息和背景的光流信息的差異性，來(lái)確定運(yùn)動(dòng)物體的位置，進(jìn)而檢測(cè)運(yùn)動(dòng)目標(biāo)的方法[20]。光流基本方程為

光流法的優(yōu)點(diǎn)是，不需要提前確定背景，受光照變化等外界干擾的影響較小，對(duì)運(yùn)動(dòng)物體的定位更加準(zhǔn)確。缺點(diǎn)是，運(yùn)算量較大、運(yùn)算時(shí)間較長(zhǎng)、對(duì)設(shè)備要求高。

近幾年，國(guó)內(nèi)外在移動(dòng)目標(biāo)檢測(cè)算法方面的研究比較多，出現(xiàn)了許多結(jié)合算法和新算法，例如，結(jié)合光流法和三幀差分法的移動(dòng)目標(biāo)檢測(cè)算法、基于混合高斯模型和幀間差分法相結(jié)合的運(yùn)動(dòng)物體檢測(cè)算法[7]、基于圖像時(shí)空顯著性的運(yùn)動(dòng)區(qū)域檢測(cè)算法[23]等，使得移動(dòng)目標(biāo)檢測(cè)算法有了更好的自適應(yīng)性，同時(shí)，提高了算法的精確性與抗干擾能力。

2 移動(dòng)目標(biāo)識(shí)別算法綜述

在通過(guò)移動(dòng)目標(biāo)檢測(cè)算法檢測(cè)出運(yùn)動(dòng)區(qū)域后，不同的運(yùn)動(dòng)區(qū)域可能會(huì)對(duì)應(yīng)不同的運(yùn)動(dòng)物體。能否正確識(shí)別出非正常的運(yùn)動(dòng)物體，將影響到智能視頻監(jiān)控系統(tǒng)報(bào)警的準(zhǔn)確性。同時(shí)，目標(biāo)識(shí)別技術(shù)還可以應(yīng)用于線路的自動(dòng)巡檢系統(tǒng)，辨別設(shè)備是否損壞。目前移動(dòng)目標(biāo)識(shí)別算法的種類較多，大體上可分為基于傳統(tǒng)模板物體識(shí)別方法和基于統(tǒng)計(jì)學(xué)習(xí)的物體識(shí)別方法[24]。

2.1 基于傳統(tǒng)模板匹配的運(yùn)動(dòng)目標(biāo)識(shí)別算法

基于傳統(tǒng)模板的運(yùn)動(dòng)物體識(shí)別算法利用不同類別運(yùn)動(dòng)物體的輪廓、速度、顏色等外在特征的較大差異性，通過(guò)構(gòu)建不同類別運(yùn)動(dòng)物體的模板，然后在待測(cè)圖像中匹配模板來(lái)實(shí)現(xiàn)不同物體的識(shí)別。這種方法是移動(dòng)目標(biāo)識(shí)別算法中較為簡(jiǎn)便、直接的一種方法。例如文獻(xiàn)[25]中采用了基于距離圖像的單目測(cè)距，計(jì)算物體的實(shí)際大小、高度來(lái)進(jìn)行識(shí)別的方法。具體步驟為：①需要對(duì)攝像機(jī)進(jìn)行位置標(biāo)定，獲取攝像機(jī)的內(nèi)外參數(shù)，建立實(shí)際三維空間與視頻圖像二維圖像之間的對(duì)應(yīng)關(guān)系；②假設(shè)運(yùn)動(dòng)物體位于地面上，將攝像頭成像原理簡(jiǎn)化為幾何問(wèn)題，確定監(jiān)控區(qū)域內(nèi)地面上任意位置到攝像頭的距離；③求出進(jìn)入監(jiān)控區(qū)域的運(yùn)動(dòng)目標(biāo)的高度。

確定監(jiān)控區(qū)域內(nèi)任一點(diǎn)到攝像頭距離的計(jì)算過(guò)程如下，攝像機(jī)成像過(guò)程以圖3近似表示。

圖3 攝像機(jī)成像過(guò)程示意圖

圖3 中O為攝像機(jī)光心，攝像頭簡(jiǎn)化為凸透鏡，區(qū)域邊界分別為AB，其成像為A′B′，根據(jù)對(duì)攝像頭的位置進(jìn)行標(biāo)定可以確定O點(diǎn)坐標(biāo)。OO′為攝像機(jī)光軸，其長(zhǎng)度為定值，一般取經(jīng)驗(yàn)值13.5mm。C為AB上任意一點(diǎn)，其像為C′，則已知量為 O A′,OB′,O O ′,A ′C′,O A ,OB，通過(guò)勾股定理可以求得：A′O′,O ′B′,O′C′，通過(guò)梅涅勞斯定理可得C點(diǎn)到攝像頭的距離為

實(shí)際物體的高度計(jì)算過(guò)程如圖4所示。

圖4 攝像機(jī)中物體實(shí)際高度計(jì)算圖

以GH近似表示待測(cè)物體的高度，且認(rèn)為G點(diǎn)位于地面上。H是目標(biāo)的最上端，GH′′表示GH在攝像頭中所成的像。根據(jù)對(duì)攝像頭拍攝的圖像分析可以得到,GOHO′′及GH′′的長(zhǎng)度，且通過(guò)式（8）可以求得OG與OI的長(zhǎng)度。則物體的實(shí)際高度GH計(jì)算如式（9）所示，即

通過(guò)以上計(jì)算可以算出運(yùn)動(dòng)物體的實(shí)際高度，再通過(guò)高度對(duì)比來(lái)進(jìn)行運(yùn)動(dòng)目標(biāo)的區(qū)分。這種方法的優(yōu)點(diǎn)是算法簡(jiǎn)單，運(yùn)算速度快。同時(shí)缺點(diǎn)也是十分明顯，即應(yīng)用范圍較窄，要求攝像機(jī)位置固定，不具有普遍性，且只能判斷出位于地面上的運(yùn)動(dòng)物體。

此外，典型的基于模板匹配的運(yùn)動(dòng)目標(biāo)識(shí)別算法還包括基于特征速度的運(yùn)動(dòng)物體識(shí)別技術(shù)[26]、基于HSV顏色空間的物體顏色識(shí)別方法、Active Basis識(shí)別方法[27-28]等。

2.2 基于統(tǒng)計(jì)學(xué)習(xí)的方法

基于統(tǒng)計(jì)學(xué)習(xí)的識(shí)別算法是一種利用機(jī)器學(xué)習(xí)理論，對(duì)運(yùn)動(dòng)物體的特征進(jìn)行提取與辨別的算法。主要步驟為：①?gòu)暮心繕?biāo)的正樣本和不含有目標(biāo)的負(fù)樣本中提取特征，作為機(jī)器學(xué)習(xí)的輸入；②通過(guò)計(jì)算機(jī)訓(xùn)練出一個(gè)或若干個(gè)分類器；③用訓(xùn)練好的分類器對(duì)待判別的樣本進(jìn)行分類，從而實(shí)現(xiàn)對(duì)運(yùn)動(dòng)物體的識(shí)別。一般的流程如圖5所示。

圖5 基于統(tǒng)計(jì)學(xué)習(xí)的方法的算法流程圖

以卷積神經(jīng)網(wǎng)絡(luò)（CNN）為例，卷積神經(jīng)網(wǎng)絡(luò)之所以針對(duì)圖像識(shí)別任務(wù)具有非常好的效果，主要因?yàn)槠渚W(wǎng)絡(luò)結(jié)構(gòu)具有獨(dú)特優(yōu)勢(shì)：可以充分發(fā)掘數(shù)據(jù)之間的深層聯(lián)系、局部聯(lián)系[29]。文獻(xiàn)[30]提供了一種基于卷積神經(jīng)網(wǎng)絡(luò)的運(yùn)動(dòng)目標(biāo)檢測(cè)方法。首先，建立一個(gè)5個(gè)卷積層和3個(gè)全連接層的卷積神經(jīng)網(wǎng)絡(luò)，如圖6所示。

圖6 CNN網(wǎng)絡(luò)結(jié)構(gòu)圖

將足夠的正負(fù)樣本輸入該神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)訓(xùn)練，得到初始模型。當(dāng)需要進(jìn)行圖片檢測(cè)時(shí)，將待檢測(cè)圖像輸入，經(jīng)過(guò)5個(gè)卷積層進(jìn)行卷積操作，將卷積結(jié)果通過(guò)兩個(gè)鏈接層傳輸?shù)捷敵鰧?，使用sigmoid函數(shù)對(duì)輸出層進(jìn)行分類，得出識(shí)別結(jié)果，即

基于統(tǒng)計(jì)學(xué)習(xí)的識(shí)別算法針對(duì)訓(xùn)練好的模型具有很好的適應(yīng)性，且識(shí)別效果較好，誤識(shí)別率較低。缺點(diǎn)為：①要求有足夠多的樣本數(shù)量對(duì)模型進(jìn)行訓(xùn)練；②算法較復(fù)雜，對(duì)處理器要求較高；③算法運(yùn)算時(shí)間較長(zhǎng)。

3 算法比較與未來(lái)展望

3.1 算法比較

綜上所述，在基礎(chǔ)的移動(dòng)目標(biāo)檢測(cè)技術(shù)中，幀間差分法和背景差分法作為基礎(chǔ)的移動(dòng)目標(biāo)檢測(cè)算法，具備算法簡(jiǎn)單，對(duì)設(shè)備要求不高，運(yùn)算速度快等優(yōu)點(diǎn)。當(dāng)然，也同時(shí)存在著適應(yīng)性較差、對(duì)光照等背景變化較敏感等缺點(diǎn)。光流法檢測(cè)精度較高且可以解決待測(cè)目標(biāo)遮擋重合問(wèn)題。但是，計(jì)算復(fù)雜且運(yùn)算量巨大，除非有特殊的硬件支持，否則光流法很難滿足對(duì)視頻進(jìn)行實(shí)時(shí)處理的要求，同時(shí)由于在計(jì)算中采用假設(shè)具有局限性，使得光流法對(duì)噪聲比較敏感。在未來(lái)的算法開(kāi)發(fā)中，將各種方法結(jié)合的融合算法及較高級(jí)的背景建模方法無(wú)疑將成為研究的熱點(diǎn)。

在物體識(shí)別算法方面，基于傳統(tǒng)模板物體識(shí)別方法可以看作“演繹法”，即由人輸入物體的明確特征，當(dāng)計(jì)算機(jī)檢測(cè)出與這些特征相似度高的物體時(shí)即完成識(shí)別。這種方式當(dāng)運(yùn)動(dòng)物體特征明確時(shí)可以起到很好的效果，且不需要太多的原始樣本作為算法的支撐。但是，當(dāng)待識(shí)別物體特征不是很明顯或者不容易用機(jī)器語(yǔ)言表示清楚時(shí)，此種算法便行不通了。而基于統(tǒng)計(jì)學(xué)習(xí)的物體識(shí)別方法可以看作“歸納法”，在識(shí)別過(guò)程中無(wú)需向計(jì)算機(jī)輸入任何規(guī)則，只需要為其提供大量的真實(shí)世界產(chǎn)生的具有代表性的樣本，算法即可自主提取出特定的規(guī)則，進(jìn)而完成識(shí)別。此種算法可以提取待測(cè)物體高級(jí)的、抽象的特征，在實(shí)踐中有很好的適應(yīng)性及準(zhǔn)確性。但缺點(diǎn)為需要大量的訓(xùn)練數(shù)據(jù)，以及大量的計(jì)算，對(duì)設(shè)備的要求很高。

3.2 未來(lái)展望

近幾年，智能視頻監(jiān)控技術(shù)發(fā)展迅速，在智能電網(wǎng)中的應(yīng)用也日益增多，但是存在著誤報(bào)率高、應(yīng)用面窄、不能完全智能識(shí)別出相應(yīng)故障，仍需要人為干預(yù)等缺點(diǎn)。同時(shí)在技術(shù)角度分析，智能視頻監(jiān)控系統(tǒng)必將朝著以下幾個(gè)方向發(fā)展：

1）具備更好的適應(yīng)性。只有提高算法的適應(yīng)性，才能使智能視頻監(jiān)控更加適應(yīng)復(fù)雜多變的環(huán)境。

2）可以識(shí)別出更多種異常情況，且具有更高的準(zhǔn)確率。目前應(yīng)用的模式識(shí)別方法可以具備很高的準(zhǔn)確性，但是基于深度學(xué)習(xí)的方法因?yàn)樾枰^多的正負(fù)樣本導(dǎo)致準(zhǔn)確率并不高，如何提升此種方法的識(shí)別準(zhǔn)確性將是智能視頻監(jiān)控技術(shù)未來(lái)研究的方向。

3）智能視頻監(jiān)控裝置也必將向著產(chǎn)品形式的多樣化發(fā)展，目前普遍采用的多為外置架設(shè)攝像頭有線傳輸?shù)姆绞?，為適應(yīng)多樣的工作環(huán)境，智能視頻監(jiān)控裝置也將朝著便攜手持式、車載式、遙控式等多種終端形式及無(wú)線視頻傳輸方向發(fā)展。

4 結(jié)論

智能視頻監(jiān)控技術(shù)是一項(xiàng)十分具有實(shí)際應(yīng)用價(jià)值的研究。而且隨著我國(guó)電力系統(tǒng)自動(dòng)化程度的不斷提高，智能視頻監(jiān)控技術(shù)被越來(lái)越多地應(yīng)用于異物入侵檢測(cè)、設(shè)備狀態(tài)檢測(cè)及安防報(bào)警當(dāng)中。目前針對(duì)視頻信息的移動(dòng)目標(biāo)檢測(cè)技術(shù)已經(jīng)逐漸成熟，在實(shí)際中的應(yīng)用也越來(lái)越多。但是移動(dòng)目標(biāo)的自動(dòng)識(shí)別技術(shù)仍處于不斷探索研究的階段。想要真正設(shè)計(jì)一套適用于電力系統(tǒng)的智能視頻檢測(cè)、識(shí)別系統(tǒng)，還有很多的工作要做。相信隨著相關(guān)研究的不斷深入，智能視頻監(jiān)控技術(shù)必將在電力系統(tǒng)中大放異彩。