基于卷積神經(jīng)網(wǎng)絡(luò)的視頻目標(biāo)檢測跟蹤

(解放軍炮兵防空兵學(xué)院 安徽 合肥 230031)

引言

隨著視頻監(jiān)控系統(tǒng)的普及，越來越多的攝像機和視頻傳感器被部署在建筑物、交通路口、超市、停車場等場所。監(jiān)視現(xiàn)場。監(jiān)控系統(tǒng)的要求給相應(yīng)的監(jiān)控硬件帶來了新的發(fā)展，如攝像機的小型化、數(shù)字化和存儲容量逐漸增強。然而，由于缺乏準(zhǔn)確有效的數(shù)據(jù)處理和內(nèi)容挖掘算法，智能視頻監(jiān)控系統(tǒng)仍然具有很大的潛力。目標(biāo)檢測、識別、分類和跟蹤仍然局限于有限的場景，能夠適應(yīng)各種環(huán)境參數(shù)和無限條件的算法還有待進(jìn)一步研究。智能視頻監(jiān)控為計算機視覺在公安領(lǐng)域的應(yīng)用提供了廣闊的前景。智能視覺監(jiān)控已成為一個新興的研究方向。

一、視頻目標(biāo)檢測跟蹤原理簡單介紹

以往的視頻識別和跟蹤技術(shù)有很多種。運動目標(biāo)檢測是視頻處理技術(shù)和機器視覺領(lǐng)域的基礎(chǔ)研究課題之一。它廣泛應(yīng)用于軍事和民用系統(tǒng)中。運動目標(biāo)檢測的目的是在視頻或圖像序列中從背景中分離出感興趣的運動目標(biāo)，獲取運動目標(biāo)的位置等信息，提取出目標(biāo)作為跟蹤或識別的基礎(chǔ)。因此，檢測結(jié)果直接影響后續(xù)的處理，許多學(xué)者一直在改進(jìn)運動目標(biāo)檢測算法，以獲得準(zhǔn)確有效的前景圖像。目前，運動目標(biāo)檢測的研究已經(jīng)取得了令人滿意的進(jìn)展，并在許多領(lǐng)域得到了廣泛的應(yīng)用。

(一)目標(biāo)檢測原理介紹

1. 基于光流場的目標(biāo)檢測方法

直到20世紀(jì)70年代末，Ullman等人證明了Gibson等人在1950年提出的SFM假說。光流可以理解為對象由像素組成，當(dāng)物體的運動也代表其像素的運動時，運動像素將產(chǎn)生瞬時速度場，該瞬時速度場可以表征物體的結(jié)構(gòu)和運動行為等重要信息。

2.基于幀間差分法的目標(biāo)檢測方法

幀間差分法計算相鄰兩幀對應(yīng)像素的差分，采用閾值法對目標(biāo)前景進(jìn)行分割。例如，Lipton等人利用幀間差分方法提取實際場景中的運動目標(biāo)，然后進(jìn)行目標(biāo)分類和跟蹤。該方法的主要特點是速度快、無背景積累、更新速度快、計算量小、算法復(fù)雜度低、易于實現(xiàn)實時監(jiān)控。缺點是它對背景噪聲更敏感。當(dāng)遇到光照變化且目標(biāo)顏色相似的場景環(huán)境時，會產(chǎn)生干擾噪聲，目標(biāo)上的空洞使得無法完全提取出運動目標(biāo)。結(jié)果取決于所選擇的幀間間隔。

3.基于背景估計的目標(biāo)檢測方法

為了解決幀差法提取不完全目標(biāo)的問題，提出了一種基于背景估計的目標(biāo)檢測方法。背景估計方法適用于靜態(tài)背景下的目標(biāo)檢測。早期學(xué)者提出了基于顏色和基于紋理的背景模型估計，如高斯分布模型、混合高斯背景建模、碼本模型等。Firedman和Russell提出了單高斯分布，Stauffer等人認(rèn)為，在一些光照變化的背景復(fù)雜環(huán)境中，單高斯分布不能完全表達(dá)背景，提出了混合高斯背景建模，解決了分支搖擺問題。和其他背景干擾。

4.深度學(xué)習(xí)檢測目標(biāo)

早期的目標(biāo)識別技術(shù)通?；谑忠籼卣骱徒?jīng)典的分類算法，如方向梯度直方圖特征與支持向量機相結(jié)合的行人識別，以及基于Haar特征的行人識別。用萃取法提取。提升算法(Boosting)在人臉識別中的應(yīng)用傳統(tǒng)的目標(biāo)識別算法具有實現(xiàn)簡單、計算速度快等優(yōu)點，但精度往往不高，對方向、尺度變化、噪聲、遮擋等干擾的魯棒性不強。同時，它們對數(shù)據(jù)集敏感。深層學(xué)習(xí)算法近年來發(fā)展迅速，在目標(biāo)識別算法領(lǐng)域占有領(lǐng)先地位。深度學(xué)習(xí)算法通?；诖罅康挠?xùn)練樣本，依靠卷積神經(jīng)網(wǎng)絡(luò)強大的特征提取能力來實現(xiàn)分類。與傳統(tǒng)的識別算法相比，該算法雖然訓(xùn)練速度慢，計算量大，但可以實現(xiàn)高精度的識別效果。

(二)目標(biāo)跟蹤原理介紹

視頻運動目標(biāo)跟蹤的核心思想是在運動目標(biāo)檢測的基礎(chǔ)上，分析目標(biāo)的一些特征(如顏色、輪廓等)，確定目標(biāo)在視頻圖像序列中的位置，記錄目標(biāo)質(zhì)心的位置，計算tr。運動物體的導(dǎo)航。我們不斷地追蹤目標(biāo)。由于目標(biāo)跟蹤也可以看作一個狀態(tài)估計過程，因此可以引入濾波器來根據(jù)目標(biāo)的運動特性預(yù)測其可能的位置。目前，各種運動目標(biāo)跟蹤算法主要有卡爾曼濾波、擴(kuò)展卡爾曼濾波、粒子濾波、均值漂移跟蹤算法。

1.卡爾曼濾波跟蹤算法

1960，Rudolph E. Kalman提出了卡爾曼濾波方法，這是一種最優(yōu)遞推濾波方法。該方法提出了標(biāo)記濾波器理論的建立?？柭鼮V波器是動態(tài)系統(tǒng)的狀態(tài)序列。它是一種通過處理來估計線性最小方差誤差的算法。卡爾曼濾波的優(yōu)點在于它是高斯白噪聲條件下的最優(yōu)無偏最小方差估計。

2.Mean Shift(均值偏移)跟蹤算法

均值漂移是一個偏移均值向量。Fukunaga等人于1975首次提出了估計概率密度函數(shù)的方法。均值漂移是一種基于梯度的非參數(shù)密度估計方法，它基于目標(biāo)的灰度、顏色和紋理特征。該方法實時性強，魯棒性強，適用于目標(biāo)邊緣遮擋、目標(biāo)變化和旋轉(zhuǎn)的情況。

二、視頻目標(biāo)跟蹤設(shè)計

本文的基本思路是利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行運動目標(biāo)的檢測，然后利用卡爾曼跟蹤對目標(biāo)進(jìn)行跟蹤。針對卷積神經(jīng)網(wǎng)絡(luò)存在的問題提出以下針對性的對策：

(1)對于小目標(biāo)高速移動的目標(biāo)可以考慮用傳統(tǒng)的方法進(jìn)行只檢測并且跟蹤。

(2)對于相對視頻幀來說比較大的目標(biāo)明顯的目標(biāo)易分類的目標(biāo)可以使用卷積神經(jīng)網(wǎng)絡(luò)結(jié)合開爾曼跟蹤進(jìn)行識別并跟蹤。

(3)研究分類數(shù)量與所需要的特征圖的層數(shù)數(shù)量激活函數(shù)的關(guān)系針對不同的問題設(shè)計不同規(guī)模的網(wǎng)絡(luò)。

(4)研究不同的候選窗口對RCNN的影響，在訓(xùn)練的時候設(shè)置不同的大小以平衡速度和精度。

(5)利用改進(jìn)的RCNN進(jìn)行目標(biāo)的檢測和識別，為了處理實時視頻需要對算法進(jìn)行加速，可以對神經(jīng)網(wǎng)絡(luò)的前向傳播進(jìn)行GPU加速提高運算的速度，滿足實時處理視頻的要求。

(6)采用全卷積神經(jīng)網(wǎng)絡(luò)，提高了運算的速度，目標(biāo)的檢測精準(zhǔn)度。

三、實驗結(jié)果與分析

(一)實驗環(huán)境：本實驗采用Intel i7 CPU，運行內(nèi)存為 4GB 的 Win10系統(tǒng)，編程環(huán)境為Vs2017。

(二)實驗數(shù)據(jù)：從網(wǎng)上下載的COCO數(shù)據(jù)集，使用里面人物6千張不同的圖像數(shù)據(jù)。

(三)程序架構(gòu)：在caffe2的c源碼的基礎(chǔ)上編寫特定的層進(jìn)行改進(jìn)。

(四)實驗過程

1.進(jìn)行人工標(biāo)記行人圖片的精確標(biāo)簽，本實驗只有一個實驗?zāi)繕?biāo)就是行人，所也只標(biāo)記一類人。

2.進(jìn)行卷積神經(jīng)網(wǎng)絡(luò)模型的搭建。本實驗采用全卷積神經(jīng)網(wǎng)絡(luò)，參考ResNet架構(gòu)已經(jīng)谷歌的Inception架構(gòu)，重寫了through層，cut層，shibie層。

3.利用手工標(biāo)記的行人數(shù)據(jù)進(jìn)行模型的訓(xùn)練，為了提高網(wǎng)絡(luò)的魯棒性，進(jìn)行訓(xùn)練圖片的變形，旋轉(zhuǎn)，變換。

4.編程進(jìn)行根據(jù)卡爾曼跟蹤算法，跟蹤視頻中出現(xiàn)的每一個人，跟蹤的人進(jìn)行放大標(biāo)記。

5.輸出結(jié)果。

只要是被檢測的人就可以被很好的跟蹤，所以重點是行人檢測上，本程序?qū)σ曨l人物的識別率達(dá)到98%以上，可以跟蹤靜態(tài)的人物，也可以在運動背靜下跟蹤，大大提高了視頻目標(biāo)跟蹤的魯棒性。