基于選定區(qū)域顏色直方圖的粒子濾波行人跟蹤算

法付麗梅

摘 ?要：針對城市中智能視頻監(jiān)控問題，提出一種基于選定區(qū)域RGB直方圖的粒子濾波行人跟蹤算法。首先實現(xiàn)了Eiji Ota在2011 年實現(xiàn)的算法，該算法只能對紅色目標(biāo)進行跟蹤，然后對該算法進行改進，改進后能夠根據(jù)選定區(qū)域RGB顏色直方圖的粒子濾波算法對行人進行跟蹤。自動提取跟蹤視頻的第一幀，然后在第一幀上選擇要跟蹤的區(qū)域，再計算選定區(qū)域的RGB平均值，最后根據(jù)該區(qū)域的RGB顏色空間直方圖進行粒子濾波行人跟蹤。實驗結(jié)果表明，采用改進的方法對視頻監(jiān)控的行人進行跟蹤，效果較好。

關(guān)鍵詞：RGB;直方圖;粒子濾波;行人跟蹤

中圖分類號：TP391.41 ? ? 文獻標(biāo)識碼：A

Particle Filter Pedestrian Tracking Algorithm based on

Color Histogram of Selected Area

FU Limei

（Department of Software Engineering， Dalian Neusoft University of Information， Dalian 116023， China）

fulimei@neusoft.edu.cn

Abstract： Aiming at the problem of intelligent video surveillance in cities， this paper proposes a pedestrian tracking algorithm based on RGB （Red， Green， Blue） histogram particle filter in selected area. The paper first implements the algorithm implemented by Eiji Ota in 2011， which can only track red targets， and then improves the algorithm. After the improvement， it can track pedestrians based on the particle filter algorithm of the RGB color histogram of the selected area. The first frame of the tracking video is automatically extracted， and then the area to be tracked is selected on the first frame. After that， the RGB average value of the selected area is calculated， and finally， the particle filter pedestrian tracking is performed according to the RGB color space histogram of the area. Experimental results show that the improved algorithm is effective in tracking pedestrians under video surveillance.

Keywords： RGB; histogram; particle filter; pedestrian tracking

1 ? 引言（Introduction）

視頻監(jiān)控技術(shù)就是利用計算機視覺來代替人工處理一些圖像及視頻信息，為人類減輕負(fù)擔(dān)。采用智能監(jiān)控系統(tǒng)可以利用計算機視覺技術(shù)代替人工進行視頻的觀察甚至分析。本文所研究的行人跟蹤屬于計算機視覺領(lǐng)域中的目標(biāo)跟蹤問題，可以在智能監(jiān)控中進行應(yīng)用，諸如安全、運營、交通運輸?shù)确矫妗?/p>

國內(nèi)外一些城市部署了眾多視頻監(jiān)控系統(tǒng)，對監(jiān)控視頻進行實時分析，可以發(fā)現(xiàn)其中的犯罪行為，從而發(fā)現(xiàn)并制止犯罪行為的發(fā)生，為防止犯罪行為和犯罪行為的偵破作出了貢獻。對行人進行跟蹤有更廣泛的應(yīng)用，可以為監(jiān)控者減輕負(fù)擔(dān)，也可以挖掘出諸如禁區(qū)侵入檢測、打斗檢測、區(qū)域人群密度檢測等一系列分析，這些都具有重要的實用和經(jīng)濟價值[1]。同時，行人跟蹤作為行人行為分析之前的步驟，也具有重要的研究意義，如果要對行人的行為進行分析就要持續(xù)并高效地對行人目標(biāo)進行跟蹤。

2 ? 粒子濾波算法概述（An overview of particle filter algorithm）

行人跟蹤問題主要包括基于概率的跟蹤和基于模型的跟蹤兩種主要方法。粒子濾波是一種基于概率的跟蹤方法。它是基于蒙特卡羅思想的非線性、非高斯的一種濾波方法，這一算法改變了傳統(tǒng)的卡爾曼濾波（Kalman Filter）的種種限制和不足，沒有限制測量噪聲與系統(tǒng)的過程噪聲[2]。粒子濾波算法是一種貝葉斯估計方法，可以通過更新來自系統(tǒng)概率密度函數(shù)的采樣集來近似非線性系統(tǒng)[3]。

粒子濾波（Particle Filter， PF）算法是一種基于貝葉斯估計理論和蒙特卡羅方法（Monte Carlo Method）的統(tǒng)計濾波方法[4]。粒子濾波算法是根據(jù)系統(tǒng)狀態(tài)模型的經(jīng)驗分布，在狀態(tài)空間當(dāng)中生成一組隨機樣本空間[5]。這一組隨機樣本空間的集合就是粒子濾波中的粒子，通過觀測對粒子的位置與權(quán)重進行相關(guān)調(diào)整，再通過這些經(jīng)過調(diào)整后的粒子來修正最初的通過經(jīng)驗條件得到的分布[6]。當(dāng)能利用很大的樣本的時候，粒子濾波算法就能估算出接近真實值的后驗概率密度?？梢詫⒘Ｗ訛V波算法用如下過程表示[7]：

第一步，進行粒子的初始化。根據(jù)先驗概率產(chǎn)生一個粒子群，并將所有的粒子的權(quán)值設(shè)定為。

第二步，進行更新。在n時，更新粒子的權(quán)值：

（1）

并進行歸一化處理：

（2）

此時可以得到n時刻的位置參數(shù)x的最小方差：

（3）

第三步，進行重采樣，可以得到新的粒子集合。

第四步，進行預(yù)測?？梢愿鶕?jù)狀態(tài)方程f來預(yù)測位置參數(shù)。

第五步，當(dāng)時刻n=n+1的時候，從步驟二開始繼續(xù)重復(fù)以上步驟。

3 ?改進粒子濾波行人跟蹤算法（Improved particle filter pedestrian tracking algorithm）

首先實現(xiàn)Eiji Ota在2011 年實現(xiàn)的只能對紅色目標(biāo)進行跟蹤的算法[7-8]，之后在該算法基礎(chǔ)上進行改進，提出一種能選定某一區(qū)域，并根據(jù)該區(qū)域的RGB顏色空間直方圖進行跟蹤的粒子濾波行人跟蹤算法[9]。

3.1 ? 基于單顏色的粒子濾波行人跟蹤算法

如圖1所示是基于單顏色的粒子濾波行人跟蹤算法的一個框圖表示，簡單介紹了該算法的整個流程。

算法描述如下：首先可以選擇使用攝像頭或者從影片中讀取視頻;之后進行算法的處理，先選擇一幀的視頻，之后進行預(yù)測，計算相似性，重采樣;最后是結(jié)果的顯示，在圖像上顯示粒子并顯示狀態(tài)估計。

下面按步驟進行解析，首先是預(yù)測，在該算法中如式（4）所示：

（4）

在該公式中，為位置和速度，為噪聲。

接下來進行粒子的重采樣。具有更高相似性的粒子更有可能被采集，這一過程將會采集相同數(shù)目的粒子。

第三步，進行的是粒子的估計。這一過程要移動粒子，如式（5）所示：

（5）

第四步，計算相似性。該步驟可以分為如下幾個步驟：

首先在粒子的像素中取出顏色，之后將該像素的顏色值和紅色的顏色值進行比較，如果觀測到的該像素的顏色值與紅色的顏色值越接近，則代表該粒子的似然性（likelihood）越高。這一過程可以用式（7）表示，假設(shè)為高斯分布：

（6）

（7）

之后通過上面的公式，計算每一個粒子的似然性，根據(jù)似然性程度執(zhí)行粒子的更新。

3.2 ? 基于選定區(qū)域RGB直方圖的粒子濾波行人跟蹤算法

上述算法只能對紅色或者單一顏色人體目標(biāo)進行跟蹤，而且跟蹤的前提是已知跟蹤目標(biāo)的顏色直方圖特征，這樣的人體跟蹤算法存在不確定和不方便的缺點。因此，本文提出一個能自動獲取人體目標(biāo)選定區(qū)域顏色的粒子濾波行人跟蹤算法，該算法流程如圖2所示。

改進后的算法會自動提取跟蹤視頻的第一幀，并允許用戶在第一幀上選擇要跟蹤的區(qū)域，之后計算跟蹤區(qū)域的RGB平均值。這一過程的具體算法如下：

（1）用戶從第一幀視頻中截取需要跟蹤的行人身上的某個區(qū)域;

（2）計算選定區(qū)域R分量、G分量和B分量的總和;

（3）將圖像由RGB圖像轉(zhuǎn)換成灰度圖像，并計算該灰度圖像的行數(shù)和列數(shù);

（4）用行數(shù)和列數(shù)相乘，得到選定區(qū)域圖像的面積;

（5）用R分量、G分量和B分量的總和值分別除以圖像的面積值，得到該區(qū)域的RGB分量的平均值;

（6）存儲選定區(qū)域RGB平均值。

4 ?算法實驗結(jié)果與對比（Experimental results and comparison of the algorithm）

4.1 ? 改進前的實驗結(jié)果

首先使用單顏色的目標(biāo)進行跟蹤，該算法僅能對紅色目標(biāo)進行跟蹤，對其他目標(biāo)進行跟蹤的時候會丟失目標(biāo)。實驗數(shù)據(jù)采用該算法自帶的實驗數(shù)據(jù)，可以看出，能夠完成對紅色人體目標(biāo)的跟蹤。此時設(shè)置的RGB值為（255，0，0），代表紅色的RGB值。接下來用其他視頻材料進行實驗，將一個足球比賽的運動員作為目標(biāo)跟蹤對象。實驗后發(fā)現(xiàn)，并沒有成功地對運動員目標(biāo)進行跟蹤，因為目前算法參數(shù)僅能對RGB值為（255，0，0）的目標(biāo)進行跟蹤，所以導(dǎo)致無法正常跟蹤目標(biāo)。

4.2 ? 改進的基于選定區(qū)域RGB直方圖的粒子濾波行人跟蹤算法實驗

對基于選定區(qū)域RGB直方圖的粒子濾波行人跟蹤算法進行實驗，選取的實驗材料為足球賽的比賽視頻，在啟動算法之后，算法會顯示第一幀的內(nèi)容，然后等待用戶選定要跟蹤的區(qū)域。由于粒子濾波的跟蹤特點，需要盡量選擇目標(biāo)人體上和背景差異大的區(qū)域，以保證可以正確成功地完成跟蹤。實驗如圖3所示，可以看到跟蹤效果良好，能夠根據(jù)第一幀選定的圖片進行持續(xù)的人體目標(biāo)跟蹤。

可以看出，改進之后的算法能夠直接對選定的人體目標(biāo)進行跟蹤，算法可以計算選定區(qū)域的RGB的平均值，而且有一定的容錯能力，只要選定區(qū)域大部分是人體目標(biāo)就可以進行正常的跟蹤，避免了由于無法正確設(shè)置跟蹤目標(biāo)的RGB值，而導(dǎo)致的跟蹤失敗和RGB提取過程復(fù)雜的問題。

5 ? 結(jié)論（Conclusion）

本文提出了一個能自動獲取人體目標(biāo)選定區(qū)域的顏色的粒子濾波行人跟蹤算法。與改進前算法不同的是，改進后的算法會自動提取跟蹤視頻的第一幀，并允許用戶在第一幀上選擇要跟蹤的區(qū)域，之后會計算這一需要跟蹤區(qū)域的RGB平均值。改進之后的算法可以直接對選定的人體目標(biāo)進行跟蹤，可以計算選定區(qū)域的RGB的平均值，而且具有一定的容錯能力，只要選定區(qū)域大部分是人體目標(biāo)就可以進行正常的跟蹤，避免了由于無法正確設(shè)置跟蹤目標(biāo)的RGB值，而導(dǎo)致的跟蹤失敗和RGB提取過程復(fù)雜的問題。本文提出的算法也存在某些不足之處，比如跟蹤的效率問題、在夜間情況下進行跟蹤的問題等，因此也不能成為一個在所有場景下都可以適用的算法。

參考文獻（References）

[1] 卜言生，賀俊吉.基于多特征融合與背景目標(biāo)雙加權(quán)的行人跟蹤[J].計算機應(yīng)用與軟件，2020，37（10）：225-238.

[2] 徐君妍，崔宗勇.復(fù)雜場景下的加權(quán)粒子濾波行人跟蹤方法[J].信號處理，2017，33（7）：934-942.

[3] 李敏，吳莎.基于深度學(xué)習(xí)的粒子濾波視頻目標(biāo)跟蹤算法[J].計算機技術(shù)與發(fā)展，2020，30（6）：23-28.

[4] 劉芳，黃光偉，路麗霞，等.自適應(yīng)模板更新的魯棒目標(biāo)跟蹤算法[J].計算機科學(xué)與探索，2019，13（1）：83-96.

[5] 劉淑波，張園.模糊遺傳粒子濾波算法研究[J].艦船電子工程，2020，40（2）：18-20.

[6] 吳孫勇，薛秋條，朱圣棋，等.雜波環(huán)境下基于粒子濾波的微弱擴展目標(biāo)檢測前跟蹤算法[J].雷達學(xué)報，2017，6（3）：252-258.

[7] 周明，涂宏斌.一種基于改進粒子濾波的多目標(biāo)檢測與跟蹤方法[J].華東交通大學(xué)學(xué)報，2016，33（2）：121-126.

[8] LI D， WEN G， KUAI Y， et al. Learning padless correlation filters for boundary-effect free tracking[J]. IEEE Sensors Journal， 2018， 18（18）：7721-7729.

[9] 李鍇，馮瑞.基于粒子濾波的多特征融合視頻行人跟蹤算法[J].計算機工 程，2012，38（24）：141-145.

作者簡介：

付麗梅（1977-），女，碩士，副教授.研究領(lǐng)域：計算機圖像處理，移動應(yīng)用開發(fā).