相機運動條件下的行人檢測與跟蹤

李春明，許云峰，尚 燕，武少廣

（河北科技大學 信息科學與工程學院，河北 石家莊050000）

0 引 言

由于目標運動所產(chǎn)生的外形角度等變化的影響，運動目標檢測一直是圖像處理領(lǐng)域的難題。相關(guān)的研究包括形狀和運動恢復(fù)、目標識別、三維結(jié)構(gòu)重建等。在一些先進的系統(tǒng)中，準確的檢測及跟蹤運動目標非常重要，如司機輔助安全系統(tǒng)，視頻監(jiān)控系統(tǒng)等。近年來，隨著機動車輛的迅速普及，在觀察者運動情況下的行人檢測與跟蹤越來越受到人們的重視。它可以幫助司機注意行人的安全，避免很多交通事故［1－2］。

行人檢測及跟蹤系統(tǒng)應(yīng)該首先檢測出背景中的運動目標，然后區(qū)分人體或非人體，最后對檢測到的人體進行跟蹤，或運動行為識別。對于背景靜止的視頻監(jiān)控系統(tǒng)，要求視頻圖像的質(zhì)量能夠滿足系統(tǒng)要求以進行前景檢測；而對于司機輔助安全系統(tǒng)，背景的持續(xù)變化使前景檢測變得更加復(fù)雜和困難?？傊_的前景檢測是關(guān)系到整個系統(tǒng)質(zhì)量的關(guān)鍵因素。關(guān)于視頻監(jiān)控或行人檢測已有較為詳細的綜述［3－6］。本文簡單回顧目標檢測與跟蹤領(lǐng)域的主要方法，并重點討論基于運動相機的檢測與跟蹤。

人體檢測算法可分為基于概率的或非概率的方法?；诟怕实姆椒ǜ鶕?jù)預(yù)先建立的模型進行人體分割。文獻［7］為具有關(guān)節(jié)的目標建立了運動鏈以從非剛體中分割關(guān)節(jié)的運動。文獻 ［8］的方法是基于身體不同特征的聯(lián)合位置及速度的近似概率模型學習方法。一般來說，基于概率的方法都很有效，但如何建立模型相對較復(fù)雜。與之相反，非概率模型法計算上較為簡單，并適用于人體以外的很多物體。其中，基于邊緣旋轉(zhuǎn)梯度直方圖 （histograms of oriented gradients，HOG）［9－12］的方法是目前具有代表性的人體檢測算法。該方法中，Dalal和Triggs［8］使用梯度直方圖檢測整體或部分直立人體，效果非常好。基于該方法，文獻 ［10］使用可變形模板來提高檢測性能。而文獻 ［11］提出了層次模板樹的方法檢測人體并估計視覺角度。進一步，Dalal和Tiggs［13］還將人體形狀算子與光流相結(jié)合檢測視頻序列中的運動人體。這些算法檢測準確度高，計算簡單，但共同缺點是它們都需要對整幅圖像中的各個位置以及由各種尺寸圖像組成的圖像金字塔進行檢測，因此檢測時間較長。

跟蹤算法中有一些經(jīng)典的方法如卡爾曼濾波器，粒子濾波等［14］。除了這些經(jīng)典算法及他們的改進算法之外還有一些有效的算法，如文獻 ［15－16］使用相似度矩陣及mean shift算法跟蹤非剛體目標。該方法對于來自運動相機的目標檢 測 同 樣 適 用。MSaM （multibody structure and motion）［17］是另一種有效的檢測運動相機目標的算法，它可以根據(jù)特征點分離前景目標，但缺點是目前較適用于非剛體目標。

我們考慮來自運動相機的直立運動人體檢測與跟蹤問題，對人體的姿態(tài)和外觀沒有特殊要求。提出了運動人體檢測的新算法，即先利用特征點確定運動目標區(qū)域，然后使用人體形狀描述子區(qū)分人體與非人體。進行目標跟蹤時，使用了基于小面積區(qū)域的跟蹤算法。本文的貢獻主要為：①快速及準確的人體檢測。多目標物體檢測算子給人體檢測提供了可能存在運動目標的檢測區(qū)域，這樣可以提高人體形狀檢測算子的速度及準確性。將運動信息加入到人體檢測算子中的優(yōu)點存在于兩個方面：第一，可以大大減小人體檢測的時間?；贖OG的方法在整個圖像范圍內(nèi)尋找人體造成了時間浪費。相反，先使用運動信息可以確定小的目標檢測區(qū)域，該區(qū)域比整幅圖像小很多，因此檢測時間也隨之減少。第二，檢測準確率也大大提高。如當背景中存在與人體相似的物體時，由于目標檢測區(qū)域較小，因而可以在很大程度上避免將靜止的與人體形狀相似的背景誤檢為人體。②準確的多幀跟蹤。由于使用了基于小面積的mean shift算法，跟蹤性能大大提高。

1 系統(tǒng)總體結(jié)構(gòu)

基于上述考慮，我們設(shè)計的運動人體檢測與跟蹤系統(tǒng)可分為3個主要部分：視頻獲取，人體檢測與人體跟蹤。系統(tǒng)機構(gòu)框圖如圖1所示。視頻獲取時使用的相機為運動相機，如手持或置于運動的汽車上。目前僅考慮景物中的運動目標。

圖1 系統(tǒng)結(jié)構(gòu)框架

首先確定運動目標存在的運動區(qū)域。本文提出了基于運動信息和形狀信息相結(jié)合的混合人體檢測算子。首先，使用MSaM檢測圖像序列中的一些特征點以確定目標檢測區(qū)域，這些特征點的聚類表示了不同的運動目標。

然后，在目標檢測區(qū)域中計算一系列的 HOG［9］算子，并判斷該區(qū)域中是否存在人體。該算子可以為檢測目標提供高質(zhì)量的形狀信息。由于已經(jīng)確定了目標檢測區(qū)域，所以檢測窗口不需要掃描整幅圖像，也避開了許多敏感區(qū)域。這樣不但能降低檢測時間，還大大提高了檢測準確率。之后，使用一個已被正負特征描述子訓練過的線性支持向量機 （supported vector machine，SVM）來判斷目標檢測區(qū)域中是否存在人體。正負檢測算子的計算過程同文獻 ［9］相似，但區(qū)別在于我們不需要根據(jù)錯誤的檢測結(jié)果計算“hard samples”。

最后，如果目標檢測區(qū)域中的運動物體是人體，則初始化人體跟蹤模塊并計算均值偏移向量，使用基于小面積的mean shift算法來跟蹤此運動目標。

2 魯棒的人體檢測與跟蹤

我們的新方法使用運動信息與人體形狀信息檢測運動人體。它具有姿態(tài)自適應(yīng)性及魯棒性。跟蹤模塊可以準確的在整個視頻范圍內(nèi)跟蹤運動目標。

2.1 獲得特征點

首先檢測出運動物體存在的區(qū)域，我們使用文獻 ［17］中基于幾何信息的算法進行運動目標檢測。該算法不但可以檢測靜態(tài)背景下的運動目標，而且在觀測者運動的情況下同樣可以很好的檢測運動目標。

該方法的核心是計算特征點及點對應(yīng)。如果前景中有目標在移動，則該目標具有一定數(shù)量的行為一致性的特征點。基于這個原理，可以計算運動目標上的一些特殊的特征點來檢測目標，這種特征點叫做邊界點。

2.2 混合運動人體檢測算法

得到運動目標存在的區(qū)域后，在此指定區(qū)域中使用人體檢測算子進行人體檢測。文獻 ［9］中，Dalal和Triggs計算了HOG特征用于人體檢測，然后使用了線性高斯核的SVM［18］進行分類，并在實驗中給出了較高的評估結(jié)果。在區(qū)分人體及非人體時HOG顯示出優(yōu)越的性能，且對姿態(tài)及外觀并不敏感。它的一些改進算法也給出了較好的實驗結(jié) 果［10－11］。我 們 使 用 了 HOG 來 計 算 基 本 的 人 體 形狀算子。

為了計算人體算子，需要使用帶有正負樣本的訓練數(shù)據(jù)庫。每一個訓練樣本都需要根據(jù)其旋轉(zhuǎn)梯度直方圖計算人體描述算子。這些描述算子用于訓練線性SVM。對于檢測圖像，同樣需要計算該描述算子并將其輸入給已經(jīng)過訓練的SVM，由SVM來檢驗圖像中是否包含人體。

2.2.1 計算人體檢測算子

首先建立包含正樣本和負樣本的數(shù)據(jù)庫，正樣本中包含人體，負樣本中為不含人體的背景圖像。在我們的訓練數(shù)據(jù)庫中，所有的正負樣本都包含128×64象素點。負樣本由不含人體的圖像中隨機選取。對于彩色圖像，計算每個顏色通道的梯度，并選擇具有最高梯度值的通道。

我們的新檢測算子的另一個優(yōu)點是在訓練步驟中不需要使用 “hard samples”來提高性能。 “hard samples”對于其它的基于HOG的方法都是不可缺少的。這些樣本來自于負錯誤檢測結(jié)果，并加入到負樣本中提高檢測率。在特征點檢測到的運動區(qū)域中，主要的前景是運動目標，即使有與人體相似的物體也只占有很小的比例。這個特點使我們的系統(tǒng)更適用于實際的環(huán)境，并且不需要重新訓練分類器。

2.2.2 運動區(qū)域檢測

該步驟用于檢測邊界點代表的運動區(qū)域。特征點由MSaM算法［19］計算。圖2（a）顯示了檢測到的運動目標。聚集的特征點表示一個運動目標。人體上的白色虛線框是檢測結(jié)果。很明顯，該區(qū)域小于人體的尺寸。所以實際的運動人體檢測窗口應(yīng)該是一個更大的窗口，并根據(jù)這個小窗口計算得到。

2.2.3 尋找運動人體

運動人體在根據(jù)邊界點確定的區(qū)域中檢測。為了得到理想的目標檢測區(qū)域，需要考慮下面兩個條件：①根據(jù)形狀檢測算子的要求，目標檢測區(qū)域的寬度和高度應(yīng)該是16的整數(shù)倍；②測試時，需要建立輸入圖像的金字塔，并使用128×63大小的窗口掃描整個目標檢測區(qū)域，計算一系列的形狀算子。

目標檢測區(qū)域的確定方法為：①尋找檢測區(qū)域的中心點。對于金字塔中的每幅圖像，首先尋找上一步確定的檢測區(qū)域的中心點，然后根據(jù)該中心點創(chuàng)建一個128×64的檢測窗口。圖2顯示了檢測到的運動區(qū)域及3個檢測窗口。②確定搜索循環(huán)。為了覆蓋整個的人體，設(shè)定起始搜索點為搜索區(qū)域的左邊和上邊各10個象素點處；截止搜索點為搜索區(qū)域的下面和右面各10個象素點處。

圖2 運動區(qū)域

確定好目標檢測區(qū)域后就在整個區(qū)域內(nèi)計算人體算子，然后，將計算出來的這一系列密度算子輸入給已訓練的SVM來匹配人體形狀。如果該區(qū)域中有人體，該已訓練的SVM的輸出就會給出人體標識及人體位置。檢測結(jié)果由一個矩形區(qū)域表示。

圖3給出了使用新的混合檢測算子與僅使用HOG進行人體檢測的算法比較。由圖中可見，由于欄桿，窗戶，及背景中其它復(fù)雜紋理與人體形狀的高相似性，僅使用HOG的檢測算子即使在無人體區(qū)域也檢測出了多個人體。相反，我們的混合檢測算子精確檢測出了圖像中的人體，大大減少了負檢測率，并對背景中的多形狀表現(xiàn)出了魯棒性。

圖3 新混合檢測算子與HOG比較

2.3 基于小面積的跟蹤

我們重點討論對運動相機拍攝的視頻序列中的運動人體檢測。在這種情況下，觀察者和目標都在運動，姿態(tài)、外觀及背景也都在發(fā)生變化。Mean shift［16］算法使用了簡單的迭代過程，它將每個數(shù)據(jù)點都移動到其相鄰的數(shù)據(jù)平均值點。用于跟蹤目標時，Mean shift迭代可以尋找與給定目標模型最相似的目標候選區(qū)，該相似度由基于Bhattacharyya系數(shù)的矩陣表示。

本文設(shè)計了基于小面積的跟蹤方法，克服了直方圖變化對跟蹤帶來的影響。Mean shift非常適用于非剛體運動目標的跟蹤，并需要給定目標的直方圖。但是如果跟蹤區(qū)域的直方圖發(fā)生較大的變化，Mean shift的跟蹤結(jié)果就不是非常精確。在我們的系統(tǒng)中，混合人體檢測算子的輸出是一個矩形區(qū)域，包含了整個的運動人體及其四周的部分背景。如果用Mean shift直接跟蹤這個矩形區(qū)域，當目標直方圖在服裝，光照，及背景影響下產(chǎn)生較大變化時跟蹤失敗。因此設(shè)計了小面積跟蹤方法，直接對人體上半身進行跟蹤。這是因為頭部存在五官及顏色一致性好的頭發(fā)，人體中直方圖最穩(wěn)定的部位是頭部。所以，跟蹤人體時，選擇上半身比整體跟蹤效果好。

小面積跟蹤方法的第二個優(yōu)點是短的跟蹤啟動時間及快速的跟蹤。盡管Mean shift有時能夠準確的跟蹤整個人體，但在計算整個人體的直方圖時會花費更多的時間。圖4顯示了跟蹤每一幀時Mean shift需要的迭代次數(shù)。由圖中可見，整個人體跟蹤時的平均迭代次數(shù)是部分人體跟蹤時的2倍。更多的迭代次數(shù)意味著更長的匹配時間，使跟蹤速度變慢。圖4（a）中的極值表示跟蹤過程中目標丟失兩幀后又恢復(fù)了。

圖4 整體跟蹤與部分人體跟蹤迭代次數(shù)

用混合檢測算子得到人體位置后，計算出的中心點就是當前中心點。一般情況下，整個的人體接近于圖像的中心，而部分人體接近于邊緣。因此檢測到人體后，如果起始跟蹤框非常接近于圖像邊緣，則選擇整個的運動區(qū)域作為跟蹤目標；否則，選擇上半部分進行跟蹤。之后，直接將原始圖像序列輸入到跟蹤模塊進行人體跟蹤。如文獻［16］中所述，該目標模型由其彩色概率密度函數(shù)qu表示，y0是上一幀的中心點。在后續(xù)的圖像幀中，候選目標運動區(qū)域由位置y1定義，并表征為pdf pu（y）。然后，需要計算m位的直方圖。方程 （1）給出了跟蹤目標的新位置

其中

迭代過程一直持續(xù)到方程 （3）的條件被滿足為止。即

如果 y1－y0＜，則停止

選擇RGB彩色空間作為特征空間，并將其量化為16×16×16位。方程 （3）中的停止迭代域值對迭代時間很重要，低的域值會產(chǎn)生半像素的精度但需要較長的時間。所以根據(jù)實驗結(jié)果，我們選擇了一個適中的值 （＝0.5）來滿足準確度及時間要求。

3 實驗結(jié)果

我們用Matlab編程實現(xiàn)算法模擬。對于人體形狀描述算子，使用INRIA［9］數(shù)據(jù)庫作為訓練數(shù)據(jù)庫。該數(shù)據(jù)庫包含了現(xiàn)實世界的幾千幅圖像。使用RGB彩色空間同時作為人體形狀描述算子及目標跟蹤直方圖的空間。

算法驗證使用了由立體運動相機拍攝的兩個室外圖像序列。本文主要討論前景中僅包含一個運動人體的實驗。在室外場景中，存在一些與人體很相似的物體；視頻中的運動人體外觀與尺寸持續(xù)變化；兩個室外視頻都超過了200幀，每幀450×752個像素。實驗結(jié)果表明了我們的新運動人體檢測算子，及基于小區(qū)域跟蹤算法的魯棒性。運動目標被分割出來后由一個矩形框來表示。

在第一個室外場景中，一個人從場景的左面進入向右面走，快走到場景盡頭時轉(zhuǎn)身往回走，臉部與正臉呈90到180度的水平視角。運動時，人體的尺寸發(fā)生變化。背景中有一些柵欄和窗戶，人體檢測算子會認為它們與人體特征相似，從而使人體檢測具有較大的挑戰(zhàn)性。但是由于我們先使用運動目標檢測算法得到運動目標的檢測區(qū)域，所以降低了柵欄和窗口的干擾，避免了檢測誤差的出現(xiàn)。圖2給出了運動人體的檢測結(jié)果。

在第二個室外序列中，視頻序列中的運動人體開始時只出現(xiàn)部分人體，并從圖像的左邊走向右邊。在運動過程中隨著人體尺寸的變換逐漸顯示出整個人體。在背景中有兩個較大的窗戶，單純的HOG算子易誤將其判斷為人體。我們的系統(tǒng)在5幀后檢測到該運動人體并開始對其進行跟蹤。圖5給出了檢測結(jié)果。實驗中，第三種尺寸大小最適合搜索人體，另外兩種都比實際的人體小很多。

圖5 室外序列2檢測結(jié)果

單純的HOG算法與我們的人體檢測算法中使用循環(huán)次數(shù)的比率是809，表明新算法比單純的HOG檢測算法計算速度快。而基于小面積的跟蹤算法進一步提高了跟蹤的初始化速度，使得基于混合算法的目標檢測與跟蹤速度快于基于HOG算法＋Mean shift的目標檢測與跟蹤算法。另外，實驗結(jié)果顯示，由于實驗中選用的視頻場景存在窗戶和柵欄等易與人體算子混淆的物體，所以單純的HOG算法檢測到的目標多于實際的人體，降低了跟蹤的準確率；而新算法由于先進行了準確的運動目標檢測，所以誤檢率幾乎為零。進一步保證了跟蹤的正確率。

由此得出結(jié)論為 （TPPF表示每幀的正正確率，F(xiàn)PPF表示每幀的負正確率，即

（1）對于運動人體：由于我們的算法基于HOG算法，但只在一個標定的小區(qū)域內(nèi)進行人體檢測，所以：

（2）對于靜止人體：如果人體處于靜止狀態(tài)，運動目標檢測模塊無法檢測到該靜止人體。則：ourTPPF＜HOGTPPF

4 結(jié)束語

本文設(shè)計了運動相機拍攝的視頻序列中運動人體的檢測與跟蹤方法。提出了基于運動信息與形狀信息相結(jié)合的運動人體檢測方法。其中，運動信息可以很快的找到目標檢測區(qū)域并降低人體搜索時間。另外，由于減少了搜索區(qū)域，因此大大提高了檢測性能。最后，使用了基于小面積區(qū)域的跟蹤方法進行人體跟蹤，具有較高的跟蹤穩(wěn)定性，對人體外觀及姿態(tài)的改變也不敏感。

［1］Oncel Tuzel，F(xiàn)atih Porikli，Peter Meer，et al.Pedestrian detection via classification on riemannian manifolds ［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2008，30 （10）：1713－1727.

［2］SU Songzhi，LI Shaozi，CHEN Shuyuan，et al.A survey on pedestrian detection ［J］.Acta Electronica Sinica，2012，40 （4）：814－820（in Chinese）.［蘇松志，李紹滋，陳淑媛，等.行人檢測技術(shù)綜述 ［J］.電子學報，2012，40 （4）：814－820.］

［3］Hu W，Tan T，Wang L，et al.A survey on visual surveillance of object motion and behaviors ［J］.IEEE Trans on Systems，Man，and Cybernetics，2004，34 （3）：334－352.

［4］Geronimo D，Lopez M，Sappa A D，et al.Survey of pedestrian detection for advanced driver assistance systems ［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2010，32（7）：1239－1258.

［5］XU Yanwu，CAO Xianbin，QIAO Hong.Survey on the latest development of pedestrian detection system and its key technologies expectation ［J］.Acta Electronica Sinica，2008，36 （5）：962－968（in Chinese）.［許言午，曹先彬，喬紅.行人檢測系統(tǒng)研究新進展及關(guān)鍵技術(shù)展望 ［J］.電子學報，2008，36 （5）：962－968.］

［6］JIA Huixing，ZHANG Yujin.A survey of computer vision based pedestrian detection for driver assistance systems ［J］.Acta Automatica Sinica，2007，33 （1）：84－90 （in Chinese）.［賈彗星，章毓晉.車輛輔助駕駛系統(tǒng)中基于計算機視覺的行人檢測研究綜述 ［J］.自動化學報，2007，33 （1）：84－90.］

［7］Yan J，Pollefeys M.A factorization based approach for articulated nonrigid shape，motion，and kinematic chain recovery from video ［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2008，30 （5）：865－877.

［8］Song Y，F(xiàn)eng X，Perona P.Towards detection of human motion ［C］／／Hilton Head Island，South Carolina：Proceedings of CVPR，2000：810－817.

［9］Dalal N，Triggs B.Histograms of oriented gradients for human detection ［C］／／San Diego，United States：Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition，2005：2－3.

［10］Lin Z，Davis L S.Shape－based human detection and segmentation via hierarchical part－template matching ［J］.IEEE Trans on Pattern Analysis and Machine Intelligence，2010，32（4）：604－618.

［11］Felzenszwalb P，McAllester D，Ramanan D.A discriminatively trained，multiscale，deformable part model［C］／／Anchorage：Proceedings of the IEEE CVPR，2008：1－8.

［12］ZHOU Ke.Research and implementation of HOG based human detection in image ［D］.Wuhan：Huazhong University of Science and Technology，2008 （in Chinese）.［周柯.基于HOG特征的圖像人體檢測技術(shù)的研究與實現(xiàn) ［D］.武漢：華中科技大學，2008.］

［13］Dalal N，Triggs B，Schmid C.Human detection using oriented histograms of flow and appearance ［C］／／Springer Berlin Heidelberg：Proceedings of ECCV，2006：428－441.

［14］Mirabi M，Javadi S.People tracking in outdoor environment using kalman filter ［C］／／Kota Kinabalu：Intelligent Systems，Modelling and Simulation，2012：303－307.

［15］Phadke G.Robust multiple target tracking under occlusion using fragmented mean shift and Kalman filter ［C］／／Kerala：Communications and Signal Processing，2011：517－521.

［16］Shang Zhenhong，Shang Jinxia，Cai Xiaofang，et al.Active target tracking based on mean shift algorithm and color template matching ［C］／／Xianning：Consumer Electronics，Communications and Networks，2011：1945－1948.

［17］Holzer P，Pinz A.Using outliers in structure and motion analysis to reconstruct foreground motion ［C］／／Computer Vision Winter Workshop，Czech Society for Cybernetics and Informatics，2010：99－106.

［18］GU Yaxiang，DING Shifei.Advances of support vector machines （SVM）［J］.Computer Science，2011，38 （2）：14－17（in Chinese）. ［顧亞祥，丁世飛.支持向量機研究進展［J］.計算機科學，2011，38 （2）：14－17.］

［19］Schweighofer G，Segvic S，Pinz A.Online／realtime structure and motin for genteal camera models ［C］／／Copper Mountain：IEEE Workshop on Applications of Computer Vision，2008：1－6.