基于ROI區(qū)域強分辨力HOG特征的視頻行人檢測*

張 璐，陳淑榮

（上海海事大學(xué) 信息工程學(xué)院，上海 201306）

行人檢測是計算機視覺和模式識別領(lǐng)域中的研究熱點，在視頻監(jiān)控中有廣泛的應(yīng)用。目前，用于行人檢測的方法主要分為3類：（1）基于運動信息的方法[1-2]，根據(jù)行人運動信息（如步態(tài)）實現(xiàn)行人檢測，實時性好但只限于運動行人；（2）基于先驗知識建模的方法[3]，利用已知先驗知識構(gòu)建人體模板和待測目標(biāo)進(jìn)行匹配，但模板的初始參數(shù)難以獲?。唬?）基于特征統(tǒng)計分類的方法[4-9]，根據(jù)訓(xùn)練數(shù)據(jù)獲取有效分類器對輸入檢測窗口進(jìn)行檢測，實現(xiàn)簡單且檢測效果較好，是目前靜態(tài)圖像行人檢測的主流方法，但對視頻行人檢測速度較慢。因此，如何保證視頻行人檢測的準(zhǔn)確率，并提高檢測速度是一個急需解決的問題。

1 本文行人檢測方法

視頻錄像中行人的不同姿勢、復(fù)雜的背景變化對算法的檢測準(zhǔn)確率和檢測速度都提出了嚴(yán)格要求。本文提出利用視頻中的運動信息獲取ROI區(qū)域，結(jié)合Fisher準(zhǔn)則挑選強分辨力行人HOG特征，并結(jié)合SVM分類器檢測行人。其中，訓(xùn)練部分采用正負(fù)樣本庫提取強分辨力HOG行人特征，并通過SVM訓(xùn)練得到強分辨力HOG特征的行人分類器。檢測時利用幀間信息獲得ROI區(qū)域，通過多層次縮放ROI區(qū)域獲取所有檢測窗，并利用強分辨力行人HOG特征來表征檢測窗中行人，通過訓(xùn)練好的分類器實現(xiàn)對視頻中行人的檢測。該算法框架如圖1所示。

1.1 視頻圖像ROI目標(biāo)區(qū)域提取

視頻幀圖像中存在大量的非人區(qū)域，全局掃描需要很多冗余計算。本文采用三幀差分法獲取運動目標(biāo)前景，進(jìn)行二值化處理、形態(tài)學(xué)處理和前景塊擴展，獲取ROI目標(biāo)區(qū)域。具體實現(xiàn)步驟如下。

圖1 行人檢測系統(tǒng)框架

（1）采用三幀差分法獲取運動目標(biāo)前景。當(dāng)前幀的前景幀差圖為：

其中，IL（x，y，i）、IL（x，y，i-1）、IL（x，y，i-2）分別為第 i幀、第i-1幀和第i-2幀的亮度分量，d為幀間圖像對應(yīng)像素點亮度差的絕對值。

（2）對目標(biāo)前景圖進(jìn)行二值化處理和形態(tài)學(xué)處理。二值化處理為：

其中，D為初始閾值，D（x，y）為二值圖對應(yīng)像素點的亮度值。經(jīng)過膨脹、腐蝕二值圖像，獲得消除了噪聲、微小運動區(qū)域的目標(biāo)前景塊。

（3）根據(jù)行人體型特征參數(shù)，對比目標(biāo)前景塊，獲取有效的行人目標(biāo)前景塊。通過設(shè)置行人寬高比（w∶h）特征閾值，除去過窄、過小等不符合行人特征的目標(biāo)前景塊。

（4）擴展行人目標(biāo)前景塊，以確保行人不出現(xiàn)在ROI目標(biāo)區(qū)域之外。矩形擴展長度為：

其中，u是 0～1的一個值，w、h分別表示前景塊的寬、高。

（5）標(biāo)記擴展后的行人目標(biāo)前景塊集合，構(gòu)建 ROI區(qū)域以進(jìn)行后續(xù)的特征提取和檢測。ROI目標(biāo)區(qū)域提取如圖2所示。

1.2 強分辨力行人特征提取

1.2.1 多尺度HOG特征

HOG特征是通過計算局部區(qū)域的梯度方向直方圖描述目標(biāo)形狀特征，對光照變化和小量的偏移不敏感。DALAL N提出的基本HOG是在 64×128的檢測窗內(nèi)提取105個16×16等大小的 Block特征塊，利用這些特征塊構(gòu)成描述符來訓(xùn)練和檢測行人。

等大小的基本HOG特征塊對描述行人較大的部位（如頭部、身體等）的整體信息能力有限，因此本文構(gòu)建HOG特征時采用了多尺度[6]方法，對于 64×128檢測窗，Block 塊的大小選取依次從 16×16 到 64×128，寬高比（w∶h）分別取 1∶1、1∶2 和 2∶1， 共獲得 452 個不同尺度的 Block塊。

在特征塊提取過程中，為避免特征塊交疊而引起的重復(fù)計算，引入“積分圖[6]”思想，每個像素點的特征由9維向量表示，即：

其中，G 為像素點梯度幅度值；λ＝（0，…，jk，…0）表示像素點梯度方向，jk＝1，k為梯度方向落在的區(qū)間。HOG特征簡化為：

其中，s（x，y）表示點（0，0）到（x，y）直線上的像素向量累加，h（x，y）表示點（0，0）到（x，y）連接矩形內(nèi)像素向量累加。對于矩形區(qū)域內(nèi)的直方圖，統(tǒng)計可通過計算矩形4個頂點的值獲得。矩形區(qū)域像素值可表示為：

其中，h（x1，y1）、h（x2，y2）、h（x3，y3）、h（x4，y4）分別為矩形的4個頂點。

為了減少光照變化和陰影的影響，在計算特征時采用了L2-norm歸一化因子，即：

其中，xi為歸一化前特征值，i為 Block塊中特征數(shù)目，e為略大于0的常數(shù)。

1.2.2 基于Fisher準(zhǔn)則的行人強分辨力特征選取

由于高維HOG特征向量存在大量冗余信息，不僅影響提取、分類速度，某些維度向量還可能降低檢測的精度。本文利用Fisher準(zhǔn)則[5]分類特性挑選分類貢獻(xiàn)較大的強分辨力行人特征塊。通過計算兩類樣本特征的類間離散矩陣sb與總類內(nèi)離散度矩陣 sw的比值F（j）作為輸出權(quán)值，利用直線將行人特征、非行人特征區(qū)分開來，將分類的過程轉(zhuǎn)化為特征點在直線投影的過程，根據(jù)行人Block塊特征點距離直線遠(yuǎn)近來判斷Block塊的描述能力。Fisher準(zhǔn)則提取強分辨力特征的實現(xiàn)步驟如下。

（1）遍歷檢測窗中每個 Block 塊（fi），根據(jù)式（9）～式（12），利用 Fisher準(zhǔn)則計算每個塊的輸出權(quán)值 F（j）。

其中，mi是兩類樣本均值的均值向量，Ni是樣本類的樣本數(shù)目。

其中，Sb、Sw分別為樣品類間離散度矩陣值、總類內(nèi)離散度矩陣值；F（j）為塊輸出權(quán)值，F(xiàn)（j）越大，Block 特征塊區(qū)分能力越強。

（2）依次對各個 Block塊的F（j）從大到小降序排列。

（3）從降序序列中挑選新特征集fselect：

逐次添加一個fi直到fselect分類結(jié)果達(dá)到預(yù)期目標(biāo)。利用SVM驗證分類效果，獲得最優(yōu)強分辨力行人特征f′select。

（4）對強分辨力特征 f′select進(jìn)行 SVM訓(xùn)練獲得分類器，用于后續(xù)ROI目標(biāo)區(qū)域行人檢測。

1.3 ROI目標(biāo)區(qū)域行人檢測

通常ROI目標(biāo)區(qū)域采用的檢測窗大小固定，而待檢測視頻圖像中的目標(biāo)位置、大小是隨機變化的。為避免行人漏檢，本文采用多層次窮盡搜索獲得檢測窗。將ROI區(qū)域按照一定的步長逐步縮放，直到達(dá)到預(yù)先設(shè)定的尺度。在不同尺度下分別進(jìn)行行人檢測，并將所有結(jié)果融合處理、標(biāo)記。行人檢測結(jié)果如圖3所示。

2 實驗及結(jié)果分析

本文實驗在MATLAB2008a上實現(xiàn)，計算機環(huán)境配置為3 GHz CPU和2 GB內(nèi)存。采用的數(shù)據(jù)來源于INRIA行人數(shù)據(jù)庫和PETS2006視頻庫。在提取強分辨力行人特征時，分別將 INRIA樣本庫中的 1 000個正、負(fù)樣本用于訓(xùn)練和檢測，并利用強分辨力HOG行人特征分類器對PETS2006視頻庫的視頻行人進(jìn)行檢測。實驗采用libsvm工具包，選用線性SVM訓(xùn)練分類器。

文中通過對單尺度基本HOG擴展，得到Block數(shù)為452的多尺度HOG，并利用Fisher準(zhǔn)則分別對不同尺度HOG進(jìn)行降維處理，獲得不同維數(shù)的強分辨力特征，結(jié)合SVM分類器驗證不同尺度、不同維度的特征檢測效果。實驗結(jié)果如表1所示。

表1 不同HOG特征塊數(shù)的檢測對比

實驗表明，擴展后的多尺度HOG特征，SVM分類準(zhǔn)確率顯著提高；相同特征維數(shù)下 （表中只列出Block數(shù)為105、30、10的特征），多尺度特征比單尺度特征具有更高的檢測準(zhǔn)確率且降維幅度越大，多尺度特征優(yōu)勢越明顯。

文中采用設(shè)定最低檢測率來提高檢測速率，利用SVM分類的效果來選擇最佳分辨力特征。如表1所示，在多尺度下，當(dāng)選取特征塊數(shù)為10時，保證了行人檢測的準(zhǔn)確率，提取、檢測的速率比基本HOG都有所提高，檢測速率提高了9.7倍。本文取多尺度下Block數(shù)為10的特征集作為f′select，訓(xùn)練分類器進(jìn)行行人檢測和分類。

實驗通過ROI目標(biāo)區(qū)域提取，大大降低了檢測窗口數(shù)量，并與傳統(tǒng) HOG全局掃描算法、Adaboost[3，8]算法作比較。由于本文算法ROI目標(biāo)區(qū)域大小直接受行人數(shù)量、大小影響，實驗選取統(tǒng)一的單行人視頻序列進(jìn)行測試，幀像素大小為720×480。實驗結(jié)果如表2所示。

表2 幾種算法性能比較

[3，8]提到的 Adaboost算法是利用一系列弱分類器組合強分類器，根據(jù)每個樣本分類結(jié)果修改權(quán)值進(jìn)行下一層分類訓(xùn)練，訓(xùn)練分類器時依次對每個特征集單獨訓(xùn)練，耗費時間很長。本文算法采用Fisher準(zhǔn)則提取的強分辨力行人特征訓(xùn)練分類器，特征整體一次投影實現(xiàn)一次分類，具有優(yōu)勢。

實驗證明，本文算法比全局掃描減少了檢測窗數(shù)量，顯著提高了檢測的速率；在保證準(zhǔn)確率的前提下改進(jìn)單尺度HOG，利用多尺度降維HOG進(jìn)一步提高行人的檢測速率。本文算法不僅大幅度提高了行人檢測的速率，而且保證了視頻行人檢測準(zhǔn)確率在90%以上。

本文針對傳統(tǒng)HOG特征在行人檢測中存在高維度計算的問題，提出一種利用視頻運動信息和強分辨力行人HOG特征相結(jié)合的視頻行人檢測算法。利用INRIA行人庫和PETS2006視頻庫驗證了算法的有效性。后續(xù)將針對夜間、雨天等復(fù)雜背景，進(jìn)一步驗證和改進(jìn)算法。

參考文獻(xiàn)

[1]劉鑫，劉輝，強振平，等.混合高斯模型和幀間差分相融合的自適應(yīng)背景模型[J].中國圖象圖形學(xué)報，2008，4：729-734.

[2]王成亮，周佳，黃晟.基于高斯混合模型與 PCA_HOG的快速運動人體檢測[J].計算機應(yīng)用研究，2012，29（6）：2156-2160.

[3]周晨卉，王生進(jìn)，丁曉青.基于局部特征級聯(lián)分類器和模板匹配的行人檢測 [J].中國圖象圖形學(xué)報，2010，15（5）：824-829.

[4]DALAL N，TRIGGS B.Histograms of oriented gradients for human detection[C].IEEE Computer Society Conference on Computer Vision and Pattern Recognition， CVPR2005，2005，1：886-893.

[5]孫昀，劉富強，李志鵬.基于穩(wěn)定區(qū)域梯度直方圖的行人檢測方法 [J].計算機輔助設(shè)計圖形學(xué)報，2012，24（3）：372-377.

[6]黃茜，顧杰鋒，楊文亮.基于梯度向量直方圖的行人檢測[J].科學(xué)技術(shù)與工程，2009（13）：3646-3651.

[7]姚雪琴，李曉華，周激流.基于邊緣對稱行和HOG的行人檢測方法 [J].人工智能及識別技術(shù)，2012，38（5）：179-182.

[8]種衍文，匡湖林，李清泉.一種基于多特征和機器學(xué)習(xí)的分級行人檢測方法 [J].自動化學(xué)報.2012，38（3）：375-381.