雨天環(huán)境基于HOG-SIFT特征稀疏表示的行人檢測(cè)

陶 春，陳淑榮

(上海海事大學(xué) 信息工程學(xué)院，上海 201612)

雨天環(huán)境基于HOG-SIFT特征稀疏表示的行人檢測(cè)

陶 春，陳淑榮

(上海海事大學(xué) 信息工程學(xué)院，上海 201612)

針對(duì)雨天環(huán)境下監(jiān)控視頻因雨水噪聲、圖像的灰度值削弱使行人輪廓特征丟失而出現(xiàn)的目標(biāo)行人漏檢誤檢情況，建立了一種基于HOG-SIFT特征稀疏表示的行人檢測(cè)算法。通過(guò)直方圖均衡化降低雨水噪聲；提取圖像HOG-SIFT融合特征表征視頻圖像中的行人信息，減少輪廓特征的丟失；利用稀疏表示降低融合特征的維數(shù)，減小計(jì)算量并保留有效的行人特征，結(jié)合AdaBoost分類(lèi)器降低漏檢率和誤檢率。實(shí)驗(yàn)結(jié)果表明，該算法在雨天環(huán)境下有效地提高了行人檢測(cè)的準(zhǔn)確率。

HOG特征；SIFT特征；稀疏表示；行人檢測(cè)

0 引言

行人檢測(cè)是計(jì)算機(jī)視覺(jué)領(lǐng)域備受關(guān)注的前沿方向和研究熱點(diǎn)。常用特征主要有方向梯度直方圖(HOG)[1]、Haar特征[2]、尺度不變特征(SIFT)[3]、加速魯棒特征(SURF)[4]等。參考文獻(xiàn)[5]利用非負(fù)矩陣分解和方向梯度直方圖生成HOG-NMF特征的快速行人檢測(cè)方法，降低了特征維數(shù)，對(duì)線性支持向量機(jī)的分類(lèi)效果提高顯著，但易受光照環(huán)境影響。文獻(xiàn)[6]提出一種顏色自相似度特征與AdaBoost級(jí)聯(lián)分類(lèi)器結(jié)合的行人檢測(cè)方法，加快了檢測(cè)速度，但漏檢誤檢情況較高。文獻(xiàn)[7]采用快速SIFT算法匹配相鄰幀人的身體，結(jié)合AdaBoost級(jí)聯(lián)分類(lèi)器檢測(cè)行人信息，該算法適用于復(fù)雜場(chǎng)景下的行人檢測(cè)但是實(shí)時(shí)性差。上述文獻(xiàn)中所提到的檢測(cè)方法能夠運(yùn)用在較多場(chǎng)景，但在雨天環(huán)境下，監(jiān)控視頻圖像灰度值削弱導(dǎo)致行人輪廓特征丟失，出現(xiàn)大量行人漏檢誤檢情況。

在光線昏暗的雨天環(huán)境下，針對(duì)視頻圖像的灰度值削弱問(wèn)題，本文采用圖像的HOG-SIFT融合特征描述行人信息，可以減少其輪廓特征的丟失。利用稀疏表示對(duì)圖像HOG-SIFT融合特征進(jìn)行降維，得到強(qiáng)輪廓特征，通過(guò)AdaBoost分類(lèi)器的級(jí)聯(lián)強(qiáng)分類(lèi)性來(lái)提高雨天環(huán)境下行人檢測(cè)的準(zhǔn)確率。

1 算法原理

實(shí)驗(yàn)中首先提取雨天環(huán)境下監(jiān)控視頻的每幀圖像，進(jìn)行直方圖均衡化處理降低雨水噪聲影響，再變換為灰度圖像并歸一化。通過(guò)提取圖像HOG特征和SIFT特征，串行組合成HOG-SIFT融合特征，表征圖像中的行人特征。利用稀疏表示降低融合特征維數(shù)，得到強(qiáng)輪廓特征，并減少弱噪聲影響。通過(guò)AdaBoost級(jí)聯(lián)分類(lèi)器檢測(cè)目標(biāo)行人。算法流程如圖1所示。

圖1 算法流程圖

1.1 HOG特征提取

HOG特征是圖像處理中檢測(cè)行人或物體的一種特征描述子。提取測(cè)試樣本圖像的HOG特征，需將圖像分成小的細(xì)胞單元(cell)，采集cell中各像素點(diǎn)梯度和邊緣的方向直方圖，再組合起來(lái)構(gòu)成測(cè)試樣本圖像的HOG特征。圖像中像素點(diǎn)(x,y)梯度為：

Gx(x,y)=H(x+1,y)-H(x-1,y)

(1)

Gy(x,y)=H(x,y+1)-H(x,y-1)

(2)

式中Gx(x,y)，Gy(x,y)，H(x,y)分別表示輸入圖像中像素點(diǎn)(x,y)處的水平方向梯度、垂直方向梯度和像素值。像素點(diǎn)(x,y)處的梯度幅值和梯度方向分別為：

(3)

α(x,y)=tan-1(Gy(x,y)/Gx(x,y))

(4)

實(shí)驗(yàn)中對(duì)樣本圖像進(jìn)行HOG特征提取，圖像歸一化為64×128。將圖像分割成16×16像素的cell，每2×2個(gè)cell組成一個(gè)塊。將梯度方向平均劃分為9個(gè)區(qū)間，統(tǒng)計(jì)cell里每個(gè)區(qū)間中像素的梯度方向直方圖，得到一個(gè)9維的特征向量。計(jì)算出每個(gè)塊內(nèi)有4×9=36個(gè)特征向量，用塊對(duì)樣本圖像進(jìn)行掃描，掃描步長(zhǎng)為一個(gè)單元。將所有塊的特征串聯(lián)起來(lái)，構(gòu)成完整的HOG特征。圖2是雨天視頻圖像HOG特征的提取。

圖2 HOG特征的提取

圖2(a)為原始圖像，(b)為根據(jù)提取的HOG特征還原的圖像。HOG特征是統(tǒng)計(jì)每個(gè)cell中像素的梯度直方圖，而還原圖像的像素點(diǎn)受到雨天光線變暗、圖像灰度值削弱的影響，使圖2(b)中的行人輪廓出現(xiàn)明顯的丟失,在檢測(cè)時(shí)易造成漏檢誤檢情況。因此，利用單一HOG特征在雨天環(huán)境下檢測(cè)行人的準(zhǔn)確率較低。

1.2 SIFT特征提取

SIFT特征能保持圖像的尺度與旋轉(zhuǎn)不變性，對(duì)光照變化有較好的穩(wěn)定性。通過(guò)對(duì)樣本圖像分別提取HOG和SIFT特征，串聯(lián)組合成HOG-SIFT融合特征，能夠有效描述雨天視頻圖像中行人輪廓的特征信息，提高在雨天環(huán)境下的行人檢測(cè)準(zhǔn)確率。提取SIFT特征首先要構(gòu)造圖像的尺度空間，對(duì)每層尺度空間進(jìn)行關(guān)鍵點(diǎn)檢測(cè)和方向分配，再通過(guò)歸一化生成關(guān)鍵點(diǎn)描述子。尺度空間和關(guān)鍵點(diǎn)的算法描述如式(5)～式(7)。

I(x,y)是輸入的圖像信號(hào)，G(x,y,σ)是尺度可變高斯函數(shù)，則函數(shù)L(x,y,σ)是一幅圖像的尺度空間，如式(5)：

L(x,y,σ)=G(x,y,σ)*I(x,y)

(5)

其中，σ是尺度因子，σ越小，表征圖像的信息越多；σ越大，表征圖像的信息越少。關(guān)鍵點(diǎn)在(x,y)處梯度的模值和方向，其公式如式(6)和(7)：

(6)

θ(x,y)=atan2(L3-L4)/(L1-L2)

(7)

式中各變量L1=L(x+1,y)，L2=L(x-1,y)，L3=L(x,y+1)，L4=L(x,y-1)。

實(shí)驗(yàn)對(duì)樣本圖像進(jìn)行SIFT特征提取，圖像歸一化為64×128，利用高斯函數(shù)對(duì)每一幅圖像構(gòu)造尺度空間，通過(guò)高斯差分卷積對(duì)尺度空間中的關(guān)鍵點(diǎn)進(jìn)行檢測(cè)。本文選用16×16大小的檢測(cè)窗口，每個(gè)窗口檢測(cè)到的關(guān)鍵點(diǎn)為4×4=16個(gè)，利用式(6)、(7)確定關(guān)鍵點(diǎn)的位置、尺度和方向后，用高斯窗口對(duì)其進(jìn)行加權(quán)運(yùn)算，得到具有8個(gè)方向的關(guān)鍵點(diǎn)，一個(gè)窗口有4×4×8=128維特征描述子，一幅64×128大小的圖像有128×32=4 096維SIFT特征。圖3是雨天視頻圖像中行人SIFT特征關(guān)鍵點(diǎn)的提取。

圖3 SIFT特征關(guān)鍵點(diǎn)提取

圖3(a)為原始圖像，(b)為SIFT特征關(guān)鍵點(diǎn)提取。SIFT特征通過(guò)高斯函數(shù)構(gòu)造圖像中目標(biāo)行人的多層尺度空間，利用檢測(cè)窗口檢測(cè)出人體輪廓的關(guān)鍵點(diǎn)，將關(guān)鍵點(diǎn)串聯(lián)得到人體的SIFT輪廓特征。在光線昏暗的雨天環(huán)境，SIFT特征通過(guò)關(guān)鍵點(diǎn)描述出行人輪廓特征，減少雨天環(huán)境下行人的局部輪廓特征丟失。因此，通過(guò)構(gòu)造HOG-SIFT融合特征將有效提高雨天環(huán)境中行人目標(biāo)檢測(cè)的準(zhǔn)確率。

1.3 HOG-SIFT特征的稀疏表示

稀疏表示能夠降低HOG-SIFT融合特征的維數(shù)、減少計(jì)算量，使HOG-SIFT融合特征有效表征行人輪廓信息，減少噪聲特征的影響。實(shí)驗(yàn)首先對(duì)行人數(shù)據(jù)庫(kù)中選出的訓(xùn)練樣本提取融合特征構(gòu)造字典，將訓(xùn)練樣本分為k類(lèi)，提取到的特征向量為Si,j，第i類(lèi)訓(xùn)練樣本用特征向量表示為Ai，將Ai擴(kuò)展到整個(gè)訓(xùn)練樣本集，則可以構(gòu)成字典A，如式(8)所示：

A=[A1,A2...Ak]=[S1,1,S1,2...Sk,n]∈R

(8)

(9)

實(shí)驗(yàn)對(duì)待測(cè)的雨天視頻圖像提取HOG-SIFT融合特征，利用式(9)對(duì)該融合特征進(jìn)行稀疏表示。通過(guò)已經(jīng)構(gòu)造出的字典A和需要稀疏的融合特征向量y，利用正則化參數(shù)求解出參數(shù)λmax，根據(jù)式(9)可以求解特征向量y的系數(shù)矩陣x，通過(guò)其表征圖像中行人的輪廓特征。圖4是對(duì)雨天視頻圖像提取的HOG-SIFT融合特征的稀疏表示。

稀疏表示是通過(guò)一組系數(shù)矩陣來(lái)表示圖像特征，系數(shù)矩陣可以通過(guò)稀疏字典還原圖像的特征信號(hào)，相較于傳統(tǒng)PCA降維法不需要計(jì)算協(xié)方差矩陣，縮短了特征降維的時(shí)間，同時(shí)經(jīng)過(guò)稀疏表示后的HOG-SIFT融合特征對(duì)雨天環(huán)境下視頻圖像中行人輪廓表征更清晰，減少了弱噪聲特征影響。

1.4 AdaBoost分類(lèi)器

AdaBoost是一種迭代算法，針對(duì)同一個(gè)訓(xùn)練集訓(xùn)練不同的弱分類(lèi)器，并將弱分類(lèi)器級(jí)聯(lián)成一個(gè)強(qiáng)分類(lèi)器。在雨天環(huán)境下，AdaBoost通過(guò)多次構(gòu)造弱分類(lèi)器檢測(cè)出錯(cuò)誤的樣本，利用級(jí)聯(lián)強(qiáng)分類(lèi)性再次檢測(cè)出錯(cuò)誤的樣本，提高了分類(lèi)器檢測(cè)的準(zhǔn)確率，有效減少了雨天環(huán)境下圖像灰度值削弱而出現(xiàn)的行人漏檢誤檢情況。因此，本文選用AdaBoost作為實(shí)驗(yàn)的最終分類(lèi)器。

2 算法步驟

本文算法步驟如下：

(1)選取一段雨天環(huán)境下的監(jiān)控視頻，提取視頻幀圖像，對(duì)圖像進(jìn)行直方圖均衡化處理，降低雨水噪聲的影響。

(2)將圖像轉(zhuǎn)為灰度圖像，并做歸一化處理。

(3)對(duì)圖像分別提取HOG特征和SIFT特征，得到兩個(gè)特征集合α、β，并且通過(guò)串行特征組合方法構(gòu)造HOG-SIFT融合特征集C。

(4)利用融合特征C構(gòu)造待檢測(cè)圖像的字典A，用稀疏算法對(duì)融合特征C進(jìn)行稀疏表示，得到圖像的稀疏融合特征向量C′。

(5)通過(guò)AdaBoost分類(lèi)器對(duì)稀疏融合特征向量C′分類(lèi)檢測(cè)，得到雨天環(huán)境下視頻幀圖像中的目標(biāo)行人。

3 實(shí)驗(yàn)結(jié)果及分析

為了驗(yàn)證算法有效性，在MATLAB 2014a環(huán)境下進(jìn)行實(shí)驗(yàn)，計(jì)算機(jī)配置為2.1 GHz CPU和4 GB內(nèi)存，數(shù)據(jù)庫(kù)為INRIA數(shù)據(jù)庫(kù)和Daimler數(shù)據(jù)庫(kù)。實(shí)驗(yàn)驗(yàn)證雨天環(huán)境下視頻監(jiān)控中行人檢測(cè)的漏檢誤檢情況。首先從兩個(gè)數(shù)據(jù)庫(kù)中選擇2 100個(gè)包含行人圖片的正樣本集和3 200個(gè)無(wú)行人圖片的負(fù)樣本集訓(xùn)練AdaBoost分類(lèi)器。測(cè)試樣本為雨天環(huán)境下的一段監(jiān)控視頻，提取500幅幀圖像作為最終的測(cè)試樣本集，且圖像大小歸一化為128×64。

實(shí)驗(yàn)將本文算法與傳統(tǒng)HOG檢測(cè)算法和HOG-紋理-顏色融合特征檢測(cè)算法進(jìn)行檢測(cè)對(duì)比，檢測(cè)結(jié)果如圖5所示。

圖5 雨天環(huán)境下三種算法的行人檢測(cè)結(jié)果

圖5(a)為傳統(tǒng)HOG+SVM算法檢測(cè)的結(jié)果,(b)為HOG-紋理-顏色+SVM算法檢測(cè)的結(jié)果，(c)為本文算法HOG-SIFT+稀疏表示+AdaBoost算法檢測(cè)的結(jié)果。在圖(a)、(b)中已用箭頭標(biāo)注出漏檢情況，在圖(c)中本文算法正確檢測(cè)出目標(biāo)行人。

針對(duì)雨天環(huán)境下行人檢測(cè)的漏檢誤檢情況，將本文算法與傳統(tǒng)HOG特征檢測(cè)算法、HOG-紋理-顏色融合特征檢測(cè)算法進(jìn)行比較。圖6是在晴天環(huán)境下3種算法的檢測(cè)情況比較，圖7是在雨天環(huán)境下3種算法的檢測(cè)情況比較。其中漏檢率(MissRate)和誤檢率(FPPW)如式(10)和式(11)所示：

圖6 晴天環(huán)境

圖7 雨天環(huán)境

(10)

(11)

式中，F(xiàn)N(False Negatives)是正樣本被錯(cuò)誤檢測(cè)為負(fù)樣本的數(shù)量；TP(True Positives)是正樣本被正確檢測(cè)為正樣本的數(shù)量；FP(False Positives)是負(fù)樣本被錯(cuò)誤檢測(cè)為正樣本的數(shù)量；TN(True Negatives)是負(fù)樣本被正確識(shí)別為負(fù)樣本的數(shù)量。

實(shí)驗(yàn)結(jié)果表明，晴天環(huán)境在誤檢率相同的情況下，本文算法的漏檢率比傳統(tǒng)HOG算法和HOG-紋理-顏色融合特征算法稍低，其準(zhǔn)確率為93.5%，傳統(tǒng)HOG算法的準(zhǔn)確率為89%，HOG-紋理-顏色融合特征算法的準(zhǔn)確率為90.6%。雨天環(huán)境在誤檢率相同情況下，本文算法的漏檢率明顯比另兩種算法低，其準(zhǔn)確率為90.3%，傳統(tǒng)HOG算法的準(zhǔn)確率為80.1%，HOG-紋理-顏色融合特征算法的準(zhǔn)確率為83.2%。

針對(duì)雨天環(huán)境下行人目標(biāo)的檢測(cè)時(shí)間，將本文算法與傳統(tǒng)HOG特征檢測(cè)算法和HOG-紋理-顏色融合特征檢測(cè)算法對(duì)相同維數(shù)的雨天視頻圖像特征進(jìn)行檢測(cè)比較。結(jié)果如表1所示。

表1 3種檢測(cè)算法檢測(cè)時(shí)間比較

表1中是3種算法對(duì)一組2 800維的雨天視頻圖像特征進(jìn)行行人檢測(cè)的時(shí)間比較，包括不同算法下特征的訓(xùn)練時(shí)間、分類(lèi)檢測(cè)時(shí)間和行人目標(biāo)檢測(cè)的準(zhǔn)確率。本文算法提取的HOG-SIFT融合特征經(jīng)過(guò)稀疏表示將邊緣弱特征忽略掉，保留行人輪廓的強(qiáng)特征，從而降低了特征的維數(shù)，簡(jiǎn)化了計(jì)算量。因此，本文算法大大減少了樣本的訓(xùn)練時(shí)間和檢測(cè)時(shí)間，提高了行人檢測(cè)的準(zhǔn)確率。

4 結(jié)論

針對(duì)雨天環(huán)境下監(jiān)控視頻中因雨水噪聲、圖像的灰度值削弱使行人輪廓特征丟失而出現(xiàn)行人漏檢誤檢的情況，建立了一種基于HOG-SIFT特征稀疏表示的行人檢測(cè)算法。利用HOG-SIFT融合特征表征雨天環(huán)境下圖像的行人特征；減少輪廓信息丟失；通過(guò)稀疏表示對(duì)融合特征降維、簡(jiǎn)化計(jì)算，并保留有效的行人特征;利用AdaBoost分類(lèi)器的級(jí)聯(lián)強(qiáng)分類(lèi)性降低行人的漏檢誤檢情況。實(shí)驗(yàn)表明本文算法提高了雨天監(jiān)控視頻中行人目標(biāo)檢測(cè)的準(zhǔn)確率，為雨天視頻監(jiān)控系統(tǒng)實(shí)施行人檢測(cè)方法提供了理論依據(jù)。

[1] DALAL N,TRIGGS B.Histograms of oriented gradients for human detection [C]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition,2005,1:886-893.

[2] LOWE D G.Distinctive image feature from scale-invariant key points[J].International Journal of Computer Vision, 2004, 60(2):91-110.

[3] OJALA T,PIETIKAINEN M,HARWOOD D.A comparative study of texture measures with classification based on feature distributions[J].Pattern Recognition,1996,19(3):51-59.

[4] 顧志航，陳淑榮.一種基于HOG和LSS融合的行人檢測(cè)算法[J].微型機(jī)與應(yīng)用，2016，35(8)：37-39.

[5] 孫銳，陳軍，高雋.基于顯著性檢測(cè)與HOG-NMF特征的快速行人檢測(cè)方法[J].電子與信息學(xué)報(bào)，2013,35(8)：1921-1926.

[6] 曾波波，王貴錦，林行剛.基于顏色自相似度特征的實(shí)時(shí)行人檢測(cè)[J].清華大學(xué)學(xué)報(bào)，2014，52(4)：571-574.

[7] 杜金輝，管業(yè)鵬，時(shí)勇杰.基于快速SIFT匹配的行人信息檢測(cè)[J].電子器械，2012，35(5):601-606.

A pedestrian detection algorithm based on HOG-SIFT feature sparse representation in rainy environment

Tao Chun,Chen Shurong

(Information Engineering College,Shanghai Maritime University,Shanghai 201612,China)

In rainy environment, the rain noise and the weakened gray value of the image will make the pedestrian contour feature lost, which leads to the misdetection and error detection of surveillance video.Given this,the paper puts forward a kind of a pedestrian detection algorithm based on HOG-SIFT feature sparse representation.The histogram equalization is applied to reduce rain noise and the HOG-SIFT fusion feature is used to characterize pedestrians in video image to cut the loss of contour features.And it takes advantage of the sparse representation to reduce the dimension of the fusion feature and the amount of computation, retain valid pedestrian features and reduce misdetection and error detection combined with AdaBoost classifier.Experimental results show that the proposed method can effectively improve the accuracy of pedestrian detection in rainy environment.

HOG feature;SIFT feature;sparse representation;pedestrian detection

TP317.4

A

10.19358/j.issn.1674- 7720.2017.07.012

陶春，陳淑榮.雨天環(huán)境基于HOG-SIFT特征稀疏表示的行人檢測(cè)[J].微型機(jī)與應(yīng)用，2017,36(7)：39-42.

2016-12-15)

陶春(1992-)，男，碩士研究生，主要研究方向：模式識(shí)別與圖像處理。

陳淑榮(1972-)，女，碩士，副教授，主要研究方向：視頻分析與處理、現(xiàn)代通信網(wǎng)絡(luò)及控制技術(shù)。