基于動(dòng)態(tài)加權(quán)可變形部件模型的行人檢測(cè)

高　華，鄔春學(xué)，魯　俊

(上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院，上海 200093)

?

基于動(dòng)態(tài)加權(quán)可變形部件模型的行人檢測(cè)

高華，鄔春學(xué)，魯俊

(上海理工大學(xué) 光電信息與計(jì)算機(jī)工程學(xué)院，上海 200093)

近年來具有代表性的工作之一是Felzenszwalb等人提出的可變形部件模型。文中從可變形部件模型中存在的一些問題展開討論，并提出了一種基于動(dòng)態(tài)加權(quán)可變形部件模型的行人檢測(cè)算法。在各個(gè)部件的檢測(cè)中使用動(dòng)態(tài)調(diào)整權(quán)值的方法獲得更加準(zhǔn)確的判斷，從而識(shí)別處于復(fù)雜環(huán)境中的行人。實(shí)驗(yàn)結(jié)果表明，該方法能夠有效識(shí)別復(fù)雜環(huán)境中傳統(tǒng)DPM方法難以識(shí)別的行人。

行人檢測(cè)；可變形部件模型；動(dòng)態(tài)加權(quán)

行人檢測(cè)技術(shù)是模式識(shí)別與計(jì)算機(jī)視覺中的一個(gè)重要課題，其在安防系統(tǒng)、人體行為理解、行人運(yùn)動(dòng)分析等領(lǐng)域均有重要應(yīng)用。隨著計(jì)算機(jī)視覺的發(fā)展，行人檢測(cè)技術(shù)已經(jīng)有了較大的進(jìn)步，從特征提取到分類和定位方面均有多個(gè)研究分支。其中，DPM(Deformable Part Model)[1]是布朗大學(xué)的Felzenszwalb等人在2010年提出的基于部件的物體檢測(cè)算法，目前已成為檢測(cè)效果較為出色的幾種算法之一。DPM考慮物體是由多個(gè)部分組成的，因此由部件和整體的組合能夠更好的描述一個(gè)物體，設(shè)計(jì)了根濾波器和部件濾波器來分別從整體和局部檢測(cè)物體的特征，最后將根和部件進(jìn)行整合表征整個(gè)物體。

1　相關(guān)工作

自2005年以來，行人檢測(cè)方面的研究發(fā)展迅速[2]。Dalal等人[3]在2005年提出一種HOG(Histograms of Oriented Gradients, 梯度方向直方圖)+SVM(Support Vector Machine, 支持向量機(jī))的行人檢測(cè)算法，該算法計(jì)算了行人整體的HOG特征，組成高維數(shù)據(jù)使用SVM進(jìn)行訓(xùn)練分類，以達(dá)到較高的檢測(cè)精度，但該方法是基于整體的特征，對(duì)于身體形狀變化較大的行人檢測(cè)精度并不理想；另外也有基于SIFT特征[4]和Haar小波特征[5]的行人檢測(cè)方法，也取得了良好的效果；X Ren等人[6]針對(duì)HOG中紋理和邊緣等特性的利用不充分的問題，提出了一種基于稀疏編碼直方圖的行人檢測(cè)，在特征提取上進(jìn)行了改進(jìn)，使得目標(biāo)檢測(cè)識(shí)別效果有了一定改善；近年來基于神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)的行人檢測(cè)發(fā)展迅速，NVIDIA公司使用GPU進(jìn)行深度學(xué)習(xí)[7]，已達(dá)到較高的檢測(cè)精度的實(shí)時(shí)處理要求。

在行人被遮擋時(shí)的檢測(cè)方面，Tang S等人[8]于2014年發(fā)表了一篇檢測(cè)行人間重疊的檢測(cè)算法，該算法基于可變形部件特性，訓(xùn)練了重疊行人的檢測(cè)模型，能較好地檢測(cè)到兩人重疊時(shí)被遮擋的行人；Hsiao E等人[9]也在此基礎(chǔ)上設(shè)計(jì)了檢測(cè)方法，能檢測(cè)重疊的行人和物體。

DPM中使用的各個(gè)部件權(quán)值穩(wěn)定，這就導(dǎo)致行人被人或物體遮擋和行人處于復(fù)雜背景下時(shí)，由于整體濾波響應(yīng)值不高，所以行人容易被忽略。本文在此問題上設(shè)計(jì)了一種動(dòng)態(tài)加權(quán)算法，可在只檢測(cè)出行人一部分部位的情況下進(jìn)行加權(quán)組合，得到理想的最終分?jǐn)?shù)，獲知其較準(zhǔn)確的位置。

2　算法介紹

2.1可變形部件模型

可變形部件模型定義了一個(gè)模糊的根濾波器和若干個(gè)更高分辨率下的部件濾波器，假設(shè)F是大小為w′h的濾波器。首先對(duì)圖像縮放并計(jì)算HOG特征，構(gòu)建圖像特征金字塔H，p=(x,y,l)表示特征金字塔中l(wèi)層圖像特征的(x,y)位置的特征元素，f(H,p,w,h)表示在特征金字塔H中以p處特征元素為左上角、大小為w′h的檢測(cè)窗口所有特征向量串聯(lián)起來的高維特征。則濾波器在此檢測(cè)窗口的得分可表示為F×f(H,p,w,h)，文中可使用F×f(H,p)來表示此得分，因F中已隱含w和h兩個(gè)值。

物體的檢測(cè)綜合得分為根濾波器和若干部件濾波器得分之和，再減去各個(gè)部件經(jīng)過形變的懲罰分?jǐn)?shù)，表示為

(1)

其中，di是一個(gè)四維向量，指定了變形代價(jià);fd(dx,dy)=(dx,dy,dx2,dy2)是變形特征;b為偏移量。

2.2部件動(dòng)態(tài)加權(quán)可變形部件模型

在可變形部件模型中，部件的權(quán)值在使用分類器訓(xùn)練時(shí)就已確定，并隱含在濾波器中。由于行人最后的總體得分是根和部件的簡(jiǎn)單疊加，這就導(dǎo)致行人檢測(cè)過程中的最終得分依賴于全部的部件濾波器，在行人的身體部分被遮擋或只有半身露出時(shí)獲得的分?jǐn)?shù)并不高，因此易被漏檢。

圖1　DPM漏檢情況

實(shí)驗(yàn)發(fā)現(xiàn)，DPM在正面人體檢測(cè)中獲得較好的檢測(cè)結(jié)果時(shí)，一般是在身體部位全部或者絕大部分檢測(cè)出來的情況下。這就使得被遮擋時(shí)行人部分部件得分削減嚴(yán)重，最后的得分較低。為解決這一問題，本文將動(dòng)態(tài)調(diào)整部件的權(quán)重，使得被有效檢測(cè)出的部件能更多的貢獻(xiàn)綜合得分。

基于部件動(dòng)態(tài)加權(quán)的可變形部件模型定義了可變的權(quán)重W=(w1,…,wn)，在部件獲得較高的檢測(cè)分?jǐn)?shù)的情況下調(diào)整部件的權(quán)重使得行人的最終檢測(cè)分?jǐn)?shù)提高。根和部件的得分可表示為n+1元組S=(s0,s1,…,sn)，其中s0為根的得分，s1,…,sn分別為n個(gè)部件經(jīng)過形變懲罰后得分。W的動(dòng)態(tài)調(diào)整過程表示為

(2)

通過分類器檢測(cè)訓(xùn)練樣本中的正樣本和負(fù)樣本得到部件的閾值T，設(shè)定部件得分超過閾值的數(shù)目>2來判定是否調(diào)整閾值，是為了避免單個(gè)部件對(duì)行人檢測(cè)起到?jīng)Q定性作用。如一個(gè)與行人頭部類似的物體得分較高，有可能會(huì)使其權(quán)重為1，將大幅提高誤檢率。各個(gè)部件調(diào)整后的權(quán)重為其得分在所有部件得分中的比重，是基于重要部件得分較高，因此更能夠起到?jīng)Q定作用的事實(shí)。

采用部件動(dòng)態(tài)加權(quán)的可變形部件模型更好的突出了行人的部件特征，當(dāng)行人的部件檢測(cè)結(jié)果較為理想的情況下，增加其權(quán)值使行人檢測(cè)總體結(jié)果更加可信。

3　實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)采用的環(huán)境為Intel(R)Core(TM)i3-4150雙核處理器，4GB內(nèi)存，Windows7 64Byte旗艦版。算法使用GRAZ_01數(shù)據(jù)集[10]中的部分正常行人和行人被遮擋的圖像進(jìn)行行人檢測(cè)。

實(shí)驗(yàn)證明，在行人之間相互遮擋和行人被物體所遮擋的情況下，均能較好的識(shí)別被遮擋行人。

在行人遮擋嚴(yán)重,如圖2(a)中右二行人的情況下，由于部件檢測(cè)得分多數(shù)不理想，所以無(wú)法采用調(diào)整權(quán)值的方式進(jìn)行檢測(cè)，最終導(dǎo)致行人漏檢。

通過調(diào)整閾值的方法在GRAZ_01數(shù)據(jù)集[10]上進(jìn)行準(zhǔn)確率與召回率測(cè)試，分別采用DPM和本文方法進(jìn)行行人檢測(cè)，測(cè)試所得準(zhǔn)確率與召回率曲線如圖3所示。實(shí)驗(yàn)表明，使用本方法在保證召回率的情況下有較高的準(zhǔn)確率。

圖2　檢測(cè)結(jié)果對(duì)比

圖3　準(zhǔn)確率與召回率曲線

4　結(jié)束語(yǔ)

本文對(duì)DPM算法的檢測(cè)過程做了簡(jiǎn)要分析，提出可變形部件模型在行人被部分遮擋情況下存在的問題：行人被遮擋時(shí)整體得分會(huì)有一定損失，加之被遮擋部件檢測(cè)分?jǐn)?shù)較低，導(dǎo)致行人整體得分被削減，造成行人漏檢的情況。針對(duì)此問題提出一種部件權(quán)值動(dòng)態(tài)調(diào)整方法，將得分高于閾值的部件權(quán)值提高，以提高被部分遮擋行人的檢測(cè)整體得分。由于人體的部件特征是較整體特征更加細(xì)致的表達(dá)，所以，高可信度的部件本身也就在一定程度上代表了高可信度的行人整體，使用增加權(quán)值的方法更加符合人體視覺的工作原理。實(shí)驗(yàn)證明本文方法能有效檢測(cè)出被遮擋情況下的行人。

由于行人整體得分一般較部件得分更高，所以在一些行人被物體遮擋嚴(yán)重的情況下，雖使用本方法能提高得分，但并不能彌補(bǔ)整體檢測(cè)分?jǐn)?shù)的不足，在這種條件下如何有效的檢測(cè)出行人，還有待進(jìn)一步研究。

[1]FelzenszwalbPF,GirshickRB,McAllesterD,etal.Objectdetectionwithdiscriminativelytrainedpart-basedmodels[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2010,32(9):1627-1645.

[2]DollarP,WojekC,SchieleB,etal.Pedestriandetection:Anevaluationofthestateoftheart[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2012,34(4):743-761.

[3]DalalN,TriggsB.Histogramsoforientedgradientsforhumandetection[C].IEEEComputerSocietyConferenceonComputerVisionandPatternRecognition,2005.

[4]LoweDG.Distinctiveimagefeaturesfromscale-invariantkeypoints[J].InternationalJournalofComputerVision,2004,60(2):91-110.

[5]ViolaP,JonesMJ,SnowD.Detectingpedestriansusingpatternsofmotionandappearance[J].InternationalJournalofComputerVision,2005,63(2):153-161.

[6]RenX,RamananD.Histogramsofsparsecodesforobjectdetection[C].Penna:2013IEEEConferenceonComputerVisionandPatternRecognition(CVPR),2013.

[7]NVIDIA.GPUs-theengineofdeeplearning[EB/OL]. (2009-12-23)[2015-11-11].https://developer.nvidia.com/deep-learning.

[8]TangS,AndrilukaM,SchieleB.Detectionandtrackingofoccludedpeople[J].InternationalJournalofComputerVision,2014,110(1):58-69.

[9]HsiaoE,HebertM.Occlusionreasoningforobjectdetectionunderarbitraryviewpoint[J].IEEETransactionsonPatternAnalysisandMachineIntelligence, 2014, 36(9):1803-1815.

[10]FusseneggerM,OpeltA,PinzA,etal.Objectrecognitionusingsegmentationforfeaturedetection[C].London:Proceedingsofthe17thInternationalConferenceonPatternRecognition, 2004.

Pedestrian Detection Based on Deformable Part Model with Dynamic Weights Adjustment

GAO Hua, WU Chunxue, LU Jun

(School of Optical-Electronic and Computer Engineering, University of Shanghai for Science and Technology, Shanghai 200093, China)

Pedestrian detection is an active research in computer vision. One of the representative works in pedestrian detection in recent years is the deformable part model (DPM). In this paper we discuss the disadvantages in DPM, and propose a new method based on the dynamic weight adjustment in DPM. The weight of the parts in DPM is adjusted dynamically to obtain more reliable results for identifying pedestrians in complex environments. Experiments show that this method can identify pedestrian more effective than the traditional DPM in complex environments.

pedestrian detection; deformable part model; dynamic weights adjustment

2015- 12- 15

國(guó)家自然科學(xué)基金資助項(xiàng)目(61202376)；上海市教育基金會(huì)晨光計(jì)劃項(xiàng)目(10CG49)；上海市教委科研創(chuàng)新項(xiàng)目(13YZ075)

高華(1989-)，女，碩士研究生。研究方向：數(shù)字圖像處理。鄔春學(xué)(1964-)，男，博士，教授。研究方向：物聯(lián)網(wǎng)與計(jì)算機(jī)控制技術(shù)。

10.16180/j.cnki.issn1007-7820.2016.09.001

TP391.41

A

1007-7820(2016)09-001-03