基于YOLOv2的行人檢測(cè)方法研究

劉建國，羅　杰，王帥帥，關(guān)　挺

(1.武漢理工大學(xué) 現(xiàn)代汽車零部件技術(shù)湖北省重點(diǎn)實(shí)驗(yàn)室，湖北 武漢 430070；2.武漢理工大學(xué) 汽車零部件技術(shù)湖北省協(xié)同創(chuàng)新中心，湖北 武漢 430070)

行人檢測(cè)就是判斷場(chǎng)輸入的圖形或視頻中是否有行人并快速準(zhǔn)確地判斷出行人的位置。行人檢測(cè)一直是目標(biāo)檢測(cè)領(lǐng)域的一項(xiàng)重要內(nèi)容，其研究具有較大的理論意義和實(shí)際應(yīng)用價(jià)值，相關(guān)研究成果可以運(yùn)用于智能駕駛系統(tǒng)、智能機(jī)器人、行人分析等領(lǐng)域。行人檢測(cè)不同于普通目標(biāo)檢測(cè)，復(fù)雜的背景、不同的光照條件、不同的相機(jī)拍攝視角等因素都會(huì)對(duì)檢測(cè)結(jié)果造成一定影響，加之行人的衣著多樣化，人與人之間的遮擋以及行走姿勢(shì)個(gè)性化，使得行人檢測(cè)非常具有挑戰(zhàn)性，同時(shí)也亟待解決。

目前行人檢測(cè)方法可以分為基于背景建模的方法和基于統(tǒng)計(jì)學(xué)習(xí)的方法[1]，基于統(tǒng)計(jì)學(xué)習(xí)的方法又可以分為傳統(tǒng)的行人檢測(cè)方法和基于神經(jīng)網(wǎng)絡(luò)的行人檢測(cè)方法。傳統(tǒng)的方法主要基于人工設(shè)計(jì)特征提取器，通過提取HOG(histogram of oriented gradient)，Haar，LBP(local binary patterns)等特征，訓(xùn)練分類器進(jìn)行行人檢測(cè)，并取得了令人矚目的成果。其中，具有代表性的是Dalal于2005年提出的梯度方向直方圖HOG[2]特征，它結(jié)合線性支持向量機(jī)作為分類器，取得了不錯(cuò)的效果，后續(xù)大多數(shù)算法都是在此基礎(chǔ)上進(jìn)行了延伸。2009年Wang等[3]結(jié)合HOG特征和LBP特征處理行人遮擋，提高了檢測(cè)精度。但人工設(shè)計(jì)的行人特征很難適應(yīng)行人的大幅度變化，且高運(yùn)算復(fù)雜度限制了實(shí)際應(yīng)用。為了克服傳統(tǒng)方法手工設(shè)計(jì)特征泛化性差的缺點(diǎn)，相關(guān)學(xué)者將深度模型應(yīng)用于行人檢測(cè)。Ouyang等[4]根據(jù)人體不同部位之間的相互約束，運(yùn)用深度模型學(xué)習(xí)行人身體不同部位特征來解決行人遮擋問題，完成行人檢測(cè)。近些年，深度學(xué)習(xí)在目標(biāo)檢測(cè)領(lǐng)域取得了重大突破。2012年，Hinton及他的學(xué)生Krizhevsky[5]將深度學(xué)習(xí)應(yīng)用于圖像處理，并在當(dāng)年的國際大規(guī)模視覺識(shí)別大賽上取得了第一名的成績(jī)，其Top-5錯(cuò)誤率為15.3%，遠(yuǎn)超過高達(dá)26.2%的第二名。2015年，谷歌的Loffe等[6]和微軟的何凱明等[7]研究人員都分別將圖片分類任務(wù)Top-5錯(cuò)誤率降低到5%以內(nèi)，超過了人類極限。目標(biāo)檢測(cè)領(lǐng)域?qū)W者從中受到啟發(fā)，提出了一系列基于深度學(xué)習(xí)的目標(biāo)檢測(cè)框架。從RCNN(region convolutional neural network)[8],Fast-RCNN[9],Faster-RCNN[10]到Y(jié)OLO(you only look once)[11],SSD(single shot multibox detector)[12],YOLOv2[13]，目標(biāo)檢測(cè)的速度和準(zhǔn)確率一直在不斷攀升。其中YOLOv2是目前速度和準(zhǔn)確率綜合表現(xiàn)最好的網(wǎng)絡(luò)。本文借鑒目標(biāo)檢測(cè)中最先進(jìn)的成果，提出基于YOLOv2的行人檢測(cè)方法，在YOLOv2網(wǎng)絡(luò)第一層卷積層前添加底層特征提取層，對(duì)圖片中行人進(jìn)行選擇性預(yù)處理，突出行人特征，區(qū)分背景干擾，然后根據(jù)行人呈現(xiàn)高寬比固定的特點(diǎn)，聚類分析得到初始候選框anchor的個(gè)數(shù)及維度，提升檢測(cè)效果。將本文的方法在INRIA數(shù)據(jù)集上進(jìn)行測(cè)試，檢測(cè)效果有明顯提升。

1　YOLO算法原理

華盛頓大學(xué)Joseph Redmon等人針對(duì)區(qū)域提名(region proposal)目標(biāo)檢測(cè)方法的不足，先后提出了YOLOv1和改進(jìn)版YOLOv2。不同于其他目標(biāo)檢測(cè)網(wǎng)絡(luò)，YOLOv1網(wǎng)絡(luò)先將圖像劃分成S×S的網(wǎng)格，對(duì)于每個(gè)網(wǎng)格預(yù)測(cè)B個(gè)邊界框(bounding boxes)。每個(gè)邊界框包含5個(gè)待預(yù)測(cè)值：x,y,w,h和置信度。(x,y)是目標(biāo)窗口的中心坐標(biāo)，w和h是目標(biāo)窗口的寬度和高度。置信度Confidence指Pr(Object)×IOUtruthpred，其中IOUtruthpred指真實(shí)框和預(yù)測(cè)框IOU，IOU指兩個(gè)區(qū)域交集和并集的比值，Pr(Object)指目標(biāo)出現(xiàn)的概率。除了預(yù)測(cè)邊界框，每個(gè)網(wǎng)格還要預(yù)測(cè)C個(gè)分類的概率Pr(Classi|Object)，它表示檢測(cè)到的物體屬于某一類的概率。YOLOv1沒有使用區(qū)域提名步驟，直接回歸完成了位置和類別的判定，使得其檢測(cè)速度得到了質(zhì)的飛躍，實(shí)現(xiàn)了端到端的回歸方法。檢測(cè)步驟如圖1所示。

圖1　檢測(cè)示意圖

預(yù)測(cè)的窗口屬于某個(gè)分類的得分公式為：

Pr(Classi|Object)×Pr(Object)×IOUtruthpred=

Pr(Classi)×IOUtruthpred

(1)

作者設(shè)計(jì)的損失函數(shù)如下：

(2)

根據(jù)候選框和分類概率Pr(Classi|Object)在網(wǎng)絡(luò)預(yù)測(cè)數(shù)據(jù)中的維度和重要程度不同，作者給予候選框較高的損失權(quán)重λcoord，同時(shí)給予分類概率Pr(Classi|Object)較低的損失權(quán)重λnoobj，并用候選框的平方根來減小候選框位置的準(zhǔn)確性對(duì)預(yù)測(cè)結(jié)果的影響。上面函數(shù)中，前2項(xiàng)預(yù)測(cè)候選框，后3項(xiàng)依次預(yù)測(cè)的是含目標(biāo)的置信度，不含目標(biāo)的置信度和目標(biāo)類別。

YOLOv2參照SSD和YOLOv1網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)了新的基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)Darknet-19，其網(wǎng)絡(luò)結(jié)構(gòu)包含19層卷積層和5層最大池化層，在保持原有的檢測(cè)速度下，大大提高了檢測(cè)準(zhǔn)確率。YOLOv2在YOLOv1的基礎(chǔ)上使用了很多技巧，其中包括去掉全連接層，模型只剩下卷積層和池化層，因此可以隨時(shí)改變輸入圖片的尺寸，增強(qiáng)模型的泛化能力。YOLOv2借鑒Fast RCNN 的anchor機(jī)制預(yù)測(cè)候選框，采用K-means[14]聚類方法來選擇anchor boxs個(gè)數(shù)和寬高維度，由anchor直接預(yù)測(cè)目標(biāo)的類別和位置等一系列技巧。

2　基于YOLOv2的行人檢測(cè)模型

雖然YOLOv2在目標(biāo)檢測(cè)領(lǐng)域取得了最佳檢測(cè)效果，但并不完全適用于行人檢測(cè)。筆者針對(duì)具體應(yīng)用，在YOLOv2的基礎(chǔ)上作出相應(yīng)改進(jìn)，使其適用于行人檢測(cè)，主要改進(jìn)如下：

(1)在第一個(gè)卷積層之前加入底層特征提取層。YOLOv2網(wǎng)絡(luò)會(huì)對(duì)輸入的整幅圖片進(jìn)行無差別特征提取，但行人檢測(cè)過程中，圖片中的行人僅僅是圖片極少的一部分。因此，在YOLOv2網(wǎng)絡(luò)之前增加底層特征提取層，對(duì)輸入圖像進(jìn)行預(yù)處理，突出行人特征，減小計(jì)算量和分析難度。

(2)對(duì)數(shù)據(jù)集目標(biāo)框進(jìn)行聚類分析，選擇最優(yōu)anchor個(gè)數(shù)和寬高維度。YOLOv2的anchor參數(shù)是由VOC2007和VOC2012數(shù)據(jù)集聚類確定的，其數(shù)據(jù)集中類別豐富，得到的anchor參數(shù)具有普適性，但卻不適用于行人檢測(cè)。在行人檢測(cè)時(shí)，無論行人處于什么樣背景，行人姿態(tài)怎么變化，行人在圖片中的長(zhǎng)寬比始終是一個(gè)相對(duì)固定的比值，呈現(xiàn)瘦高的框，因此需要對(duì)行人數(shù)據(jù)集進(jìn)行聚類分析，重新確定anchor個(gè)數(shù)和寬高維度。

2.1　底層特征提取層

YOLOv2應(yīng)用于行人檢測(cè)過程中，卷積層會(huì)對(duì)圖像進(jìn)行無差別特征提取，這將導(dǎo)致計(jì)算的浪費(fèi)，同時(shí)，行人圖像多以車輛，道路為背景，加上行人的非剛性特征，往往導(dǎo)致YOLOv2網(wǎng)絡(luò)在特征提取過程中學(xué)習(xí)到錯(cuò)誤的特征，干擾最終的檢測(cè)結(jié)果。為了減少背景和行人的非剛性特征對(duì)檢測(cè)結(jié)果的影響，筆者對(duì)行人圖像進(jìn)行圖像預(yù)處理，突出行人結(jié)構(gòu)特征。根據(jù)傳統(tǒng)的行人檢測(cè)方法，選擇紋理特征作為圖像預(yù)處理計(jì)算，實(shí)驗(yàn)結(jié)果表明，與不進(jìn)行紋理特征預(yù)處理相比，改進(jìn)的方法能夠有效提高檢測(cè)精度。LBP紋理特征用來描述圖像局部紋理特征的算子，它反映了圖像每個(gè)像素與周圍像素之間的關(guān)系，描述了圖像的表面性質(zhì)[15]。但由于紋理只是一種物體表面的特性，并不能完全反映出物體的本質(zhì)屬性，因此僅僅利用紋理特征是無法獲得高層次圖像內(nèi)容的。與顏色特征不同，紋理特征不是基于像素點(diǎn)的特征，它需要在包含多個(gè)像素點(diǎn)的區(qū)域中進(jìn)行統(tǒng)計(jì)計(jì)算。作為一種統(tǒng)計(jì)特征，紋理特征常具有旋轉(zhuǎn)不變性，灰度不變性，且對(duì)光照變化不敏感，同時(shí)對(duì)于噪聲有較強(qiáng)的抵抗能力。原始的LBP算子定義在3×3的窗口內(nèi)，以窗口中心像素為基準(zhǔn)，將周圍的8個(gè)像素的灰度值與其進(jìn)行相減，若周圍像素值與中心像素值差值大于零，則該像素點(diǎn)的位置記為1，否則記為0。這樣，3×3鄰域內(nèi)的8個(gè)點(diǎn)經(jīng)比較可產(chǎn)生8位二進(jìn)制數(shù)，即LBP碼，得到該窗口中心像素點(diǎn)的特征值，并用這個(gè)值來反映該區(qū)域的紋理信息。LBP特征值計(jì)算公式為：

(3)

式中：(x,y)代表3×3鄰域中心，其像素值為gc；gp表示鄰域其他像素點(diǎn)的值；S(x)為符號(hào)函數(shù)，其定義如下：

(4)

LBP特征值計(jì)算過程如圖2所示。

圖2　LBP計(jì)算過程示意圖

選擇LBP紋理預(yù)處理作為底層特征提取層運(yùn)算，從圖3(a)與圖3(b)對(duì)比可以看出，行人背景的區(qū)別轉(zhuǎn)化成了紋理差異，突出了行人的特征。實(shí)驗(yàn)表明，對(duì)圖片進(jìn)行LBP紋理特征預(yù)處理后，降低了模型的漏檢率。

圖3　預(yù)處理效果圖

2.2　目標(biāo)框聚類分析

YOLOv2借鑒Faster-RCNN的方法，引入了anchor，anchor是一組尺寸固定的初始候選框。Faster-RCNN的anchor是人工設(shè)定的，其設(shè)定的好壞將極大的影響目標(biāo)檢測(cè)的精度和速度。在訓(xùn)練網(wǎng)絡(luò)時(shí)，隨著迭代次數(shù)的增加，候選框的參數(shù)也在不斷調(diào)整以接近真實(shí)框。因此，Joseph Redmon提出了維度聚類的方法，通過K-means方法對(duì)目標(biāo)框作聚類分析，網(wǎng)絡(luò)根據(jù)數(shù)據(jù)集目標(biāo)框的特點(diǎn)，學(xué)習(xí)行人特征，找到統(tǒng)計(jì)規(guī)律，最終以K為anchor的個(gè)數(shù)，以K個(gè)聚類中心box的維度為anchor的維度。YOLOv2對(duì)VOC數(shù)據(jù)集的聚類結(jié)果為5，因此其anchor的個(gè)數(shù)為5。筆者同樣采用K-means聚類方法，對(duì)INRIA[16]數(shù)據(jù)集進(jìn)行聚類分析，得到anchor的個(gè)數(shù)和寬高維度。傳統(tǒng)的K-means聚類方法使用的是歐式距離函數(shù)，這就意味著較大框會(huì)比較小框產(chǎn)生更多的錯(cuò)誤，因此YOLOv2的作者采用IOU(候選框與真實(shí)框的交集除以并集)，這樣就與候選框的尺寸無關(guān)了。最終的距離函數(shù)為：

d(box,centroid)=1-IOU(box,centroid)

(5)

本文的聚類目標(biāo)函數(shù)為：

(6)

式中：box為候選框，truth為目標(biāo)真實(shí)框，K為anchor的個(gè)數(shù)。

筆者采用遞增的方法來選擇K值。隨著K值的增大，目標(biāo)函數(shù)變化越來越緩慢，變化線的拐點(diǎn)可以認(rèn)為是最佳的anchor個(gè)數(shù)。目標(biāo)函數(shù)變化曲線如圖4所示，當(dāng)K值大于4時(shí)，曲線變得平緩，因此選擇K值為4，即anchor的個(gè)數(shù)為4。

圖4　目標(biāo)函數(shù)變化趨勢(shì)圖

3　實(shí)驗(yàn)與分析

3.1　訓(xùn)練與測(cè)試樣本數(shù)據(jù)集

目前，關(guān)于行人檢測(cè)的數(shù)據(jù)集有很多，INRIA行人數(shù)據(jù)集是最常用的靜態(tài)行人數(shù)據(jù)集，分為訓(xùn)練集和測(cè)試集兩部分，訓(xùn)練集包含614張正樣本圖像和1 218張負(fù)樣本圖像，正樣本中含有2 416人。測(cè)試集包含288張正樣本圖像和453張負(fù)樣本圖像，正樣本中有1 126人。INRIA數(shù)據(jù)集拍攝條件多樣，存在光照條件變化，行人互相遮擋，背景較復(fù)雜等情況，是具有代表性的行人數(shù)據(jù)集。

3.2　實(shí)驗(yàn)平臺(tái)

本文實(shí)驗(yàn)硬件配置如表1所示。

表1　軟硬件配置

3.3　分類網(wǎng)絡(luò)預(yù)訓(xùn)練

分類網(wǎng)絡(luò)預(yù)訓(xùn)練是行人檢測(cè)的重要環(huán)節(jié)，為減少訓(xùn)練時(shí)間，采用Daimler[17]數(shù)據(jù)集對(duì)Darknet-19進(jìn)行預(yù)訓(xùn)練，每訓(xùn)練10輪讓網(wǎng)絡(luò)調(diào)整每一層的權(quán)重，使網(wǎng)絡(luò)從分類算法切換為檢測(cè)算法的過程中能更好地適應(yīng)行人檢測(cè)的任務(wù)。

3.4　實(shí)驗(yàn)結(jié)果對(duì)比

3.4.1聚類分析

采用對(duì)數(shù)據(jù)集目標(biāo)框進(jìn)行聚類分析的方法得到了適合數(shù)據(jù)集的anchor個(gè)數(shù)和寬高維度。筆者提出的方法與目前最具代表性的目標(biāo)檢測(cè)框架之一Faster-RCNN以及YOLOv2生成候選框的方法對(duì)比，聚類分析得到的候選框數(shù)量較少，減小了計(jì)算的浪費(fèi)，加快了檢測(cè)速度，同時(shí)能保證更高的平均重疊率，對(duì)比結(jié)果如表2所示。

表2　候選框?qū)Ρ缺?/p>

3.4.2底層特征提取層

在行人檢測(cè)中，漏檢和誤檢是共同的問題。為判斷行人檢測(cè)方法的優(yōu)劣，筆者選擇LAMR[18](log-average miss rate)指標(biāo)來作為評(píng)判的標(biāo)準(zhǔn)。LAMR指標(biāo)表示的是FPPI(平均每張圖片誤檢數(shù))在[10-2102]上與漏檢率之間的關(guān)系。以INRIA數(shù)據(jù)集作為實(shí)驗(yàn)數(shù)據(jù)，在FPPI一定(一般為10-1)[19]時(shí)，比較本文的方法與Faster-RCNN、YOLOv2以及傳統(tǒng)HOG+SVM的檢測(cè)效果，實(shí)驗(yàn)結(jié)果如表3所示。

表3　實(shí)驗(yàn)結(jié)果對(duì)比表

從表3可以看出，在誤檢率一定時(shí)，本文方法的漏檢率遠(yuǎn)低于傳統(tǒng)的HOG+SVM方法，同時(shí)相比于直接將YOLOv2運(yùn)用于行人檢測(cè)，加入底層特征提取層的方法將漏檢率降低了1.94%，表3所列的方法中，本文的方法達(dá)到了最佳檢測(cè)效果。將訓(xùn)練好的模型用來檢測(cè)行人，檢測(cè)示例如圖5所示。圖5中顯示了直接應(yīng)用YOLOv2和本文方法檢測(cè)效果對(duì)比，圖5(a)為直接應(yīng)用YOLOv2的檢測(cè)效果，圖5(b)為是本文方法的檢測(cè)效果，從圖5對(duì)比可以看出，本文的方法降低了漏檢率。

圖5　檢測(cè)效果對(duì)比圖

4　結(jié)論

以YOLOv2為基礎(chǔ)，通過加入低層特征提取層，維度聚類分析等方法成功將目標(biāo)檢測(cè)算法移植到行人檢測(cè)。以INRIA數(shù)據(jù)集為實(shí)驗(yàn)數(shù)據(jù)，根據(jù)行人在圖像中呈現(xiàn)高寬比相對(duì)固定的規(guī)律，聚類分析選擇較少的anchor個(gè)數(shù)，并保證了更高的平均重疊率，同時(shí)增加了底層特征提取層，選擇紋理特征算子對(duì)圖像進(jìn)行預(yù)處理，將行人背景差異轉(zhuǎn)化成了紋理差異，突出了行人輪廓，降低了行人的漏檢率，驗(yàn)證了該方法優(yōu)越性。本文還存在訓(xùn)練樣本較少，模型泛化能力不夠等情況。結(jié)合其他輔助信息，提高行人特征表達(dá)能力，進(jìn)一步提升檢測(cè)模型的魯棒性和實(shí)時(shí)性，這是行人檢測(cè)的研究方向，也是下一步工作的研究重點(diǎn)。

參考文獻(xiàn)：

[1]Paul viola, Michael J Jones, Daniel snow. Detecting Pedestrians Using Patterns of Motion and Appearance[J]. International Journal of Computer Vision,2005,63(2):734-740.

[2]Dalai N,Triggs B.Histograms of Oriented Gradients for Human Detection[C]∥ Conference on Computer Vision and Pattern Recognition. Sandiego:[s.n.], 2005:886-893.

[3]Wang X,Han T X,Yan S. An HOG-LBP Human Detector with Partial Occlusion Handling[C]∥ Proc. 2009 IEEE 12th International Conference on Computer Vision. Kyoto: IEEE Press,2009:32-39.

[4]Ouyang W,Wang X.Joint Deep Learning for Pedestrian Detection[C]∥IEEE International Conference on Computer Vision(ICCV).[S.l.]:IEEE,2013:2056-2063.

[5]Krizhevsky A,Sutskever I,Hinton G E.Imagenet Classification with Deep Convolutional Neural Networks[C]∥Advances in Neural Information Processing Systems.[S.l.]:[s.n.],2012:1097-1105.

[6]Loffe S,Szegedy C.Batch Normalization:Accelerating Deep Network Training by Reducing Internal Covariate Shift[C]∥Internation Conference on Machine Learning. [S.l.]:[s.n.],2015：448-456.

[7]He K M,Zhang X,Ren S,et al.Delving Deep into Rectifiers:Surpassing Human-level Performance on Imagenet Classification[C]∥2015 IEEE International Conference on Computer Vision. Santiago: IEEE, 2015：1026-1034.

[8]Girshick R,Donahue J,Darrell T,et al.Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation[J]. Computer Science, 2013(10):580-587.

[9]Girshick R.Fast R-CNN[C]∥IEEE International Conference on Computer Vision. [S.l.]:IEEE,2015:1440 -1448.

[10]Ren S,He K,Girshick R,et al.Faster R-CNN:Towards Real-time Object Detection with Region Proposal Networks[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2015(1):1-6.

[11]Redmon J,Divvala S,Girshick R,et al. You Only Look Once:Unified,Real-time Object Detection[C]∥2016 IEEE Conference on Computer Vision and Pattern Recognition.[S.l.]:[s.n.],2016:779-788.

[12]Wei L,Dragomir A. SSD:Single Shot Multi Box Detector[C]∥ European Conference on Computer Vision. [S.l.]:[s.n.],2016:21-37.

[13]Redmon J, Farhadi A. YOLO9000: Better, Faster, Stronger[C]∥Proceeding of IEEE Conference on Computer Vision and Pattern Recognition. [S.l.]:[s.n.],2017:135-142.

[14]張素潔,趙懷慈.最優(yōu)聚類個(gè)數(shù)和初始聚類中心點(diǎn)選取算法研究[J]. 計(jì)算機(jī)應(yīng)用研究，2017,34(6):1-6.

[15]Ojala T,Harwood I.A Comparative Study of Texture Measures with Classification Based on Feature Distributions[J].Pattern Recognition,1996,29(1):51-59.

[16]INRIA. Person Dataset [DB/OL].[2017-12-8].http:∥pascal.inrialpes.fr/data∥human/.

[17]Daimler. Daimler Pedestrian Detection Benchmark Dataset[DB/OL].[2017-12-8].http:∥www Gavrila.net Reserk_d/Daimler_Mono_Ped_Detection_Be/daimler_mono_ped_detection_be.html.

[18]Wojek C,Dolla P,Schiele B,et al.Pedestrian Detection:An Evaluation of State of the Art[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence,2012,34(4):743-761.

[19]李海龍,吳震東,章堅(jiān)武.基于卷積神經(jīng)網(wǎng)絡(luò)的行人檢測(cè)[J].通信技術(shù),2017(8):662-667.