基于改進YOLOv2模型的駕駛輔助系統(tǒng)實時行人檢測*

白中浩，李智強，蔣彬輝，王鵬輝

（湖南大學(xué)，汽車車身先進設(shè)計制造國家重點實驗室，長沙 410082）

前言

保障行人安全是道路交通安全系統(tǒng)的重要目標之一，這使行人檢測作為駕駛輔助系統(tǒng)（advanced driver assistance systems，ADAS）中的核心組成部分，已成為廣大研究者和相關(guān)企業(yè)共同關(guān)注的熱點。

目前，ADAS中的行人檢測大多是基于視覺的檢測方法。從早期基于背景建模和統(tǒng)計學(xué)習(xí)的檢測方法［1-3］，到近幾年基于深度神經(jīng)網(wǎng)絡(luò)的行人檢測模型［4-7］，都在行人檢測領(lǐng)域取得了較好的效果。尤其是基于深度神經(jīng)網(wǎng)絡(luò)的行人檢測模型由于具有較高的檢測精度和較好的魯棒性已成為行人檢測領(lǐng)域的研究熱點之一［8-12］。Redmon等［13］提出的基于深度神經(jīng)網(wǎng)絡(luò)的YOLO和YOLOv2檢測模型因具有較快的檢測速度而廣泛應(yīng)用于行人檢測中。Molchanov等［14］通過增加?xùn)鸥駭?shù)并改進非極大值抑制算法將YOLO應(yīng)用于行人檢測并取得了較好的效果，但是其檢測速度較慢；Wang等［15］結(jié)合全卷積網(wǎng)絡(luò)的跳躍式結(jié)構(gòu)將YOLOv2檢測模型應(yīng)用于行人檢測，具有較快的檢測速度；Peng等［16］通過將YOLO和高斯混合模型疊加用于變電站行人檢測，其檢測精度比單模型提高了20%。上述研究通過對YOLO或YOLOv2進行優(yōu)化提高了其在應(yīng)用于行人檢測時的檢測速度或精度，但應(yīng)用于ADAS行人檢測時，針對實際道路環(huán)境中存在的復(fù)雜背景行人及小尺寸行人等情況以上方法檢測效果較差，易出現(xiàn)漏檢和誤檢，無法同時滿足檢測精度和檢測實時性的要求。

針對上述問題，本文中對道路環(huán)境復(fù)雜背景行人及小尺寸行人特點進行分析，基于YOLOv2檢測模型，通過針對性改進特征提取網(wǎng)絡(luò)、檢測網(wǎng)絡(luò)及損失函數(shù)，并采用迭代自組織數(shù)據(jù)分析算法（iterative self-organizing data analysis algorithm，ISODATA）［17］對行人邊界框尺寸聚類，提出了ADAS實時行人檢測模型YOLOv2-P。通過行人數(shù)據(jù)集測試并搭建車載行人檢測系統(tǒng)在實際道路環(huán)境中進行行人檢測試驗，驗證了YOLOv2-P行人檢測模型的可靠性，該模型能用于ADAS實現(xiàn)實時行人檢測。

1 YOLOv2基本原理

YOLOv2通過回歸得到各目標邊界框位置及其所屬類別。具體通過將輸入圖像劃分為S×S個柵格，如果一個目標的中心落在某個柵格中，那么該柵格負責(zé)預(yù)測該目標邊界框所在位置及其所屬類別。每個柵格可預(yù)測多個候選框，最終選取置信值最大的候選框作為結(jié)果輸出，其檢測流程如圖1所示。

為獲得更快的檢測速度，YOLOv2設(shè)計Darknet-19作為特征提取網(wǎng)絡(luò)，Darknet-19結(jié)構(gòu)見圖2，其具有19個卷積層和5個池化層，用于實現(xiàn)特征提取。

圖1 YOLOv2檢測流程

圖2 Darknet-19網(wǎng)絡(luò)結(jié)構(gòu)

2 行人檢測YOLOv2-P

2.1 特征提取網(wǎng)絡(luò)

道路環(huán)境中復(fù)雜背景行人及小尺寸行人檢測的共同難點之一是特征提取較困難，無法有效提取待檢測行人關(guān)鍵結(jié)構(gòu)特征導(dǎo)致漏檢率和誤檢率高。針對上述問題，為提高特征提取網(wǎng)絡(luò)精度，在特征提取網(wǎng)絡(luò)中采用參數(shù)化修正線性單元（parametric rectified linear unit，P-ReLU）激活函數(shù)［18］。P-ReLU激活函數(shù)能夠從訓(xùn)練數(shù)據(jù)中自適應(yīng)學(xué)習(xí)參數(shù)，且訓(xùn)練時模型易于收斂，其示意圖如圖3所示。

圖3 P-ReLU激活函數(shù)

其表達式為

式中：xi為P-ReLU激活函數(shù)輸入；αi為可訓(xùn)練參數(shù)。

參數(shù)αi采用反向傳播算法進行訓(xùn)練，反向傳播過程中αi的梯度為式中ε為損失函數(shù)。

可以表示為

αi通過下式進行更新：

式中：μ為動量；η為學(xué)習(xí)速率。

將改進后的網(wǎng)絡(luò)在ImageNet-1000上進行預(yù)訓(xùn)練后作為YOLOv2-P特征提取網(wǎng)絡(luò)。

2.2 檢測網(wǎng)絡(luò)

道路環(huán)境中復(fù)雜背景行人的特征與背景環(huán)境特征較為相似，準確區(qū)分存在較大難度；小尺寸行人在畫面中所占比例小，采用高層特征圖進行檢測易丟失部分信息。上述問題是導(dǎo)致復(fù)雜背景行人和小尺寸行人漏檢率高的主要原因。

在YOLOv2-P特征提取網(wǎng)絡(luò)中，低層特征圖具有較高的分辨率，能夠?qū)π腥宋恢眠M行精準定位；而高層特征圖包含更多的語義信息，能夠處理較大的行人外觀變化，同時能夠?qū)π腥诉M行范圍定位。

為進一步提高復(fù)雜背景行人和小尺寸行人檢測效果，本文中在YOLOv2-P行人檢測網(wǎng)絡(luò)中采用多層特征圖融合方法。通過將低層特征圖信息與高層特征圖信息進行融合，充分利用低層特征圖高分辨率信息。

具體操作為在特征提取網(wǎng)絡(luò)中將尺寸為52×52和26×26的特征圖按行和列隔點采樣后進行特征重排，并與尺寸為13×13的特征圖進行疊加，最終形成通道數(shù)為4 096、尺寸為13×13的特征圖。在融合后的特征提取網(wǎng)絡(luò)中去掉最后1個卷積層，同時增加3個卷積核尺寸為3×3、通道數(shù)為1 024的卷積層，并在這3個卷積層后加1個卷積核尺寸為1×1、通道數(shù)為36的卷積層，形成YOLOv2-P行人檢測網(wǎng)絡(luò)，其結(jié)構(gòu)如圖4所示。

當輸入圖像尺寸為416×416時，輸出為13×13×36。即圖像被劃分13×13個柵格，每個柵格預(yù)測6個候選框，每個候選框的信息通過6個預(yù)測值（x，y，w，h，c，p）來描述。其中，x和y為行人邊界框中心坐標，w和h分別為行人邊界框?qū)挾群透叨?，c為置信值，p為類別概率。

圖4 YOLOv2-P行人檢測網(wǎng)絡(luò)結(jié)構(gòu)

2.3 交叉熵損失函數(shù)

YOLOv2損失函數(shù)包括邊界框中心坐標誤差、邊界框尺寸誤差、置信值誤差和類別概率誤差4部分，采用均方差函數(shù)形式，其中邊界框尺寸誤差表達式為

式中：λ為權(quán)重系數(shù)，其取值為5，用于平衡位置誤差和置信值誤差及類別誤差對損失函數(shù)的貢獻；S2為柵格數(shù)；B為每個柵格預(yù)測候選框數(shù)；loijbj用于判斷第i個柵格中第j個候選框是否包含物體，若包含物體則其取值為1，否則取值為0；wi和hi分別為邊界框?qū)挾群透叨阮A(yù)測值，i和i為其真實值。

在邊界框尺寸誤差中，由于YOLOv2采用sigmoid激活函數(shù)將網(wǎng)絡(luò)輸出的邊界框中心坐標和寬度、高度值約束到（0，1）的范圍內(nèi)，在采用梯度下降法對網(wǎng)絡(luò)權(quán)值進行更新時，會導(dǎo)致梯度值偏小，權(quán)值更新緩慢，網(wǎng)絡(luò)訓(xùn)練時間長。同時，采用均方差函數(shù)形式會導(dǎo)致訓(xùn)練時小尺寸行人產(chǎn)生的損失函數(shù)值偏小，模型訓(xùn)練后對小尺寸行人檢測效果較差。

針對上述問題，本文中使用交叉熵損失函數(shù)形式，以加快權(quán)值更新速度，縮短訓(xùn)練時間，同時對邊界框尺寸誤差采用邊界框尺寸真實值進行歸一化處理，降低邊界框尺寸大小對損失函數(shù)值的影響，改善小尺寸行人檢測效果。采用交叉熵損失函數(shù)并進行歸一化處理后的邊界框尺寸誤差表達式為

式中：n為候選框數(shù)量；lpij用于判斷第i個柵格中第j個候選框是否包含行人，若包含行人則其取值為1，否則取值為0。

采用交叉熵損失函數(shù)形式的邊界框中心坐標誤差為

置信值誤差為

類別概率誤差為

式中：xi，yi，ci，pi分別為邊界框中心坐標、置信值和類別概率的真實值，xi，yi，ci，pi分別為其對應(yīng)的網(wǎng)絡(luò)預(yù)測值，其取值范圍均為（0，1）；lpi用于判斷第i個柵格是否包含行人，若包含行人則其取值為1，否則取值為0。

2.4 行人邊界框尺寸聚類

道路環(huán)境中小尺寸行人漏檢率高的另一個原因是初始候選框尺寸未針對行人數(shù)據(jù)集進行優(yōu)化，初始候選框大小及比例與數(shù)據(jù)集中行人邊界框相差較大。針對上述問題，通過ISODATA對數(shù)據(jù)集中的行人邊界框尺寸進行聚類，根據(jù)行人邊界框尺寸分布完成聚類中心初始化后，通過合并和分裂操作，自適應(yīng)調(diào)整聚類中心數(shù)目，得到與行人數(shù)據(jù)集中邊界框尺寸吻合較好的聚類結(jié)果，其流程如圖5所示。

首先輸入N個樣本｛xi，i＝1，2，…，N｝和聚類參數(shù)，選出Nc個初始聚類中心｛z1，z2，…，zNc｝。聚類參數(shù)定義如下：K為預(yù)期聚類中心數(shù)；θN為每個聚類中最少樣本數(shù)；θs為一個聚類域中樣本距離分布的標準差；θc為兩個聚類中心間的最小距離；L為一次迭代中可以合并的聚類中心的最多對數(shù)；I為迭代運算次數(shù)。

圍繞財政部中心工作，浙江專員辦高度重視部門預(yù)算績效監(jiān)管工作。轉(zhuǎn)型以來，在工作理念上，牢固樹立了以資金績效為核心的預(yù)算閉環(huán)監(jiān)管理念。明確提出預(yù)算編制審核—預(yù)算執(zhí)行監(jiān)控—決算編制審查—預(yù)算編制審核的部門預(yù)算閉環(huán)監(jiān)管體系中，資金績效是監(jiān)管的核心。預(yù)算編制合規(guī)性、科學(xué)性審核，預(yù)算執(zhí)行時效性、規(guī)范性、安全性監(jiān)控，決算編制全面性、合規(guī)性審查最終服務(wù)于消化存量資金、提升資金績效和提升預(yù)算執(zhí)行有效性的管理目標。

對輸入的N個樣本進行近鄰聚類，若第j個聚類域中樣本數(shù)Nj＜θN，則取消該聚類，Nc＝Nc-1，并將該類中的樣本重新分配給其他聚類，重新計算分配后的各聚類中心：

圖5 ISODATA聚類算法流程

式中：Nj為Sj中樣本數(shù)；x為Sj中樣本。

計算各聚類域Sj中樣本與對應(yīng)聚類中心間的平均距離：

式中zj為Sj聚類中心。

計算全部樣本和其對應(yīng)聚類中心的總平均距離：

若迭代運算次數(shù)已達到I次，則置θc為0，并判斷是否滿足合并條件。若迭代次數(shù)未達到I次，則：當Nc≤，即聚類中心數(shù)未超過設(shè)定值的一半時，對當前聚類實施分裂操作；當Nc為偶數(shù)或Nc≥2K時，轉(zhuǎn)至合并操作，否則，進行分裂操作。

分裂操作：首先計算各聚類中樣本距離的標準差向量：

其中

合并操作：對于所有的聚類中心，計算兩兩之間距離：

比較Dij和θc，將所有小于θc的Dij進行升序排列，從最小的Dij開始，對每個Dij對應(yīng)的兩個聚類中心zi和zj進行合并，Nc＝Nc-1，新的聚類中心計算方式為

式中：Nik、Njk和zik、zjk分別為第k對聚類域Si、Sj中樣本數(shù)和聚類中心；L為一次迭代中可以合并的聚類中心的最多對數(shù)。

直到達到迭代次數(shù)I，算法結(jié)束。采用ISODATA對行人數(shù)據(jù)集中行人邊界框尺寸聚類后，將聚類中心作為YOLOv2-P候選框初始尺寸。

3 模型訓(xùn)練

3.1 數(shù)據(jù)集簡介

采用Caltech行人數(shù)據(jù)集［19］和ETH數(shù)據(jù)集［20］對行人檢測模型進行訓(xùn)練和測試。兩個數(shù)據(jù)集均通過車載攝像機拍攝，分辨率為640×480，是目前規(guī)模較大、使用較廣泛的行人數(shù)據(jù)集。

3.2 網(wǎng)絡(luò)訓(xùn)練

在Xeon E5 2620 V4 2.1GHz，32GB內(nèi)存、GTX 1080 8GB平臺上對網(wǎng)絡(luò)進行訓(xùn)練和測試，操作系統(tǒng)為Ubuntu 16.04，配套環(huán)境為CUDA 8.0、CUDNN 6.0以及OpenCv 3.5。

將特征提取網(wǎng)絡(luò)在ImageNet-1000分類數(shù)據(jù)集上訓(xùn)練，網(wǎng)絡(luò)初始學(xué)習(xí)率為0.1，動量為0.9，網(wǎng)絡(luò)訓(xùn)練時初始輸入分辨率為208×208，然后將網(wǎng)絡(luò)輸入分辨率設(shè)置為416×416進行微調(diào)，微調(diào)時學(xué)習(xí)率調(diào)整為0.001，并在ImageNet-1000上進行測試，測試結(jié)果如表1所示。

表1 特征提取網(wǎng)絡(luò)預(yù)訓(xùn)練結(jié)果對比

從表1可以看出：相比Darknet-19，改進后的特征提取網(wǎng)絡(luò)在ImageNet-1000上的Top-1錯誤率降低了1.12個百分點，Top-5錯誤率降低了0.33個百分點。

3.3 行人邊界框尺寸聚類

采用ISODATA對Caltech行人數(shù)據(jù)集和ETH數(shù)據(jù)集中行人邊界框尺寸進行聚類，聚類參數(shù)設(shè)置如下：初始聚類中心數(shù)K為5，聚類中最少樣本數(shù)θN為200，最大標準差θs為0.3，單次迭代合并聚類中心最多對數(shù)L為2，迭代次數(shù)I為100。

通過調(diào)整預(yù)期聚類中心數(shù)KC進行試驗，得到了平均重疊度與聚類中心數(shù)的關(guān)系曲線，如圖6所示。

圖6 平均重疊度與聚類中心數(shù)目關(guān)系

從圖6可以看出，隨著聚類中心數(shù)的增加，平均重疊度不斷增大，當聚類中心數(shù)為6時，平均重疊度達到0.681，繼續(xù)增大聚類中心數(shù)，平均重疊度增加速度明顯減慢。同時，考慮到聚類中心數(shù)過多會增加模型復(fù)雜度、降低檢測速度，為保證檢測實時性，將聚類中心數(shù)定為6。最終得到的行人邊界框尺寸聚類 中 心 為：（0.123，0.384）、（0.141，0.416）、（0.187，0.478）、（0.236，0.511）、（0.305，0.712）和（0.384，0.855）。

4 試驗結(jié)果分析

在Caltech行人數(shù)據(jù)集和ETH數(shù)據(jù)集上對YOLOv2和YOLOv2-P訓(xùn)練后進行測試，并從檢測精度、特殊場景檢測效果和道路環(huán)境檢測效果3個方面對檢測模型效果進行分析。

4.1 檢測精度分析

本文中檢測精度采用對數(shù)平均漏檢率（log-average miss rate，LAMR）［19］進行評價，其計算方式為在平均每張圖片誤檢率［10-2，100］區(qū)間上均勻取9個點計算其對應(yīng)漏檢率的對數(shù)平均值，即

相同情況下對數(shù)平均漏檢率越小表示模型檢測精度越高。將YOLOv2和YOLOv2-P的結(jié)果與一些具有代表性的行人檢測算法結(jié)果［12］進行對比，在Caltech行人數(shù)據(jù)集和ETH數(shù)據(jù)集上的檢測精度曲線如圖7和圖8所示。

圖7 Calteach數(shù)據(jù)集檢測精度

從圖中可以看出，在Caltech行人數(shù)據(jù)集上，YOLOv2-P的對數(shù)平均漏檢率為12.5%，與YOLOv2相比降低了3.6個百分點，與YOLOv3相比降低了2.8個百分點，僅次于DeepParts算法（11.9%）；在ETH數(shù)據(jù)集上，YOLOv2-P的對數(shù)平均漏檢率為34.13%，相比YOLOv2降低了5.99個百分點，相比YOLOv3降低了2.17個百分點，在所有對比算法中取得了最佳檢測精度。

圖8 ETH數(shù)據(jù)集檢測精度

同時，還對各部分改進后的模型檢測精度進行了測試，從Calteach行人數(shù)據(jù)集中選出400張小尺寸行人場景圖片及300張復(fù)雜背景行人圖片構(gòu)成700張圖片的測試數(shù)據(jù)集，分別采用各部分改進后的模型進行測試，測試結(jié)果如表2所示。

表2 各部分改進對檢測精度貢獻對比

從表2中可以看出，通過改進激活函數(shù)、特征圖融合、交叉熵損失函數(shù)及ISODATA聚類，檢測模型對數(shù)平均漏檢率分別降低了1.7，3.2，2.5和2.7個百分點，整體對數(shù)平均漏檢率降低了10.1個百分點，改進后檢測精度明顯提升。

4.2 特殊場景檢測效果分析

為分析特殊場景下模型檢測效果，從Caltech行人數(shù)據(jù)集中分別選取了復(fù)雜背景行人、小尺寸行人兩類特殊場景，采用YOLOv2和YOLOv2-P分別進行檢測，檢測結(jié)果如圖9和圖10所示。

圖9 復(fù)雜背景行人檢測效果對比

圖10 小尺寸行人檢測效果對比

從圖9中可以看出，在行人背景環(huán)境復(fù)雜的情況下，當左側(cè)行人與背景幾乎融為一體時，YOLOv2-P仍然能夠準確檢測到行人所在位置，YOLOv2則出現(xiàn)了漏檢；圖10中，對于右側(cè)距離較遠的小尺寸行人，YOLOv2-P能夠準確檢測出該行人，YOLOv2未能檢測到該行人，出現(xiàn)了漏檢。相比YOLOv2，YOLOv2-P能更好地處理復(fù)雜背景行人和小尺寸行人場景。

為進一步分析YOLOv2-P特殊場景行人檢測效果，還在目前應(yīng)用較多的自動駕駛場景計算機視覺算法評測數(shù)據(jù)集KITTI［21］中進行了試驗，其包括市區(qū)、鄉(xiāng)村等典型道路場景采集的真實圖像數(shù)據(jù)，具有較好的代表性，檢測結(jié)果如圖11所示。

圖11 KITTI數(shù)據(jù)集YOLOv2-P行人檢測效果

從圖11中可以看出，針對KITTI數(shù)據(jù)集典型道路場景中復(fù)雜背景行人和小尺寸行人，YOLOv2-P能夠準確檢測出行人所在位置，具有較好的檢測效果。

4.3 實際道路環(huán)境試驗結(jié)果分析

為驗證YOLOv2-P在實際道路場景中的行人檢測效果，本文中還基于Jetson TX2嵌入式開發(fā)平臺及車載攝像頭模塊搭建了車載行人檢測系統(tǒng)，采用YOLOv2-P算法對道路環(huán)境中的行人進行檢測，系統(tǒng)結(jié)構(gòu)如圖12所示。

圖12 車載行人檢測系統(tǒng)

由位于后視鏡下方的車載攝像頭采集車輛前方圖像，輸入Jetson TX2進行檢測后實時輸出圖像中行人位置，部分試驗場景如圖13所示。

從圖13中可以看出，YOLOv2-P能夠準確檢測圖像中行人位置，在采集的道路行人數(shù)據(jù)集中其對數(shù)平均漏檢率為8.3%，取得了較好的檢測效果；同時其檢測速度約為31幀／s，能夠滿足ADAS實時準確檢測需要。

5 結(jié)論

根據(jù)道路環(huán)境中復(fù)雜背景行人及小尺寸行人特點，基于深度神經(jīng)網(wǎng)絡(luò)檢測模型YOLOv2，通過改進特征提取網(wǎng)絡(luò)、檢測網(wǎng)絡(luò)及損失函數(shù)，并采用迭代自組織數(shù)據(jù)分析算法對行人邊界框尺寸聚類，提出了ADAS實時行人檢測模型YOLOv2-P。相比YOLOv2，YOLOv2-P在Caltech行人數(shù)據(jù)集和ETH數(shù)據(jù)集上對數(shù)平均漏檢率分別降低了3.6和5.99個百分點，檢測精度明顯提升，同時應(yīng)對復(fù)雜背景行人及小尺寸行人場景具有更好的檢測效果。最后基于車載行人檢測平臺的道路場景試驗表明：YOLOv2-P能夠滿足實際道路環(huán)境ADAS行人檢測實時性和準確性需要，在ADAS行人檢測領(lǐng)域具有較好的應(yīng)用前景。

圖13 道路環(huán)境YOLOv2-P行人檢測效果