基于差異性區(qū)域預(yù)測的行人與騎車人聯(lián)合檢測*

肖艷秋，周 坤，崔光珍，房占鵬，孫啟迪，劉燕旗

（鄭州輕工業(yè)大學(xué)機電工程學(xué)院，鄭州 450003）

前言

高級別的自動駕駛技術(shù)包括高精地圖構(gòu)建與定位、環(huán)境感知、路徑規(guī)劃和控制決策4 個方面。環(huán)境感知作為其中重要的環(huán)節(jié)，由車載相機和雷達等傳感器實時檢測行車周圍各種物體（如行人、騎車人、車輛和交通信號燈等），獲取其位置信息并預(yù)測相應(yīng)的運動軌跡［1］。車載相機因其采集的數(shù)據(jù)信息十分豐富和成本低廉的特點廣泛應(yīng)用于自動駕駛領(lǐng)域?；谲囕d相機的物體檢測需要在圖片或視頻中識別出物體的具體區(qū)域并進行定位，得出相對距離和速度矢量，然后將得到的信息作為車輛運動軌跡規(guī)劃的約束條件，用以生成最優(yōu)運動軌跡［2］。行人與騎車人（包括騎自行車、摩托車或電動車的人員，如圖1 所示）作為重要的交通參與者，其數(shù)量龐大、且隨機分布于道路各處。在一定行車范圍內(nèi)為保證駕駛安全，自動駕駛車輛必須準(zhǔn)確及時地檢測到所有行人和騎車人并避開。因兩者特征高度相似，檢測器往往無法準(zhǔn)確區(qū)分行人與騎車人，檢測結(jié)果易出錯，會極大地影響駕駛安全性。因此，須探索一種準(zhǔn)確區(qū)分行人與騎車人的檢測方法。

圖1 行人與騎車人及混淆檢測實例

行人、騎車人不同于交通標(biāo)志和汽車等類的一般靜態(tài)物體，其顏色和形狀可作為特征進行檢測，如交通標(biāo)志一般形狀有圓形、三角形、矩形，顏色有綠色、紅色、黃色，檢測時可以將這些特有的特征作為篩選條件，快速捕捉到該交通標(biāo)志在圖像中的位置并加以識別。相比之下，行人、騎車人并無這種明顯的形狀和顏色特征。原始的通用目標(biāo)檢測器無法較好地適應(yīng)，檢測過程中經(jīng)常存在虛檢和漏檢的情況。因此，對原始通用目標(biāo)檢測器進行改進成為多數(shù)學(xué)者解決該問題的主要途徑之一。Zhang 等［3］分析了快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)（faster region convolutional neural networks，F(xiàn)aster R?CNN［4］）在Caltech 行人數(shù)據(jù)集［5］中漏檢率高的原因，將人工特征的特點拓展到深度卷積網(wǎng)絡(luò)中，在提升檢測器泛化性能的同時大幅降低了計算成本。Mao 等［6］通過聚合額外的分割通道和邊緣通道特征提高行人檢測精度，并采用多步監(jiān)督訓(xùn)練的方式改善檢測器，行人與騎車人的聯(lián)合檢測要求檢測器學(xué)會識別行人與騎車人的共有部位，同時能夠分辨出不同部位。李曉飛等［7］提出了一種基于冗余策略的候選區(qū)域生成方法，用于騎車人的檢測，通過對騎車人共有差異性區(qū)域檢測和視覺幾何約束精確獲得騎車人的候選區(qū)域，保證了騎車人的識別準(zhǔn)確率。陳文強等［8］針對現(xiàn)有檢測方法不能有效區(qū)分行人與騎車人的問題，通過設(shè)計難例提取、多層特征融合和多目標(biāo)候選區(qū)域輸入等手段對Faster R?CNN 進行改進。Liu 等［9］對YOLO 算法［10］進行改進并將其運用在行人與騎車人的檢測中，使用聚合通道特征提取目標(biāo)建議區(qū)域，并設(shè)計一種邊框合并拓展方法，將其用于原始YOLO 算法，以保證高效檢測，同時提升對小尺度目標(biāo)的檢測準(zhǔn)確性。此類方法通過豐富騎車人特征生成準(zhǔn)確的建議區(qū)域。然而，當(dāng)面臨遮擋（實際上指部分遮擋，下同）情況下的行人和騎車人時，檢測器是否能夠精確分辨出該區(qū)域被其他物體遮擋的是行人還是騎車人仍缺乏研究。

本文中針對以上研究分析，提出一種能夠較好地區(qū)分行人與騎車人的聯(lián)合檢測方法。首先，基于Faster R?CNN 檢測框架進行改進，通過構(gòu)建子網(wǎng)絡(luò)生成形狀特征通道，與VGG16 主干網(wǎng)絡(luò)生成的特征圖進行集成，增加行人和騎車人的特征描述。其次，構(gòu)建用于區(qū)分行人與騎車人的差異性區(qū)域預(yù)測單元，通過增加行人與騎車人部件池化單元完成其建議區(qū)域各部分的識別，將部件的加權(quán)特征與整體特征進行聚合，送至分類器進行分類與回歸，得到行人與騎車人的檢測結(jié)果。最后，通過Caltech 行人數(shù)據(jù)集和本文所構(gòu)建的行人-騎車人數(shù)據(jù)集的對比實驗，驗證本文中提出方法的有效性。

1 本文方法

1.1 方法概述

行人與騎車人檢測屬于計算機視覺領(lǐng)域中通用目標(biāo)檢測的一種特殊案例，可視為同時對行人與騎車人兩種目標(biāo)進行檢測，在圖像中識別并定位出這兩種目標(biāo)。由于行人與騎車人相似度在50%以上，一般的通用目標(biāo)檢測器并不能很好地區(qū)分這兩類目標(biāo)。具體表現(xiàn)為定位框同時包含了行人與騎車人，使其位置信息重合，難以保證較好的應(yīng)用效果。通過對檢測結(jié)果實例分析發(fā)現(xiàn)，出現(xiàn)行人與騎車人混淆的原因有兩方面：一是在進行檢測器訓(xùn)練時，其標(biāo)注數(shù)據(jù)沒有區(qū)分騎車人與行人，該問題可通過清洗數(shù)據(jù)重新標(biāo)注來解決；二是檢測器在處理受遮擋的行人時，將騎車人認(rèn)成部分被遮擋的行人，因此出現(xiàn)誤檢。

本文中采用目前應(yīng)用效果較好的Faster R?CNN框架對其進行改進。Faster R?CNN 網(wǎng)絡(luò)是由Fast R?CNN［11］網(wǎng)絡(luò)改進得到的，見圖2。其網(wǎng)絡(luò)架構(gòu)可分為兩部分：一部分是用于深度特征提取的Fast R?CNN網(wǎng)絡(luò)，另一部分是用于提取目標(biāo)候選區(qū)域的區(qū)域建議網(wǎng)絡(luò)（region proposal network，RPN）。Faster R?CNN 檢測效果較好是因為在候選區(qū)域提取過程中，使用RPN 代替了Fast R?CNN 所使用的selective search［12］方法，使原來網(wǎng)絡(luò)需求的2 000 個候選區(qū)域縮減至300 個，大幅減少了檢測時間。其次，F(xiàn)aster R?CNN 通過將建議區(qū)域生成、特征提取等步驟進行融合，并利用感興趣區(qū)域池化層（ROI pooling）共享網(wǎng)絡(luò)參數(shù)的方式，提升了深度特征提取的準(zhǔn)確度。采用Faster R?CNN 作為基本檢測法，是因為其在建議區(qū)域生成階段能夠更好地分析與調(diào)整行人與騎車人的特征。與直接在卷積層中做檢測的單級檢測法（如SSD［13］、YOLO 等）相比，F(xiàn)aster R?CNN 的特征描述能力更強。

圖2 Faster R?CNN檢測框架

本文所使用的主干網(wǎng)絡(luò)是Simonyan 等［14］提出的16 層深度卷積神經(jīng)網(wǎng)絡(luò)模型VGG16。它采用了相同的卷積核和多層卷積與池化堆疊方式，廣泛用于深度學(xué)習(xí)和計算機視覺領(lǐng)域。原始的VGG16 網(wǎng)絡(luò)模型包括13 個卷積層、13 個ReLU 層、4 個池化層、3 個全連接層和1 個softmax 層，以池化層作為分界可將其分為5 個卷積層組。為更好地描述和區(qū)分行人與騎車人特征，本文中采用多種語義特征集成的方法生成檢測特征圖，具體為淺層邊緣特征與深層卷積特征的集成，在保證圖像高級語義情況下通過增加形狀特征語義增強行人與騎車人的特征描述。此外，構(gòu)建了行人與騎車人差異性預(yù)測單元，在保證檢測精度的同時提高了區(qū)別行人與騎車人的能力。具體檢測流程如圖3 所示。

圖3 行人與騎車人聯(lián)合檢測網(wǎng)絡(luò)結(jié)構(gòu)

1.2 基于多通道融合的特征增強

Mao 等［6］探究了額外的通道特征對檢測性能的提升，通過實驗證明了在卷積網(wǎng)絡(luò)中增加不同等級的語義通道，有益于提高檢測器的性能，尤其是邊緣通道和語義分割通道。由于在進行行人與騎車人聯(lián)合檢測時，形狀因素是區(qū)別二者最大的特征，故采用類似的方法將原始圖像在LUV 顏色通道［15］、FHOG通道［16］、邊緣通道［17］作為輔助行人與騎車人檢測的額外信息，用于在建議區(qū)域生成階段，提升區(qū)分能力。

深度神經(jīng)網(wǎng)絡(luò)的不同層次能夠表征物體不同維度的信息。高層信息表征類別信息，具有更強的抽象性和關(guān)于復(fù)雜干擾因素的不變性，可以區(qū)分不同類別的目標(biāo)；低層信息表征細(xì)節(jié)信息，具有關(guān)于平移等簡單變換的不變性，可以用來區(qū)分同類別相似的目標(biāo)。且一些低級語義信息可以通過淺層的卷積網(wǎng)絡(luò)獲得。通過構(gòu)建子網(wǎng)絡(luò)生成目標(biāo)邊緣特征圖，并與VGG16 生成的特征圖進行集成，其結(jié)構(gòu)如圖4 所示。所構(gòu)建的淺層網(wǎng)絡(luò)包括4 層卷積層，輸入342×342 為LUV 顏色通道、sobel 邊緣通道與FHOG 通道聚合圖，輸出28×28大小64通道的邊緣特征圖，并與主干網(wǎng)絡(luò)特征圖進行集成。采用額外的特征圖作為監(jiān)督訓(xùn)練子網(wǎng)絡(luò)，其損失函數(shù)為

圖4 生成L?Edge特征的子網(wǎng)絡(luò)

將兩個以上的特征圖進行集成通常有兩種方 法，按 元素 相加（element?wise add）［18］和 連 接（concatenation）［19］。按元素相加是增加圖像特征的信息，圖像本身的維度并沒有增加。而連接則是通道數(shù)的合并，描述特征的信息量并沒有增加。對于兩路輸入來說，如果通道數(shù)相同且后面帶卷積，按元素相加等價于連接之后對應(yīng)通道共享同一個卷積核。假設(shè)兩路輸入的通道分別為X1，X2，…，Xn和Y1，Y2，…，Yn，則連接的單個輸出通道為

式中K為卷積核。

為使特征圖對行人和騎車人的描述更加豐富，增加淺層邊緣通道對檢測目標(biāo)的表達，采用連接方法對各通道特征圖進行連接。為減少通道集成所帶來的計算消耗，去除VGG16 的conv5 卷積層。在邊緣特征圖與主特征圖中加入批量歸一化層后進行連接操作，完成64通道與conv4生成的512通道特征圖的集成。

1.3 差異性區(qū)域預(yù)測單元設(shè)計與構(gòu)建

Faster R?CNN 采用特征圖共享的方式進行檢測，將RPN 網(wǎng)絡(luò)生成的建議區(qū)域映射到感興趣區(qū)域池化層，進一步將建議區(qū)域特征送至全連接層并采用softmax 分類器完成區(qū)域識別和定位回歸。但行人與騎車人相似度大于50%，F(xiàn)aster R?CNN 同時檢測行人與騎車人時會出現(xiàn)混淆情況。本文中在Faster R?CNN 基礎(chǔ)上，基于上節(jié)所述的聚合特征圖，構(gòu)建對行人與騎車人身體部件的差異性預(yù)測單元，集成行人與騎車人的先驗結(jié)構(gòu)信息與差異性預(yù)測，實現(xiàn)行人與騎車人不同區(qū)域的區(qū)分。

對于所生成的每個大小為H×W 的建議區(qū)域R，將其分為4 個部分（P1、P2、P3、P4），即一個頭肩部位、一個軀干部位和兩個腿部位，具體大小為頭肩部0.25H×0.5W，軀干部位0.35H×0.7W，腿部0.5H×0.8W，如圖5 所示。在原ROI Pooling 基礎(chǔ)上增加4個部位的子ROI Pooling，分別生成該4 個部位的特征（F1、F2、F3、F4），然后將該特征送至可見部位區(qū)分單元中生成置信度得分（S1、S2、S3、S4）；同時對主ROI Pooling 生成的特征F，采用元素求和方法［18］，得到最終用于識別和定位的特征Y=F⊕（S1·F1）⊕（S2·F2）⊕（S3·F3）⊕（S4·F4），如圖6所示。

圖5 部件結(jié)構(gòu)劃分

圖6 差異性區(qū)域區(qū)分策略

將騎車人誤檢成行人的原因在于檢測器處理建議區(qū)域時，將騎車人中的身體部分視為被其他物體遮擋的行人。因此，本文中通過所構(gòu)建的部件差異性預(yù)測單元，區(qū)分行人下半身部位類別，分別為行人本體、其他物體或騎行工具。所設(shè)計的差異性預(yù)測單元如圖6所示，包括3個卷積層、1個softmax層和1個歸一化加權(quán)層，對輸入的部件特征（F1、F2、F3、F4）計算響應(yīng)得分，判斷該部位的類別。其中，卷積層的作用是將特征映射到低維空間，以便于運算；softmax層用于對各部件所屬類別進行置信度計算并分類；歸一化加權(quán)層用于將歸一化后的權(quán)重加權(quán)到每個通道的特征上。

設(shè)eij表示第i個建議區(qū)域的第j個部件，sij代表該預(yù)測部件的差異性響應(yīng)得分，表示真實部位的差異性響應(yīng)得分。如果eij可見，則sij為1，否則sij為0。當(dāng)j=1 或2 時，須計算兩類響應(yīng)得分，即人體概率和其他物體的概率；當(dāng)j=3 或4 時，須計算3 種響應(yīng)得分，即人體概率、騎行工具概率和其他物體概率。在計算最終檢測結(jié)果時，取響應(yīng)得分最高的類別作為該部件分類結(jié)果。特別地，如果sij的區(qū)域與真實對象可見區(qū)域的交集比上sij的區(qū)域閾值大于0.5，則，否則。其計算公式為

式中：M（·）為sij的區(qū)域；N（·）為物體真實差異性區(qū)域；∩為兩個區(qū)域的交集計算；θ 為所設(shè)定的閾值0.5。該差異性區(qū)域預(yù)測單元的損失函數(shù)可表示為

在此基礎(chǔ)上，應(yīng)用元素相乘算子對各部分的特征集合和相應(yīng)的預(yù)測差異性得分進行相乘，得到最終的特征尺寸為512×7×7。通過使用元素求和運算，將4 部分提取的特征分類和回歸結(jié)果同整體結(jié)果相結(jié)合，即可完成檢測過程。整體的損失函數(shù)定義為

式中：pi和分別為預(yù)測物體的概率和真值；α 和β為權(quán)重系數(shù)，用于平衡4 個損失，取α 為0.6，β 為1；LRPN和Lfastr-cnn分別表示RPN 損失［4］和Fast R?CNN 分類與回歸損失［11］。

2 實驗分析

為驗證本文所提方法的有效性，在兩種不同的數(shù)據(jù)集中進行仿真和評估對比，一種為本文所構(gòu)建的行人-騎車人數(shù)據(jù)集，另一種為研究領(lǐng)域認(rèn)可度較高的Caltech行人數(shù)據(jù)集。采用隨機梯度下降（SGD）算法對網(wǎng)絡(luò)進行端到端訓(xùn)練，學(xué)習(xí)率為0.001，動量為0.9，權(quán)重衰減設(shè)置為0.000 5，迭代次數(shù)設(shè)置為90×103。本文中采用多步訓(xùn)練方法，根據(jù)網(wǎng)絡(luò)中各部分功能將訓(xùn)練劃分為4 個階段。首先，只訓(xùn)練邊緣特征生成網(wǎng)絡(luò)AC，此時保持RPN、Fast R?CNN 和SPU 網(wǎng)絡(luò)不變；其次，訓(xùn)練主干網(wǎng)絡(luò)和RPN，固定AC網(wǎng)絡(luò)參數(shù)；然后保持RPN 和AC 網(wǎng)絡(luò)參數(shù)不變，只訓(xùn)練Fast R?CNN 和SPU；最后對所有層進行聯(lián)合優(yōu)化。同時，所有實驗均在一臺具有32GB RAM 的Intel Xeon Sliver 4110 服務(wù)器的單個CPU 內(nèi)核上實現(xiàn)，包括兩個NVIDIA Tesla P4 GPU（用于加速運算）。

2.1 數(shù)據(jù)集與評估方法

2.1.1 數(shù)據(jù)集

Caltech 數(shù)據(jù)集：該數(shù)據(jù)集是最流行的行人檢測數(shù)據(jù)集之一，由車輛在城市環(huán)境中拍攝得到的10 h視頻組成。視頻分為11 組，每組有幾分鐘長的seq文件和相應(yīng)的注釋信息，包括6 個訓(xùn)練集（set00?set05）和5 個測試集（set06?set10）。訓(xùn)練數(shù)據(jù)由42 782 幅圖像組成，標(biāo)準(zhǔn)測試數(shù)據(jù)由4 024 幅圖像組成，行人身高50像素以上，不可見率不超過35%。

行人-騎車人數(shù)據(jù)集：本文中構(gòu)建了用于聯(lián)合訓(xùn)練的行人-騎車人數(shù)據(jù)集，該數(shù)據(jù)集圖像共6 821張，其中訓(xùn)練集4 775 張，測試集20 46 張，大小為1440×1080，用隨機生成的方法采集自我國某城市不同時間段和不同道路的行人與騎車人圖像，具體實例可參考圖1。該數(shù)據(jù)集共標(biāo)注了約70 000 個行人與騎車人的注釋框。本數(shù)據(jù)集未對像素高度低于20、不可見度超過70%的目標(biāo)進行標(biāo)注，采用隨機生成的方法獲得。

2.1.2 評估方法

為更好地將本文方法與其他相近方法進行比較，采用計算機視覺領(lǐng)域中廣泛采用的評估指標(biāo)PR曲線和MR-FPPI 曲線［5］。PR 曲線表示精度與召回率的關(guān)系，通過改變檢測的IOU 閾值繪制出精度與召回率的對比圖，曲線越高，性能越好。MR-FPPI曲線表示對數(shù)平均誤檢率（log-average miss rate，MR）與每張圖像誤檢率（FPPI）的對比圖，曲線越低，檢測方法的性能越好。即選取的每幅圖像的誤檢率（FPPI）在［10-2，100］范圍內(nèi)，所對應(yīng)的對數(shù)平均誤檢率作為檢測器性能的評價標(biāo)準(zhǔn)。

2.2 結(jié)果分析

2.2.1 行人-騎車人數(shù)據(jù)集結(jié)果分析

圖7 為本文方法在行人-騎車人測試集中的PR曲線，行人檢測精度達到79%，騎車人檢測精度達到83%。由于數(shù)據(jù)集中騎車人所占比例高于行人，且騎車人比行人所占圖像像素大，對于存在的小尺度目標(biāo)，在相同條件下識別行人比識別騎車人難度大，因此行人檢測精度略低于騎車人檢測精度。

圖7 行人-騎車人測試集檢測的PR曲線

為更好地驗證本文方法的效果，在保證相同訓(xùn)練集與測試集的條件下分別使用Faster R?CNN 和SSD 檢測算法與本文方法進行對比。其訓(xùn)練條件和測試結(jié)果如表1 所示。3 種方法的PR 曲線如圖8所示。

由表1 和圖8 可知，本文方法相對于原始Faster R?CNN 具有較高的提升效果，行人檢測精度相比于原始Faster R?CNN 提升了4 個百分點，騎車人檢測率提升了6 個百分點。同時本文方法比自動駕駛應(yīng)用效果較好的SSD 方法檢測精度均有更大的提升。此外，每張圖像平均檢測時間0.135 s，比SSD 長40%，但比原始Faster R?CNN 略短。圖9 示出在行人-騎車人數(shù)據(jù)集中的部分結(jié)果。檢測器能夠準(zhǔn)確地檢測到圖像中的行人和騎車人，且基本不存在將騎車人誤檢為行人的情況，比原始Faster R?CNN 有較大的改善，所訓(xùn)練的檢測器在處理遮擋時同樣具有較好的能力。

表1 3種算法訓(xùn)練測試對比

圖8 3種方法精度對比

圖9 行人-騎車人數(shù)據(jù)集部分檢測結(jié)果

2.2.2 Caltech數(shù)據(jù)集結(jié)果分析

由于Caltech 數(shù)據(jù)集中只標(biāo)注了行人，對于騎車人也只是將人標(biāo)注出來，按照原始的Caltech 標(biāo)注訓(xùn)練時，無法有效區(qū)分行人與騎車人。因此本文對Caltech 數(shù)據(jù)集中的騎車人標(biāo)注進行了修改，由于Caltech 數(shù)據(jù)集中騎車人數(shù)量比行人少些，測試的參考意義不大，故本實驗中只評估所訓(xùn)練的檢測器對行人檢測的性能。通過采用目前最先進的幾種算法在Caltech 數(shù)據(jù)集（行人高度50 像素以上，寬高比0.2 以上）和其不同子集中的測試結(jié)果與本文方法進行對比，包括普通（Reasonable）子集（行人高度50像素以上，寬高比0.65 以上），遮擋（Occluded）子集（行人高度50像素以上，寬高比在0.2～0.65之間）驗證本文方法的有效性。圖10 所示為目前幾種最先進 的 行 人 檢 測 方 法（SDS R?CNN［20］、RPN+BF［3］、UDN+［21］）與本文方法在All Caltech 數(shù)據(jù)集中的PR曲線對比。

圖10 幾種先進方法PR對比

由圖10 可見，本文方法在All Caltech 數(shù)據(jù)集中取得了75%的精度，接近于SDS R?CNN 77%，RPN+BF 77%，UDN+76%，因此本文方法具有較好的檢測效果。為更加細(xì)致地驗證檢測器對多種場景下的檢測 能 力，將 本 文方 法 與HOG［22］、DPM［16］、ACF［23］、LDCF［24］、Checkerboards［25］、SSD、Faster R ? CNN、JointDeep［26］、TA?CNN［27］在Caltech 數(shù)據(jù)集中的測試結(jié)果進行對比，采用MR-2作為評價各個方法性能的指標(biāo)，對比結(jié)果如圖11和表2所示。

圖11 幾種先進方法FPPI對比

表2 幾種先進方法在Caltech數(shù)據(jù)集的平均誤檢率對比

由圖11和表2可知，在普通子集中，本文的平均誤檢率為15%，在所有對比方法中最優(yōu)，比傳統(tǒng)機器學(xué)習(xí)方法ACF 低29%，相比于SSD 和Faster R?CNN分別降低了11個百分點和8個百分點。在全集與遮擋子集中，相比于改進前的Faster R?CNN，本文方法仍取得了較好的效果。全集中，本文平均誤檢率為67%，分別比ACF、SSD、Faster R?CNN 低13 個百分點、5 個百分點、3 個百分點。遮擋子集中，本文平均誤檢率為33%，相比于ACF、SSD、Faster R?CNN 有大幅提升，說明本文方法對于處理遮擋問題仍具有較強的競爭力。同時，為直觀展示本文檢測器的性能，圖12 示出本文方法在Caltech 數(shù)據(jù)集中的部分檢測結(jié)果。

圖12 Caltech 數(shù)據(jù)集部分檢測結(jié)果

圖12 為在Caltech數(shù)據(jù)集中的檢測結(jié)果，在區(qū)分行人與騎車人時仍表現(xiàn)出較好的分辨能力，但對于圖像中存在的小尺度目標(biāo)，檢測器可靠性較低，存在誤檢情況。綜合以上結(jié)果分析，本文方法相比于傳統(tǒng)機器學(xué)習(xí)方法有著大幅度提升，相比于原始的SSD和Faster R?CNN，誤檢和虛檢性能均有不小的提升，尤其在處理遮擋時，本文方法效果最為明顯，證明了本文中所提的聚合語義通道和差異性預(yù)測策略的有效性。

3 結(jié)論

提出了一種有效區(qū)分行人與騎車人的聯(lián)合檢測方法，在原始Faster R?CNN 檢測算法基礎(chǔ)上進行改進，解決了在進行檢測時易將行人與騎車人混淆的問題。通過增加子網(wǎng)絡(luò)，提取額外的淺層邊緣特征并與深度卷積特征進行融合，加強檢測器對目標(biāo)形狀特征的學(xué)習(xí)，并對VGG16 網(wǎng)絡(luò)結(jié)構(gòu)進行調(diào)整以縮短訓(xùn)練時間。進一步分析了行人與騎車人檢測時出現(xiàn)混淆的原因，并構(gòu)建了其差異性預(yù)測單元，用于加強對行人與騎車人建議區(qū)域的區(qū)分，通過分布訓(xùn)練的方式提升網(wǎng)絡(luò)的學(xué)習(xí)能力。采用本文的方法構(gòu)建的行人-騎車人數(shù)據(jù)集中進行檢測的行人精確率為79%，騎車人精確率為83%，高于原始Faster R?CNN和自動駕駛廣泛使用的SSD 算法，同時極大地降低了行人和騎車人誤檢的概率。此外，在Caltech Reasonable 數(shù)據(jù)集中取得了MR-2為15%的結(jié)果，與目前幾種主流的算法進行對比后證明，本文方法具有較大的競爭力。今后進一步研究工作將是網(wǎng)絡(luò)和訓(xùn)練策略的優(yōu)化，以提高檢測器檢測小尺度目標(biāo)的穩(wěn)定性。