基于YOLOv4網(wǎng)絡(luò)模型的臨時(shí)道路識(shí)別算法

王浩東, 王立勇*, 蘇清華，謝敏，王超，丁炳超

(1.北京信息科技大學(xué)，北京 100192；2.現(xiàn)代測(cè)控技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室，北京 100192)

0 引言

隨著傳感器技術(shù)和人工智能的發(fā)展，無人駕駛技術(shù)已經(jīng)成為國內(nèi)外企業(yè)和科研機(jī)構(gòu)的重點(diǎn)研究方向。為了解決道路交通的安全和效率問題，研究人員賦予車輛環(huán)境感知和自主決策控制能力，實(shí)現(xiàn)輔助駕駛甚至自動(dòng)駕駛。在無人駕駛系統(tǒng)中，感知道路、障礙物和交通標(biāo)識(shí)是進(jìn)行決策和控制的基礎(chǔ)[1]。

機(jī)器視覺能夠提供豐富的顏色和紋理信息，盡管受光照、天氣的影響可能會(huì)降低檢測(cè)精度；但由于其成本遠(yuǎn)低于激光雷達(dá)(LiDAR)，因此被廣泛應(yīng)用在自動(dòng)駕駛領(lǐng)域中[2]，如檢測(cè)車輛、行人、道路和交通標(biāo)志等。尉天成等[3]提出交通標(biāo)志檢測(cè)網(wǎng)絡(luò)的錨盒框改進(jìn)和優(yōu)化方法，設(shè)計(jì)多分支卷積并聯(lián)結(jié)構(gòu)，使目標(biāo)特征更加顯著，提高FasterRCNN網(wǎng)絡(luò)在不同環(huán)境和尺度下的識(shí)別效果。龍建武等[4]將車道線檢測(cè)定義為像素分類問題，通過增加解碼器分支和知識(shí)蒸餾思想，提升主流算法檢測(cè)車道線的能力。

隨著機(jī)器學(xué)習(xí)算法的不斷發(fā)展，將機(jī)器學(xué)習(xí)與機(jī)器視覺技術(shù)相結(jié)合的研究也不斷深入?；谏窠?jīng)網(wǎng)絡(luò)的算法將目標(biāo)檢測(cè)問題轉(zhuǎn)化為圖像分類問題[5]，由于其具有檢測(cè)速度快、精度高、健壯性好等優(yōu)點(diǎn)，因此近年來得到很大的發(fā)展?；谏窠?jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)算法可分為一階段檢測(cè)算法和兩階段檢測(cè)算法[6]。兩階段檢測(cè)算法分階段進(jìn)行目標(biāo)定位和分類，主要包括FasterRCNN[7]、CPNDet[8]等算法，這些方法檢測(cè)精度較高，但計(jì)算量較大。一階段檢測(cè)算法可直接識(shí)別圖像中的目標(biāo)類別及其位置，計(jì)算量較小，隨著一階段檢測(cè)算法精度的提高，這種算法能夠同時(shí)滿足無人駕駛系統(tǒng)對(duì)精度和實(shí)時(shí)性的要求[9]，主要包括You Only Look Once(YOLO)[10]系列、EfficientDet[11]等算法。2018年，Redmon等[12]提出目標(biāo)檢測(cè)算法YOLOv3，使用了特征金字塔和多尺度檢測(cè)等方法，但是它的小尺寸目標(biāo)檢測(cè)性能較差。為解決這個(gè)問題，Wang等[13]于2020年提出YOLO系列算法Scaled-YOLOv4，改進(jìn)了正、負(fù)樣本的判定策略，提高小目標(biāo)的檢測(cè)性能，較好地平衡了檢測(cè)速度和精度。

目前，對(duì)于具有車道標(biāo)線和明顯邊緣特征的結(jié)構(gòu)化道路，如高速公路和大多數(shù)城市道路，車道線檢測(cè)算法已經(jīng)取得良好的檢測(cè)效果，但是針對(duì)在臨時(shí)交通管制或突發(fā)路況下由交通錐桶構(gòu)建的臨時(shí)道路的檢測(cè)研究則不多。交通錐桶體積小，位置不固定，所以檢測(cè)難度較大。Zhou等[14]提出一種使用立體視覺系統(tǒng)獲取交通錐桶位置的方法，通過對(duì)像素的RGB值進(jìn)行歸一化處理，以減少亮度不均勻?qū)D像的影響，根據(jù)顏色特征確定候選交通錐桶位置，使用經(jīng)過訓(xùn)練的AdaBoost分類器最終確定錐桶的位置，但是該方法受環(huán)境的影響較大，早晨、傍晚等光照條件下將無法工作。Kalms等[15]通過提取Haar特征和訓(xùn)練級(jí)聯(lián)分類器，將Viola-Jones算法應(yīng)用于交通錐桶檢測(cè)，但這種基于特征的方法泛化性較差，動(dòng)態(tài)環(huán)境、變化的光照條件都將導(dǎo)致檢測(cè)失敗。Huang等[16]通過融合激光雷達(dá)和視覺傳感器的信息來檢測(cè)交通錐桶。該算法首先通過單應(yīng)變換算法將激光雷達(dá)數(shù)據(jù)中的障礙物映射到圖像中作為候選區(qū)域，然后使用形狀匹配方法確定候選區(qū)域是否為交通錐桶；但由于交通錐桶的尺寸小，激光雷達(dá)獲取的交通錐桶點(diǎn)云較稀疏，因此可能無法識(shí)別到25 m以外的交通錐桶。Wang等[17]使用同時(shí)基于顏色和形狀特征的方法檢測(cè)交通錐桶，并將結(jié)果映射到深度圖像以同時(shí)獲得三維位置，但它需要手工設(shè)定顏色閾值以適應(yīng)不同環(huán)境。Dhall等[18]提出一種基于深度學(xué)習(xí)的交通錐桶檢測(cè)方法，訓(xùn)練一個(gè)YOLOv2網(wǎng)絡(luò)檢測(cè)交通錐桶，并訓(xùn)練一個(gè)卷積神經(jīng)網(wǎng)絡(luò)提取交通錐桶的關(guān)鍵點(diǎn)進(jìn)行Perspective-N-Points(PNP)計(jì)算，獲得其空間位置，但計(jì)算得到的空間位置誤差較大，且同時(shí)運(yùn)行2個(gè)神經(jīng)網(wǎng)絡(luò)算法對(duì)系統(tǒng)性能要求較高。

本文中提出一種臨時(shí)道路檢測(cè)算法，該算法使用YOLOv4模型檢測(cè)彩色圖像和深度圖像中的交通錐桶，通過基于歐氏距離的邊界框匹配方法，計(jì)算2種檢測(cè)結(jié)果的匹配關(guān)系，同時(shí)獲取交通錐桶的顏色和位置信息，最終完成臨時(shí)道路的路徑規(guī)劃。建立一個(gè)交通錐桶數(shù)據(jù)集，包含彩色圖像和深度圖像，并人工對(duì)其中的交通錐桶進(jìn)行標(biāo)注。

1 材料和方法

1.1 實(shí)驗(yàn)車輛和交通錐桶

本文使用的實(shí)驗(yàn)車輛為一臺(tái)長2.6 m、寬1.5 m、高1.65 m的方程式賽車，它由一臺(tái)功率80 kW的直流電機(jī)和一塊容量為14 A·h的直流電池驅(qū)動(dòng)，車輛控制系統(tǒng)包括一臺(tái)工控機(jī)(Intel i7-7700 CPU、NVIDIA GTX2060 GPU、16G RAM)，一個(gè)車輛控制單元(vehicle control unit, VCU)和一套機(jī)器視覺系統(tǒng)，實(shí)驗(yàn)車輛和交通錐桶如圖1所示。

圖1 實(shí)驗(yàn)車輛和交通錐桶

交通錐桶包括紅、藍(lán)、黃3種顏色，錐體長度為200 mm，寬度為200 mm，高度為300 mm，中間有一條反射帶。在本文中，紅色和藍(lán)色交通錐桶分別標(biāo)記臨時(shí)道路的左邊緣和右邊緣，黃色交通錐桶用于標(biāo)記道路的起點(diǎn)和終點(diǎn)。

1.2 機(jī)器視覺系統(tǒng)

本文使用中科慧眼的Smart Eye B1機(jī)器視覺系統(tǒng)，如圖2所示，該系統(tǒng)由4個(gè)6 mm焦距攝像頭(2個(gè)彩色攝像頭和2個(gè)單色攝像頭)組成，水平視野為50°，機(jī)器視覺系統(tǒng)以12 FPS的速度輸出分辨率為1 280×720像素的圖像。2臺(tái)彩色攝像機(jī)用于檢測(cè)交通錐桶顏色，單色攝像機(jī)構(gòu)成立體視覺系統(tǒng)，生成深度圖像，用于獲取錐桶位置信息。為了模擬駕駛員的視角，機(jī)器視覺系統(tǒng)被放置在頭枕上方，距地面1.5 m。

圖2 Smart B1機(jī)器視覺系統(tǒng)

2個(gè)單色攝像機(jī)構(gòu)成的立體視覺模型如圖3所示，建立世界坐標(biāo)系O-XYZ和2個(gè)像素坐標(biāo)系ol-x1y1和or-x2y2?？臻g點(diǎn)P(X，Y，Z)在相機(jī)坐標(biāo)系的投影為點(diǎn)M(xl，yl)和點(diǎn)N(xr，yr)，其中yl=yr。f是相機(jī)的焦距，b是左右攝像機(jī)之間的基線。

圖3 立體視覺模型

根據(jù)三角形相似定律，X、Y、Z的值可通過式(1)、(2)計(jì)算。

(1)

(2)

深度圖中每個(gè)像素點(diǎn)的值表示空間點(diǎn)與攝影機(jī)之間的距離。機(jī)器視覺系統(tǒng)生成的彩色和深度圖像如圖4所示。

(a)彩色圖像

1.3 臨時(shí)道路檢測(cè)算法

本文提出基于Darknet深度學(xué)習(xí)模型框架的YOLOv4臨時(shí)道路檢測(cè)算法，該算法首先在彩色圖像和深度圖像中分別檢測(cè)交通錐桶，并進(jìn)行檢測(cè)結(jié)果融合，實(shí)現(xiàn)交通錐桶顏色和位置的感知，隨后進(jìn)一步實(shí)現(xiàn)路徑規(guī)劃，臨時(shí)道路檢測(cè)算法流程如圖5所示。

圖5 臨時(shí)道路檢測(cè)算法流程

1.3.1 基于YOLOv4模型的目標(biāo)檢測(cè)算法

將機(jī)器視覺系統(tǒng)提供的彩色圖像輸入深度學(xué)習(xí)網(wǎng)絡(luò)模型，獲得交通錐桶的圖像坐標(biāo)、類別和置信度信息。YOLOv4網(wǎng)絡(luò)的結(jié)構(gòu)包括3個(gè)主要部分：骨干網(wǎng)絡(luò)、頸部網(wǎng)絡(luò)和頭部網(wǎng)絡(luò)，YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)如圖6所示。

圖6 YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)

CSPDarknet53是YOLOv4算法的主干網(wǎng)絡(luò)，使用跨階段部分連接(cross stage partial connection, CSP)網(wǎng)絡(luò)結(jié)構(gòu)，該結(jié)構(gòu)在保持準(zhǔn)確性的同時(shí)減少模型計(jì)算量。CSPDarknet53中的激活函數(shù)是Mish激活函數(shù)，如式(3)所示。

fMish=xtanh[ln(1+ex)]。

(3)

頸部網(wǎng)絡(luò)包括空間金字塔池網(wǎng)絡(luò)(spatial pyramid pooling, SPP)和路徑聚合網(wǎng)絡(luò)(path aggregation network, PANet)。SPP網(wǎng)絡(luò)在CSPdarknet53的輸出特征層上執(zhí)行3次卷積運(yùn)算，然后分別實(shí)現(xiàn)4種不同規(guī)模的最大池處理，其結(jié)構(gòu)如圖7所示。PANet網(wǎng)絡(luò)接收3個(gè)特征圖輸入，包括一系列上采樣和下采樣，目的是特征的重復(fù)提取。

圖7 SPP網(wǎng)絡(luò)結(jié)構(gòu)

頭部網(wǎng)絡(luò)生成預(yù)測(cè)結(jié)果。它輸出3種尺寸的特征圖,每個(gè)特征圖被劃分為尺寸為S×S的網(wǎng)格，每個(gè)網(wǎng)格預(yù)測(cè)3個(gè)邊界框，以及邊界框的4個(gè)調(diào)整參數(shù)、置信度和分類概率。

在訓(xùn)練過程中使用帶有動(dòng)量優(yōu)化的隨機(jī)梯度下降(stochastic gradient descent, SGD)算法。隨機(jī)梯度下降的每次迭代使用一個(gè)或一批樣本來更新參數(shù)，用于減少訓(xùn)練時(shí)間。梯度下降方向主要是之前累積的下降方向，但是略微偏向當(dāng)前時(shí)刻下降方向。

1.3.2 檢測(cè)結(jié)果融合算法

為了同時(shí)獲取用于路徑規(guī)劃的交通錐桶顏色和位置信息，需要將2種圖像的檢測(cè)結(jié)果進(jìn)行融合，本文提出一種根據(jù)邊界框的歐氏距離關(guān)系的匹配算法。

彩色圖像檢測(cè)結(jié)果C包含檢測(cè)到的每個(gè)交通錐桶的邊界框Ci(xi,yi,wi,hi)，xi、yi是邊界框的左上角的坐標(biāo)，wi、hi是邊界框的寬度、高度，Pci(mci,nci)是邊界框Ci的中心點(diǎn)。深度圖像檢測(cè)結(jié)果D包含每個(gè)檢測(cè)到的交通錐桶的邊界框Dj(xj,yj,wj,hj)，Pdj(mdj,ndj)是邊界框Dj的中心點(diǎn)，中心點(diǎn)的計(jì)算方法如式(4)所示。

(4)

式中：m、n分別為邊界框的中心點(diǎn)；x、y分別為邊界框左上角點(diǎn)坐標(biāo)；w、h分別為邊界框的寬度、高度。

在深度圖像檢測(cè)結(jié)果D中搜索具有最小歐氏距離dis(Pci,Pdj)并滿足Pdj∈Ci的邊界框Dj，將邊界框Dj與邊界框Ci匹配，視為同一個(gè)交通錐桶。如果未獲得搜索結(jié)果，則匹配失敗。歐氏距離計(jì)算方法如式(5)所示。

(5)

1.3.3 路徑規(guī)劃算法

彩色、深度圖像中的交通錐桶完成檢測(cè)后，將用于路徑規(guī)劃。在路徑規(guī)劃過程中，按照交通錐桶到車輛的距離對(duì)交通錐桶進(jìn)行排序，并按顏色分類得到點(diǎn)集Mred、Mblue和Myellow。紅色與藍(lán)色交通錐桶之間的中點(diǎn)被計(jì)算為航路點(diǎn)Li，然后這些航路點(diǎn)連接起來，形成車輛的預(yù)期路徑。設(shè)第i個(gè)交通錐桶的坐標(biāo)為(xcolor_i,ycolor_i)，航路點(diǎn)Li計(jì)算方法如式(6)所示。

(6)

式中α為經(jīng)驗(yàn)常數(shù)。由于相機(jī)的視場(chǎng)角限制，因此在車輛轉(zhuǎn)彎的過程中，可能僅有一側(cè)交通錐桶出現(xiàn)在圖像中，求解車輛與最近2個(gè)錐桶的中心點(diǎn)，根據(jù)圖像中出現(xiàn)的交通錐桶的顏色將其平移距離為α，得到航路點(diǎn)。

2 數(shù)據(jù)集準(zhǔn)備與網(wǎng)絡(luò)訓(xùn)練

2.1 數(shù)據(jù)集準(zhǔn)備

本文使用交通錐桶模擬常見的臨時(shí)道路，在早晨、正午和傍晚多種光照情況下，共采集2 358張彩色圖像，并在其中人工標(biāo)記紅色、藍(lán)色和黃色交通錐桶，然后將該數(shù)據(jù)集隨機(jī)分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，分別包含1 697、425、236張圖像(比例約為7∶2∶1)。同時(shí)，實(shí)驗(yàn)中采集的深度圖像1 304張，由人工標(biāo)記其中的交通錐桶，然后隨機(jī)分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，分別包含938、235、131張圖像(比例約為7∶2∶1)。

2.2 彩色圖像檢測(cè)網(wǎng)絡(luò)訓(xùn)練

在訓(xùn)練過程中，對(duì)圖像數(shù)據(jù)進(jìn)行隨機(jī)的數(shù)據(jù)增強(qiáng)，包括角度旋轉(zhuǎn)和HSV值變化，圖像在[-5, 5]被隨機(jī)旋轉(zhuǎn)，并且HSV通道中的值被隨機(jī)噪聲化，用于色調(diào)、飽和度和亮度調(diào)整，H通道的值被隨機(jī)施加[-0.05, 0.05]的倍數(shù)，S通道和V通道中的數(shù)據(jù)隨機(jī)乘以或除以1.5。

訓(xùn)練過程中，使用不同的網(wǎng)絡(luò)訓(xùn)練參數(shù)對(duì)比訓(xùn)練效果，包括批處理數(shù)量、圖像分辨率和最大迭代次數(shù)等。彩色圖像檢測(cè)網(wǎng)絡(luò)訓(xùn)練參數(shù)見表1。設(shè)置4組參數(shù)進(jìn)行網(wǎng)絡(luò)訓(xùn)練，第1組批處理數(shù)量為其他組的一半，第2組具有比其他組更高的圖像分辨率，第4組的最大迭代次數(shù)為其他組的2倍。

表1 彩色圖像檢測(cè)網(wǎng)絡(luò)訓(xùn)練參數(shù)

2.3 深度圖像檢測(cè)網(wǎng)絡(luò)訓(xùn)練

深度圖像檢測(cè)網(wǎng)絡(luò)訓(xùn)練與彩色圖像檢測(cè)網(wǎng)絡(luò)訓(xùn)練類似，區(qū)別在于數(shù)據(jù)增強(qiáng)和一些網(wǎng)絡(luò)參數(shù)設(shè)置。由于深度圖像只有一個(gè)通道用于存儲(chǔ)深度數(shù)據(jù)，因此沒有HSV變換操作，原始圖像在[-5, 5]度內(nèi)隨機(jī)旋轉(zhuǎn)僅用于增強(qiáng)數(shù)據(jù)。深度圖像檢測(cè)網(wǎng)絡(luò)訓(xùn)練參數(shù)見表2。

表2 深度圖像檢測(cè)網(wǎng)絡(luò)訓(xùn)練參數(shù)

3 實(shí)驗(yàn)結(jié)果與分析

3.1 基于彩色圖像的交通錐桶檢測(cè)實(shí)驗(yàn)

為了驗(yàn)證該交通錐桶檢測(cè)算法的效果，在自行構(gòu)建的交通錐桶數(shù)據(jù)集中進(jìn)行測(cè)試。使用平均精度(average precision, AP)[19]、平均精度均值(mean average precision, mAP)[19]和平均耗時(shí)對(duì)目標(biāo)檢測(cè)網(wǎng)絡(luò)進(jìn)行性能評(píng)估，并分析訓(xùn)練參數(shù)對(duì)交通錐桶檢測(cè)結(jié)果的影響。

彩色圖像檢測(cè)網(wǎng)絡(luò)訓(xùn)練結(jié)果見表3，彩色圖像檢測(cè)結(jié)果如圖8所示。從表3可見，第3組訓(xùn)練參數(shù)獲得最均衡的效果，第3組在訓(xùn)練集和驗(yàn)證集中的mAP略小于第4組的，但第3組在測(cè)試集中獲得最大的mAP值，達(dá)到93.48%，并且對(duì)紅色和黃色交通錐桶取得最大的AP值，說明更大的迭代次數(shù)沒能增加網(wǎng)絡(luò)的泛化能力。除黃色交通錐桶的AP值外，第3組的各項(xiàng)指標(biāo)均大于第1組的，說明更大的批處理數(shù)量可提高網(wǎng)絡(luò)的預(yù)測(cè)精度。雖然第2組的mAP值最大，但第3組推理耗時(shí)相比第2組減少39.31%，平均為36.34 ms，更小的圖像分辨率適合應(yīng)用于車載部署，因此最終選用第3組參數(shù)。

表3 彩色圖像檢測(cè)網(wǎng)絡(luò)訓(xùn)練結(jié)果

(a)場(chǎng)景1檢測(cè)結(jié)果

由于當(dāng)前缺少可進(jìn)行性能對(duì)比的開源交通錐桶數(shù)據(jù)集，因此在自建的交通錐桶數(shù)據(jù)集上比較了不同模型的性能，使用第3組網(wǎng)絡(luò)訓(xùn)練參數(shù)，對(duì)YOLOv4、YOLOv3、YOLOv4-tiny、YOLOX-L網(wǎng)絡(luò)進(jìn)行訓(xùn)練，訓(xùn)練結(jié)果見表4。

表4 不同網(wǎng)絡(luò)模型訓(xùn)練結(jié)果

YOLOv4取得mAP最高的彩色圖像交通錐桶檢測(cè)結(jié)果，達(dá)到93.48%，且推理耗時(shí)少于YOLOv3，平均單幀檢測(cè)時(shí)間為36.34 ms，說明CSP結(jié)構(gòu)有利于進(jìn)行更好的特征提取，提高了小目標(biāo)的檢測(cè)效果。YOLOv4-tiny推理時(shí)間僅為4.97 ms，但在測(cè)試集中的mAP僅為78.54%，說明YOLOv4-tiny不能充分地提取和融合交通錐桶的特征，不能滿足車輛行駛過程中環(huán)境感知的精度要求。YOLOX-L取得的mAP為90.66%，說明anchor-based類型的YOLOv4對(duì)于小目標(biāo)的檢測(cè)性能更好。而YOLOX使用的anchor-free機(jī)制使特征圖中的每個(gè)網(wǎng)格僅預(yù)測(cè)一組邊界框的位置及寬高，造成了YOLOX在密集場(chǎng)景下的性能下降，因此選用YOLOv4檢測(cè)彩色圖片中的交通錐桶。

3.2 基于深度圖像的錐桶檢測(cè)實(shí)驗(yàn)

由于深度圖中只有“cone”標(biāo)簽，因此統(tǒng)計(jì)4組參數(shù)在訓(xùn)練集、驗(yàn)證集和測(cè)試集的AP值，統(tǒng)計(jì)結(jié)果見表5。

表5 深度圖像檢測(cè)網(wǎng)絡(luò)訓(xùn)練結(jié)果

檢測(cè)結(jié)果如圖9所示，第3組訓(xùn)練參數(shù)獲得最均衡的效果。第3組在測(cè)試集中的AP值達(dá)到97.89%，高于第1組但略低于第4組，但第3組的訓(xùn)練時(shí)間僅為第4組的一半。第2組的AP值最高，但第3組推理耗時(shí)相比第2組減少42.34%，僅為22.67 ms，因此最終選用第3組參數(shù)。

(a)場(chǎng)景1檢測(cè)結(jié)果

使用第3組網(wǎng)絡(luò)訓(xùn)練參數(shù)，基于本研究建立的數(shù)據(jù)集分別訓(xùn)練YOLOv4、YOLOv3、YOLOv4-tiny、YOLOX-L，訓(xùn)練結(jié)果見表6。

表6 不同網(wǎng)絡(luò)模型訓(xùn)練結(jié)果

YOLOv4取得最好的深度圖像交通錐桶檢測(cè)結(jié)果，AP值達(dá)到97.89%，平均推理時(shí)間為22.67 ms。YOLOv4在各數(shù)據(jù)集中的AP值均大于YOLOv3的，且平均推理時(shí)間減少19.11%；在測(cè)試集中，YOLOv4的AP值比YOLOv4-tiny的大21.05%，因此YOLOv4-tiny可能會(huì)出現(xiàn)漏檢和錯(cuò)檢問題，不適用于實(shí)時(shí)的臨時(shí)道路識(shí)別算法。YOLOX在測(cè)試集中的AP為90.63%，低于YOLOv4和YOLOv3結(jié)果，由于數(shù)據(jù)集中僅包含“cone”標(biāo)簽，因此anchor-free機(jī)制造成的漏檢問題是影響AP值的主要原因，因此選用YOLOv4檢測(cè)深度圖片中的交通錐桶。

3.3 結(jié)果融合算法和實(shí)車實(shí)驗(yàn)

得到彩色圖像和深度圖像的檢測(cè)結(jié)果后，在測(cè)試集中進(jìn)行匹配實(shí)驗(yàn)測(cè)試，統(tǒng)計(jì)得到的匹配成功的交通錐桶占總錐桶數(shù)的85.04%。匹配失敗的主要原因?yàn)閿?shù)據(jù)傳輸延遲不穩(wěn)定，導(dǎo)致周期性的匹配失敗。

使用交通錐桶構(gòu)建臨時(shí)道路，紅色交通錐標(biāo)記道路的左邊緣，藍(lán)色交通錐標(biāo)記道路的右邊緣，黃色交通錐用于標(biāo)記起點(diǎn)和終點(diǎn)。臨時(shí)道路寬約3 m，相鄰2個(gè)同色交通錐之間的距離約4 m，包含20 m直道和一段轉(zhuǎn)彎半徑為8 m的直角彎道。根據(jù)彩色圖像得到的顏色信息和深度圖像得到的三維位置信息，進(jìn)行路徑規(guī)劃，結(jié)果如圖10(b)所示。

(a)彩色圖像檢測(cè)結(jié)果

在該臨時(shí)道路上，實(shí)驗(yàn)車輛以10 km/h的速度勻速行駛，機(jī)器視覺系統(tǒng)每秒捕獲12幀彩色和深度圖像，通過對(duì)彩色圖像和深度圖像的檢測(cè)結(jié)果進(jìn)行匹配，成功地得到交通錐的顏色信息和三維位置信息，如圖10(b)所示。彩色圖像和深度圖像中交通錐桶的均檢測(cè)時(shí)間分別為36.34、22.67 ms，結(jié)果匹配和路徑規(guī)劃的平均時(shí)間為2.69 ms，所以處理一幀相機(jī)數(shù)據(jù)的總時(shí)間成本約為61.70 ms，小于圖像捕獲間隔83 ms，滿足實(shí)時(shí)處理的要求。約30 m的檢測(cè)距離可以滿足測(cè)試車輛在當(dāng)前速度下的行駛安全性。

4 結(jié)論

本文中提出一種融合彩色相機(jī)和深度相機(jī)信息的臨時(shí)道路識(shí)別算法，用于識(shí)別由交通錐桶標(biāo)識(shí)的臨時(shí)道路，在實(shí)車實(shí)驗(yàn)中規(guī)劃出車輛的運(yùn)動(dòng)路徑，論文得出的主要結(jié)論如下：

① 使用YOLOv4機(jī)器學(xué)習(xí)模型構(gòu)建的交通錐桶識(shí)別算法，識(shí)別交通錐桶的mAP和AP分別可達(dá)93.48%、97.89%，單幀平均檢測(cè)時(shí)間分別約為36.34、22.67 ms，在識(shí)別彩色圖像和深度圖像中實(shí)時(shí)得獲得的結(jié)果比YOLOv3、YOLOv4-tiny模型結(jié)果更為精確、穩(wěn)定。

② 提出的基于邊界框歐氏距離的匹配算法，可將彩色和深度信息進(jìn)行融合，匹配成功率可以達(dá)到85.04%，提升了交通錐桶感知的精度、速度和魯棒性。

③ 建立的交通錐桶數(shù)據(jù)集，包含多種環(huán)境、光照條件下的彩色圖像和深度圖像和人工標(biāo)注，可有效用于深度學(xué)習(xí)模型進(jìn)行交通錐桶檢測(cè)的訓(xùn)練和驗(yàn)證。