基于改進(jìn)YOLOv3的路面正負(fù)障礙物檢測(cè)研究

顧士洲　嚴(yán)天一

文章編號(hào)：10069798（2022）02004106;DOI：10.13306/j.10069798.2022.02.007

摘要：針對(duì)減速帶和凹坑等路面正負(fù)障礙物目標(biāo)檢測(cè)問題，本文基于YOLOv3算法基本原理，在原YOLOv3算法的基礎(chǔ)上，采用擴(kuò)增檢測(cè)尺度的方法得到改進(jìn)的YOLOv3算法。利用減速帶和凹坑等路面正負(fù)障礙物訓(xùn)練集進(jìn)行模型訓(xùn)練，通過測(cè)試集完成對(duì)訓(xùn)練模型的測(cè)試。測(cè)試結(jié)果表明，改進(jìn)后的YOLOv3算法在路面正負(fù)障礙物的檢測(cè)能力上有所提高，RRe值提高了0.8%，RMAP值提高了0.2%，驗(yàn)證了本文對(duì)原YOLOv3改進(jìn)的有效性。該研究可用于智能車輛對(duì)減速帶和凹坑等路面正負(fù)障礙物的檢測(cè)，具有一定的實(shí)際應(yīng)用價(jià)值。

關(guān)鍵詞：改進(jìn)YOLOv3;路面正負(fù)障礙物;檢測(cè)尺度;模型訓(xùn)練;模型測(cè)試

中圖分類號(hào)：TP391.4;TP393.021文獻(xiàn)標(biāo)識(shí)碼：A

近年來，智能汽車行業(yè)發(fā)展迅速，消費(fèi)者對(duì)車輛乘坐舒適性提出了更高要求，利用目標(biāo)檢測(cè)技術(shù)超視距檢測(cè)行駛方向上的路面正負(fù)障礙物，智能化調(diào)節(jié)車輛懸架的剛度或阻尼，有效提高了車輛乘坐舒適性。因此，目標(biāo)檢測(cè)技術(shù)在路面正負(fù)障礙物檢測(cè)上的應(yīng)用廣泛。目前，國(guó)內(nèi)外研究人員在目標(biāo)檢測(cè)領(lǐng)域開展了大量研究。R.HADSELL等人[1]提出了由近及遠(yuǎn)的自監(jiān)督學(xué)習(xí)算法，檢測(cè)可行駛區(qū)域及障礙物;R.GONZALO等人[2]針對(duì)無人機(jī)目標(biāo)檢測(cè)時(shí)因其連續(xù)姿態(tài)變化不受限和低頻振動(dòng)而不易檢測(cè)的問題，提出了通過估計(jì)攝像機(jī)在兩個(gè)后續(xù)視頻幀之間的運(yùn)動(dòng)，創(chuàng)建人工光流場(chǎng)，并與真實(shí)光流場(chǎng)進(jìn)行對(duì)比，實(shí)現(xiàn)在時(shí)間與空間維度上對(duì)動(dòng)態(tài)移動(dòng)目標(biāo)進(jìn)行有效跟蹤;JINGL等人[3]采用隨機(jī)Hough變換對(duì)路障物進(jìn)行檢測(cè)，相對(duì)于傳統(tǒng)Hough變換，提高了檢測(cè)效率;XUY等人[4]提出了一種基于最大穩(wěn)定極值區(qū)域法的快速圖像區(qū)域匹配方法，測(cè)試結(jié)果表明，該方法具有較高的精度;LINY等人[5]提出了基于UV-disparity的路面估算算法，該算法可有效估計(jì)各種道路條件下的障礙物位置信息;王健[6]采用一種數(shù)字圖像處理算法對(duì)路面破損圖片預(yù)處理，選擇Canny模板作為邊緣檢測(cè)模板，可準(zhǔn)確定位圖像邊緣;葉家瑋等人[7]利用BorlandC++Builder6.0開發(fā)了一種具有路面雷達(dá)數(shù)據(jù)轉(zhuǎn)換和路面結(jié)構(gòu)缺陷識(shí)別等功能的軟件系統(tǒng)，與原路面雷達(dá)配套軟件IRIS-L相比，提高了路面質(zhì)量檢測(cè)的準(zhǔn)確性和結(jié)構(gòu)缺陷的識(shí)別率;王榮本等人[8]通過SUSAN算子分割圖像，利用邊界跟蹤算法進(jìn)行濾波，最后利用投影法確定出原始圖像中的石塊位置;俞俊威等人[9]采用深度學(xué)習(xí)方法設(shè)計(jì)了一種新的基于全局特征的道路消失點(diǎn)檢測(cè)模型，試驗(yàn)結(jié)果表明，增加消失點(diǎn)導(dǎo)向有利于微小障礙物的檢測(cè);張興旺等人[10]提出結(jié)合Tiny-YOLOv3和目標(biāo)跟蹤算法的思想，使得無人機(jī)對(duì)地面目標(biāo)的檢測(cè)速度明顯提高;葉佳林等人[11]通過對(duì)特征提取網(wǎng)絡(luò)和定位損失函數(shù)進(jìn)行改進(jìn)，使得非機(jī)動(dòng)車類目標(biāo)的漏檢率有所降低;景亮等人[12]提出了一種雙目攝相機(jī)融合改進(jìn)YOLOv3算法的行人障礙物檢測(cè)和定位方法，測(cè)試結(jié)果表明，準(zhǔn)確率和召回率均高于原模型;范麗等人[13]基于YOLOv3目標(biāo)檢測(cè)算法融入標(biāo)簽平滑，采用多檢測(cè)尺度的方法增強(qiáng)了其魯棒性和泛化能力;袁紅斌等人[14]制定了Retinex算法來增強(qiáng)低照度圖像，將車載相機(jī)和激光雷達(dá)數(shù)據(jù)進(jìn)行融合，驗(yàn)證了傳感器數(shù)據(jù)融合后對(duì)障礙物檢測(cè)更有效、及時(shí);郁梅等人[15]基于快遞路面重建算法提出了一種車道與障礙物檢測(cè)方法，該方法可自適應(yīng)修正攝像機(jī)參數(shù)，在斜坡路面工況下也能有效獲得車道和障礙物檢測(cè)結(jié)果;李盛輝等人[16]提出了一種基于全景視覺的動(dòng)態(tài)障礙物目標(biāo)檢測(cè)算法，與傳統(tǒng)的單目和雙目視覺相比，全景視覺具有360°無盲區(qū)檢測(cè)的優(yōu)點(diǎn)。但以上對(duì)路面正負(fù)障礙物檢測(cè)方面的研究相對(duì)較少。因此，本文基于原YOLOv3目標(biāo)檢測(cè)算法，針對(duì)小目標(biāo)漏檢問題，采用擴(kuò)增檢測(cè)尺度的方法對(duì)其進(jìn)行了改進(jìn)，通過利用自主制作的減速帶和凹坑等路面正負(fù)障礙物數(shù)據(jù)集，完成了模型訓(xùn)練和測(cè)試。測(cè)試結(jié)果表明，RRe值和RMAP值均有所提高，驗(yàn)證了本文對(duì)原YOLOv3改進(jìn)的有效性，該研究可用于智能車輛對(duì)減速帶和凹坑等路面正負(fù)障礙物的檢測(cè)。

1YOLOv3原理

經(jīng)YOLOv1和YOLOv2算法的應(yīng)用經(jīng)驗(yàn)積累，YOLOv3將主干網(wǎng)絡(luò)改成了Darknet53，目標(biāo)檢測(cè)尺度數(shù)改為3個(gè)，先驗(yàn)框數(shù)進(jìn)行調(diào)整，這些改進(jìn)使YOLOv3的檢測(cè)精度和檢測(cè)速度大幅度提升。YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)包括主干網(wǎng)絡(luò)、特征金字塔網(wǎng)絡(luò)（featurepyramidnetworks，F(xiàn)PN）[17]以及輸出層，YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

YOLOv3進(jìn)行圖像目標(biāo)檢測(cè)時(shí)，將輸入圖片的大小縮放成為416×416，若數(shù)據(jù)集中存在N個(gè)類別的目標(biāo)物體，經(jīng)過YOLOv3網(wǎng)絡(luò)后，得到3個(gè)屬性分別為（13×13，3*（4+1+N）），（26×26，3*（4+1+N）），（52×52，3*（4+1+N））的特征圖。其中，13×13，26×26，52×52為圖像劃分的網(wǎng)格，3表示每個(gè)網(wǎng)格將預(yù)測(cè)3個(gè)邊界框;4表示邊界框的中心點(diǎn)坐標(biāo)、高度、寬度;1表示目標(biāo)檢測(cè)可信度。一個(gè)單獨(dú)的網(wǎng)格擁有3個(gè)先驗(yàn)框，當(dāng)檢測(cè)到內(nèi)部存在目標(biāo)物體時(shí)，對(duì)其進(jìn)行類別檢測(cè)及邊框預(yù)測(cè)。經(jīng)過所有網(wǎng)格的預(yù)測(cè)后，獲取所有預(yù)測(cè)框的類別信息和位置信息，最終通過非極大值處理后得到目標(biāo)邊界框，實(shí)現(xiàn)對(duì)目標(biāo)的準(zhǔn)確檢測(cè)。

2YOLOv3改進(jìn)

原YOLOv3算法具有3個(gè)檢測(cè)尺度，相應(yīng)地輸出3組特征圖，分別為8倍下采樣特征圖、16倍下采樣特征圖、32倍下采樣特征圖。對(duì)于一些小目標(biāo)檢測(cè)物，或者在復(fù)雜環(huán)境下進(jìn)行檢測(cè)，原YOLOv3算法準(zhǔn)確率會(huì)降低，甚至出現(xiàn)漏檢的情況。針對(duì)此問題，本文采用擴(kuò)增檢測(cè)尺度的方法，將原YOLOv3算法的檢測(cè)尺度數(shù)量由3個(gè)擴(kuò)增到4個(gè)，相應(yīng)地輸出4組特征圖，分別為4倍下采樣特征圖、8倍下采樣特征圖、16倍下采樣特征圖和32倍下采樣特征圖，完成YOLOv3算法的改進(jìn)。YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)中FPN層結(jié)構(gòu)改進(jìn)前后對(duì)比如圖2所示。-

改進(jìn)后的YOLOv3進(jìn)行特征融合的過程是將深層32倍下采樣特征圖經(jīng)過2倍上采樣，使其尺度與16倍下采樣特征圖一致，再與16倍下采樣特征圖進(jìn)行拼接融合，同理，與8倍下采樣特征圖和4倍下采樣特征圖進(jìn)行拼接融合，得到特征尺度大小分別為13×13，26×26，52×52，104×104的特征圖，從而增強(qiáng)了YOLOv3網(wǎng)絡(luò)淺層特征的位置信息以及深層特征的語(yǔ)義信息。改進(jìn)后的YOLOv3網(wǎng)絡(luò)，加強(qiáng)了定位精度，提高了對(duì)小目標(biāo)檢測(cè)的準(zhǔn)確性。改進(jìn)后YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。

3實(shí)驗(yàn)研究

3.1數(shù)據(jù)采集與標(biāo)注

本文采集700余張減速帶和凹坑等路面正負(fù)障礙物的數(shù)據(jù)圖片，剔除不合要求部分，在剩余的600余張圖片中隨機(jī)選取120張用作測(cè)試集。通過橫向和縱向翻轉(zhuǎn)、順時(shí)針和逆時(shí)針旋轉(zhuǎn)等操作對(duì)剩余500余張圖片進(jìn)行數(shù)據(jù)增強(qiáng)處理，最終從處理后得到的圖片中選取1800張用作訓(xùn)練集，利用標(biāo)注工具進(jìn)行路面正負(fù)障礙物目標(biāo)標(biāo)注。

3.2先驗(yàn)框選取

YOLOv3在輸出特征圖的每個(gè)網(wǎng)格進(jìn)行目標(biāo)邊界框預(yù)測(cè)時(shí)，需要用到先驗(yàn)框，而合適的先驗(yàn)框值可使定位更加準(zhǔn)確，因此，先驗(yàn)框值對(duì)于YOLOv3非常重要，可通過訓(xùn)練數(shù)據(jù)集聚類得到。原YOLOv3算法網(wǎng)絡(luò)模型輸出3組特征圖，每組特征圖分配有通過K-means算法[18]聚類得到的3組不同尺度的先驗(yàn)框，實(shí)現(xiàn)坐標(biāo)回歸，而本研究改進(jìn)后輸出4組特征圖，需要為其分配不同尺度的先驗(yàn)框12組。

本文基于訓(xùn)練數(shù)據(jù)集數(shù)據(jù)，通過K-means算法進(jìn)行聚類分析，針對(duì)4種輸出特征圖的特征尺度，給不同尺度的特征圖分配合適的先驗(yàn)框尺寸，以提高路面正負(fù)障礙物的檢測(cè)精度。4種輸出特征圖的先驗(yàn)框尺寸如表1所示。-

3.3實(shí)驗(yàn)環(huán)境

為測(cè)試模型的目標(biāo)檢測(cè)性能，本實(shí)驗(yàn)利用含256個(gè)CUDA-cores的NVIDIAPascalGPU進(jìn)行模型訓(xùn)練。選用ARM64架構(gòu)的NvidiaJetsonTX2平臺(tái)作為測(cè)試環(huán)境，操作系統(tǒng)為L(zhǎng)inuxUbuntu16.04，8GBLPDDR4內(nèi)存，32GBeMMC5.1Flash內(nèi)存，Opencv庫(kù)實(shí)現(xiàn)測(cè)試結(jié)果可視化。

3.4評(píng)價(jià)指標(biāo)

為了對(duì)訓(xùn)練模型的目標(biāo)檢測(cè)性能進(jìn)行評(píng)估，本文采用RRe值和平均準(zhǔn)確率（Meanaverageprecision，MAP）RMAP值作為評(píng)價(jià)指標(biāo)，其計(jì)算公式為

式中，RRe、RP、RAP和RMAP分別為召回率、準(zhǔn)確率、平均準(zhǔn)確率和多類別平均準(zhǔn)確率;n為檢測(cè)目標(biāo)類別數(shù)量;TP、FN和FP分別為真正樣本、假負(fù)樣本、假正樣本的數(shù)量[19]。-

3.5模型訓(xùn)練測(cè)試

數(shù)據(jù)集進(jìn)行理想化處理后得到訓(xùn)練集和測(cè)試集，訓(xùn)練集經(jīng)網(wǎng)絡(luò)模型訓(xùn)練后，通過計(jì)算損失函數(shù)值得到最優(yōu)模型，利用訓(xùn)練模型完成對(duì)測(cè)試集的測(cè)試，模型訓(xùn)練測(cè)試流程如圖4所示。模型訓(xùn)練時(shí)的學(xué)習(xí)率初始化為0.001，每迭代1000次，學(xué)習(xí)率減小1/5，每批樣本數(shù)設(shè)為20，最大迭代次數(shù)設(shè)為3000。模型訓(xùn)練損失值隨迭代次數(shù)變化曲線如圖5所示。由圖5可以看出，損失值在2800次到3000次迭代區(qū)間內(nèi)趨于穩(wěn)定。-

3.6結(jié)果分析

為比較原YOLOv3算法和改進(jìn)YOLOv3算法的檢測(cè)效果，利用二者訓(xùn)練后模型，分別在測(cè)試集上進(jìn)行檢測(cè)實(shí)驗(yàn)，原YOLOv3檢測(cè)結(jié)果如圖6所示，改進(jìn)的YOLOv3檢測(cè)結(jié)果如圖7所示。其中，圖6ab和圖7ab是對(duì)路面正障礙物減速帶檢測(cè)效果;圖6cd和圖7cd是對(duì)路面負(fù)障礙物凹坑檢測(cè)效果。

由圖6和圖7可知，原YOLOv3算法和改進(jìn)后的YOLOv3算法均可有效檢測(cè)減速帶和凹坑等路面正負(fù)障礙物類別信息及位置信息，但改進(jìn)后YOLOv3算法，檢測(cè)性能提升很難從圖中觀察。--

為更好地分析其性能提升效果，本文利用改進(jìn)前后YOLOv3算法對(duì)目標(biāo)檢測(cè)的RRe值和RMAP值進(jìn)行分析計(jì)算，兩種算法檢測(cè)性能對(duì)比如表2所示。

由表2可以看出，與原YOLOv3算法相比，改進(jìn)后的YOLOv3算法對(duì)減速帶和凹坑等路面正負(fù)障礙物目標(biāo)檢測(cè)RRe值和RMAP值分別提高了0.8%和0.2%。結(jié)果證明了本文對(duì)YOLOv3算法改進(jìn)的有效性。

4結(jié)束語(yǔ)

本文主要對(duì)改進(jìn)YOLOv3的路面正負(fù)障礙物進(jìn)行檢測(cè)研究。基于原YOLOv3目標(biāo)檢測(cè)算法，采用檢測(cè)尺度擴(kuò)增的方法對(duì)原YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)，利用訓(xùn)練集對(duì)改進(jìn)的YOLOv3算法進(jìn)行模型訓(xùn)練，利用測(cè)試集完成對(duì)訓(xùn)練模型的測(cè)試實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的YOLOv3算法在減速帶和凹坑等路面正負(fù)障礙物檢測(cè)的RRe值和RMAP值均有所提高，分別提高了0.8%和0.2%。下一步的研究重點(diǎn)是針對(duì)其它路面正負(fù)障礙物的特征，將模型應(yīng)用于較復(fù)雜環(huán)境下更多種類路面正負(fù)障礙物的檢測(cè)。

參考文獻(xiàn)：

[1]HADSELLR，SERMANETP，BENJ，etal.Learninglong-rangevisionforautonomousoff-roaddriving[J].JournalofFieldRobotics，2009，26（2）：120144.

[2]GONZALORC，THOMASS，CERROJ.Areal-timemethodtodetectandtrackmovingobjects（DATMO）fromunmannedaerialvehicles（UAVs）usingasinglecamera[J].RemoteSens，2012，4（4）：10901111.

[3]JINGL，SHANGYY，HUID.Roadobstacledetectionbasedonrandomizedhoughtransform[C]∥Proceedingsofthe2ndInternationalConferenceonTeachingandComputationalScience.Shenzhen：AtlantisPress，2014：7274.

[4]YIX，SONGG，DERONGT，etal.Fastroadobstacledetectionmethodbasedonmaximallystableextremalregions[J].InternationalJournalofAdvancedRoboticSystems，2018，15（1）：110.

[5]LINY，GAOF，LISZ.RoadobstacledetectioninstereovisionbasedonUV-disparity[J].JournalofInformationandComputationalScience，2014（4）：11371144.

[6]王健.基于雙目視覺成像的路面破損檢測(cè)系統(tǒng)研究[D].重慶：重慶交通大學(xué)，2012.

[7]葉家瑋，吳鵬，鄭國(guó)梁.基于路面雷達(dá)的路面結(jié)構(gòu)缺陷檢測(cè)方法[J].華南理工大學(xué)學(xué)報(bào)（自然科學(xué)版），2004，32（9）：8285.

[8]王榮本，余天洪，賈陽(yáng)，等.基于邊界提取和跟蹤的石塊檢測(cè)方法研究[J].計(jì)算機(jī)應(yīng)用，2006，26（1）：114116，119.

[9]俞駿威，張黎明，陳凱，等.基于道路消失點(diǎn)的遠(yuǎn)距離路面微小障礙物檢測(cè)[J].同濟(jì)大學(xué)學(xué)報(bào)（自然科學(xué)版），2019，47（S1）：213216.

[10]張興旺，劉小雄，林傳健，等.基于Tiny-YOLOV3的無人機(jī)地面目標(biāo)跟蹤算法設(shè)計(jì)[J].計(jì)算機(jī)測(cè)量與控制，2021，29（2）：7681.

[11]葉佳林，蘇子毅，馬浩炎，等.改進(jìn)YOLOv3的非機(jī)動(dòng)車檢測(cè)與識(shí)別方法[J].計(jì)算機(jī)工程與應(yīng)用，2021，57（1）：194199.

[12]景亮，王瑞，劉慧，等.基于雙目相機(jī)與改進(jìn)YOLOv3算法的果園行人檢測(cè)與定位[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2020，51（9）：3439，25.

[13]范麗，蘇兵，王洪元.基于YOLOv3模型的實(shí)時(shí)行人檢測(cè)改進(jìn)算法[J].山西大學(xué)學(xué)報(bào)（自然科學(xué)版），2019，42（4）：709717.

[14]袁紅斌，曹會(huì)群，歐群雍.基于激光測(cè)距雷達(dá)和機(jī)器視覺的障礙物檢測(cè)[J].現(xiàn)代雷達(dá)，2021，43（5）：5762.

[15]郁梅，蔣剛毅.采用快速路面重建的車道和障礙物檢測(cè)新方法[J].儀器儀表學(xué)報(bào)，2002，23（2）：144149.

[16]李盛輝，周俊，姬長(zhǎng)英，等.基于全景視覺的智能農(nóng)業(yè)車輛運(yùn)動(dòng)障礙目標(biāo)檢測(cè)[J].農(nóng)業(yè)機(jī)械學(xué)報(bào)，2013，44（12）：239244.

[17]KRIZHEVSKYA，SUTSKEVERI，HINTONGE.ImageNetcassificationwithdeepconvolutionalneuralnetworks[J].CommunicationsoftheACM，2017，60（6）：8490.

[18]張素潔，趙懷慈.最優(yōu)聚類個(gè)數(shù)和初始聚類中心點(diǎn)選取算法研究[J].計(jì)算機(jī)應(yīng)用研究，2017，34（6）：16171620.

[19]譚俊.一個(gè)改進(jìn)的YOLOv3目標(biāo)識(shí)別算法研究[D].武漢：華中科技大學(xué)，2018.-

ResearchonDetectionofPositiveandNegativeObstaclesonRoadSurfaceBasedonImprovedYOLOv3

GUShizhou，YANTianyi

（CollegeofMechanicalandElectricalEngineering，QingdaoUniversity，Qingdao266071，China）

Abstract：Thispaperaimsatthedetectionproblemofpositiveandnegativeobstaclesonroadsurfacesuchasspeedbumpsandpits.BasedonthebasicprincipleofYOLOv3algorithm，onthebasisoftheoriginalYOLOv3algorithm，theimprovedYOLOv3algorithmisobtainedbyusingthemethodofdetectionscaleamplification.Themodeltrainingiscarriedoutbyusingthetrainingsetofpositiveandnegativeobstaclesonroadsurfacesuchasspeedbumpsandpits.Thetrainingmodelistestedbythetestset.ThetestresultsshowthattheimprovedYOLOv3algorithmimprovesthedetectionabilityofpositiveandnegativeobstaclesonroadsurface，including0.8%increaseinRRevalueand0.2%increaseinRMAPvalue.Thisresearchcanbeappliedtothedetectionofpositiveandnegativeobstaclessuchasspeedbumpsandpitsbyintelligentvehiclesandhascertainpracticalapplicationvalue.

Keywords：improvedYOLOv3;positiveandnegativeobstaclesonroadsurface;detectionscale;modeltraining;modeltest

收稿日期：20211110;修回日期：20220107

基金項(xiàng)目：山東省自然科學(xué)基金資助項(xiàng)目（ZR2016EEM49）

作者簡(jiǎn)介：顧士洲（1997），男，碩士研究生，主要研究方向?yàn)檐囕v動(dòng)態(tài)仿真與控制技術(shù)。

通信作者：嚴(yán)天一（1970），男，博士，教授，碩士生導(dǎo)師，主要研究方向?yàn)檐囕v系統(tǒng)動(dòng)力學(xué)及其控制技術(shù)。Email：yan_7012@126.com