基于改進(jìn)模型RP-YOLOv3的洗掃車掃盤避障系統(tǒng)研究

龔雪1 顏仁喆2

1.甘肅省建設(shè)投資（控股）集團(tuán)有限公司 甘肅蘭州 730050

2.甘肅建投重工科技有限公司 甘肅蘭州 730000

1 前言

隨著我國城市道路清潔作業(yè)機(jī)械化的大力推進(jìn)和發(fā)展，洗掃車以其作業(yè)高效、路面清洗效果好等特點(diǎn)被廣泛投放在城市道路清潔作業(yè)中，然而受到城市道路多樣性和復(fù)雜性的影響，經(jīng)常發(fā)生洗掃車在清潔作業(yè)過程中，伸出車體兩側(cè)的掃盤對(duì)站在路邊的行人或停放在路邊停車區(qū)域的車輛造成碰撞傷害，或者是掃盤因碰撞到路邊護(hù)欄或石墩等物體造成掃盤結(jié)構(gòu)件損壞的情況。雖然市面上某些品牌的洗掃車已經(jīng)安裝了接觸式掃盤避讓感應(yīng)裝置，但是車輛工作時(shí)仍然會(huì)因?yàn)閷?duì)障礙物的識(shí)別不清導(dǎo)致車輛與人或障礙物體發(fā)生碰撞。

筆者通過對(duì)洗掃車工作環(huán)境的主要障礙物進(jìn)行數(shù)據(jù)采集，建立了道路作業(yè)面主要障礙物數(shù)據(jù)集，并對(duì)基于深度學(xué)習(xí)的目標(biāo)檢測算法進(jìn)行改進(jìn)，提高了洗掃車道路作業(yè)時(shí)對(duì)主要障礙物目標(biāo)檢測的準(zhǔn)確性和實(shí)時(shí)性。

2 道路障礙物數(shù)據(jù)集研制

2.1 數(shù)據(jù)集的研制

為了提高城市道路清潔環(huán)境障礙物數(shù)據(jù)集的質(zhì)量和增加數(shù)據(jù)樣本的多樣性，本文試驗(yàn)數(shù)據(jù)集的研制采用人工拍攝、網(wǎng)上搜索并篩選以及COCO數(shù)據(jù)庫選取這3種方式來獲取，其中，人工拍攝時(shí)將相機(jī)放置于掃盤的前端進(jìn)行水平拍攝，共獲得各類原始數(shù)據(jù)圖像1 000張，大致分為：護(hù)欄、人、石墩和汽車4類，每一類障礙物250張。

本文所采用的數(shù)據(jù)集格式為VOC數(shù)據(jù)集格式，首先在python環(huán)境下采用labelimg對(duì)每張圖片的障礙物所在區(qū)域進(jìn)行人工數(shù)據(jù)標(biāo)注，得到障礙物的ground truth，經(jīng)過labelimg標(biāo)注后形成.xml文件，數(shù)據(jù)標(biāo)注結(jié)果示例如圖1所示。

圖1 數(shù)據(jù)標(biāo)注示例

完成數(shù)據(jù)標(biāo)注工作后建立文件夾VOCdevkit，該文件夾中包含一個(gè)VOC2018 文件夾，并在VOC2018中建立3個(gè)文件夾：JPEGImages、Annotations和ImageSets，其中JPEGImages是專門存放所收集的原始數(shù)據(jù)集，Annotations文件夾中存放完成數(shù)據(jù)標(biāo)注的所有.xml文件，ImageSets文件夾中存放一個(gè)子文件夾.Main，這一文件夾中包含test.txt和train.txt文件，這些.txt文件中包含的分別為測試集圖片名和訓(xùn)練集圖片名。然后根據(jù)自己所建立數(shù)據(jù)集的障礙物分類名稱修改并運(yùn)行voc_label.py，則可以在VOCdevkit中自動(dòng)生成各個(gè)待訓(xùn)練數(shù)據(jù)圖像具體位置信息的.txt文件。

2.2 數(shù)據(jù)增強(qiáng)

為了進(jìn)一步增加農(nóng)田障礙物試驗(yàn)數(shù)據(jù)集的數(shù)量和多樣性，本文采用增加噪聲、改變亮度以及cutout（即隨機(jī)將圖像的一塊或者幾塊位置設(shè)置為黑色）3種隨機(jī)組合的方式對(duì)數(shù)據(jù)標(biāo)注后的1 000幅圖像進(jìn)行數(shù)據(jù)增強(qiáng)，增強(qiáng)后共獲得圖像數(shù)據(jù)2 000幅，其中訓(xùn)練集選用1 600幅，測試400幅。

3 無需區(qū)域提名的障礙物檢測算法

3.1 YOLOv3目標(biāo)檢測算法

實(shí)時(shí)目標(biāo)檢測模型YOLOv3由1×1的卷積層和3×3的卷積層交替連接構(gòu)成53個(gè)卷積層的基礎(chǔ)網(wǎng)絡(luò)darknet-53。在整個(gè)YOLOv3檢測模型中沒有池化層和全連接層，網(wǎng)絡(luò)通過調(diào)整卷積核的步長進(jìn)行降維[1]。它將所輸入圖像數(shù)據(jù)，通過回歸分析得到目標(biāo)位置和目標(biāo)所屬類別，YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)圖如圖2所示。

圖2 YOLOv3 網(wǎng)絡(luò)拓?fù)鋱D

由圖2看出，DBL表示卷積層和BN層以及Leaky relu層，在YOLOv3中除了最后一個(gè)卷積層之外所有的卷積層均與BN層和Leaky relu層相連接，構(gòu)成一個(gè)最小單元，其中BN層起到加速網(wǎng)絡(luò)收斂、避免訓(xùn)練模型過擬合的作用；resn表示圖中res1，res2，...，res8的大單元，其中數(shù)字代表每一個(gè)大單元里有幾個(gè)小單元的res，且每一個(gè)小單元的基本組成部分也是DBL單元[2]。YOLOv3的輸出特征圖分為3個(gè)不同的尺度，即為圖中的y1，y2和y3。它借鑒了（FPNFeature Pyramid Network）多尺度特征提取的思想，以上采樣的方式將不同尺度的特征相融合，其中細(xì)粒度的特征圖可以獲取尺寸較小的障礙物信息。

3.2 道路障礙物檢測算法的改進(jìn)和優(yōu)化研究

基于Two stage類型目標(biāo)檢測模型的準(zhǔn)確率優(yōu)于one stage的特點(diǎn)，twostage類型目標(biāo)檢測在檢測之前先生成一些候選區(qū)域，再進(jìn)行目標(biāo)分類和bounding box預(yù)測，從而提高了檢測的準(zhǔn)確率[3]；而onestage類型的目標(biāo)檢測是將圖片輸入后經(jīng)過卷積運(yùn)算直接輸出目標(biāo)類型和bounding box。所以為了在保持實(shí)時(shí)性的情況下提高one stage類型的準(zhǔn)確率，借鑒two stage先產(chǎn)生候選區(qū)域的思想實(shí)現(xiàn)準(zhǔn)確率、高實(shí)時(shí)性好的檢測目的[4]，本文采用區(qū)域候選網(wǎng)絡(luò)RPN（egion Proposal Network）生成候選區(qū)域?qū)OLOv3進(jìn)行改進(jìn)。

改進(jìn)的網(wǎng)絡(luò)RP-YOLOv3將輸入圖像大小統(tǒng)一歸一化為416×416，采用基本網(wǎng)絡(luò)darknet-53進(jìn)行特征提取，本文改進(jìn)的障礙物檢測模型RP-YOLOv3網(wǎng)絡(luò)基本構(gòu)架如圖3所示。圖中虛線部分即為darknet-53網(wǎng)絡(luò)基本結(jié)構(gòu)，通過卷積層步長的調(diào)整，分別以stride=23、stride=24和stride=25對(duì)輸入的圖片進(jìn)行特征提取，并獲得大小分別為52×52、26×26和13×13三種尺度的特征圖。

圖3 RP-YOLOv3網(wǎng)絡(luò)構(gòu)架

4 優(yōu)化改進(jìn)檢測算法的性能分析實(shí)驗(yàn)

4.1 改進(jìn)算法的目標(biāo)檢測及結(jié)果分析

本文模型訓(xùn)練及測試平臺(tái)為：Linux使用Ubuntu 16.04、GPU采用NVIDIA Tesla K40 、Python版本為3.6.5、CUDA采用9.0版本、CUDNN版本為7.0。

Learning_rate設(shè)置為0.001，Momentum為0.9，Decay設(shè)置為0.000 5，max_batches為10 000，改進(jìn)后的障礙物檢測模型訓(xùn)練過程中損失函數(shù)的變化曲線如圖4所示。

從loss曲線圖可以看出模型訓(xùn)練過程中batch在0～2000階段下降較為明顯，當(dāng)batch超過8000時(shí)loss基本處于穩(wěn)定狀態(tài)不再下降。訓(xùn)練得到改進(jìn)的目標(biāo)檢測模型后，對(duì)測試集進(jìn)行測試，測試結(jié)果示例如圖5所示。

圖5 測試結(jié)果示例圖

4.2 不同閾值檢測模型的測試結(jié)果分析

θ1分別采用0.1～0.9共9組閾值訓(xùn)練模型RP-YOLOv3，并通過設(shè)置不同的閾值θ2對(duì)訓(xùn)練好的模型進(jìn)行測試，其測試結(jié)果mAP如圖6所示。

圖6 不同閾值設(shè)置的 mAP 測試結(jié)果(/%)

圖6中橫坐標(biāo)表示不同的訓(xùn)練閾值θ1，曲線變化表示同一測試閾值θ2在不同訓(xùn)練閾值θ1所得模型中測試所得結(jié)果mAP。從圖6中縱向比較可以看出，不同測試閾值θ2對(duì)相同訓(xùn)練閾值θ1訓(xùn)練得到的模型進(jìn)行測試時(shí)，隨著θ2的增大，mAP在隨之減小，這主要是由于測試閾值θ2越大，對(duì)預(yù)測邊框與ground truth重疊率要求越高，所以閾值越大，達(dá)到指定重疊率的指標(biāo)越少，從而導(dǎo)致mAP的下降；從圖6中橫向比較可以看出，同一測試閾值θ2對(duì)不同訓(xùn)練閾值θ1訓(xùn)練得到的模型進(jìn)行測試時(shí)，隨著θ1的增大mAP先增大，當(dāng)增大到θ1=0.6附近后開始減小。根據(jù)以上分析，本文選用θ1=0.6時(shí)訓(xùn)練得到的目標(biāo)檢測模型作為最終的障礙物檢測模型。

5 結(jié)語

針對(duì)基于區(qū)域提名的目標(biāo)檢測算法障礙物檢測mAP較高，無需區(qū)域提名的目標(biāo)檢測算法檢測速度較快的優(yōu)勢，提出了結(jié)合二者優(yōu)勢的改進(jìn)優(yōu)化目標(biāo)檢測算法RP-YOLOv3，在此基礎(chǔ)上通過調(diào)整訓(xùn)練閾值和測試閾值觀測 mAP的變化，并采用同一測試集對(duì)各個(gè)檢測算法模型進(jìn)行測試對(duì)比試驗(yàn)，結(jié)果表明本改進(jìn)檢測算法的障礙物檢測準(zhǔn)確率更高，實(shí)時(shí)性更好。