高速公路異常事件檢測中的目標檢測和主體識別算法

肖楊 廖惠宇 覃琳

摘要：針對高速公路監(jiān)控中心需要輪詢查看大量視頻的繁瑣任務(wù)及人員消耗，文章提出了基于人工智能計算機視覺的高速公路事件檢測方法。該方法針對傳統(tǒng)檢測無法判斷事件主體是否為工程養(yǎng)護車輛和工作人員的情況，制作了工程養(yǎng)護車輛和工作人員的數(shù)據(jù)集，采用yolox網(wǎng)絡(luò)結(jié)構(gòu)作為基礎(chǔ)，在網(wǎng)絡(luò)結(jié)構(gòu)中增加目標識別頭，同時對人和車輛進行檢測和識別。經(jīng)實際應(yīng)用后表明，該方法檢測效果優(yōu)于對比組，可有效檢測和識別社會車輛和工程養(yǎng)護車輛、普通行人和工作人員。

關(guān)鍵詞：高速公路；目標檢測；主體識別

中圖分類號：U495A491673

0引言

高速公路上車輛行駛速度較快，易造成重大人員傷亡事故。事件檢測系統(tǒng)可實時發(fā)現(xiàn)道路異常事件，及時進行告警處置，避免二次事故的發(fā)生。事件檢測的核心算法是目標檢測和識別，只有準確地發(fā)現(xiàn)和識別目標，才能對異常事件進行準確的判定。

王瀅暄等［1］針對高速公路特定場景下的目標檢測問題，提出了一種基于YOLOv4網(wǎng)絡(luò)的改進算法，對交通場景下的車輛目標進行檢測，將多幅圖像的拼接層連接后再進行車輛檢測，提升了網(wǎng)絡(luò)的運行效率；姚蘭等［2］在對目標檢測跟蹤的基礎(chǔ)上，提出了一種基于車輛軌跡特征的異常事件檢測方法，減少了背景環(huán)境變化的對跟蹤算法的影響，結(jié)合高速公路實際場景，加入滑動窗口機制，提升了對遠距離和復(fù)雜場景下異常事件的檢測能力；李浩瀾［3］通過改進YOLOv3和deep-sort算法，提高了對車輛的跟蹤速度，并定義了異常事件檢測算法，實現(xiàn)了高實時、高準確性的異常事件檢測功能。

可以發(fā)現(xiàn)，目前研究人員對于高速公路的異常事件檢測已經(jīng)提出了多種解決方案，并取得了較好的進展，但未有針對工程養(yǎng)護車輛和工作人員識別的特定算法和應(yīng)用，導(dǎo)致在實際工作中，工程養(yǎng)護車輛和工作人員引起了較多的異常事件告警，為監(jiān)控中心人員的工作帶來了較大的困擾。因此，區(qū)分社會車輛人員與工程養(yǎng)護車輛人員，具有重要的意義。本文提出一種基于YOLOX的改進算法，在網(wǎng)絡(luò)結(jié)構(gòu)中加入目標分類頭，在對車輛人員進行檢測的同時，對目標進行分類，以此來辨認工程養(yǎng)護車輛人員，提升高速公路事件檢測的實用性。

1算法及其網(wǎng)絡(luò)結(jié)構(gòu)

1.1檢測算法及模型

隨著深度學(xué)習(xí)的發(fā)展，目標檢測算法也取得了巨大的進步，目前主流目標檢測算法可大致分為單階段算法和兩階段算法。單階段算法是基于回歸分析的目標檢測算法，通過采樣網(wǎng)格對anchor進行回歸和分類，一個神經(jīng)網(wǎng)絡(luò)模型可直接輸出結(jié)果，其結(jié)構(gòu)簡單，計算效率較高，如SSD、YOLO系列算法等；兩階段算法是基于候選區(qū)域的目標檢測算法，需要進行候選區(qū)域提取、候選區(qū)域分類、候選區(qū)域位置修正3個步驟，模型復(fù)雜度較高，如R-CNN、SPPnet、Faster R-CNN等。由于事件檢測對實時性要求較高，因此采用單階段目標檢測算法。

Joseph Redmon提出了darknet骨干網(wǎng)絡(luò)，用于提取特征，Ge Z等［4］使用Darknet 53

骨干網(wǎng)絡(luò)，采用了預(yù)測分支解耦、數(shù)據(jù)增強、Anchor-free等方法，對YOLO系列的網(wǎng)絡(luò)模型進行改進，提出了YOLOX網(wǎng)絡(luò)，對80類目標進行端到端訓(xùn)練，取得了非常好的效果，其網(wǎng)絡(luò)結(jié)構(gòu)如下頁圖1所示。

在輸入端，將圖像首先縮放為寬和高均為640像素的3通道圖像，利用Mosaic數(shù)據(jù)增強［5］和MixUp數(shù)據(jù)增強［6］等數(shù)據(jù)增強方法，通過隨機縮放、隨機裁剪、隨機排布的方式進行拼接，提升了小目標的檢測效果；骨干網(wǎng)絡(luò)則采用Darknet53的網(wǎng)絡(luò)結(jié)構(gòu)，由CBL、Res unit、ResX三種結(jié)構(gòu)組合而成；Neck部分采用了SPP模塊，再用FPN+PAN［7］結(jié)構(gòu)將強語義特征和強定位特征進行融合，提升特征提取能力；在預(yù)測頭部分，采用了3個解耦頭，在提高了精度的同時，也提高了訓(xùn)練過程中網(wǎng)絡(luò)的收斂速度，采用Anchor Free的方式，減少了網(wǎng)絡(luò)參數(shù)量，加上新的標簽分配方式和Loss計算方式，構(gòu)成了YOLOX網(wǎng)絡(luò)的預(yù)測頭，進一步提升了網(wǎng)絡(luò)模型的表達能力。

本文以YOLOX網(wǎng)絡(luò)為基礎(chǔ)，在網(wǎng)絡(luò)的預(yù)測頭部分，增加了目標分類頭，將目標檢測和分類任務(wù)同時完成，相比于傳統(tǒng)的先檢測再識別的方式，提高了算法的整體效率。改進的預(yù)測頭網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。網(wǎng)絡(luò)檢測3個類別：人、車、騎行者；2個識別任務(wù)：普通車輛/工程車輛、普通人員/養(yǎng)護工作人員。最終輸出維度如下：Decoupled Head①為20×20×10，Decoupled Head②為40×40×10，Decoupled Head③為80×80×10，輸出10×8 400的二維向量信息。其中的10維特征，前3維為3類檢測結(jié)果，第4維為前景背景判斷，第5～8維為位置信息，第9維為車輛分類結(jié)果，第10維為人員分類結(jié)果。

1.2損失函數(shù)

經(jīng)過對比實驗，Decoupled Head的方式可以提高檢測精度和算法收斂速度；Anchor-free的方式減少了2/3的參數(shù)量；標簽分配算法確定預(yù)測框正樣本和負樣本，以計算最終的損失。

預(yù)測框只有少部分是正樣本，絕大部分都是負樣本。所以，通過初步篩選和精細化篩選兩個步驟，基于預(yù)測框和錨框的重合度進行篩選，用改進的SimOTA進行精細化篩選［8］，Ldsij是目標框的類別預(yù)測分數(shù)，Lnegij是目標框的坐標信息預(yù)測分數(shù)，λ是權(quán)重系數(shù)，樣本選擇代價函數(shù)如式（1）所示：

經(jīng)過標簽分配，可以對應(yīng)預(yù)測框和目標框，檢測框坐標損失lossiou采用giou_loss，其他損失losscls、lossobj、lossvehicle_cls、lossperson_cls均采用BCE_loss，λ1、λ2、λ3、λ4是權(quán)重系數(shù)，最終損失函數(shù)如式（2）所示：

1.3評價指標

目標檢測常用的評價指標包含mAP、AP等，由于網(wǎng)絡(luò)要同時檢測行人、車輛和騎行者，還要區(qū)別普通行人/工作人員、社會車輛/工程養(yǎng)護車輛，因此采用mAP為評價指標。

mAP為AP的平均值，AP值為PR曲線下的面積，計算公式如式（3）所示：

2實驗

目前公開數(shù)據(jù)集中有大量城市場景下行人、車輛和騎行者的數(shù)據(jù)，但對于高速公路場景，沒有公開的數(shù)據(jù)集，也沒有高速公路場景下，對工作人員和工程養(yǎng)護車輛的分類數(shù)據(jù)。為滿足本文所述網(wǎng)絡(luò)的多種任務(wù)，采用廣西某公司的監(jiān)控視頻，其包含200多路視頻，每路視頻選取了不同時段的100幀圖像，共2萬張圖像，對這些圖像進行標注。在最終的數(shù)據(jù)集圖像中，工作人員和工程養(yǎng)護車輛的圖像占比約為25%。

本次實驗所用環(huán)境為Ubuntu16.04、CUDA11.2、OpenCV4.5.4、pytorch1.8、顯卡為1張RTX 3080。檢測效果如圖3所示。

使用本文網(wǎng)絡(luò)檢測并識別行人、車輛、騎行者與其他網(wǎng)絡(luò)的對比如表1所示。

Faster R-CNN 是兩階段算法，通過RPN生成待檢測區(qū)域，實現(xiàn)了端到端訓(xùn)練，SSD和YOLOX均為單階段算法，通過框回歸的方式，大幅提高了算法的計算效率。

實驗表明，采用本文網(wǎng)絡(luò)結(jié)構(gòu)的檢測識別算法，在不同程度的mAP值上都優(yōu)于對比網(wǎng)絡(luò)，這得益于該網(wǎng)絡(luò)將檢測和識別任務(wù)分到了不同的檢測頭，增大了網(wǎng)絡(luò)的表達能力。在fps上，超過Faster R-CNN和SSD，略低于YOLOX，可以滿足實時性要求。

3結(jié)語

本文基于YOLOX網(wǎng)絡(luò)，增加專用于普通行人和工作人員識別、社會車輛和工程養(yǎng)護車輛識別的檢測頭，對高速公路上的行人、車輛和騎行者進行檢測并識別；制作了高速公路場景下，細分行人和車輛的數(shù)據(jù)集。實驗結(jié)果表明，不同程度的mAP值均優(yōu)于對比組。由于數(shù)據(jù)集的局限，僅適用于高速公路場景，對于如城市、國道等其他場景的適用性不足，未來還可以對工程養(yǎng)護車輛進行細分，如掃地車、拖車等。

目前的交通事件檢測系統(tǒng)大多應(yīng)用于高速公路上。然而在其他非封閉的道路場景，同樣對交通事件檢測有一定的需求，在非封閉的道路場景中，存在更多不同的主體，對不同的主體有不同的關(guān)注程度，因此，未來對道路目標的檢測和主體識別會有更大的需求。本文針對高速公路這類封閉道路進行了基于統(tǒng)一網(wǎng)絡(luò)模型的目標檢測和主體識別的算法探索，為后續(xù)不同場景下的快速目標檢測和主體識別研究提供了新的方向。

參考文獻

［1］王瀅暄，宋煥生，梁浩翔，等.基于改進的YOLOv4高速公路車輛目標檢測研究［J］.計算機工程與應(yīng)用，2021，57（13）：218-226.

［2］姚蘭，趙永恒，施雨晴，等.一種基于視頻分析的高速公路交通異常事件檢測算法［J］.計算機科學(xué)，2020，47（8）：208-212.

［3］李浩瀾.基于視頻圖像的高速公路異常事件實時檢測系統(tǒng)［D］.重慶：重慶理工大學(xué)，2020.

［4］Ge Z，Liu S，Wang F，et al.YOLOX：Exceeding YOLO Series in 2021［R］.2021.

［5］Bochkovskiy A，Wang C Y，Liao H.YOLOv4：Optimal Speed and Accuracy of Object Detection［R］.2020.

［6］Zhang H，Cisse M，Dauphin Y N，et al.mixup：Beyond Empirical Risk Minimization［R］.2017.

［7］MeiY，F(xiàn)an Y，Zhang Y，et al.Pyramid Attention Networks for Image Restoration［R］.2020.

［8］Ge Z，Liu S，Li Z，et al.OTA：Optimal Transport Assignment for Object Detection［R］.2021.

［9］Ren S，He K，Girshick R，et al.Faster r-cnn：Towards real-time object detection with region proposal networks［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，39（6）：1 137-1 149.

［10］ Liu W，Anguelov D，Erhan D，et al.Ssd：Single shot multibox detector［C］.European conference on computer vision，2016（9）：41-53.

基金項目：廣西重點研發(fā)計劃“智慧高速車路一體技術(shù)研究與示范項目”（編號：桂科AB21196008）

作者簡介：肖楊（1983—），工程師，主要從事智慧交通領(lǐng)域相關(guān)軟、硬件產(chǎn)品的設(shè)計、研發(fā)、測試、實施、推廣及配套解決方案的設(shè)計工作。