基于Faster RCNN和YOLOX模型融合的路況檢測算法

汪前進(jìn), 湯贇棟, 汪弋琛, 仲兆滿

(1. 江蘇海洋大學(xué)計算機(jī)工程學(xué)院, 江蘇 連云港 222005; 2. 清華大學(xué)深圳國際研究生院物流與交通學(xué)部, 廣東 深圳 518055)

隨著我國人均車輛擁有率不斷提高, 交通道路安全已成為備受關(guān)注的重要問題．路況檢測是自動駕駛中的關(guān)鍵技術(shù)之一,可以幫助車輛識別路面標(biāo)志牌、行人和其他車輛等目標(biāo),有效實現(xiàn)安全駕駛．針對目標(biāo)檢測問題, 目前已有若干種結(jié)合深度學(xué)習(xí)算法的解決方案[1-4]．在路況檢測方面, Kumar等[5]提出了一種基于多層卷積神經(jīng)網(wǎng)絡(luò)的改進(jìn)SSD(single shot multibox detector)算法, 通過選取最佳長寬比值卷積核,有效提高了目標(biāo)檢測的精度,但由于算法依賴于默認(rèn)框?qū)鼍暗倪m應(yīng)度, 難以保證算法的實時性; 楊薇等[6]提出基于Faster RCNN的車輛實時檢測改進(jìn)算法; Tabernik等[7]則改進(jìn)了Mask RCNN算法, 提出一種基于幾何外觀和視覺失真的分布式數(shù)據(jù)增強(qiáng)技術(shù), 使其適用于大規(guī)模路標(biāo)檢測和識別問題, 但由于分類網(wǎng)絡(luò)丟失數(shù)據(jù)使算法的精度有所下降; Li等[8]提出了一種基于改進(jìn)的Faster-RCNN模型的多物體檢測和識別的交叉層融合方法, 適用于復(fù)雜交通環(huán)境,該方法利用VGG16的五層結(jié)構(gòu)獲取更多的特征信息, 在小物體目標(biāo)檢測方面取得較高精度, 但是未能解決Faster-RCNN對于全局信息提取與近物識別效果不佳的問題; Carrasco等[9]提出了從全息視角瞄準(zhǔn)微小道路目標(biāo)的識別方法, 結(jié)合多尺度模塊和空間注意機(jī)制調(diào)整了YOLOv5模型, 從而提升了YOLO模型對小目標(biāo)的識別精度,但該算法僅針對特定場景的檢測有較大的精度提升,魯棒性不強(qiáng); 王超等[10]提出采用深度學(xué)習(xí)YOLOv2 模型的方法將目標(biāo)檢測視作回歸問題, 獲得交通標(biāo)識的類別和位置; 鄒雁詩[11]以MobileNets作為特征提取網(wǎng)絡(luò), 提出了協(xié)作駕駛場景目標(biāo)檢測模型．現(xiàn)有研究多通過單一類別模型完成目標(biāo)檢測, 雖然通過改進(jìn)模型在一定程度上提高了檢測效果, 但在實際路況監(jiān)測中難以兼顧檢測精度與效率．在以YOLO為代表的單階段目標(biāo)檢測算法和以Faster-RCNN為代表的二階段目標(biāo)檢測算法中, YOLO對近距離目標(biāo)檢測的精度和速度較好, 但對遠(yuǎn)距離目標(biāo)物的檢測效果不佳; 而Faster RCNN對遠(yuǎn)距離目標(biāo)的檢測具有較好的精度, 但對全局信息提取與近物識別效果弱, 且兩階段算法耗時長, 難以實現(xiàn)實時檢測．為了克服單一算法目標(biāo)檢測的局限性, 本文融合Faster RCNN和YOLOX-Tiny模型設(shè)計路況檢測算法, 對交通標(biāo)識牌和車輛進(jìn)行目標(biāo)檢測, 并基于雙目攝像頭進(jìn)行車輛距離檢測, 以期通過模型融合的方法提高駕駛安全預(yù)警反饋的速度和準(zhǔn)確性．

1 模型融合目標(biāo)檢測算法

圖1為具體的模型融合結(jié)構(gòu)圖. 先將像素為P×Q的圖像按比例縮放至M×N, 然后分別輸入YOLOX-Tiny和Faster RCNN模型中進(jìn)行檢測,再將各自檢測結(jié)果按預(yù)設(shè)權(quán)重計算出最終結(jié)果．

圖1 模型融合結(jié)構(gòu)圖Fig.1 Model fusion structure diagram

YOLOX-Tiny是YOLOX輕量化版本,結(jié)構(gòu)精簡, 檢測速度快, 其算法框架主要分為骨干網(wǎng)絡(luò)、頸部和檢測頭．相較于標(biāo)準(zhǔn)模型, 此模型弱化了Mosaic并將Mix移除, 在性能較差的硬件平臺也能有很好的檢測效果, 提高了算法的兼容性．該模型由convolutional spatial module(CSM), convolutional spatial unit(CSU)和convolutional component unit(CCUCR)三部分組成．CSM由卷積層和Sigmoid函數(shù)及Mul函數(shù)組成, 用于提取圖像的低級特征, 如邊界和色彩; CSU為特征提取層, 包括2個CSM層和Add函數(shù), 可提取圖像的高級特征,如形狀和結(jié)構(gòu); CCUCR為分類層, 用于識別目標(biāo)的不同部分,以便確定目標(biāo)的位置和類別．在如圖1所示的YOLOX-Tiny網(wǎng)絡(luò)結(jié)構(gòu)中, 將大小為M×N的圖像經(jīng)切片操作后輸入特征提取網(wǎng)絡(luò), 經(jīng)2個CSM層提取圖像特征后分別使用4個CSM層、2個CCUCR層和2個CSM層、4個CCUCR層進(jìn)行分類, 在所有CCUCR層之后均采用上采樣以確保細(xì)節(jié)特征和分辨率, 從而更好地實現(xiàn)小物體目標(biāo)檢測效果, 最后將特征融合并轉(zhuǎn)置輸出．

Faster RCNN模型[13]是RCNN系列算法中性能最佳的通用目標(biāo)檢測算法之一．在駕駛過程中, 駕駛員須預(yù)知前方道路狀況,而大多數(shù)目標(biāo)檢測算法對于小目標(biāo)的檢測效率都較低,甚至不能識別[14]. 本文采用Faster RCNN網(wǎng)絡(luò)結(jié)構(gòu)以大幅度提高小目標(biāo)檢測精度和降低容錯率．在如圖1所示的Faster RCNN網(wǎng)絡(luò)結(jié)構(gòu)中, 主要包括特征提取網(wǎng)絡(luò)、區(qū)域候選網(wǎng)絡(luò)(region proposal network, RPN)、興趣域(region of interest, ROI)池化、分類回歸等4個模塊．首先將大小為M×N的圖像輸入特征提取網(wǎng)絡(luò), 使用13個卷積、13個線性整流和4個池化提取圖像的特征圖; 然后將特征圖輸入RPN, 經(jīng)過3×3卷積生成多個興趣域．RPN結(jié)構(gòu)中通過Softmax函數(shù)對錨點進(jìn)行正負(fù)分類, 然后計算錨點的邊界框回歸偏移量, 以獲得精確的候選值．候選層則負(fù)責(zé)綜合正錨和對應(yīng)的邊界框回歸偏移量獲取修正后的候選值, 剔除過小和超出邊界的候選值．修正后的候選值被投影到特征圖上, 再通過ROI池化層縮放為7×7大小的區(qū)域特征圖, 然后將區(qū)域特征圖展平到全連接層,通過Softmax函數(shù)歸一化,計算類別概率向量,并結(jié)合通過邊框回歸修正物體的精確位置, 輸出興趣區(qū)域中物體所屬的類別以及物體在圖像中的精確位置．

YOLOX-Tiny對近距離目標(biāo)具有較高的檢測精度和速度, 但可能無法檢測遠(yuǎn)距離目標(biāo), 故本文模型在進(jìn)行遠(yuǎn)距離目標(biāo)檢測時主要依靠Faster RCNN模型, 進(jìn)行近物識別時主要依靠YOLOX-Tiny模型．采用長沙理工大學(xué)CCTSDB數(shù)據(jù)集(http://www.shujujishi.com/dataset/b3604431-16e2-4771-be74-ae694a2bb4c3.html)測試并確定兩種模型的權(quán)重．當(dāng)目標(biāo)處于適中距離時, 測試YOLOX-Tiny模型的權(quán)重在0.6～0.9范圍內(nèi)取不同值時融合模型的檢測精度. 平均精度(mean average precision, mAP)和每秒傳輸幀數(shù)(frames persecond, FPS)的結(jié)果見表1．表1結(jié)果顯示, 當(dāng)YOLOX-Tiny權(quán)重為0.7時, 融合模型的效果最好．

表1 YOLOX-Tiny模型不同權(quán)重下融合算法的檢測結(jié)果

2 路況檢測

路況檢測具體流程如圖2所示．首先通過雙目攝像頭進(jìn)行路況拍攝, 然后將拍攝截圖按照預(yù)設(shè)尺寸進(jìn)行縮放后輸入已訓(xùn)練的模型中, 獲得目標(biāo)物的分類和坐標(biāo),最后根據(jù)目標(biāo)物坐標(biāo)計算距離, 當(dāng)檢測距離小于安全距離時,通過語音提示駕駛員．

圖2 系統(tǒng)流程圖Fig.2 System flow chart

考慮到目標(biāo)檢測算法計算資源消耗較大, 如果選用陰影檢測或圖像處理后再進(jìn)行檢測,會導(dǎo)致系統(tǒng)整體響應(yīng)速度大幅降低．實際路況檢測時, 模型時效性遠(yuǎn)大于精確性, 宜選用簡單模型以保證檢測時效性．圖3是本模型通過雙目攝像頭檢測目標(biāo)物距離的原理圖．以地平面上點Oa為中心建立Oaxayaza坐標(biāo)系, 左右相機(jī)分別位于Oaxaya平面上與ya軸等距離的兩側(cè), 相機(jī)離地面高度均為h．左右相機(jī)光心分別為Ol和Or, 基線b=|OlOr|．相機(jī)的成像平面經(jīng)旋轉(zhuǎn)后位于鏡頭前方, 分別以左右相機(jī)成像中心Fl和Fr建立Flxlylzl和Frxryrzr坐標(biāo)系, 焦距為f．三維空間目標(biāo)物的P點在左右相機(jī)的像點分別為Pl和Pr．視差d=|OlOr|-|PlPr|, 故|PlPr|=|OlOr|-d=b-d．令|PP′|為目標(biāo)P到雙目攝像頭的垂直距離, 記作Z, 該垂線交PlPr于Q, |P′Q|=f．根據(jù)相似三角形理論, |PlPr|/|PQ|=|OlOr|/|PP′|,即(b-d)/(Z-f)=b-Z, 故目標(biāo)P到雙目攝像頭的距離Z=bf/d, 式中視差d可通過檢測到的目標(biāo)在圖像中的位置坐標(biāo)計算得出, 焦距f以算法檢測目標(biāo)為焦點時返回的數(shù)值為依據(jù),b為雙目攝像頭固定參數(shù)．

圖3 雙目系統(tǒng)獲取目標(biāo)距離原理圖Fig.3 Schematic diagram of binocular system for acquiring distance to target

3 實驗結(jié)果

本實驗選用長沙理工大學(xué)CCTSDB數(shù)據(jù)集對模型進(jìn)行訓(xùn)練, 數(shù)據(jù)集包括指示標(biāo)志、禁止標(biāo)志、警告標(biāo)志、非機(jī)動車、機(jī)動車等5種類型, 訓(xùn)練集與測試集的比例為8∶2, 訓(xùn)練平臺為Python3.8, 顯卡為NVIDIA GTX 3060 12 GB．

為了驗證算法的檢測能力, 將本文模型與YOLOX-Tiny、Faster RCNN、YOLOv3-Tiny、SSD算法進(jìn)行對比實驗．各模型均進(jìn)行了200輪次的訓(xùn)練, 然后分別對遠(yuǎn)處目標(biāo)、近處目標(biāo)、簡單場景、適中場景和復(fù)雜場景的數(shù)據(jù)進(jìn)行預(yù)測．其中,目標(biāo)占攝像頭捕獲圖像上部的1/3位置為遠(yuǎn)處目標(biāo), 占圖像下部2/3位置為近處目標(biāo); 僅前方有車輛的高速道路為簡單場景; 前方、側(cè)方都有車輛的高速道路為適中場景; 前方、側(cè)方有車輛, 且有交通標(biāo)識牌的高速道路為復(fù)雜場景．表2為各場景下目標(biāo)檢測模型的性能對比．其中AP50是以預(yù)測框和實際框重合面積占總面積的比例大于50%為閾值計算的平均精度．由表2可知, Faster RCNN的mAP比本文算法高3.5%, 但本文算法的FPS提升了30.6幀·s-1; 其他算法與本文算法的FPS相差不大, 但是本算法在mAP上具有明顯優(yōu)勢．綜合而言, 本文的模型具有較好的檢測性能．

表2 目標(biāo)檢測模型性能對比

圖4為近處和遠(yuǎn)處目標(biāo)檢測的損失函數(shù)曲線．由圖4可見, 隨訓(xùn)練次數(shù)的增加, 各算法的損失函數(shù)曲線均趨于穩(wěn)定, 未出現(xiàn)過擬合現(xiàn)象．遠(yuǎn)處目標(biāo)檢測中, YOLOX-Tiny與YOLOv3-Tiny的損失函數(shù)曲線波動較大且最大值較高, 說明YOLO模型對于遠(yuǎn)處目標(biāo)檢測能力不穩(wěn)定．YOLOv3-Tiny整體效率不如YOLOX-Tiny, 原因是YOLOX相較于YOLOv3新增了無錨點模型．檢測近處目標(biāo)時, 各算法的損失函數(shù)曲線相近, 但在遠(yuǎn)處目標(biāo)檢測中本文算法的優(yōu)勢明顯, 相較于YOLOv3-Tiny和YOLOX-Tiny在初始階段對遠(yuǎn)處目標(biāo)檢測能力較弱的情況得到了明顯的改善．相較于SSD和Faster RCNN, 本文算法的損失函數(shù)曲線也更平滑．結(jié)合表2結(jié)果, 基于加權(quán)平均法進(jìn)行的模型融合算法計算量小, 檢測性能佳,兼顧了檢測速度和精度兩方面的需求．不同于常用的以犧牲部分檢測速度換取高精度的自助聚合和堆疊法, 基于加權(quán)平均法的模型融合算法更適合于在高速公路以及非密集人員區(qū)域的交通道路條件下, 對駕駛員的視野邊緣區(qū)域目標(biāo)進(jìn)行檢測, 有助于提高駕駛安全性．

圖4 近處(a)和遠(yuǎn)處(b)目標(biāo)檢測的損失函數(shù)曲線Fig.4 Loss function curves for near (a) and far (b) target detection