基于多尺度特征融合的乘用車路面信息預(yù)警研究方法

【摘" 要】伴隨著用戶對于乘用車行駛過程中的安全性和駕駛舒適性要求越來越高，計(jì)算機(jī)視覺算法作為一種先進(jìn)的智能汽車技術(shù)被廣泛應(yīng)用。面對復(fù)雜多變的駕駛路面情況，實(shí)時(shí)準(zhǔn)確的路面信息預(yù)警能夠極大程度地保障用戶出行。文章提出一種基于多尺度特征融合的乘用車路面信息預(yù)警方法。該方法在主流檢測框架YOLOv8s中加入BiFPN方法，能有效提升對小目標(biāo)的檢測精度。此外，引入GIoU作為邊界框回歸損失函數(shù)的創(chuàng)新改進(jìn)，更好地處理檢測框不相交或重疊較少的情況，進(jìn)一步提升模型在復(fù)雜路面情況下的目標(biāo)定位精度。由于現(xiàn)有相關(guān)數(shù)據(jù)集并不完備，需進(jìn)行數(shù)據(jù)采集和特征提取工作，這些數(shù)據(jù)應(yīng)涵蓋各種路面工況，以進(jìn)一步滿足路面信息預(yù)警需求。通過試驗(yàn)結(jié)果分析，本方法在乘用車路面信息檢測方面表現(xiàn)出較好性能，不僅能增強(qiáng)對小目標(biāo)的檢測精度，也能提升邊界框定位的魯棒性，為后續(xù)的汽車路面信息預(yù)警研究提供有效的數(shù)據(jù)和技術(shù)支持。

【關(guān)鍵詞】乘用車;多尺度特征融合;路面信息

中圖分類號：U463.6" " 文獻(xiàn)標(biāo)識碼：A" " 文章編號：1003-8639（ 2024 ）12-0040-04

Research Method of Passenger Vehicle Pavement Information Warning Based on Multi-scale Feature Fusion

【Abstract】With the increasing requirements for safety and driving comfort of passenger cars，computer vision algorithm has been widely used as an advanced intelligent vehicle technology. In the face of complex and changeable driving road conditions，real-time and accurate road information early warning can greatly protect users' travel. This paper presents a road information warning method for passenger vehicles based on multi-scale feature fusion. The BiFPN method is added into the mainstream detection framework YOLOv8s，which can effectively improve the detection accuracy of small targets. In addition，GIoU is introduced as an innovative improvement of the boundary box regression loss function，which can better deal with the cases where the detection boxes do not intersect or overlap less，and further improve the target location accuracy of the model in complex road conditions. Due to the incompleteness of existing relevant data sets，data collection and feature extraction should be carried out，and these data should cover various road conditions to further meet the demand for road information early warning. Through the analysis of experimental results，the proposed method shows good performance in the detection of passenger vehicle road surface information，which can not only enhance the detection accuracy of small targets，but also improve the robustness of boundary frame positioning，providing effective data and technical support for the subsequent research on vehicle road surface information early warning.

【Key words】passenger car;multi-scale feature fusion;pavement information

0" 引言

近年來，中國政府對智能汽車技術(shù)的重視程度與日俱增，智能駕駛技術(shù)逐步成為中國汽車產(chǎn)業(yè)戰(zhàn)略的關(guān)鍵一環(huán)。2020年，中國發(fā)布了《智能汽車創(chuàng)新發(fā)展戰(zhàn)略》這一重要政策，其中提出到2025年，中國要形成較為完善的智能汽車技術(shù)創(chuàng)新體系，關(guān)鍵技術(shù)與產(chǎn)品需達(dá)到國際先進(jìn)水平。該戰(zhàn)略強(qiáng)調(diào)了推動智能駕駛技術(shù)應(yīng)用的重要性，要求智能汽車應(yīng)具備對復(fù)雜道路環(huán)境的實(shí)時(shí)感知和決策能力。在這樣的背景下，乘用車路面識別與預(yù)警系統(tǒng)作為智能汽車的一部分，成為提升車輛安全性與駕駛體驗(yàn)的重要發(fā)展方向。

隨著智能化汽車的飛速發(fā)展，車載攝像頭等傳感設(shè)備得到廣泛應(yīng)用，為實(shí)時(shí)監(jiān)控和識別路況提供了可能。路面狀況直接影響車輛的行駛安全和乘坐舒適度，特別是在崎嶇不平或有坑洼的道路上，如果車輛未能及時(shí)采取避讓或減速措施，可能會引發(fā)事故、損壞車輛，甚至對乘客造成傷害。因此，針對乘用車的路面識別與預(yù)警系統(tǒng)具有重大的現(xiàn)實(shí)意義。

目標(biāo)檢測作為計(jì)算機(jī)視覺中的重要分支，通過對圖像或視頻中的特定對象進(jìn)行識別和定位，能為車輛的自動化駕駛和安全預(yù)警提供有力支持。YOLO（You Only Look Once）是目標(biāo)檢測領(lǐng)域的一種高效算法，因其實(shí)時(shí)性和高精度備受矚目。YOLOv8s作為YOLO系列算法的最新版本，具有更高的檢測精度、更快的運(yùn)行速度和更低的計(jì)算資源消耗。它的端到端結(jié)構(gòu)能夠在一幀圖像中一次性完成目標(biāo)定位和分類，極大地提升了路面識別的效率，尤其適合對實(shí)時(shí)性要求較高的車載環(huán)境。在實(shí)際道路駕駛中，路面的類型和狀態(tài)千變?nèi)f化，常見的有平整路面、碎石路面、坑洼路面、減速帶、積水路段、冰雪覆蓋路段等。這些復(fù)雜路面條件不僅影響車輛的行駛平穩(wěn)性，還可能導(dǎo)致意外事故。因此，借助YOLOv8s等先進(jìn)的目標(biāo)檢測算法，可以對不同的路面類型進(jìn)行自動識別。本文首先引入BiFPN（Bi-directional Feature Pyramid Network）模型，更好地提取不同分辨率下的路面特征，進(jìn)一步提高檢測系統(tǒng)在多尺度下的特征提取能力。另外，采用GIOU（Generalized Intersection over Union）作為邊界框回歸損失函數(shù)的優(yōu)化方式。相比傳統(tǒng)的IOU，GIOU通過考慮邊界框之間的空間關(guān)系，尤其是在重疊較少甚至無重疊的情況下，提供了更精準(zhǔn)的定位信息。

在實(shí)際應(yīng)用中，車載攝像頭通過實(shí)時(shí)拍攝車輛前方的路面圖像，將這些圖像輸入到Y(jié)OLOv8s算法中進(jìn)行處理，能夠迅速檢測出路面上的異?；蛘系K物，并通過報(bào)警系統(tǒng)提示駕駛員采取相應(yīng)措施。例如，當(dāng)車輛接近一個(gè)坑洼路面時(shí)，系統(tǒng)可以及時(shí)發(fā)出預(yù)警，提醒駕駛員減速或繞行，從而減少車輛損耗，避免事故發(fā)生。

1" YOLOv8s網(wǎng)絡(luò)介紹

YOLOv8系列包括不同大小的模型，有n、s、m、l和x 5個(gè)版本。本文所使用的YOLOv8s是YOLOv8家族中較輕量化的模型，適合對資源和速度有較高要求的場景。YOLOv8s的架構(gòu)主要由Backbone、Neck和Head組成，如圖1所示。

YOLOv8s的Backbone采用了CSP（Cross Stage Partial）Net結(jié)構(gòu)，能夠減少冗余計(jì)算，提升網(wǎng)絡(luò)的特征提取能力，同時(shí)降低計(jì)算開銷。通過這種設(shè)計(jì)，YOLOv8s在處理圖像時(shí)能夠提取出豐富的低層和中層特征，并通過深層卷積網(wǎng)絡(luò)進(jìn)一步學(xué)習(xí)圖像的高層語義信息。此外，YOLOv8s結(jié)合了自注意力機(jī)制和輕量化卷積模塊，在不增加大量計(jì)算的情況下增強(qiáng)了特征提取的有效性。Neck部分采用了FPN（Feature Pyramid Network）和PAN（Path Aggregation Network）架構(gòu)。FPN用于處理不同尺度的特征圖，將高層的語義信息與低層的空間細(xì)節(jié)相結(jié)合，從而提高對小目標(biāo)的檢測能力。而PAN則通過自底向上的路徑聚合信息，使得不同層次的特征可以有效交互。這種設(shè)計(jì)提升了網(wǎng)絡(luò)對目標(biāo)的定位能力和分類準(zhǔn)確度。然而，在多尺度信息檢測上，YOLOv8s的FPN和PAN設(shè)計(jì)仍存在局限性，尤其在處理跨尺度大目標(biāo)與小目標(biāo)時(shí)的表現(xiàn)不夠理想。Head部分負(fù)責(zé)輸出目標(biāo)的分類和邊界框預(yù)測。其采用了無錨框（Anchor-free）設(shè)計(jì)，直接預(yù)測目標(biāo)的邊界框位置和類別。這種設(shè)計(jì)簡化了訓(xùn)練過程，消除了復(fù)雜的錨框生成和匹配步驟，從而提升了檢測效率。然而，該設(shè)計(jì)的檢測精度在某些情況下可能受限，尤其是在復(fù)雜背景或目標(biāo)密集的場景中，定位可能不夠準(zhǔn)確。

盡管FPN和PAN架構(gòu)為YOLOv8s提供了較好的多尺度特征融合能力，但由于模型體積較小，使得它在復(fù)雜場景中難以平衡不同尺寸目標(biāo)的檢測效果，尤其是在目標(biāo)尺寸差異極大的情況下，其表現(xiàn)會有所下降。另外，YOLOv8s的損失函數(shù)主要考慮目標(biāo)分類誤差和邊界框回歸誤差，但在處理極端樣本（如密集目標(biāo)或難區(qū)分目標(biāo)）時(shí)，損失函數(shù)對分類和定位的權(quán)重分配可能不夠理想，導(dǎo)致模型在某些場景下的泛化能力不足。

盡管存在這些問題，在典型路面檢測場景下，YOLOv8s仍能夠提供可靠的檢測結(jié)果，特別是在高速行駛的車輛中，能夠?qū)崿F(xiàn)對復(fù)雜路況的實(shí)時(shí)感知。因此，本文在YOLOv8s模型的基礎(chǔ)上進(jìn)行優(yōu)化，引入更好的多尺度特征融合模塊和更先進(jìn)的損失函數(shù)，能夠有效解決其在路面檢測方面的不足，為智能駕駛提供更強(qiáng)有力的技術(shù)支持。

2" 多尺度特征融合的研究方法

2.1" 引入BiFPN方法

YOLOv8s采用的FPN和PAN設(shè)計(jì)存在一定局限性，雖然在速度和精度上有一定的平衡，但在多尺度信息處理方面有時(shí)會存在不足，特別是在面對大小差異較大的目標(biāo)或復(fù)雜路面環(huán)境時(shí)。為解決這一問題，本文引入BiFPN，其網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。BiFPN通過引入雙向特征流動，紅線箭頭和藍(lán)色箭頭表示各個(gè)尺寸特征圖自頂向下和自底向上同時(shí)進(jìn)行特征融合，綠色箭頭表示不同尺度的輸入特征可以更充分地交互，從而提升對不同尺寸目標(biāo)的檢測效果。對于乘用車路面檢測而言，這意味著模型可以更好地識別小型或大型路面缺陷，并提高檢測的精度。

另外，BiFPN采用了加權(quán)特征融合機(jī)制，能夠根據(jù)特征的重要性自適應(yīng)地分配權(quán)重。模型能夠動態(tài)調(diào)整不同層次特征對最終檢測結(jié)果的影響，避免在路面識別中由于路面的材質(zhì)、光線、陰影等因素導(dǎo)致部分區(qū)域的信息不可靠。BiFPN的加權(quán)機(jī)制可以有效過濾這些無關(guān)信息，增強(qiáng)模型的魯棒性。

通過引入BiFPN，YOLOv8s能夠更好地檢測大小不一的路面目標(biāo)，有效克服了尺度信息檢測的局限性。在復(fù)雜的路況中，它可以實(shí)現(xiàn)更精確的檢測，為智能駕駛系統(tǒng)提供可靠的技術(shù)支持。BiFPN的加權(quán)特征融合機(jī)制和雙向特征流動，使得模型在面對多樣化的路面信息時(shí)，能夠快速、準(zhǔn)確地做出判斷，這無疑為確保車輛行駛安全提供了有力的保障。

2.2" 引入GIOU損失函數(shù)

在乘用車路面信息識別任務(wù)中，檢測路面上的坑洼目標(biāo)時(shí)，邊界框的精確性至關(guān)重要。在YOLOv8s中，使用的CIoU損失函數(shù)在邊界框重疊區(qū)域小或者邊界框完全不重疊時(shí)，難以有效優(yōu)化定位精度。而GIoU通過引入最小包圍框的概念，即使兩個(gè)邊界框沒有重疊，仍然可以提供有效的梯度信息，幫助模型在復(fù)雜場景中收斂。對此，本文引入了GIoU損失函數(shù)，使得模型可以更準(zhǔn)確地評估邊界框的相對位置，即使邊界框之間無重疊區(qū)域，GIoU也能提供有效的優(yōu)化方向。這對路面信息檢測尤為重要，比如在車載攝像頭識別路面坑洼等小目標(biāo)時(shí)，GIoU可以更快地將邊界框引導(dǎo)至目標(biāo)區(qū)域。

另外，路面信息識別的目標(biāo)形狀不規(guī)則，且目標(biāo)可能較小，GIoU不對長寬比進(jìn)行嚴(yán)格約束，使其在處理形狀不規(guī)則的目標(biāo)時(shí)更加靈活，這在復(fù)雜路面信息識別任務(wù)中是一個(gè)顯著優(yōu)勢。YOLOv8在邊界框損失中采用了DFL+CIoU Loss，其中CIoU是對IoU的改進(jìn)，解決了預(yù)測框與真實(shí)框不相交時(shí)，無法衡量兩者之間距離的問題。不過，CIoU仍存在一些限制：①在長寬比的描述上存在一定模糊，并且忽視了樣本難易程度的平衡;②參數(shù)較多，導(dǎo)致計(jì)算復(fù)雜度上升。為此，引入GIoU，GIoU不僅關(guān)注非重疊區(qū)域，還補(bǔ)足了IoU在框不相交時(shí)無法衡量距離的缺陷，有助于提升模型的收斂速度。

IoU全稱為交并比，計(jì)算公式如下：

GIoU在CoU基礎(chǔ)上進(jìn)行優(yōu)化，計(jì)算公式如下：

C表示真實(shí)框和預(yù)測框的最小閉包區(qū)域，其計(jì)算的原理如圖3所示。

使用GIoU替換YOLOv8s中的CIoU損失函數(shù)，能夠增強(qiáng)模型在處理無重疊邊界框時(shí)的表現(xiàn)，簡化計(jì)算過程，加快初期收斂速度。同時(shí)，在形狀不規(guī)則的識別任務(wù)中具有更好的靈活性。因此，GIoU的引入可以使本模型更精確地檢測到路面上的細(xì)微變化，為智能駕駛提供更可靠的路況感知。這一改進(jìn)對于提升智能駕駛系統(tǒng)的安全性和可靠性具有重要意義，使得車輛能夠更好地應(yīng)對各種復(fù)雜的路面情況，為駕駛者提供更加安全、舒適的駕駛體驗(yàn)。

2.3" 改進(jìn)的模型架構(gòu)

本文對YOLOv8s網(wǎng)絡(luò)模型進(jìn)行改進(jìn)后，提出了用于乘用車路面信息預(yù)警的模型。改進(jìn)后的模型架構(gòu)如圖4所示，在原始YOLOv8s模型的頸模塊中引入了對尺度信息更為敏感的BiFPN，從而能更好地適應(yīng)復(fù)雜的路面場景。BiFPN結(jié)構(gòu)通過重復(fù)利用不同層次的特征圖，實(shí)現(xiàn)了特征的自適應(yīng)加權(quán)融合，增強(qiáng)了模型對細(xì)節(jié)信息的捕捉和處理能力。模型的骨干模塊以綠色框標(biāo)示，頸模塊以藍(lán)色框展示，原有Concate結(jié)構(gòu)被黃色的BiFPN結(jié)構(gòu)所取代。頭模塊依然保留為橙色框部分，負(fù)責(zé)最終的目標(biāo)檢測和分類任務(wù)。此外，本模型在損失函數(shù)設(shè)計(jì)上也進(jìn)行了改進(jìn)，采用了GIoU作為損失函數(shù)，更好地約束預(yù)測框，使其更貼合真實(shí)物體的邊界。通過將BiFPN和GIoU結(jié)合到Y(jié)OLOv8網(wǎng)絡(luò)模型中，能夠準(zhǔn)確識別路面上的突變、坑洼等復(fù)雜不規(guī)則特征，從而為車載攝像頭提供更加及時(shí)和精準(zhǔn)的路況反饋，在乘用車行駛過程中復(fù)雜路面信息檢測方面展示出顯著優(yōu)勢。

3" 試驗(yàn)結(jié)果與分析

3.1" 數(shù)據(jù)集構(gòu)建

為驗(yàn)證算法的檢測效果，本次試驗(yàn)選擇Kaggle公開的Annotated Potholes Image Dataset作為基準(zhǔn)數(shù)據(jù)集。由于該數(shù)據(jù)集中，數(shù)據(jù)量較小，且目標(biāo)背景過于單一，故通過網(wǎng)絡(luò)爬蟲和實(shí)地拍攝的方式對基準(zhǔn)數(shù)據(jù)集進(jìn)行補(bǔ)充。最終數(shù)據(jù)集中共包含970張數(shù)據(jù)，并將所有數(shù)據(jù)格式調(diào)整為與PASCOL VOC一致。最后將數(shù)據(jù)集中的訓(xùn)練集、驗(yàn)證集和測試集按8：1：1進(jìn)行劃分。本試驗(yàn)中所構(gòu)建的數(shù)據(jù)集涵蓋了乘用車行駛過程中各種路面情況下的路面信息，拍攝角度與乘用車車載攝像頭角度一致。路面信息中的缺陷背景各異、大小不一且形狀多樣，數(shù)據(jù)集圖片中充分考慮到了由于環(huán)境因素導(dǎo)致的陰影、重疊和遮擋等復(fù)雜情況。

3.2" 試驗(yàn)環(huán)境介紹

本文的試驗(yàn)在Ubuntu20.04系統(tǒng)上進(jìn)行，硬件配置為：Intel（R）Xeon（R）Platinum 8255C CPU@2.50GHz，NVIDIA RTX3080×2GPU，20GB顯存。編譯環(huán)境包括Python3.8、PyTorch1.10.0、CUDA 11.3。

3.3" 評價(jià)指標(biāo)

試驗(yàn)采用各類平均精度mAP和模型參數(shù)量Params作為試驗(yàn)的評價(jià)指標(biāo)。

1）mAP指所有類別的識別平均準(zhǔn)確率，具體計(jì)算公式為：

式中：p——P-R曲線中的精確率;r——P-R曲線中的召回率;AP——每類的識別精度;k——待檢測類別數(shù)。試驗(yàn)中使用目標(biāo)置信度閾值IoU為0.5時(shí)的mAP。

2）Params指的是模型中需要學(xué)習(xí)的參數(shù)的數(shù)量，能反映模型參數(shù)的內(nèi)存占用量，單位為MB。

3.4" 模型結(jié)果分析

為驗(yàn)證本文所提出的研究方法在乘用車路面信息的檢測能力，將其與一些主流模型進(jìn)行了對比試驗(yàn)，這些模型包括Faster R-CNN、SSD-300、YOLOv8s及YOLOv8n，對比結(jié)果見表1。

試驗(yàn)結(jié)果表明，改進(jìn)模型較基線網(wǎng)絡(luò)YOLOv8s在檢測精度上高出1.8%，與其余幾個(gè)模型相比分別高出26.2%、23.5%、3.1%。為進(jìn)一步探討各個(gè)組件對最終模型性能的影響，設(shè)計(jì)并實(shí)施了消融試驗(yàn)。消融試驗(yàn)對比結(jié)果見表2，不同組件的加入對模型在路面信息檢測任務(wù)中的表現(xiàn)有顯著影響，驗(yàn)證了各個(gè)模塊在提升模型精度和魯棒性方面的必要性。

在消融試驗(yàn)中，試驗(yàn)結(jié)果顯示，移除BiFPN后，模型在不同尺度目標(biāo)上的檢測精度顯著下降，尤其是在復(fù)雜路況下表現(xiàn)較差。而在移除GIoU的情況下，模型的邊界框定位精度有所降低，導(dǎo)致整體檢測效果不如原模型。這充分表明BiFPN和GIoU在提升模型檢測精度和定位能力方面起到了關(guān)鍵作用，驗(yàn)證了它們對路面信息檢測任務(wù)的有效性。

為了更直觀地體現(xiàn)本文改進(jìn)方法對于路面信息檢測的有效性，本文選取了特定圖片進(jìn)行有效性測試。如圖5所示，其中由左到右依次為原圖、YOLOv8s檢測結(jié)果以及本文模型檢測結(jié)果。可以看出，YOLOv8s在小目標(biāo)的坑洼區(qū)域存在漏檢現(xiàn)象，且部分目標(biāo)的檢測框偏離真實(shí)位置。加入BiFPN后，多尺度特征融合能力得到了顯著增強(qiáng)，使模型能夠更好地感知小目標(biāo)和不同尺度的物體。GIoU優(yōu)化了目標(biāo)定位的準(zhǔn)確性，減少了檢測框的偏移。因此，本文的改進(jìn)方法對小目標(biāo)有更好的檢測能力，且檢測框更加精確，整體效果更加可靠。

4" 結(jié)束語

本文所提出的方法，在YOLOV8s模型的基礎(chǔ)上引入BiFPN算法，能夠更好地提取不同尺寸和復(fù)雜度的路面特征。同時(shí)，引入GIoU作為損失函數(shù)，更精確地調(diào)整預(yù)測框的位置和尺寸，提升了在復(fù)雜道路條件下的識別精度。該技術(shù)在復(fù)雜道路條件下將發(fā)揮關(guān)鍵作用，為車輛提供更全面、精確的路況感知與預(yù)警。這極大地提高了智能駕駛系統(tǒng)的安全性和適應(yīng)性，助力智能駕駛技術(shù)的進(jìn)一步發(fā)展。它為未來的智能交通系統(tǒng)提供了有力的技術(shù)支持，有望在保障道路安全、提升交通效率等方面發(fā)揮重要作用。

參考文獻(xiàn)：

[1] 陳筱，朱向冰. 人工智能技術(shù)在自動駕駛中的應(yīng)用[J]. 汽車電器，2020（10）：4-5，10.

[2] 胡益謙，趙豐. 基于多傳感器信息融合的路面等級識別研究[J]. 車輛與動力技術(shù)，2017（3）：15-19.

[3] 楊磊，陳艷菲，李海鳴，等. 基于改進(jìn)YOLOv8的自動駕駛場景目標(biāo)檢測算法[J]. 計(jì)算機(jī)工程與應(yīng)用，2024（7）：17.

[4] 李成袁. 基于BiFPN-YOLOv5的公路養(yǎng)護(hù)檢測算法[J].電腦知識與技術(shù)，2023，19（15）：11-14.