雙目視覺感知下的公路限高實(shí)時(shí)預(yù)警算法

李寶軍,薛 炯,劉澤陽,王小超,肖志鵬

(1.大連理工大學(xué) 汽車工程學(xué)院, 遼寧 大連 116024;2.天津工業(yè)大學(xué) 數(shù)學(xué)科學(xué)學(xué)院, 天津 300387;3.北京中科慧眼科技有限公司, 北京 100023)

0 引言

國內(nèi)公路限高設(shè)施分布廣泛,通常架設(shè)在各個(gè)城市市區(qū)入口、高速路出入口、橋梁隧道前、火車道和港口附近,起到保護(hù)隧道和橋梁的作用。目前國內(nèi)的限高設(shè)施沒有統(tǒng)一的國標(biāo)規(guī)范,各地政府設(shè)置的限高設(shè)施在外觀、標(biāo)識(shí)和限高高度等方面千差萬別,給大型車輛的正常通行帶來了諸多困擾。房車、大型貨車、大型客車等,由于車身尺寸大、造價(jià)高,在公路限高場(chǎng)景中一旦發(fā)生限高事故,會(huì)造成公共財(cái)產(chǎn)和個(gè)人財(cái)產(chǎn)的重大損失,同時(shí)也會(huì)給駕駛員和乘客生命安全帶來極大威脅。由于國內(nèi)公路限高場(chǎng)景復(fù)雜,限高設(shè)施外造型非標(biāo)、多樣,為限高目標(biāo)監(jiān)測(cè)領(lǐng)域相關(guān)研究帶來了巨大的挑戰(zhàn)。

車輛在行駛工況下,存在著車速變化非均勻、路面不平激勵(lì)輸入和車身震動(dòng)等多種不確定性因素,增加了中遠(yuǎn)距離傳感器測(cè)距測(cè)高的難度,造成了輸出結(jié)果不穩(wěn)定的問題。目前自動(dòng)駕駛路面感知系統(tǒng)中常見的傳感器包括毫米波雷達(dá)、激光雷達(dá)和光學(xué)相機(jī)。研究表明[1],毫米波雷達(dá)可以探測(cè)到100～150 m范圍內(nèi)的行人,除了容易受到金屬物體的影響外,只能提供距離和角度信息,物體的高度信息缺失;使用激光雷達(dá)[2]在100 m的范圍內(nèi)測(cè)距精度可以達(dá)到±3 cm,但高線束的激光雷達(dá)使用成本太高。Shu等[3]提出的featdepth單目無監(jiān)督深度估計(jì)算法盡管在深度估計(jì)精度上接近單目有監(jiān)督的深度估計(jì)算法,但依然存在著尺度恢復(fù)困難和測(cè)距精度低的問題,難以滿足公路限高預(yù)警中實(shí)時(shí)測(cè)距測(cè)高的需求。

隨著智能汽車的大規(guī)模量產(chǎn),盡管雙目相機(jī)測(cè)距精度低于激光雷達(dá),但是成本優(yōu)勢(shì)十分明顯,同時(shí)還具有豐富的圖像紋理信息,有利于限高檢測(cè)。原培新等[4]將雙目視覺應(yīng)用于列車把手位置并計(jì)算把手距離相機(jī)的物理距離,為機(jī)器人自動(dòng)摘鉤提供數(shù)據(jù)基礎(chǔ);王洪偉等[5]采用2個(gè)不同視角的CCD攝像頭對(duì)道路前側(cè)的紅綠燈進(jìn)行測(cè)距,50 m測(cè)距范圍誤差可以控制在6%以內(nèi);王昊等[6]提出基于雙目視覺的車輛跟馳系統(tǒng),實(shí)現(xiàn)了在60 m車間距測(cè)量范圍內(nèi),使用25 mm焦距的雙目相機(jī)的平均相對(duì)誤差為2.66%;劉詩婷等[7]提出了一種基于雙目變焦的超分辨率成像測(cè)距算法,實(shí)現(xiàn)了在相同距離下具有更小的測(cè)距相對(duì)誤差,在相同的測(cè)距相對(duì)誤差下具有更大的測(cè)距范圍;劉志強(qiáng)等[8]提出了攝像頭和毫米波雷達(dá)多傳感器融合的算法,在晴天、雨天、夜晚和陰天4種不同天氣條件下對(duì)目標(biāo)的平均檢測(cè)率達(dá)到88.3%。雙目相機(jī)的缺點(diǎn)是分辨率有限,測(cè)距和測(cè)高精度對(duì)視差的依賴性較高,獲取到的視差數(shù)據(jù)存在著噪聲多、誤差大、特征不明晰和難分離等多方面的問題。

針對(duì)上述問題,本文提出了一種基于深度學(xué)習(xí)的雙目公路限高設(shè)施自動(dòng)監(jiān)測(cè)算法,對(duì)中遠(yuǎn)距離的限高設(shè)施進(jìn)行檢測(cè)和實(shí)時(shí)測(cè)距測(cè)高。通過目標(biāo)檢測(cè)和目標(biāo)跟蹤算法得到限高設(shè)施的二維檢測(cè)框,結(jié)合獲取的視差數(shù)據(jù)對(duì)檢測(cè)框內(nèi)的視差進(jìn)行多步多尺度濾波,計(jì)算限高目標(biāo)的距離和高度信息。最后,對(duì)計(jì)算得到的距離和高度信息進(jìn)行魯棒性輸出并預(yù)警,實(shí)現(xiàn)輸出高精度、實(shí)時(shí)性和魯棒性的目標(biāo)。

1 公路限高設(shè)施及場(chǎng)景分析

設(shè)置公路限高的目的是限制大型載重車輛通行,起到延長(zhǎng)公路使用壽命、保護(hù)立交橋梁或隧道等跨越物安全的作用。但是如果設(shè)置不當(dāng),在限高事故中會(huì)對(duì)駕駛員和乘客的生命安全造成威脅。國內(nèi)常見的公路限高設(shè)施主要包含限高桿、天橋、隧道、牌坊,考慮到橋梁和隧道的限高主體部分均無紋理,將其合并為橋洞類,故本文主要研究的限高對(duì)象為限高桿、橋洞、牌坊3大類。

各類限高設(shè)施缺乏統(tǒng)一的標(biāo)準(zhǔn),其外形特征具有多樣性、復(fù)雜性,因此對(duì)不同類型的限高設(shè)施根據(jù)不同的外形特征對(duì)其進(jìn)行進(jìn)一步分類,限高設(shè)施分類示意圖如圖1所示。

圖1 限高設(shè)施分類示意圖

限高桿桿體除了常見的黃黑相間的紋理外,還有紅白相間的紋理和純色無紋理的類型;限高橫桿主體除了單根類型外,還有前后并排雙根、上下平行雙根、上下平行多根、底層懸掛式桿體和異形限高桿等多種類型;部分限高桿上有限高標(biāo)識(shí)牌,但限高標(biāo)識(shí)牌懸掛的位置不固定,字體存在模糊不清的情況。對(duì)于橋洞類限高設(shè)施,其限高主體無紋理,與墻體的區(qū)別在于以橋洞限高主體下沿作為分界線,下方無實(shí)體。按照限高主體的造型可以分為水平型橋洞、拱門型橋洞、梯形橋洞3大類,與限高桿設(shè)備類似,部分橋洞懸掛限高標(biāo)識(shí)牌。對(duì)于牌坊設(shè)施,常見于村鎮(zhèn)公路和景區(qū)門口,雖然紋理各不相同但其外形特征較為統(tǒng)一,均不懸掛限高標(biāo)識(shí),故牌坊不做分類。

對(duì)場(chǎng)景分類完成后采用基于深度學(xué)習(xí)的限高目標(biāo)自動(dòng)檢測(cè)算法,為了保證模型訓(xùn)練的準(zhǔn)確性,對(duì)不同場(chǎng)景的限高數(shù)據(jù)標(biāo)注進(jìn)行以下統(tǒng)一規(guī)范:1) 使用最小外接矩形框?qū)⑾薷咴O(shè)施主體完全包被;2) 對(duì)于有限高標(biāo)識(shí)牌的限高設(shè)施,則將限高標(biāo)識(shí)牌作為限高設(shè)施特征的一部分合并標(biāo)注;3) 對(duì)于限高設(shè)施水平主體和兩側(cè)垂直固定區(qū)域連接處的2個(gè)直角特征,需要完整的被標(biāo)注框包被;4) 對(duì)于橋洞類水平主體無紋理的限高設(shè)施,需要在最小外接矩形框高度的基礎(chǔ)上在其下方增加矩形框高度的20%的標(biāo)注空間,用來與普通無紋理的墻體做區(qū)分。部分場(chǎng)景的標(biāo)注效果如圖2所示,從左到右分別為雙橫梁限高桿、橋洞+限高桿、牌坊場(chǎng)景。

圖2 不同的限高設(shè)施標(biāo)注效果圖

2 算法流程

本文采集的限高數(shù)據(jù)對(duì)應(yīng)的天氣情況主要分為晴朗天氣和陰天2種。雙目視覺公路限高實(shí)時(shí)預(yù)警算法的流程如圖3所示:首先,將雙目相機(jī)采集的限高場(chǎng)景的左目圖像作為輸入,利用目標(biāo)檢測(cè)網(wǎng)絡(luò)Yolov5[9]對(duì)限高目標(biāo)進(jìn)行特征檢測(cè),獲取限高目標(biāo)的二維檢測(cè)框信息;然后,對(duì)二維檢測(cè)框內(nèi)的視差數(shù)據(jù)進(jìn)行多步多尺度濾波[10]算法后根據(jù)雙目視覺原理[11]計(jì)算限高目標(biāo)距離相機(jī)的初步距離計(jì)算值和限高設(shè)施的初步高度計(jì)算值;最后,采用基于局部和全局的距離差分算法對(duì)初步計(jì)算的距離值、高度值進(jìn)行有效性和合理性判定,準(zhǔn)確且實(shí)時(shí)、穩(wěn)定地輸出限高目標(biāo)的測(cè)距、測(cè)高和預(yù)警信息。

圖3 雙目視覺公路限高實(shí)時(shí)預(yù)警算法流程

3 限高目標(biāo)提取和視差精確估計(jì)

為了實(shí)現(xiàn)公路限高目標(biāo)檢測(cè)的自動(dòng)化,首先要進(jìn)行限高目標(biāo)的自動(dòng)定位和提取[12]。為了獲取精度較高的視差數(shù)據(jù),需要對(duì)立體匹配得到的視差數(shù)據(jù)進(jìn)行多步多尺度濾波。

3.1 限高目標(biāo)提取

本文研究的公路限高場(chǎng)景繁雜且限高設(shè)施外造型多樣化,使用雙目相機(jī)的左目圖像作為目標(biāo)檢測(cè)的輸入,為了保證在復(fù)雜場(chǎng)景中限高目標(biāo)的自動(dòng)檢測(cè),本文采用YOLOv5s目標(biāo)檢測(cè)算法,為了降低限高目標(biāo)檢測(cè)過程中的漏檢率,在YOLOv5s目標(biāo)檢測(cè)算法中加入ByteTrack[13]跟蹤算法,得到限高目標(biāo)的二維檢測(cè)框。

本文使用的視差數(shù)據(jù)是通過雙目相機(jī)內(nèi)部封裝的立體匹配[14]算法獲取,利用限高目標(biāo)檢測(cè)得到的二維檢測(cè)框?qū)Λ@取到的視差數(shù)據(jù)進(jìn)行截取,得到連續(xù)幀圖像目標(biāo)區(qū)域內(nèi)的視差數(shù)據(jù)。

3.2 視差的精確估計(jì)

當(dāng)雙目相機(jī)距離限高目標(biāo)較遠(yuǎn)時(shí),通過對(duì)檢測(cè)框區(qū)域內(nèi)的視差數(shù)據(jù)進(jìn)行可視化分析發(fā)現(xiàn),限高目標(biāo)的視差數(shù)據(jù)中存在高度非均勻、離群點(diǎn)復(fù)雜、頻繁出現(xiàn)山谷分布以及包含不明強(qiáng)噪聲等問題,影響目標(biāo)區(qū)域視差計(jì)算的精度。遠(yuǎn)距離視差噪聲分布的可視化效果如圖4所示。

針對(duì)視差存在的問題,本文采用粗粒度濾波策略和多步多尺度的細(xì)粒度濾波策略對(duì)限高目標(biāo)的視差數(shù)據(jù)進(jìn)行清洗。

記ρ為每行視差數(shù)據(jù)中非零視差值所占的比率,2個(gè)清洗閾值分別為ρ1和ρ2,粗粒度濾波實(shí)現(xiàn)過程如下。

步驟1：對(duì)目標(biāo)區(qū)域內(nèi)的單行非零項(xiàng)目和單行所有項(xiàng)目分別求均值,若該行中有占比大于ρ的視差數(shù)據(jù)為0,將該行數(shù)據(jù)清零。

步驟2：對(duì)目標(biāo)區(qū)域內(nèi)的視差數(shù)據(jù)逐行進(jìn)行處理,若當(dāng)前像素的視差減該行的非零平均視差大于ρ1,將該像素的視差置為0。

步驟3：若當(dāng)前像素視差小于清洗閾值ρ2,將該像素的視差值用非零均值填充。

經(jīng)過粗粒度濾波后,視差數(shù)據(jù)中的大幅噪聲和近零視差均被濾除,替換為動(dòng)態(tài)非零均值,接下來將對(duì)視差數(shù)據(jù)進(jìn)行多步多尺度的細(xì)粒度濾波。假設(shè)限高設(shè)施處于水平狀態(tài),細(xì)粒度濾波的目標(biāo)是將粗粒度濾波得到的視差數(shù)據(jù)進(jìn)行更精細(xì)的過濾,在目標(biāo)區(qū)域內(nèi)準(zhǔn)確地定位限高目標(biāo)的上沿和下沿。

細(xì)粒度濾波實(shí)現(xiàn)過程:給定細(xì)粒度濾波步數(shù)ST,細(xì)粒度濾波步長(zhǎng)SL,動(dòng)態(tài)迭代尺度DM,i∈[1,ST],動(dòng)態(tài)迭代尺度公式為

DM=(ST+1)*SL-i*SL

步驟1：對(duì)粗粒度濾波得到的目標(biāo)區(qū)域逐行求視差均值,并將該行中的所有大于視差均值與當(dāng)前尺度DM之和的視差數(shù)據(jù)置為零。

步驟2：逐行求非零項(xiàng)目的平均值,將所有非零行中小于當(dāng)前尺度DM的視差數(shù)據(jù)替換為該行的視差非零平均值。

步驟3：重復(fù)以上步驟直到循環(huán)結(jié)束,將限高區(qū)域內(nèi)的所有非零視差數(shù)據(jù)的均值作為該限高目標(biāo)最終的視差值DS和相機(jī)光心與限高目標(biāo)下沿之間的像素高度值HP輸出。

3.3 距離和高度計(jì)算

本文的測(cè)距[15]和測(cè)高均基于3.2節(jié)濾波輸出后的視差數(shù)據(jù)DS,相機(jī)的安裝高度為HC,相機(jī)的焦距為f,基線長(zhǎng)度為BL,限高目標(biāo)和相機(jī)之間的距離為DT,限高目標(biāo)下沿與相機(jī)光心之間的實(shí)際高度為HT,限高目標(biāo)下沿與相機(jī)光心之間的像素高度為HP,限高目標(biāo)距離地面的高度為H。

4 魯棒性輸出與預(yù)警

不同于靜止場(chǎng)景的測(cè)距測(cè)高任務(wù),車輛在行駛過程中,車速存在非均勻變化、地面有不平激勵(lì)輸入、上下坡等多種不確定性因素,均會(huì)增加傳感器對(duì)限高目標(biāo)測(cè)量的難度,同時(shí)為測(cè)距測(cè)高輸出帶來大量噪聲導(dǎo)致最終輸出數(shù)據(jù)波動(dòng)大且不穩(wěn)定。本文提出的魯棒性輸出策略對(duì)初始輸出的距離和高度數(shù)據(jù)進(jìn)行處理,輸出準(zhǔn)確魯棒的距離信息和高度信息。該策略應(yīng)遵循以下2條假設(shè):1) 限高設(shè)施表面是平整的;2) 速度變化盡可能合理,即輸出的距離差分要盡可能均勻。

4.1 距離輸出

由于輸入距離的不確定性,采用2種策略并行處理。首先,假設(shè)條件信號(hào)滿足高斯噪聲,由于視差計(jì)算的不確定性,同時(shí)距離預(yù)測(cè)本質(zhì)上是一維線性信號(hào)問題,故利用卡爾曼濾波[16]對(duì)距離預(yù)測(cè)值進(jìn)行濾波,盡可能降低噪聲的影響;其次,根據(jù)行車規(guī)律,為了達(dá)到單調(diào)性輸出的目標(biāo),盡可能遵循采集數(shù)據(jù)的規(guī)律,將距離信息還原?？紤]到輸入的信號(hào)在距離限高設(shè)施較遠(yuǎn)的時(shí)候以大幅度隨機(jī)分布為主,故采用局部鄰域的距離差分估計(jì)來擬合距離輸出。假設(shè)車輛以速度v1勻速前進(jìn),雙目相機(jī)幀率為n,從計(jì)算模塊輸出的連續(xù)N(N>30)幀對(duì)應(yīng)的計(jì)算距離分別為D1,D2,…,DN-1,DN,距離輸出的具體步驟如下。

步驟1：根據(jù)車速v1和雙目相機(jī)幀率n計(jì)算距離差分閾值α,其中α=v1/n。

步驟2：計(jì)算第N幀和第N-1幀的距離差分值αN,當(dāng)αN<=α?xí)r,將距離預(yù)測(cè)值DN作為最終距離預(yù)測(cè)值輸出,否則執(zhí)行步驟3,其中αN=DN-DN-1。

步驟3：給定全局控制參數(shù)β,局部控制參數(shù)θ,以當(dāng)前幀DN為基準(zhǔn),采用多項(xiàng)式擬合對(duì)[DN-β,DN-1]數(shù)據(jù)進(jìn)行擬合,得到當(dāng)前幀的全局距離預(yù)測(cè)值GD。

步驟4：若當(dāng)前幀沒有檢測(cè)到目標(biāo),以當(dāng)前幀DN為基準(zhǔn),利用直線擬合的方式對(duì)[DN-θ,DN-1]數(shù)據(jù)進(jìn)行擬合得到預(yù)測(cè)值LD,將LD輸出。

步驟6：若未出現(xiàn)當(dāng)前幀限高檢測(cè)失敗和連續(xù)幀檢測(cè)不到限高目標(biāo)的情況,給定全局預(yù)測(cè)權(quán)值r和局部預(yù)測(cè)權(quán)值(1-r),將當(dāng)前幀的全局預(yù)測(cè)值GD和局部預(yù)測(cè)值LD加權(quán)后輸出最終的距離預(yù)測(cè)值。

4.2 高度輸出

高度輸出部分由于高度計(jì)算與圖像中有效高度像素關(guān)聯(lián)較大,其計(jì)算精度與距離成正比,同時(shí)又受到限高設(shè)施是否水平、地面是否有不平激勵(lì)、是否存在上下坡等多種外部因素的影響,誤差范圍在近距離表現(xiàn)為高斯分布、椒鹽噪聲[17]、行車狀態(tài)和隨機(jī)噪聲,遠(yuǎn)距離表現(xiàn)為近距離噪聲和大幅隨機(jī)噪聲。故本文采用近似于累加貝葉斯估計(jì)算法,將局部鄰域的有效值進(jìn)行平均輸出,采用有效范圍的加權(quán)平均估計(jì)與小幅值加權(quán)均值估計(jì)結(jié)合,盡可能取小范圍進(jìn)行輸出,具體步驟如下。

步驟1：用第N幀和第N-1幀的距離差分值αN和距離差分閾值α判斷第N幀的視差值是否有效。若無效,則將[HN-3,HN-1]連續(xù)3幀的高度有效預(yù)測(cè)值的平均值作為當(dāng)前幀的高度預(yù)測(cè)值輸出;若N<3,則將前一幀高度預(yù)測(cè)值直接輸出;若當(dāng)前幀視差值有效,則執(zhí)行步驟2。

步驟2：以當(dāng)前幀DN為基準(zhǔn),采用多項(xiàng)式擬合的方式對(duì)[HN-β,HN-1]數(shù)據(jù)進(jìn)行擬合,預(yù)測(cè)當(dāng)前幀的全局高度預(yù)測(cè)值GH。

步驟3：若當(dāng)前幀沒有檢測(cè)到目標(biāo),以當(dāng)前幀DN為基準(zhǔn),對(duì)[HN-θ,HN-1]求均值得到預(yù)測(cè)值LH。

步驟6：結(jié)合相機(jī)的安裝高度,將當(dāng)前幀限高目標(biāo)距離地面的最終預(yù)測(cè)高度H輸出。

4.3 預(yù)警策略

將經(jīng)過魯棒性輸出策略的距離預(yù)測(cè)值DT和高度預(yù)測(cè)值H輸出,車輛高度為H0,安全高度預(yù)警閾值MV,當(dāng)H-H0>MV時(shí),在輸出界面顯示可安全通過,不進(jìn)行預(yù)警。否則,在DT∈(2 m,30 m] 時(shí),進(jìn)行一級(jí)預(yù)警;在DT∈(30 m,60 m]時(shí),進(jìn)行二級(jí)預(yù)警;在DT∈(60 m,100 m]時(shí),進(jìn)行三級(jí)預(yù)警。

5 數(shù)值實(shí)驗(yàn)與結(jié)果分析

5.1 構(gòu)建公路限高數(shù)據(jù)集

考慮到公路限高場(chǎng)景具有非標(biāo)性、種類多樣性、路況多樣性、天氣和光照多樣性、限高設(shè)施方位分布多樣性等特點(diǎn),給公路限高實(shí)時(shí)檢測(cè)和測(cè)高帶來了極大的挑戰(zhàn)。數(shù)據(jù)規(guī)模的大小和數(shù)據(jù)場(chǎng)景的多樣性均是影響限高目標(biāo)檢測(cè)精度和測(cè)高計(jì)算精度的關(guān)鍵因素,故本文采用實(shí)車搭載雙目相機(jī)在全國多個(gè)城市進(jìn)行實(shí)地采集、在線虛擬采集和網(wǎng)絡(luò)圖像庫中人工收集的方式,構(gòu)建大規(guī)模、多場(chǎng)景的公路限高數(shù)據(jù)集。

對(duì)收集的限高數(shù)據(jù)進(jìn)行統(tǒng)計(jì),本文構(gòu)建的公路訓(xùn)練數(shù)據(jù)集數(shù)據(jù)類型為單目限高圖像,數(shù)據(jù)規(guī)模為26 600幅,覆蓋了北京、上海、廣州等國內(nèi)25個(gè)城市,包含85個(gè)限高桿場(chǎng)景,規(guī)模為 14 343;35個(gè)橋洞場(chǎng)景,規(guī)模為9 857;8個(gè)牌坊場(chǎng)景,規(guī)模為2 400。各類限高場(chǎng)景的規(guī)模分布如圖5所示。

圖5 數(shù)據(jù)集中各類限高數(shù)據(jù)規(guī)模分布圖

本文構(gòu)建的公路限高測(cè)試集數(shù)據(jù)類型包括左目相機(jī)圖像、右目相機(jī)圖像、視差數(shù)據(jù)和相機(jī)內(nèi)外參文件,數(shù)據(jù)規(guī)模為6 089。其中正樣本數(shù)據(jù)規(guī)模為4 558,負(fù)樣本數(shù)據(jù)規(guī)模為1 531,正樣本數(shù)據(jù)中包含12個(gè)限高桿場(chǎng)景,規(guī)模為2 996;6個(gè)橋洞場(chǎng)景,規(guī)模為1 120;2個(gè)牌坊場(chǎng)景,規(guī)模為442。公路限高測(cè)試集中的左目相機(jī)圖像數(shù)據(jù)用來做目標(biāo)檢測(cè)實(shí)驗(yàn);左目相機(jī)圖像、視差數(shù)據(jù)和相機(jī)內(nèi)外參數(shù)據(jù)用作目標(biāo)檢測(cè)后的測(cè)距測(cè)高任務(wù)。

5.2 實(shí)驗(yàn)概況

硬件設(shè)備:中科慧眼雙目相機(jī)焦距為8 mm、基線長(zhǎng)度為119.5 mm、相機(jī)中心離地高度1 570 mm,分辨率為1 280×720,雙目相機(jī)與實(shí)驗(yàn)車輛之間剛性固定。硬件設(shè)備CPU為Intel(R) Core(TM) i7-10700 CPU@2.90 GHz,GPU為NVIDIA GeForce RTX3090,內(nèi)存為24 GB,實(shí)現(xiàn)平臺(tái)模塊為Matlab、Python 3.6、OpenCV等。實(shí)驗(yàn)內(nèi)容主要包括目標(biāo)檢測(cè)實(shí)驗(yàn)、測(cè)高精度實(shí)驗(yàn)、輸出穩(wěn)定性實(shí)驗(yàn)等。

實(shí)驗(yàn)工況:實(shí)驗(yàn)地點(diǎn)主要在北京和大連,實(shí)驗(yàn)路況包括平整公路路面、輕微不平激勵(lì)輸入路面和坡道路面,天氣工況僅考慮晴朗天氣及陰天,實(shí)驗(yàn)車速保持在30～50 km/h之間。

5.3 限高目標(biāo)檢測(cè)實(shí)驗(yàn)

在本文構(gòu)建的規(guī)模為26 600幅圖像的公路限高雙目訓(xùn)練集上使用YOLOv5s網(wǎng)絡(luò)訓(xùn)練目標(biāo)檢測(cè)模型,訓(xùn)練1 200個(gè)epoch,總耗時(shí)136.4 h,訓(xùn)練精度P達(dá)到98.8%,召回率R達(dá)到99.5%。

使用訓(xùn)練好的模型在規(guī)模為4 458的限高測(cè)試集上進(jìn)行測(cè)試實(shí)驗(yàn),實(shí)驗(yàn)結(jié)果如表1所示;在規(guī)模為1 531的負(fù)樣本測(cè)試集上進(jìn)行測(cè)試實(shí)驗(yàn),誤檢率為0.3%,對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行統(tǒng)計(jì)得出本文算法的實(shí)際測(cè)距范圍為(0,100 m),限高檢測(cè)效果如圖6所示。

表1 YOLOv5s在公路限高測(cè)試集上的實(shí)驗(yàn)結(jié)果

注:距離為28 m; 高度為2.25 m; 真值為2.28 m

5.4 測(cè)高精度實(shí)驗(yàn)

測(cè)高精度實(shí)驗(yàn)采用測(cè)試集中20組不同類型的限高場(chǎng)景,部分場(chǎng)景的測(cè)高結(jié)果如圖7—圖10所示。圖中所示的綠色基準(zhǔn)線為限高設(shè)施的真值,綠色區(qū)域?yàn)楦叨日嬷怠?.1 m的范圍,粉色區(qū)域?yàn)楦叨日嬷怠?.2 m的范圍。對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行統(tǒng)計(jì),60 m內(nèi)的測(cè)高平均誤差<4%,具有較高的測(cè)量精度。

圖7 測(cè)高精度(按距離分布場(chǎng)景1)

圖9 測(cè)高精度(按距離分布場(chǎng)景3)

圖10 測(cè)高精度(按距離分布場(chǎng)景4)

5.5 輸出穩(wěn)定性實(shí)驗(yàn)

圖11為經(jīng)過細(xì)粒度濾波后直接把測(cè)高計(jì)算值輸出效果與使用魯棒性輸出策略后的高度輸出效果對(duì)比。在測(cè)試場(chǎng)景1中,使用魯棒性策略輸出后的測(cè)高曲線整體的波動(dòng)幅度收窄,測(cè)高輸出比使用魯棒性輸出策略前精度更高;在測(cè)試場(chǎng)景2中,[40 m,80 m]距離范圍內(nèi)的測(cè)高精度和波動(dòng)幅度均低于[8 m,40 m]距離范圍內(nèi)的測(cè)高輸出,符合距離目標(biāo)越近,視差精度越高的規(guī)律。

圖11 魯棒性輸出前后測(cè)高穩(wěn)定性對(duì)比圖

在中遠(yuǎn)距離范圍內(nèi),可以看出魯棒性輸出策略能夠有效地屏蔽車輛在行駛過程中由路況和車輛發(fā)動(dòng)機(jī)振動(dòng)產(chǎn)生的不確定性噪聲,同時(shí)能夠增加測(cè)高輸出的穩(wěn)定性,平滑高度輸出曲線,給駕駛員帶來更加舒適的使用體驗(yàn),能夠滿足大型車車輛日常公路的限高場(chǎng)景使用要求。

6 結(jié)語

1) 針對(duì)公路限高設(shè)施種類繁多、場(chǎng)景復(fù)雜導(dǎo)致限高目標(biāo)檢測(cè)難的問題,構(gòu)建大規(guī)模、高場(chǎng)景覆蓋度的限高數(shù)據(jù)集,并在測(cè)試集上得到98.77%的檢測(cè)精度,漏檢率為0.87%,誤檢率為0.36%,幀率為50FPS,可實(shí)現(xiàn)實(shí)時(shí)檢測(cè)。

2) 采用距離和高度魯棒性輸出策略,大幅提高測(cè)距輸出的合理性和測(cè)高輸出的穩(wěn)定性。

3) 針對(duì)雙目相機(jī)在中遠(yuǎn)距離下視差噪聲多、誤差大等問題,采用多步多尺度濾波算法處理視差數(shù)據(jù),將60 m范圍內(nèi)的限高目標(biāo)測(cè)高平均誤差控制在4%以內(nèi),為大型車輛的駕駛員在通過公路限高場(chǎng)景時(shí)提供決策依據(jù)。

盡管本文算法能夠?qū)崿F(xiàn)公路限高目標(biāo)的自動(dòng)檢測(cè),以及實(shí)時(shí)魯棒地輸出測(cè)距、測(cè)高和預(yù)警信息,但面對(duì)更加復(fù)雜的場(chǎng)景,如有坡度的限高場(chǎng)景,大霧、大雪、大雨等低能見度限高場(chǎng)景還存在一定的局限。在后續(xù)工作中將采集復(fù)雜光照和復(fù)雜坡度的限高場(chǎng)景數(shù)據(jù),進(jìn)一步提高算法在低能見度限高場(chǎng)景和有坡度的限高場(chǎng)景下的測(cè)距測(cè)高精度。