6G車聯(lián)網(wǎng)絡(luò)面向多源感知的數(shù)據(jù)融合技術(shù)

程宇杰，劉卓涵，閆 實(shí)，彭木根

(北京郵電大學(xué) 網(wǎng)絡(luò)與交換技術(shù)國家重點(diǎn)實(shí)驗(yàn)室，北京100876)

0 引言

自動駕駛是提高出行安全、提升交通效率、實(shí)現(xiàn)智慧交通的關(guān)鍵技術(shù)之一，已成為當(dāng)下世界研究熱點(diǎn)。雖然單車智能化水平正逐步提高，但在更高級的自動駕駛發(fā)展過程中仍面臨嚴(yán)峻挑戰(zhàn)，如2022年8月美國佛羅里達(dá)州發(fā)生的特斯拉致死事故[1]，因單車感知受到視距影響，缺少通信協(xié)同信息導(dǎo)致感知能力受限，導(dǎo)致橫穿行車道的行人死亡。為滿足未來自動駕駛?cè)轿?、高可靠等駕駛需求，實(shí)現(xiàn)全場景下自動駕駛的部署，亟需解決單車感知能力受限問題[2]。未來6G網(wǎng)絡(luò)預(yù)計(jì)可實(shí)現(xiàn)低于1 ms的通信時(shí)延和相對于5G算力10倍的提升，結(jié)合6G高性能通信技術(shù)，車聯(lián)網(wǎng)絡(luò)將在多源感知數(shù)據(jù)融合處理技術(shù)使能下實(shí)現(xiàn)多節(jié)點(diǎn)協(xié)同的超視距感知增強(qiáng)，突破單車智能的瓶頸限制[3]。通過引入路側(cè)感知，車輛網(wǎng)絡(luò)可獲得更高維的數(shù)據(jù)，并借助于通感算融合實(shí)現(xiàn)車-路-云一體化協(xié)同感知、傳輸、決策的全局架構(gòu)[4]。在該架構(gòu)中，通信功能可支持全方位多層次的協(xié)同智能，擴(kuò)展感知的深度和維度，實(shí)時(shí)共享的分布式算力可對收集到的感知數(shù)據(jù)進(jìn)行計(jì)算處理，實(shí)現(xiàn)高精度感知。通過“車-路-云”多維度、全方位的感知融合，車聯(lián)網(wǎng)絡(luò)將從網(wǎng)聯(lián)輔助信息交互階段進(jìn)入到網(wǎng)聯(lián)協(xié)同感知階段[5]，從而能夠服務(wù)于L5級自動駕駛車輛[6]。

1 感知融合發(fā)展現(xiàn)狀與挑戰(zhàn)

目前，自動駕駛采集感知信息的傳感器主要有三類：攝像頭、激光雷達(dá)與毫米波雷達(dá)。攝像頭成本低，并可提取出豐富的語義信息，但提取深度信息能力弱，且受環(huán)境影響較大。激光雷達(dá)易于重構(gòu)準(zhǔn)確的三維環(huán)境信息，但信息稀疏，描述能力相對較弱，且易受雨雪霧霾天氣的影響導(dǎo)致檢測距離變短，感知信息失真。毫米波雷達(dá)幾乎不受環(huán)境影響，但感知信息更加稀疏，感知具有非常大的不確定性，穩(wěn)定性差。同時(shí)基站無線感知技術(shù)也可提供范圍更廣且不受環(huán)境影響的感知點(diǎn)云信息，但只能檢測出目標(biāo)的速度和位置，難以辨別屬性[7]。鑒于傳感器獨(dú)立工作的缺點(diǎn)和差異性感知方式存在的不同感知缺陷，業(yè)界對多傳感器融合技術(shù)進(jìn)行了許多研究，國內(nèi)外主要討論了三種多傳感器的融合方式：毫米波雷達(dá)與攝像頭融合[8]通過將毫米波雷達(dá)提供的障礙物距離和速度信息與攝像頭提供的語義信息進(jìn)行融合，實(shí)現(xiàn)對障礙物的有效探測；攝像頭與激光雷達(dá)融合[9]通過將點(diǎn)云數(shù)據(jù)和高分辨圖像進(jìn)行數(shù)據(jù)級融合，實(shí)現(xiàn)對周圍交通環(huán)境的準(zhǔn)確感知；激光雷達(dá)與毫米波雷達(dá)融合[10]通過將雙雷達(dá)的點(diǎn)云數(shù)據(jù)進(jìn)行配準(zhǔn)相互補(bǔ)全，實(shí)現(xiàn)三維交通環(huán)境地圖的精確建圖。然而，上述融合方法僅對多傳感器信息進(jìn)行簡單疊加，尚缺乏不同傳感器深度融合的能力。

同時(shí)，由于傳感器感知范圍有限以及單車視野易受視距影響，僅依靠傳感器堆砌的車輛感知和計(jì)算能力存在上界，如國內(nèi)企業(yè)“小鵬”在為汽車裝備32個傳感器的情況下，也只能達(dá)到L2級別自動駕駛能力[11]。為此，業(yè)界開始對協(xié)同感知融合技術(shù)進(jìn)行研究，借助于車車/車路等無線通信技術(shù)，車聯(lián)網(wǎng)絡(luò)可通過多源感知數(shù)據(jù)融合技術(shù)將車側(cè)與路側(cè)的感知數(shù)據(jù)融合，通過車路協(xié)同將分布在車側(cè)與路側(cè)的多源傳感器聯(lián)接成一個有效的傳感網(wǎng)絡(luò)。但在車聯(lián)網(wǎng)絡(luò)實(shí)現(xiàn)協(xié)同感知過程中，仍存在以下問題：

① 協(xié)同感知融合方法不明確：國內(nèi)外主要關(guān)注于車-路-云融合的信息服務(wù)架構(gòu)，計(jì)算分層架構(gòu)的研究，而對車-路-云一體化協(xié)同感知融合方法和架構(gòu)的研究仍處于初步階段[12]，車聯(lián)網(wǎng)絡(luò)尚缺乏多源感知數(shù)據(jù)進(jìn)行分級融合的能力，難以滿足更高等級自動駕駛的智能感知需求。

② 多源感知數(shù)據(jù)難以進(jìn)行精確融合：現(xiàn)有融合技術(shù)主要分為前融合和后融合，前融合將數(shù)據(jù)級信息融合，形成的高清地圖不丟失信息特征和維度，具有高精確度、廣覆蓋性等特性，可為車輛在復(fù)雜交通環(huán)境下的自動駕駛提供有力支撐[13]，但是由于感知節(jié)點(diǎn)空間上分布散亂，傳感器位姿難以確定，融合過程中重疊特征稀疏等問題，多視角感知數(shù)據(jù)難以實(shí)現(xiàn)精確融合；后融合將特征級和決策級信息進(jìn)行融合，精度易受傳感器和算法等因素影響，例如當(dāng)融合網(wǎng)絡(luò)中某個傳感器精度低但被錯誤賦予很大的權(quán)重時(shí)，將得到差的融合結(jié)果[14]。

③ 有限通信帶寬難以支撐海量感知數(shù)據(jù)上傳：目前全球車聯(lián)網(wǎng)通信技術(shù)標(biāo)準(zhǔn)包含的5G-V2X技術(shù)可支持單車上行傳輸速率為50 Mbit/s，然而在TR 22.886 V16.1.1[15]中，3GPP定義單車原始感知數(shù)據(jù)達(dá)G級別，若不對原始數(shù)據(jù)進(jìn)行處理，則難以滿足通信一定時(shí)延要求下的感知數(shù)據(jù)傳輸。

針對上述問題，本文的主要貢獻(xiàn)包括如下:

① 提出了一種面向多源感知的分級融合方法。通過設(shè)計(jì)車-路-云一體化的全局感知融合架構(gòu)，實(shí)現(xiàn)了多節(jié)點(diǎn)協(xié)同下的全方位感知增強(qiáng)。

② 設(shè)計(jì)了新穎的單車多傳感器融合技術(shù)和路側(cè)基于特征的兩步配準(zhǔn)融合技術(shù)，在通感基站輔助下統(tǒng)一了多源傳感器對交通環(huán)境的空間描述。

③ 基于多源感知數(shù)據(jù)時(shí)空冗余性，設(shè)計(jì)了時(shí)間融合-八叉樹壓縮-空間去冗余的感知數(shù)據(jù)簡化流程，減少了感知數(shù)據(jù)上傳帶來的通信開銷。

④ 搭建了仿真平臺，驗(yàn)證了所提數(shù)據(jù)融合方法和技術(shù)的有效性，并給出了評估結(jié)果。

2 多源感知信息分級融合結(jié)構(gòu)與流程

2.1 系統(tǒng)模型

圖1為通感基站輔助下的多源感知與數(shù)據(jù)融合系統(tǒng)模型，車聯(lián)網(wǎng)場景中包含M個通感一體化基站、N個智能網(wǎng)聯(lián)車(Connected-Automated Vehicle，CAV)和其他交通參與者(包括普通車輛與行人等)。智能網(wǎng)聯(lián)車通過搭載攝像機(jī)、激光雷達(dá)與毫米波雷達(dá)等傳感器收集感知數(shù)據(jù)，車-車間利用V2V通信技術(shù)，自組織形成車輛隊(duì)列協(xié)同共享感知數(shù)據(jù)，車-路間利用V2N通信技術(shù)傳輸感知數(shù)據(jù)，通感一體化基站通過發(fā)送無線感知信號執(zhí)行無線感知，路-云間利用前傳和回傳通信技術(shù)傳輸感知數(shù)據(jù)。

圖1 通感基站輔助下的多源感知與數(shù)據(jù)融合系統(tǒng)模型

2.2 感知模型

本文將車側(cè)激光雷達(dá)、攝像頭、毫米波雷達(dá)與路側(cè)無線感知作為車聯(lián)網(wǎng)絡(luò)主要的感知手段，并定義了5類坐標(biāo)系：包含激光雷達(dá)坐標(biāo)系{L}、毫米波雷達(dá)坐標(biāo)系{M}、無線感知坐標(biāo)系{U}、圖像坐標(biāo)系{C}和世界坐標(biāo)系{W}。激光雷達(dá)通過模擬全向旋轉(zhuǎn)與各通道投射的激光仿真出每幀點(diǎn)云，垂直感知角度值域?yàn)?30°～+10°，得到的第i幀激光雷達(dá)數(shù)據(jù)由Li(x,y,z)表示，其中x、y、z表示由笛卡爾坐標(biāo)系表征的{L}中的三維坐標(biāo)值；攝像頭為RGB相機(jī)，記錄每幀場景的二維畫面，水平感知角度值域?yàn)?45°～+45°，得到的第i幀圖像數(shù)據(jù)由Ci(u,v,r,g,b)表示，其中u、v表示{C}中的二維坐標(biāo)值，r、g、b表示像素點(diǎn)中顏色深度值；毫米波雷達(dá)傳遞一個圓錐形視圖，記錄每幀探測物體的極坐標(biāo)和速度，水平感知角度值域?yàn)?15°～+15°，垂直感知角度值域?yàn)?15°～+15°。得到的第i幀毫米波雷達(dá)感知數(shù)據(jù)由Mi(d,α,θ,v)表示，其中d、α、θ分別表示極坐標(biāo)系中的距離、水平角與俯仰角，v表示速度。

路側(cè)感知采用基站無線感知技術(shù)，通過發(fā)送承載感知信號的無線波形，并基于反射回波估計(jì)環(huán)境信息，得到的第i幀無線感知數(shù)據(jù)由Ui(d,α,θ,v)表示。無線感知的精度、距離、角度值域與分配的感知資源和波束形狀相關(guān)，分配的感知帶寬資源越多，距離分辨率越高[16]，其關(guān)系可表示為：

(1)

式中，ΔR表示感知距離分辨率，c為光速，SNR表示接收感知信號反射回波的信噪比，B表示感知帶寬資源。

2.3 感知融合流程

圖2為單車感知融合流程，輸入為車載激光雷達(dá)、攝像機(jī)、毫米波雷達(dá)采集到的感知數(shù)據(jù)，輸出為單車感知融合結(jié)果，圖3為協(xié)同感知融合流程，融合網(wǎng)絡(luò)主要針對原始感知數(shù)據(jù)進(jìn)行融合，協(xié)同感知融合流程輸入分為車-路-云的多級輸入，具體過程如下：

圖2 單車感知融合流程

① 單車感知融合輸入為多傳感器感知數(shù)據(jù)，輸出為單車感知融合結(jié)果。將感知到的攝像機(jī)圖像數(shù)據(jù)與激光雷達(dá)點(diǎn)云數(shù)據(jù)在數(shù)據(jù)層面上進(jìn)行融合，得到帶深度信息的分類檢測框；然后將毫米波雷達(dá)通過目標(biāo)檢測得到的檢測框進(jìn)一步融合，得到多傳感器融合結(jié)果。同時(shí)，單車針對感知所得的多個幀間的高時(shí)間相關(guān)性進(jìn)行時(shí)間特性融合，完成多幀的感知數(shù)據(jù)融合處理，并根據(jù)歷史幀的感知數(shù)據(jù)信息預(yù)測一定時(shí)延后的感知信息結(jié)果，降低單車感知上傳的數(shù)據(jù)量，彌補(bǔ)通信傳輸時(shí)延造成的感知滯后，最終得到單車感知融合結(jié)果。

② 隊(duì)列感知融合輸入為車輛隊(duì)列內(nèi)多車感知數(shù)據(jù)，輸出為初步協(xié)同感知融合結(jié)果和感知需求信息。借助于V2V通信技術(shù)，車輛通過分簇算法主動組織成“簇”，協(xié)同共享感知數(shù)據(jù)，簇頭通過PC5接口接收到的來自簇內(nèi)多車的感知數(shù)據(jù)后，針對不同車輛感知結(jié)果的高空間相關(guān)性，完成多車感知數(shù)據(jù)融合與空間特性去冗余處理，并向路側(cè)上報(bào)感知需求信息。

③ 路側(cè)感知融合輸入為不同簇的隊(duì)列級別融合結(jié)果與路側(cè)通感基站的無線感知數(shù)據(jù)，輸出為全局感知融合結(jié)果。借助于V2N通信技術(shù)，路側(cè)通過UU接口接收到多個車輛隊(duì)列上傳的感知融合數(shù)據(jù)后，提取不同視圖的重疊特征，在路側(cè)無線感知輔助下將多源感知數(shù)據(jù)進(jìn)行配準(zhǔn)融合，同時(shí)根據(jù)車側(cè)反饋的感知需求信息利用無線感知技術(shù)對車聯(lián)網(wǎng)環(huán)境缺失的全局感知信息進(jìn)行補(bǔ)全,得到全局感知融合結(jié)果。

④ 云側(cè)融合輸入為路側(cè)全局感知數(shù)據(jù)，輸出為協(xié)同感知融合結(jié)果。借助于前傳和回傳，云和中心網(wǎng)絡(luò)在接收路側(cè)上傳的路側(cè)感知融合數(shù)據(jù)后，進(jìn)一步融合計(jì)算得到最終的協(xié)同感知融合結(jié)果，構(gòu)建出全局高清地圖。同時(shí)，云側(cè)還可通過提供數(shù)據(jù)分析、運(yùn)行管理等服務(wù)，下發(fā)感知決策信息，改善車聯(lián)網(wǎng)道路交通狀況，提高交通通行效率，避免交通事故發(fā)生。通過上述車-路-云多級多源感知數(shù)據(jù)融合方法，構(gòu)建多節(jié)點(diǎn)協(xié)同下的一體化感知架構(gòu)，網(wǎng)聯(lián)車視野擴(kuò)展的同時(shí)感知識別精度也得到提高。同時(shí)針對感知數(shù)據(jù)的時(shí)空冗余性對感知數(shù)據(jù)進(jìn)行的優(yōu)化處理，也將有效減少上傳的感知數(shù)據(jù)量，降低通信開銷。

3 感知融合處理技術(shù)

為將不同模態(tài)與不同源的傳感器進(jìn)行融合，首先需將不同傳感器的坐標(biāo)系進(jìn)行統(tǒng)一，包括{L}、{M}、{U}、{C}、{W}坐標(biāo)系之間的變換。

3.1 車側(cè)感知融合技術(shù)

為了更好地融合，需將由極坐標(biāo)系表征的雷達(dá)數(shù)據(jù)轉(zhuǎn)換為由笛卡爾坐標(biāo)系表征，轉(zhuǎn)換公式為：

(2)

3.1.1 毫米波雷達(dá)坐標(biāo)系到激光雷達(dá)坐標(biāo)系

(3)

式中，R表示坐標(biāo)系變換的旋轉(zhuǎn)矩陣，T表示坐標(biāo)系變換的平移矩陣。

如圖4所示，圖4(a)描述坐標(biāo)軸由Oa-XaYaZa通過T變換到Ot-XtYtZt的過程，T表示如下：

(a) 坐標(biāo)軸通過T的變換

T=(TxTyTz)T,

(4)

式中，Tx、Ty、Tz分別表示為在X軸、Y軸、Z軸上的平移分量。

圖4(b)描述了坐標(biāo)軸Oa-XaYaZa通過R變換到Or-XrYrZr的過程，R由分別繞X軸、Y軸、Z軸上的三個旋轉(zhuǎn)分量計(jì)算得到：

(5)

式中，βx、βy、βz分別表示繞X軸、Y軸、Z軸上的旋轉(zhuǎn)角，最后計(jì)算得到R:

R=Rx(βx)·Ry(βy)·Rz(βz)。

(6)

3.1.2 激光雷達(dá)坐標(biāo)系到世界坐標(biāo)系

(7)

基于上式可通過求解R、T實(shí)現(xiàn)多輛CAV的點(diǎn)云在同一世界坐標(biāo)系中的配準(zhǔn)。

3.1.3 世界坐標(biāo)系到圖像坐標(biāo)系

(8)

式中，fx、fy、u0、v0為相機(jī)內(nèi)參參數(shù)，R、T為旋轉(zhuǎn)平移矩陣,Zc為尺度系數(shù)。

車側(cè)感知融合處理技術(shù)主要基于式(2)～(3)、式(7)～(8)對相機(jī)、激光雷達(dá)和毫米波雷達(dá)感知數(shù)據(jù)進(jìn)行融合，將激光雷達(dá)的點(diǎn)云深度信息[17]和毫米波雷達(dá)的檢測信息匹配到同一像素坐標(biāo)系下，并利用攝像機(jī)和毫米波雷達(dá)目標(biāo)檢測框的深度信息得到目標(biāo)位置，得到三者的最終融合結(jié)果。

3.2 協(xié)同感知融合技術(shù)

協(xié)同感知融合流程主要以激光雷達(dá)原始點(diǎn)云數(shù)據(jù)作為各級融合的輸入，并引入路側(cè)無線感知數(shù)據(jù)作為全局信息的補(bǔ)全。為進(jìn)行更好地融合，在融合算法輸入前需進(jìn)行預(yù)處理操作，對于激光雷達(dá)點(diǎn)云數(shù)據(jù)需先去除運(yùn)動畸變并分離地面點(diǎn)，在融合后可根據(jù)感知需求基于融合變換的矩陣重新拼接地面點(diǎn)云到融合點(diǎn)云中。對于路側(cè)無線感知數(shù)據(jù)需先進(jìn)行濾波操作，將由噪聲、雜波及多徑等因素產(chǎn)生的孤立點(diǎn)、虛假點(diǎn)、地面點(diǎn)等剔除掉，以保證對交通環(huán)境的真實(shí)描述。隊(duì)列感知融合針對空間內(nèi)不同CAV的點(diǎn)云數(shù)據(jù)，通過求解式(7)的R、T將多幀點(diǎn)云配準(zhǔn)到同一個基準(zhǔn)坐標(biāo)系進(jìn)行描述，配準(zhǔn)算法采用ICP算法，具體過程如下：

① 初始化R、T矩陣，基于式(7)將待配準(zhǔn)點(diǎn)云與基準(zhǔn)點(diǎn)云置于同一坐標(biāo)系，迭代開始將兩幀點(diǎn)云的空間點(diǎn)進(jìn)行匹配。匹配點(diǎn)集如下：

(9)

式中，Lik代表第i輛CAV的待配準(zhǔn)點(diǎn)云點(diǎn)集，L1k代表簇頭CAV的基準(zhǔn)點(diǎn)云點(diǎn)集。

② 構(gòu)建最小化誤差方程求解R、T矩陣:

(10)

③ 求解的R、T矩陣作為下一次迭代的輸入，直到達(dá)到預(yù)設(shè)誤差或迭代次數(shù)閾值停止?；谇蠼獾腞、T矩陣?yán)檬?7)得到配準(zhǔn)結(jié)果。

路側(cè)點(diǎn)云在配準(zhǔn)過程中由于存在大量獨(dú)立點(diǎn)，導(dǎo)致匹配點(diǎn)對誤差過大，在迭代過程易陷入局部最優(yōu)，傳統(tǒng)ICP算法不再適用。為此提出一種粗配準(zhǔn)+精配準(zhǔn)的兩步點(diǎn)云配準(zhǔn)方法，粗配準(zhǔn)基于點(diǎn)云提取的特征點(diǎn)對進(jìn)行匹配，得到的粗配準(zhǔn)結(jié)果再輸入到ICP算法中得到精確的配準(zhǔn)結(jié)果。特征點(diǎn)提取過程引入了路側(cè)感知數(shù)據(jù)，以路側(cè)通信節(jié)點(diǎn)的無線感知數(shù)據(jù)為例，對路側(cè)融合過程進(jìn)行說明：

① 路側(cè)無線感知基于檢測提取得到的車輛與路邊障礙物構(gòu)建特征點(diǎn)組成基準(zhǔn)點(diǎn)集U。

② 第j隊(duì)簇群基于點(diǎn)云聚類算法提取到的車輛與路邊障礙物構(gòu)建特征點(diǎn)組成待配準(zhǔn)點(diǎn)集Lj。

③ 迭代開始，構(gòu)建U和Lj匹配點(diǎn)集，并刪去匹配誤差過大點(diǎn)，基于式(10)構(gòu)建最小二乘問題，求解R、T矩陣，并利用式(3)完成路側(cè)無線感知數(shù)據(jù)和激光雷達(dá)數(shù)據(jù)的配準(zhǔn)。

④ 重復(fù)②～③,直到所有簇的待配準(zhǔn)點(diǎn)云數(shù)據(jù)都統(tǒng)一到無線感知的基準(zhǔn)坐標(biāo)系中時(shí)結(jié)束，完成多簇點(diǎn)云數(shù)據(jù)以及路側(cè)無線感知點(diǎn)云數(shù)據(jù)的初步融合。

⑤ 將粗配準(zhǔn)融合結(jié)果作為輸入，利用ICP算法得到更精細(xì)的多簇點(diǎn)云配準(zhǔn)融合結(jié)果。

最后，將融合的多源感知數(shù)據(jù)上傳到云側(cè)，云側(cè)通過目標(biāo)檢測、數(shù)據(jù)融合等處理技術(shù)完成數(shù)據(jù)處理計(jì)算決策和數(shù)據(jù)級高清地圖的構(gòu)建。

3.3 感知數(shù)據(jù)壓縮去冗技術(shù)

車聯(lián)網(wǎng)絡(luò)傳感節(jié)點(diǎn)采集得到的感知數(shù)據(jù)存在時(shí)空冗余，時(shí)間冗余指同一傳感器在時(shí)間維度上的感知數(shù)據(jù)高度相似，空間冗余指多源傳感器在空間維度上的感知數(shù)據(jù)描述的三維環(huán)境信息高度重疊。針對以上特性，通過時(shí)間特性融合實(shí)現(xiàn)時(shí)間序列上多幀點(diǎn)云融合，利用空間特性去冗和壓縮算法實(shí)現(xiàn)對感知數(shù)據(jù)的簡化，以降低通信上傳的數(shù)據(jù)量，具體流程如圖5所示。

圖5 感知數(shù)據(jù)壓縮去冗流程

時(shí)間特性融合針對多幀感知數(shù)據(jù)的高時(shí)間相關(guān)性，基于卡爾曼濾波完成數(shù)據(jù)級的預(yù)測，實(shí)現(xiàn)時(shí)間上多幀感知數(shù)據(jù)融合處理，并得到一定時(shí)延后的感知預(yù)測結(jié)果，彌補(bǔ)通信上傳產(chǎn)生的時(shí)延影響。融合分為預(yù)測步和更新步。預(yù)測：

(11)

(12)

更新：

(13)

(14)

(15)

觀測方程為：

yk=h(sk)+vk,

(16)

式中,Kk為卡爾曼增益矩陣，Hk為h(sk)在sk的觀測矩陣，sk為估計(jì)值，yk為觀測值，vk為觀測噪聲，其協(xié)方差矩陣為E，pk為更新后的協(xié)方差。以激光雷達(dá)點(diǎn)云數(shù)據(jù)的融合為例，具體過程為：

③ 輸入后續(xù)幀點(diǎn)云繼續(xù)迭代，直至迭代t-2次根據(jù)第t-1幀測量狀態(tài)值st-1得到第t幀預(yù)測狀態(tài)值st。最后基于st得到第t幀點(diǎn)云數(shù)據(jù)。

激光雷達(dá)點(diǎn)云在上傳過程中，根據(jù)其特殊的空間結(jié)構(gòu)采用八叉樹壓縮算法進(jìn)行壓縮處理，可減少通信上傳的數(shù)據(jù)量，具體流程如圖6所示。

圖6 基于八叉樹的壓縮算法

首先通過遞歸構(gòu)建八叉樹空間模型，將點(diǎn)云三維場景劃分為2n×2n×2n個小區(qū)間組成的場景，并基于式(16)得到尺度參數(shù)：

(17)

式中，n代表八叉樹遞歸深度，xmax、xmin等參數(shù)為從點(diǎn)云中提出的對應(yīng)坐標(biāo)軸上最大最小值。

根據(jù)尺度參數(shù)劃分區(qū)間，將處于區(qū)間參數(shù)之間的點(diǎn)云坐標(biāo)映射到對應(yīng)區(qū)間的格點(diǎn)坐標(biāo)上，得到映射后新點(diǎn)云坐標(biāo)(xi,yi,zi)。

基于式(18)量化映射后的點(diǎn)云坐標(biāo)(xi,yi,zi)，并得到每個點(diǎn)云坐標(biāo)索引值(xk,yk,zk)。

(18)

基于式(19)進(jìn)一步得到坐標(biāo)索引值K，最后對K編碼表達(dá)得到壓縮結(jié)果。

K=xk·2n2+yk·2n+zk。

(19)

空間特性去冗余針對多視角點(diǎn)云，通過濾波去除冗余感知數(shù)據(jù)，可提升感知有效性。算法設(shè)計(jì)基于以下思想：若某一半徑為a的領(lǐng)域內(nèi)存在一個以上的點(diǎn)，則視為領(lǐng)域內(nèi)存在重復(fù)點(diǎn)，若某一半徑為b領(lǐng)域內(nèi)少于閾值k的點(diǎn)數(shù)，則將其領(lǐng)域內(nèi)點(diǎn)視為離群點(diǎn)。具體流程如下：

① 從第一個點(diǎn)開始遍歷，根據(jù)半徑a和半徑b構(gòu)造KD樹索引點(diǎn)云，記錄半徑a和半徑b內(nèi)領(lǐng)域點(diǎn)個數(shù)。

② 若半徑a的領(lǐng)域內(nèi)點(diǎn)數(shù)超過1，則將除該點(diǎn)以外的點(diǎn)都視為重復(fù)點(diǎn)并進(jìn)行去除，若半徑b內(nèi)點(diǎn)數(shù)少于設(shè)定閾值k，則將半徑b的領(lǐng)域內(nèi)所有點(diǎn)都視為離群點(diǎn)并進(jìn)行去除。

③ 重復(fù)步驟①和②，直至遍歷完點(diǎn)云所有點(diǎn)。

由于八叉樹壓縮算法特性，解壓縮后點(diǎn)云將存在大量坐標(biāo)完全相同的點(diǎn)。在將這些重復(fù)點(diǎn)去除的過程中，a值設(shè)置很小也能達(dá)到非常高的去除率。結(jié)合離群噪點(diǎn)的濾除，該方法可有效去除對感知無益處的冗余點(diǎn)云，提高點(diǎn)云數(shù)據(jù)的感知有效性。

4 仿真結(jié)果

本文基于CARLA模擬車聯(lián)網(wǎng)駕駛環(huán)境，搭建車聯(lián)網(wǎng)多源感知數(shù)據(jù)融合的仿真平臺，驗(yàn)證融合技術(shù)的有效性。CARLA是許多研究自動駕駛的公司(如奔馳、豐田、華為等)正在使用的一款開源模擬器，支持傳感器和環(huán)境的靈活配置，可用于自動駕駛系統(tǒng)的開發(fā)和仿真驗(yàn)證[18]。仿真平臺基于系統(tǒng)模型和感知模型生成智能網(wǎng)聯(lián)車、車載傳感器采集感知數(shù)據(jù)，并采用CARLA中時(shí)鐘作為同一時(shí)間源，對不同傳感器采集感知數(shù)據(jù)的時(shí)間進(jìn)行同步。圖7為車輛傳感器擺放位置與感知范圍。

圖7 車側(cè)傳感器擺放位置和感知范圍

圖8對單車多傳感器融合的檢測精度進(jìn)行仿真，采用均方根誤差來衡量障礙物檢測精度。

圖8 使用不同傳感器的檢測精度

(20)

仿真結(jié)果表明，當(dāng)距離達(dá)到70 m時(shí)，車側(cè)數(shù)據(jù)融合相對于單目相機(jī)和雙目相機(jī)的檢測精度性能增益分別為365%和136%。雖然激光雷達(dá)檢測精度更高，但難以通過聚類算法判別障礙物類別，且當(dāng)距離達(dá)到52 m后，由于激光雷達(dá)檢測點(diǎn)云的稀疏性，難以通過聚類檢測到障礙物。利用激光雷達(dá)深度圖和相機(jī)高分辨率圖像融合，單車感知可以達(dá)到近似激光雷達(dá)的距離檢測精度，并且相對于激光雷達(dá)多一維度語義信息，可用于判別障礙物類別，同時(shí)在遠(yuǎn)距離情況下，稀疏點(diǎn)云無法進(jìn)行聚類檢測時(shí)，融合方法相對于純視覺檢測方法，可更精確地檢測障礙物信息。

通過仿真平臺模擬惡劣天氣下城鎮(zhèn)交通環(huán)境，并生成智能網(wǎng)聯(lián)車與車載傳感器采集感知數(shù)據(jù)，如圖9所示。圖9(a)為CAV車載攝像機(jī)采集到RGB圖像，由于惡劣天氣影響，場景中車輛D未能被車載攝像頭檢測到。圖9(b)為CAV車載激光雷達(dá)和毫米波雷達(dá)采集到點(diǎn)云數(shù)據(jù)，其中白色點(diǎn)云來自激光雷達(dá)，紅色點(diǎn)云來自毫米波雷達(dá)。由于距離影響，激光雷達(dá)采集到關(guān)于車輛D的點(diǎn)云十分稀疏，因此也未能被車載激光雷達(dá)點(diǎn)云的聚類算法檢測到，而只有毫米波雷達(dá)能成功檢測車輛D。如圖9(c)所示，通過車側(cè)攝像頭-激光雷達(dá)-毫米波雷達(dá)多傳感器融合，車側(cè)數(shù)據(jù)融合處理技術(shù)實(shí)現(xiàn)了激光雷達(dá)深度信息與攝像機(jī)語義信息的精確融合，在達(dá)到近似激光雷達(dá)檢測精度的同時(shí)，多了一維語義信息，并利用毫米波雷達(dá)擴(kuò)展了單車感知視野，提高了惡劣天氣下單車感知的魯棒性。

(a) 攝像頭檢測結(jié)果

協(xié)同感知融合結(jié)果如圖10所示，由于距離和視野遮擋，單車感知到的點(diǎn)云感知范圍受限，如圖10(a)所示，圖中左上框和右上框中車輛無法被檢測到，下方框中點(diǎn)云十分稀疏。通過簇內(nèi)多車協(xié)同后，感知融合結(jié)果如圖10(b)所示，可以看出，感知范圍明顯提升。但因?yàn)檐囕v低視角造成視野遮擋，仍有右上框的車輛沒有被檢測到。如圖10(c)所示，路側(cè)通信節(jié)點(diǎn)位于矩陣框中，并朝箭頭方向在虛線范圍內(nèi)發(fā)送通感波形，執(zhí)行無線感知，圖中白色點(diǎn)云來自激光雷達(dá)，紅色點(diǎn)云來自路側(cè)通感基站的無線感知。最后在通感基站輔助下通過多幀點(diǎn)云配準(zhǔn)實(shí)現(xiàn)了車聯(lián)網(wǎng)絡(luò)數(shù)據(jù)級高清地圖的構(gòu)建，并同時(shí)通過路側(cè)高視角、高維度、不受惡劣天氣影響的無線感知信息補(bǔ)全了車聯(lián)網(wǎng)環(huán)境的全局感知信息。

(a) 車側(cè)點(diǎn)云數(shù)據(jù)

圖11對應(yīng)圖10的協(xié)同感知融合結(jié)果，將協(xié)同感知帶來的范圍擴(kuò)展通過感知覆蓋率量化展示。感知覆蓋率定義為檢測到車輛數(shù)目與總車輛數(shù)目的比值：

圖11 不同車輛數(shù)目下感知覆蓋率

η=ni/N，

(21)

式中，ni為場景中有i輛CAV參與協(xié)同感知時(shí)檢測到車輛數(shù)目，N為場景車輛總數(shù)目，該十字路口場景車輛總數(shù)目為40。車輛數(shù)目為1時(shí)對應(yīng)圖10(a)中的單車感知，感知范圍受限，而隨著加入?yún)f(xié)同感知融合的車輛數(shù)目增加，協(xié)同感知范圍也在不斷提升。車輛數(shù)目為5時(shí)對應(yīng)圖10(b)中的隊(duì)列側(cè)感知融合，感知范圍得到拓展。同時(shí)在加入新簇的簇成員時(shí)，感知覆蓋率會大幅提升，當(dāng)三個簇中加入?yún)f(xié)同車輛數(shù)達(dá)到12時(shí)，該十字路口40輛車都能被檢測到，實(shí)現(xiàn)車聯(lián)網(wǎng)環(huán)境下的全局感知。

表1為單車感知數(shù)據(jù)量簡化前后對比，圖12展示了車側(cè)、隊(duì)列側(cè)、路側(cè)經(jīng)過感知數(shù)據(jù)簡化處理前后感知數(shù)據(jù)量大小對比的仿真圖。

表1 感知數(shù)據(jù)所需傳輸速率

圖12 壓縮去冗后感知數(shù)據(jù)量

圖12結(jié)果表明，經(jīng)過數(shù)據(jù)簡化處理后，單車上傳的感知數(shù)據(jù)量僅為原始數(shù)據(jù)量的1.62%，隊(duì)列側(cè)和路側(cè)上傳的感知數(shù)據(jù)量下降了兩個數(shù)量級，僅為原始數(shù)據(jù)量的0.97%和0.92%。

然而，數(shù)據(jù)壓縮去冗余時(shí)也會引入誤差，采用均方根誤差來計(jì)算原始點(diǎn)云數(shù)據(jù)處理前后造成的誤差：

(22)

圖13 不同感知資源分配下的均方根誤差

仿真結(jié)果表明，分配給傳輸感知數(shù)據(jù)的通信資源越多，點(diǎn)云數(shù)據(jù)失真越小。為保證原始感知數(shù)據(jù)厘米級別精度，在上傳15輛車的感知融合數(shù)據(jù)時(shí)，路側(cè)應(yīng)至少分配支持110 Mbit/s傳輸速率的上行通信帶寬用于感知數(shù)據(jù)上傳。

5 結(jié)束語

本文對面向多源感知的數(shù)據(jù)融合處理技術(shù)進(jìn)行研究，提出了一種車聯(lián)網(wǎng)絡(luò)面向多源感知的數(shù)據(jù)分級融合方法，該方法借助于多源感知、協(xié)同傳輸、融合計(jì)算的通感算融合，實(shí)現(xiàn)了“車-路-云”一體化感知的全局架構(gòu)。同時(shí)對數(shù)據(jù)融合處理技術(shù)進(jìn)行設(shè)計(jì)，通過攝像頭、激光雷達(dá)和毫米波雷達(dá)優(yōu)勢互補(bǔ)的深度融合，實(shí)現(xiàn)了單車智能感知。通過所提出的兩步配準(zhǔn)方法，實(shí)現(xiàn)了在通感基站輔助下多源感知數(shù)據(jù)的全局融合。通過感知數(shù)據(jù)壓縮去冗技術(shù)，減少了通信上傳的感知數(shù)據(jù)量。最后搭建平臺驗(yàn)證，將車輛三種傳感器的感知數(shù)據(jù)進(jìn)行融合，可以有效擴(kuò)展單車感知維度，提升感知性能，將多源點(diǎn)云數(shù)據(jù)進(jìn)行全局融合，可以有效擴(kuò)展車聯(lián)網(wǎng)絡(luò)感知視野，在保證惡劣天氣下感知可靠性的同時(shí)，實(shí)現(xiàn)了數(shù)據(jù)級高清地圖構(gòu)建。此外感知融合精度受壓縮去冗余算法影響，精度低將導(dǎo)致點(diǎn)云失真嚴(yán)重，精度高將消耗過多的通信資源，通過選擇合適的精度能在較少通信開銷前提下有效實(shí)現(xiàn)多節(jié)點(diǎn)協(xié)同下的全局感知。