基于移動邊緣計算的智慧公路多源感知技術(shù)研究

宋曉鵬，梁睿琳，郭 迎

（1.長安大學(xué)，陜西 西安 710064；2.浙江數(shù)智交院科技股份有限公司，浙江 杭州 310031）

0 引 言

近兩年，智慧公路的信息化、智能化建設(shè)受到了前所未有的關(guān)注，多源信息感知是智慧公路發(fā)展中尤為重要的一環(huán)，是實現(xiàn)其智慧化的基礎(chǔ)?！爸腔邸笔侵竿ㄟ^光傳感器、聲傳感器、波傳感器和電傳感器對多樣化動態(tài)信息進(jìn)行實時采集。智慧公路的交通信息感知系統(tǒng)是基于全息交通理論，利用多種傳感器技術(shù)，結(jié)合先進(jìn)的數(shù)據(jù)分析方法與物聯(lián)網(wǎng)技術(shù)，通過移動邊緣計算（Molile Edge Computing,MEC）等實現(xiàn)交通信息匯聚和處理，從而實現(xiàn)公路管理的信息化、自動化、智能化。

1 背景技術(shù)

依靠車載或路側(cè)傳感器實現(xiàn)實時、精確交通場景目標(biāo)檢測，是實現(xiàn)智慧公路多源信息感知的基礎(chǔ)。圍繞智慧公路環(huán)境感知的需求，將全天候攝像機和雷達(dá)相結(jié)合，并對攝像機和激光雷達(dá)進(jìn)行聯(lián)合標(biāo)定，建立空間同步和時間同步方案。基于邊緣計算服務(wù)器，能夠?qū)⒙穫?cè)端傳感器和車載端傳感器數(shù)據(jù)進(jìn)行匯聚、融合與分析，在路側(cè)設(shè)施和智能車輛之間共享計算結(jié)果，提高智能車的感知能力，以及公路管理的信息化、自動化、智能化，進(jìn)而提高道路的通行效率和安全性能。

攝像機可以輸出高分辨率的圖像，包含豐富的顏色、紋理信息，特別適合精確的目標(biāo)分類。傳統(tǒng)的目標(biāo)檢測算法如SIFT、HOG、SURF，利用不同大小的滑動窗口描繪圖像上需要檢測的區(qū)域并提取特征點，然后使用機器學(xué)習(xí)方法對這些特征進(jìn)行分類。近年來，在圖像識別領(lǐng)域的研究已經(jīng)拓展到使用深度學(xué)習(xí)領(lǐng)域的方法，常用方法可分為兩步法和一步法。兩步法如R-CNN，F(xiàn)ast R-CNN和Faster R-CNN等，以及遞歸卷積神經(jīng)網(wǎng)絡(luò)（RCNN）算法系列，均獲得了良好的識別效果。一步法，如YOLO系列算法，能夠獲得良好的目標(biāo)檢測結(jié)果。

在智慧公路環(huán)境中，雷達(dá)的基本任務(wù)是發(fā)射電磁波，對目標(biāo)進(jìn)行照射并接收其回波，由此獲得目標(biāo)至電磁波發(fā)射點的距離、方向、速度等狀態(tài)參數(shù)，能夠全天候、全天時準(zhǔn)確測量物體距離和運動速度。攝像機可識別物體類別、車輛高度，在物體高度與寬度測量精度、車道線識別、行人識別準(zhǔn)確度等方面具有較大優(yōu)勢，是實現(xiàn)車道偏離預(yù)警、交通標(biāo)志識別等功能不可缺少的傳感器，但作用距離和測距精度不如毫米波雷達(dá)，并且容易受光照、天氣等因素的影響。攝像機和毫米波雷達(dá)在目標(biāo)識別與跟蹤技術(shù)領(lǐng)域各有優(yōu)劣，充分利用雷達(dá)和相機數(shù)據(jù)的互補性，實現(xiàn)多源交通信息融合，為交通信息感知提供了一種可行的方案。

路側(cè)傳感器作為智慧高速的重要組成部分，能夠感知各類道路交通環(huán)境，獲取重要的交通信息。具體做法：在道路一側(cè)安置固定的傳感器，如視覺傳感器、毫米波傳感器等，將傳感器收集的信息送至邊緣服務(wù)器處理，提取車輛位置、車輛軌跡等信息；根據(jù)路側(cè)傳感器獲取的多源信息，進(jìn)行實時數(shù)據(jù)處理以分析交通狀況，并可以在路側(cè)設(shè)施和車輛之間共享計算結(jié)果。移動邊緣計算能夠提供強大的計算和存儲功能，基于邊緣服務(wù)器將路側(cè)端攝像機和毫米波雷達(dá)進(jìn)行融合，通過數(shù)據(jù)預(yù)處理、空間同步、時間同步和跟蹤算法等，實現(xiàn)兩者的相互配合，共同構(gòu)建道路環(huán)境感知系統(tǒng)，使其更穩(wěn)定、更可靠。基于邊緣計算的智慧公路多源感知圖示如圖1所示，系統(tǒng)結(jié)構(gòu)如圖2所示。

圖1 基于邊緣計算的智慧公路多源感知

圖2 系統(tǒng)結(jié)構(gòu)

2 數(shù)據(jù)預(yù)處理

YOLOv3是一種快速、準(zhǔn)確的深度學(xué)習(xí)方法，用于處理攝像機圖像數(shù)據(jù)。相較YOLOv2和YOLOv1，YOLOv3調(diào)整了網(wǎng)絡(luò)結(jié)構(gòu)，具有53個卷積層，稱為DarkNet53，利用多尺度特征進(jìn)行目標(biāo)檢測，在保持速度的前提下，提升了預(yù)測精度，尤其是小目標(biāo)物體的檢測效果得到了較大改善。在智慧公路場景中，對遠(yuǎn)處較小的車輛目標(biāo)進(jìn)行檢測較為困難，而YOLOv3卻能夠很好地檢測到道路遠(yuǎn)處的小目標(biāo)。此外，YOLOv3是一種實時對象檢測系統(tǒng)，它以30 FPS的速度處理圖像，對檢測到的對象執(zhí)行多標(biāo)簽分類，在使用Pascal Titan X的COCO測試開發(fā)中mAP值為57.9%。YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示，YOLOv3多尺度檢測方法如圖4所示。

圖3 YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)

圖4 YOLOv3多尺度檢測方法

雷達(dá)通過一些內(nèi)置算法來處理原始反射點以檢測目標(biāo)。反射的檢測點并不總準(zhǔn)確，并且有時在同一車輛上會有多個檢測點，因此需要采用聚類方法來進(jìn)一步處理反射結(jié)果。通常，我們使用DBSCAN聚類方法處理雷達(dá)檢測數(shù)據(jù)。DBSCAN為密度聚類的無監(jiān)督方法，該方法無需知道經(jīng)過處理的簇的最終數(shù)量和形狀就可以發(fā)現(xiàn)任意形狀的簇類，并且可以同時識別噪聲點。

3 傳感器空間同步

毫米波雷達(dá)和攝像機在不同位置獲得多元信息，傳感器融合需包含時間同步和空間同步。空間同步通過聯(lián)合校準(zhǔn)標(biāo)定完成，攝像機標(biāo)定包括坐標(biāo)變換和畸變校正。坐標(biāo)變換主要涉及4個坐標(biāo)系，包括世界坐標(biāo)系、攝像機坐標(biāo)系、圖像坐標(biāo)系和像素坐標(biāo)系，如圖5所示。相關(guān)參數(shù)介紹見表1所列。

圖5 坐標(biāo)系變換

表1 相關(guān)參數(shù)

通過上述4個坐標(biāo)系的轉(zhuǎn)換得到世界坐標(biāo)系到像素坐標(biāo)系的轉(zhuǎn)換公式：

雷達(dá)校準(zhǔn)主要通過預(yù)期的位置和角度進(jìn)行精確安裝。攝像機和雷達(dá)聯(lián)合校準(zhǔn)的目的是將來自這2個傳感器的測量值轉(zhuǎn)換為相同的坐標(biāo)系。通過公式（2），我們將雷達(dá)坐標(biāo)系的測量值轉(zhuǎn)換為攝像機坐標(biāo)系。將雷達(dá)與地面平行放置，使雷達(dá)的檢測范圍與攝像機保持在同一水平。攝像機和雷達(dá)的聯(lián)合校準(zhǔn)示意圖如圖6所示。

圖6 攝像機和雷達(dá)聯(lián)合校準(zhǔn)

4 傳感器時間同步

雷達(dá)和攝像機具有不同的采樣頻率，在空間同步之后需要進(jìn)行時間同步，以提高每幀目標(biāo)定位的準(zhǔn)確性以及不同傳感器數(shù)據(jù)的綜合利用率。通過多線程時間同步方法，能夠?qū)崿F(xiàn)不同采樣頻率的攝像機和雷達(dá)的時間同步。多線程時間同步方法包含3個線程：雷達(dá)線程、攝像機線程和融合線程。雷達(dá)線程和攝像機線程分別用于以不同采樣率從雷達(dá)和攝像機收集數(shù)據(jù)。實時獲取的數(shù)據(jù)將被發(fā)送到預(yù)處理模塊，預(yù)處理模塊分別采用YOLOv3深度學(xué)習(xí)算法和DBSCAN聚類算法對相機和雷達(dá)數(shù)據(jù)進(jìn)行處理。

將獲得的預(yù)處理結(jié)果存儲在緩沖區(qū)中，并使用直接更新方法進(jìn)行實時更新。緩沖區(qū)中僅存儲一幀有效的雷達(dá)檢測數(shù)據(jù)。如果攝像機和雷達(dá)已檢測到新目標(biāo)并對其進(jìn)行聚類，則立即替換緩沖區(qū)中的數(shù)據(jù)。

融合線程由3部分組成，包括判斷模塊、檢測分配和測量融合。判斷模塊由時間控制，且融合間隔必須長于攝像機和雷達(dá)的采樣間隔。當(dāng)系統(tǒng)時間達(dá)到融合時間時，將從雷達(dá)和攝像機緩沖區(qū)中提取數(shù)據(jù)以進(jìn)行后續(xù)處理。檢測分配是一種將攝像機和雷達(dá)檢測配對的對象關(guān)聯(lián)技術(shù)，以確保在多個目標(biāo)的情況下兩者可以相互匹配，通常選用分配算法或聚類算法。攝相機與雷達(dá)時間融合流程如圖7所示。

圖7 相機與雷達(dá)時間融合流程

目標(biāo)速度為毫米波雷達(dá)檢測到的速度，由攝像機識別目標(biāo)類型、大小，攝像機檢測和雷達(dá)檢測的平均位置為目標(biāo)位置。

5 多目標(biāo)關(guān)聯(lián)與跟蹤

采用雷達(dá)和攝像機進(jìn)行多目標(biāo)跟蹤需要著重于以下幾點：

（1）對象關(guān)聯(lián)：雷達(dá)檢測應(yīng)與攝像機檢測相關(guān)聯(lián)，而當(dāng)前融合檢測必須與現(xiàn)有軌跡相關(guān)聯(lián)；

（2）跟蹤環(huán)節(jié)：應(yīng)選用合適的濾波器進(jìn)行跟蹤，系統(tǒng)采用卡爾曼濾波；

（3）跟蹤管理：需維護(hù)跟蹤對象數(shù)據(jù)庫，并且定義跟蹤過程，包括初始化、更新和刪除。

多目標(biāo)跟蹤過程如圖8所示。

圖8 多目標(biāo)跟蹤

5.1 目標(biāo)關(guān)聯(lián)

系統(tǒng)采用Munkres算法進(jìn)行目標(biāo)關(guān)聯(lián)、對象關(guān)聯(lián)，以解決目標(biāo)分配問題。該算法中的分配數(shù)量和任務(wù)數(shù)量必須一一對應(yīng)。假設(shè)有M個目標(biāo)需要與N個目標(biāo)進(jìn)行匹配，可使用Munkres算法構(gòu)造方陣，并使用傳統(tǒng)的匈牙利算法獲得匹配結(jié)果。目標(biāo)關(guān)聯(lián)結(jié)果可以分為3類：已分配的檢測，未分配的雷達(dá)檢測和未分配的攝像機檢測。未分配的攝像機檢測用作有效檢測，毫米波雷達(dá)誤檢率較高，直接刪除未分配的雷達(dá)檢測數(shù)據(jù)。

對于多目標(biāo)跟蹤，將檢測結(jié)果分為3類：未分配的檢測，未分配的軌跡和已分配的軌跡。目標(biāo)關(guān)聯(lián)算法執(zhí)行完畢，在隨后的處理中將未分配的檢測用于目標(biāo)庫中生成新軌跡，已分配的軌跡用于軌跡更新，未分配的軌跡用于判斷是否需要刪除現(xiàn)有軌跡。

5.2 目標(biāo)跟蹤

卡爾曼濾波廣泛用于位置估計和目標(biāo)跟蹤。它包括2個過程：預(yù)測過程和更新過程。

預(yù)測過程：

式中：X為k時刻的狀態(tài)預(yù)測值；F為狀態(tài)轉(zhuǎn)移矩陣；X為k-1時刻的最優(yōu)估計；BU為外部輸入；ω為過程激勵噪聲；P為預(yù)測誤差；P表示為k次先驗估計協(xié)方差矩陣；P為k-1次后驗估計協(xié)方差矩陣；Q為過程激勵噪聲協(xié)方差矩陣。

更新過程：

式中：K為卡爾曼增益矩陣；H為觀測矩陣；R為測量噪聲協(xié)方差矩陣；Z為k時刻的測量值。

5.3 目標(biāo)管理

目標(biāo)管理遵循統(tǒng)一的規(guī)則，如果某一軌跡在過去5次更新中至少收到4次檢測信號，即收到至少4次該軌跡的已分配軌跡數(shù)據(jù)，將予以確認(rèn)并更新軌跡；如果某一軌跡最近5次更新中未收到已分配的軌跡，則該軌跡將被刪除。

6 結(jié) 語

圍繞智慧高速公路環(huán)境感知的需求，本文將路側(cè)全天候攝像機和毫米波雷達(dá)相結(jié)合，作為邊緣計算的應(yīng)用。系統(tǒng)對攝像機和毫米波雷達(dá)進(jìn)行聯(lián)合標(biāo)定，建立多傳感器間坐標(biāo)系轉(zhuǎn)換關(guān)系，實現(xiàn)智慧公路檢測區(qū)域內(nèi)的空間同步；通過多線程時間同步方法，實現(xiàn)不同采樣頻率攝像機和雷達(dá)的時間同步；最后采用適當(dāng)?shù)娜诤纤惴▽⑼荒繕?biāo)的所有傳感器數(shù)據(jù)進(jìn)行融合與目標(biāo)關(guān)聯(lián)，得出一致性檢測結(jié)果，進(jìn)行目標(biāo)跟蹤與目標(biāo)管理。在以后的工作中，將繼續(xù)圍繞路側(cè)設(shè)施和移動邊緣計算服務(wù)器開展相關(guān)融合算法研究，并做進(jìn)一步改進(jìn)。