基于雷視融合的ADB燈控系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

【摘 要】針對傳統(tǒng)基于相機(jī)的ADB燈控系統(tǒng)單目攝像頭在雨、雪、霧天氣存在識別不清和檢測率低的問題，文章設(shè)計(jì)一種基于雷視融合的車載ADB燈控系統(tǒng)。該系統(tǒng)可以實(shí)現(xiàn)夜晚自適應(yīng)控制遠(yuǎn)光燈的開閉，減少交通事故的發(fā)生，并且雷達(dá)數(shù)據(jù)的引入增強(qiáng)了數(shù)據(jù)源的可靠性，使得該系統(tǒng)在雨、雪、霧等不良天氣下亦可正常工作，增強(qiáng)了系統(tǒng)的魯棒性。

【關(guān)鍵詞】雷視融合;ADB;目標(biāo)檢測;場景識別;智能控制

中圖分類號：U463.675 文獻(xiàn)標(biāo)識碼：A 文章編號：1003-8639（ 2024 ）09-0037-04

The Design and Implementation of the ADB Lamp Control System Based on Radar and Vision Fusion

LI Hui1，GUO Desui1，LIANG Menghao1，WANG Chaoyang1，LI Jing2

（1. Industrial Research Institute of Henan Tianhai Electric Appliance Co.，Ltd.，Hebi 458031，China;2. College of Communication Engineering，Xidian University，Xi′an 710071，China）

【Abstract】In response to the problems of unclear recognition and low detection rate of monocular cameras in traditional camera based ADB light control systems in rainy，snowy，and foggy weather，this paper designs an onboard ADB light control system based on lightning vision fusion. With this system，it is possible to achieve adaptive control of the high beam lights at night，reducing the occurrence of traffic accidents. The introduction of radar data enhances the reliability of the data source，allowing the system to operate normally in adverse weather conditions such as rain，snow，and fog，enhancing the robustness of the system.

【Key words】rayleigh fusion;ADB;target detection;scene recognition;intelligent control

1 引言

自適應(yīng)遠(yuǎn)光燈系統(tǒng)（Adaptive Driving Beam，ADB）是一種能夠根據(jù)行駛場景變換遠(yuǎn)光光束開關(guān)與投影的遠(yuǎn)光燈控制系統(tǒng)。它在保證自車駕駛員視野良好的前提下，通過控制遠(yuǎn)光燈來減少對其他道路使用者造成的眩目。

ADB系統(tǒng)能夠根據(jù)自車行駛狀態(tài)以及道路車輛狀態(tài)，智能開啟和關(guān)閉遠(yuǎn)光燈，根據(jù)攝像頭等傳感器識別出現(xiàn)的車輛、行人等目標(biāo)，單獨(dú)控制（開閉或亮度調(diào)節(jié)）燈珠矩陣中的燈珠，自適應(yīng)變換光形，以避免對道路上行人或?qū)ο騺碥囻{駛員造成眩目，實(shí)現(xiàn)實(shí)時(shí)動態(tài)調(diào)節(jié)[1-2]。ADB的主要解決方案可以分為遮光板式、LED矩陣熄滅式和反射面矩陣式3種[3]。反射面矩陣式通過每個(gè)LED光源反射不同部分的光形，從而在道路上形成組合疊加的光束投影[4]。本文采用的LED矩陣熄滅式依靠控制高分辨率LED燈珠的亮滅來實(shí)現(xiàn)光束分區(qū)照明。當(dāng)前最流行并呈現(xiàn)出持續(xù)快速增長趨勢的汽車照明光源是LED前照燈[5]。2018年左右，LED已經(jīng)超越氙氣燈得到更廣泛的應(yīng)用，逐漸成為主流。LED車燈模組可以為道路照明提供適合遠(yuǎn)近光的各種光型[6]。

保障夜間以及雨霧天氣的駕駛安全一直都是汽車前照燈的根本任務(wù)。不僅要提供高效、充足的照明，也要防止對其他道路使用者造成眩目。因此，深入研究ADB系統(tǒng)以及提升ADB系統(tǒng)的可靠性和魯棒性在交通安全建設(shè)方面具有重要意義。

針對傳統(tǒng)車載ADB系統(tǒng)存在的問題，本文引入毫米波雷達(dá)，并設(shè)計(jì)一種基于雷視融合的數(shù)據(jù)采集處理系統(tǒng)，該系統(tǒng)主要特點(diǎn)如下。

1）該系統(tǒng)采用攝像頭和毫米波雷達(dá)分別采集數(shù)據(jù)，在視覺數(shù)據(jù)的基礎(chǔ)上增加雷達(dá)提供的世界坐標(biāo)數(shù)據(jù)作為輔助，從源頭上大大增加了數(shù)據(jù)的可靠性和穩(wěn)定性。

2）該系統(tǒng)對圖像數(shù)據(jù)采用先進(jìn)深度學(xué)習(xí)算法進(jìn)行行人檢測，并對相機(jī)進(jìn)行標(biāo)定，將真實(shí)世界坐標(biāo)轉(zhuǎn)換至圖像坐標(biāo)，為雷達(dá)數(shù)據(jù)和圖像數(shù)據(jù)提供了有效的融合前提。

3）該系統(tǒng)對雷達(dá)數(shù)據(jù)和圖像數(shù)據(jù)進(jìn)行了對比、匹配和融合，分別排除了攝像頭誤檢和雷達(dá)誤檢的目標(biāo)，提高了目標(biāo)檢測的準(zhǔn)確率，在效果上提升了系統(tǒng)的可靠性和燈控決策信息的精確度。

系統(tǒng)在設(shè)計(jì)時(shí)以實(shí)現(xiàn)對燈珠的準(zhǔn)確控制為目標(biāo)，以數(shù)據(jù)信息采集、轉(zhuǎn)換和融合為核心，實(shí)現(xiàn)一種能實(shí)時(shí)采集數(shù)據(jù)、檢測目標(biāo)并控制LED燈珠矩陣的車載ADB燈控系統(tǒng)，為夜間安全駕駛提供可靠支撐。

2 系統(tǒng)總體設(shè)計(jì)

ADB系統(tǒng)分為數(shù)據(jù)采集、數(shù)據(jù)處理和數(shù)據(jù)發(fā)送3個(gè)模塊，如圖1所示。

1）數(shù)據(jù)采集模塊：由攝像頭和毫米波雷達(dá)構(gòu)成，分別采集視頻圖像數(shù)據(jù)和毫米波雷達(dá)數(shù)據(jù)。

2）數(shù)據(jù)處理模塊：NVIDIA Jetson Xavier NX處理器處理來自攝像頭的圖像數(shù)據(jù)和雷達(dá)的三維空間數(shù)據(jù)。這兩種數(shù)據(jù)的結(jié)合為系統(tǒng)提供了一個(gè)全面的視角，確保在各種周邊環(huán)境條件下都能準(zhǔn)確檢測到行人和車輛。

標(biāo)定是ADB燈控系統(tǒng)的關(guān)鍵步驟。通過標(biāo)定，數(shù)據(jù)處理模塊能夠理解攝像頭和雷達(dá)數(shù)據(jù)與實(shí)際物理世界之間的關(guān)系。這確保了當(dāng)數(shù)據(jù)采集模塊檢測到行人時(shí)，它能夠準(zhǔn)確計(jì)算出行人與車輛之間的距離和角度?；谶@些計(jì)算，燈控模塊可以自動調(diào)整車輛的燈光角度和強(qiáng)度，確保行人被正確照亮，同時(shí)避免對其他駕駛員造成眩光。為了確保系統(tǒng)的穩(wěn)定性和可靠性，數(shù)據(jù)處理模塊還包括了專門的CAN設(shè)備驅(qū)動和攝像頭驅(qū)動。這些驅(qū)動確保所有的硬件組件都能夠無縫地與處理器協(xié)同工作。ADB燈控系統(tǒng)標(biāo)定的解決方案是一個(gè)結(jié)合了最新技術(shù)和創(chuàng)新設(shè)計(jì)的系統(tǒng)，它為現(xiàn)代交通安全提供了一個(gè)重要的工具，確保在夜間或低光照環(huán)境下行人的安全。

3）數(shù)據(jù)顯示和發(fā)送模塊：由NVIDIA Jetson Xavier NX處理器處理完數(shù)據(jù)之后通過CAN總線發(fā)送給下級燈控模塊來控制燈珠矩陣的開閉，圖像通過HDMI傳輸至顯示器。

3 系統(tǒng)硬件設(shè)計(jì)

基于雷視融合的ADB系統(tǒng)硬件方案架構(gòu)如圖2所示。該架構(gòu)通過雷達(dá)和相機(jī)采集數(shù)據(jù)，雷達(dá)數(shù)據(jù)通過CAN總線將位置信息傳給ADB決策模塊，攝像頭采集的圖像數(shù)據(jù)通過同軸線傳給ADB決策模塊。ADB決策模塊將雷達(dá)獲取的信息流與相機(jī)攝像頭獲取的視頻流進(jìn)行融合匹配，提高目標(biāo)信息的準(zhǔn)確性。NVIDIA Xavier處理器計(jì)算其他車輛與自身的相對物理位置信息，包括真實(shí)距離、相對角度。根據(jù)距離和角度計(jì)算矩陣燈珠燈控信息，并通過CAN總線發(fā)給ADB燈控模塊，控制模塊通過相應(yīng)的操作實(shí)現(xiàn)矩陣燈珠的部分區(qū)域開閉。

4 系統(tǒng)軟件設(shè)計(jì)

系統(tǒng)軟件架構(gòu)如圖3所示。設(shè)計(jì)一個(gè)先進(jìn)的雷視融合行人檢測框架，主要包括圖像數(shù)據(jù)處理、雷達(dá)數(shù)據(jù)處理和雷達(dá)視頻數(shù)據(jù)融合。

如圖3所示，相機(jī)采集的圖像數(shù)據(jù)通過YOLOv3算法檢測出圖像中存在的車輛和行人，通過對CAN包進(jìn)行解析獲取雷達(dá)數(shù)據(jù)，將雷達(dá)數(shù)據(jù)通過坐標(biāo)系的轉(zhuǎn)換映射到圖像數(shù)據(jù)上，在圖像上對雷達(dá)數(shù)據(jù)和視頻數(shù)據(jù)進(jìn)行匹配融合實(shí)現(xiàn)更精確定位，根據(jù)定位數(shù)據(jù)下發(fā)燈控信息，實(shí)現(xiàn)ADB自適應(yīng)開閉。

4.1 雷達(dá)數(shù)據(jù)處理模塊

該模塊主要完成雷達(dá)數(shù)據(jù)的接收和雷達(dá)數(shù)據(jù)CAN包解析。毫米波雷達(dá)返回的CAN報(bào)文中包含目標(biāo)序列號、目標(biāo)與雷達(dá)之間的相對徑向距離（Range）、相對運(yùn)動速度（Verl）、方位角（Azimuth）、反射截面積（RCS）和信噪比（SNR）等信息，但CAN報(bào)文中的各字段并不直接表示所需信息的真實(shí)值，需要對各字段進(jìn)行解析才可獲得真實(shí)數(shù)值。解析公式見表1。

4.2 相機(jī)標(biāo)定模塊

為了實(shí)現(xiàn)將雷達(dá)掃描數(shù)據(jù)點(diǎn)投影到像素坐標(biāo)系中，促進(jìn)雷達(dá)和相機(jī)信息融合，需實(shí)現(xiàn)如圖4所示5大坐標(biāo)系之間的轉(zhuǎn)換關(guān)系。

在這個(gè)模塊，參照張正友黑白棋盤格[7]標(biāo)定算法完成相機(jī)標(biāo)定，實(shí)現(xiàn)5大坐標(biāo)系之間的相互轉(zhuǎn)換，雷達(dá)掃描數(shù)據(jù)點(diǎn)與像素坐標(biāo)系的映射。

4.3 圖像數(shù)據(jù)處理模塊

YOLOv3[8]是一個(gè)經(jīng)過YOLOv1、YOLOv2改進(jìn)的基于回歸的網(wǎng)絡(luò)，并且在保證精度的前提下，運(yùn)行的速度也很快，可以達(dá)到實(shí)時(shí)檢測的要求，而且還增強(qiáng)了對尺寸比較小的物體的識別檢測能力。YOLOv3的先驗(yàn)檢測系統(tǒng)重復(fù)使用分類器或定位器來執(zhí)行檢測任務(wù)。YOLOv3的網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

通過相機(jī)采集圖像，利用YOLOv3網(wǎng)絡(luò)輸出檢測物體在圖像上的位置信息以及類別信息，根據(jù)以上信息在圖像上進(jìn)行畫框展示，實(shí)現(xiàn)實(shí)時(shí)目標(biāo)檢測。

4.4 毫米波雷達(dá)數(shù)據(jù)與視覺數(shù)據(jù)時(shí)間同步算法

毫米波雷達(dá)和攝像頭數(shù)據(jù)在進(jìn)行空間上的標(biāo)定之后，由于這2個(gè)傳感器工作在不同的時(shí)間頻率，并且在傳感器間數(shù)據(jù)通信的過程中存在延遲情況，毫米波雷達(dá)的采樣幀頻率為20幀/s，而攝像機(jī)的采樣幀頻率為30幀/s，所以不一致的采樣頻率導(dǎo)致傳感器采集到的數(shù)據(jù)并非每一幀都能有效對應(yīng)，因此將同一目標(biāo)的雷達(dá)坐標(biāo)和視頻檢測數(shù)據(jù)進(jìn)行時(shí)間同步是提高目標(biāo)融合跟蹤精度的關(guān)鍵。

采用最近鄰幀匹配算法實(shí)現(xiàn)時(shí)間同步。首先分別獲取帶有時(shí)間戳的毫米波雷達(dá)數(shù)據(jù)和圖像幀數(shù)據(jù)，提取其時(shí)間戳并減去相對應(yīng)的平均時(shí)延，然后進(jìn)行雷達(dá)數(shù)據(jù)與圖像幀數(shù)據(jù)的最近鄰匹配，如圖6所示。

設(shè)圖像數(shù)據(jù)幀集合定義為：

（1）

雷達(dá)數(shù)據(jù)幀集合定義為：

（2）

其中，圖像數(shù)據(jù)幀和雷達(dá)點(diǎn)云幀集合時(shí)間戳分別為：

由于攝像機(jī)時(shí)鐘和毫米波雷達(dá)時(shí)鐘與主機(jī)時(shí)鐘并非完全同步，存在延時(shí)。因此，設(shè)攝像機(jī)時(shí)鐘與主機(jī)時(shí)鐘平均延時(shí)為δC，毫米波雷達(dá)時(shí)鐘與主機(jī)時(shí)鐘平均延時(shí)為δR。由于圖像數(shù)據(jù)幀率fc和毫米波雷達(dá)幀率fr的差異，選取較低幀率傳感器，其幀率記為fmin，設(shè)置幀時(shí)差閾值Tth表示幀同步時(shí)間精確度，滿足

使用滑動窗口法對圖像幀數(shù)據(jù)和毫米波雷達(dá)幀數(shù)據(jù)進(jìn)行融合，生成結(jié)果集，即對于 ：

對于結(jié)果集O（C，R），其中每組數(shù)據(jù)（Ci，Rj），都是同步時(shí)間誤差小于幀時(shí)差閾值的數(shù)據(jù)組。

4.5 毫米波雷達(dá)與視覺信息融合模塊

由于需要對相機(jī)獲得的目標(biāo)類別信息和毫米波雷達(dá)獲得的目標(biāo)距離和速度信息進(jìn)行融合，二者數(shù)據(jù)類型不一樣，且考慮到檢測實(shí)時(shí)性的要求，數(shù)據(jù)融合時(shí)的計(jì)算量不能太高，所以采用決策層融合。

在完成5大坐標(biāo)系的關(guān)聯(lián)、相機(jī)標(biāo)定和數(shù)據(jù)時(shí)間同步之后，即可將毫米波雷達(dá)掃描點(diǎn)投影至像素坐標(biāo)系中，而相機(jī)檢測結(jié)果可以輸出其包圍框4個(gè)角點(diǎn)的像素坐標(biāo)信息，因此可根據(jù)雷達(dá)掃描點(diǎn)在像素坐標(biāo)系中的投影點(diǎn)是否在目標(biāo)包圍框內(nèi)來對毫米波雷達(dá)檢測結(jié)果與相機(jī)檢測結(jié)果進(jìn)行匹配。設(shè)某一目標(biāo)包圍框4個(gè)角點(diǎn)的像素坐標(biāo)分別為（u1，v1）、（u1，v2）、（u2，v1）和（u2，v2），雷達(dá)掃描點(diǎn)投影至像素坐標(biāo)系的坐標(biāo)為（ur，vr），由于雷達(dá)安裝位置相較于相機(jī)而言偏低，因此其掃描點(diǎn)在像素坐標(biāo)系中的投影點(diǎn)一般不會位于目標(biāo)包圍框中心，但其一定位于包圍框內(nèi)部，因此可設(shè)定判定規(guī)則為：u1<ur<u2且v1<vr<v，對符合判定規(guī)則的目標(biāo)進(jìn)行信息融合處理，同時(shí)輸出其類別、速度和距離信息。對不符合上述判定規(guī)則的目標(biāo)，不進(jìn)行融合處理。在像素坐標(biāo)系中，若目標(biāo)包圍框內(nèi)部未匹配到雷達(dá)投影點(diǎn)，則雷達(dá)漏檢該目標(biāo)，僅輸出其類別信息;若雷達(dá)投影點(diǎn)未在其周圍匹配到目標(biāo)包圍框，則相機(jī)漏檢該目標(biāo)，僅輸出其速度和距離信息。

4.6 下發(fā)燈控信息模塊

在完成前5步的基礎(chǔ)上，已經(jīng)實(shí)現(xiàn)了毫米波雷達(dá)與相機(jī)信息流的交互融合，對符合判定規(guī)則的目標(biāo)獲取其原始雷達(dá)數(shù)據(jù)與視頻數(shù)據(jù)用來計(jì)算與自車的夾角，設(shè)相機(jī)設(shè)備在圖像像素上的坐標(biāo)為（x0，y0），以雷達(dá)數(shù)據(jù)為標(biāo)準(zhǔn)，雷達(dá)數(shù)據(jù)在圖像像素上的坐標(biāo)為（xr，yr），夾角θ=arctan，依次計(jì)算出毫米波雷達(dá)與相機(jī)視頻流每幀匹配上的物體對應(yīng)的夾角θ，最后對所有物體對應(yīng)的夾角θ求并集，得到這一幀數(shù)據(jù)對應(yīng)的夾角θfinal=U（θ1，θ2，…，θn），其中U（）表示求并集，例如θ1是10°～20°，θ2是15°～30°，那么U（θ1，θ2）為10°～30°。

通過上文模塊計(jì)算得到了車輛與自車的夾角，根據(jù)預(yù)先設(shè)置好的夾角與ADB矩陣燈珠控制信息之間的對應(yīng)關(guān)系，選擇相應(yīng)的ADB矩陣燈珠控制信息，通過CAN總線發(fā)給ADB燈控模塊，該模塊執(zhí)行相應(yīng)的操作實(shí)現(xiàn)ADB矩陣燈珠遠(yuǎn)近光切換控制。

5 系統(tǒng)運(yùn)行及分析

本系統(tǒng)在走廊、空曠地帶和實(shí)際車道中進(jìn)行了多次測試。具體測試中，在走廊進(jìn)行了行人檢測測試，相機(jī)和毫米波雷達(dá)采集相應(yīng)數(shù)據(jù)，通過HDMI在顯示器上進(jìn)行顯示，沒有增加毫米波雷達(dá)數(shù)據(jù)，如圖7所示，其中紅色方框表示經(jīng)過YOLOv3算法檢測的結(jié)果，可以看出存在誤檢的情況，會下發(fā)給燈控模塊錯(cuò)誤信息，導(dǎo)致燈珠關(guān)閉不精確。增加毫米波雷達(dá)數(shù)據(jù)的結(jié)果如圖8所示，其中紅色方框表示經(jīng)過YOLOv3算法檢測的結(jié)果，綠色小點(diǎn)（圖中行人圖像雙腿之間膝蓋高度處）表示毫米波雷達(dá)數(shù)據(jù)映射到圖像上的結(jié)果，通過將毫米波雷達(dá)數(shù)據(jù)與視頻數(shù)據(jù)融合，能夠剔除掉誤檢的椅子，提高系統(tǒng)定位的精確性，進(jìn)而下發(fā)準(zhǔn)確的燈珠關(guān)閉信息。在多次測試中，考慮到燈珠關(guān)閉的準(zhǔn)確性和實(shí)時(shí)性，從測量結(jié)果可以看出基于雷視融合的ADB燈控系統(tǒng)相比傳統(tǒng)ADB燈控系統(tǒng)具有更高的精準(zhǔn)度，同時(shí)也能滿足實(shí)時(shí)性要求。

6 結(jié)束語

相對于傳統(tǒng)的ADB燈控系統(tǒng)，本文提出基于雷視融合的ADB自適應(yīng)燈控系統(tǒng)，從系統(tǒng)架構(gòu)出發(fā)，在傳統(tǒng)架構(gòu)上增加了毫米波雷達(dá)。通過雷達(dá)和相機(jī)對道路路況進(jìn)行數(shù)據(jù)采集和數(shù)據(jù)融合處理，不僅能夠?qū)崿F(xiàn)燈光自適應(yīng)，而且在之前的基礎(chǔ)上提高了目標(biāo)定位精度，進(jìn)而使得燈珠開閉更加精確。同時(shí)也克服了傳統(tǒng)ADB燈控系統(tǒng)在雨霧天氣下由于相機(jī)采集圖像數(shù)據(jù)存在模糊，導(dǎo)致燈珠自適應(yīng)開閉不精確的問題。

參考文獻(xiàn)：

[1] 朱光歡. 一種智能前大燈控制系統(tǒng)[J]. 科技視界，2015（34）：113，116.

[2] 黃連生. ADB自適應(yīng)遠(yuǎn)光燈系統(tǒng)簡介[J]. 輕工科技，2019，35（8）：59-60.

[3] 楊三偉. ADB在汽車前大燈上的應(yīng)用[J]. 科技資訊，2019，17（1）：105，111.

[4] Luo Chengming，Xin Gaifang，Xu Han，et al. Glare-free high-beam control for oncoming vehicle safety in night time[J]. IEEE consumer electronics magazine，2020，10（2）：8-15.

[5] Joseph Notaro. 汽車照明從昏暗而遙遠(yuǎn)的過去到光明、智慧的未來[J]. 傳感器世界，2021，27（2）：34-35.

[6] 文醉，趙斌，何云堂，等. 幾種典型汽車前照燈用光源的性能試驗(yàn)研究[J]. 照明工程學(xué)報(bào)，2014，25（5）：116-119.

[7] Zhengyou Zhang. A Flexible New Technique for Camera Calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，22（11）：1330-1334，2000.

[8] Redmon J，F(xiàn)arhadi A. YOLOv3： An incremental improvement[DB/OL]. arXiv e-prints，2018.（2018-04-08）.https：//arxiv.org/abs/1804.02767.

（編輯 楊凱麟）

作者簡介李輝（1982—），男，工程師，碩士，主要從事汽車電子電器系統(tǒng)（連接與傳輸）零部件研發(fā)及新型電子電氣架構(gòu)下汽車電子電器新技術(shù)研究與新產(chǎn)品開發(fā)工作。