李頎, 葉小敏, 馮文斌
(陜西科技大學(xué) 電子信息與人工智能學(xué)院, 陜西 西安 710021)
車輛檢測是先進(jìn)駕駛員輔助系統(tǒng)和自動(dòng)駕駛汽車的關(guān)鍵技術(shù)。但是在霧天條件下,視覺圖像嚴(yán)重受到影響,圖像模糊泛白,缺乏細(xì)節(jié)信息,車輛信息顯著度嚴(yán)重下降,直接導(dǎo)致了交通車輛檢測質(zhì)量的下降[1]。因此,在霧天進(jìn)行車輛檢測受到眾多的學(xué)者和科研人員的關(guān)注。He等人提出暗原色先驗(yàn)去霧理論[2]。Gao等人提出采用暗通道與亮通道結(jié)合解決暗通道去霧導(dǎo)致圖像發(fā)暗的問題,該方法雖然解決了區(qū)域失真的問題,但是處理后的圖像依然存在較多霧氣,對(duì)于霧天情況下的車輛識(shí)別依然比較困難[3]。毫米波雷達(dá)采用回波反射原理,不受天氣的干擾,在霧天依然能夠準(zhǔn)確檢測到目標(biāo)信息。因此,融合毫米波雷達(dá)和視覺結(jié)果也可以提高檢測的準(zhǔn)確率。Kim等提出了一種基于目標(biāo)運(yùn)動(dòng)狀態(tài)及形狀特征的車輛識(shí)別方法,通過毫米波雷達(dá)和攝像頭分別采集目標(biāo)的運(yùn)動(dòng)狀態(tài)和形狀特征,從而識(shí)別前向車輛,并應(yīng)用于自動(dòng)緊急制動(dòng)系統(tǒng)[4]。豐田汽車公司的Shigeki提出了一種基于單應(yīng)變換的毫米波雷達(dá)和相機(jī)聯(lián)合校準(zhǔn)方法,并使用占用網(wǎng)格方法對(duì)目標(biāo)進(jìn)行聚類[5]。徐磊等將毫米波雷達(dá)的檢測結(jié)果轉(zhuǎn)換為相應(yīng)的感興趣區(qū)域,并使用可變形部件模型對(duì)感興趣區(qū)域內(nèi)的目標(biāo)進(jìn)行分類,檢測速度達(dá)到29 FPS[6]。雖然融合毫米波雷達(dá)與機(jī)器視覺的車輛檢測已經(jīng)取得了一定的進(jìn)步,但是融合算法依舊存在以下幾點(diǎn)問題:(1)融合算法沒有考慮霧天下視覺檢測受限的問題;(2)融合算法沒有處理毫米波雷達(dá)采集數(shù)據(jù)中的干擾信息以及毫米波雷達(dá)采集的信息與視覺信息相互補(bǔ)充的問題;(3)沒有考慮融合算法的實(shí)時(shí)性問題。因此,在霧天條件下的車輛檢測和識(shí)別算法仍有待研究。
針對(duì)上述問題,本文首先對(duì)視覺圖像進(jìn)行去霧;然后采用知識(shí)蒸餾改進(jìn)YOLO算法進(jìn)行視覺檢測,提高視覺檢測速度;最后采用基于潛在目標(biāo)距離匹配算法對(duì)視覺檢測結(jié)果和毫米波雷達(dá)檢測結(jié)果進(jìn)行決策級(jí)融合,去除毫米波雷達(dá)的干擾信息,同時(shí)對(duì)視覺檢測和毫米波雷達(dá)檢測的缺失信息進(jìn)行互相補(bǔ)足,提高大霧天氣下車輛檢測的準(zhǔn)確性。
在公路上,由于地理特征和小氣候環(huán)境的影響,霧天非常常見。在霧天環(huán)境中,大氣光被空氣中的水蒸汽和顆粒物散射,導(dǎo)致攝像機(jī)采集的圖像對(duì)比度降低,缺乏圖像細(xì)節(jié)。因此本文采用去霧算法對(duì)原始圖像進(jìn)行處理。目前現(xiàn)有的去霧算法主要分為傳統(tǒng)圖像去霧算法和深度學(xué)習(xí)去霧算法。傳統(tǒng)圖像去霧算法又分為非物理模型算法和物理模型算法。非物理模型算法通過對(duì)圖像增強(qiáng)對(duì)比度來達(dá)到去霧的目的。物理模型算法是以大氣散射模型為研究基礎(chǔ),通過各種先驗(yàn)信息求解無霧圖像[7]。深度學(xué)習(xí)的去霧算法采用端到端的方式進(jìn)行去霧,其中神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)原始圖像數(shù)據(jù)與所需樣本參數(shù)之間的直接映射關(guān)系,根據(jù)映射關(guān)系實(shí)現(xiàn)有霧到無霧的轉(zhuǎn)換[8]。本文選擇以上3種類型的典型代表:自適應(yīng)直方圖均衡化、暗通道去霧算法以及DehazeNet算法進(jìn)行對(duì)比,性能對(duì)比結(jié)果如表1所示,針對(duì)道路上有霧圖像的處理結(jié)果如圖1所示。
圖1 去霧效果對(duì)比圖Fig.1 Comparison of defogging effects
表1 去霧算法性能對(duì)比Tab.1 Performance comparison of defogging algorithms
由表1和圖1可知,自適應(yīng)直方圖均衡化處理后的圖像對(duì)比度較高,但在增加去霧對(duì)比度的同時(shí)也放大了噪聲,導(dǎo)致圖像色彩與原圖像出現(xiàn)偏差,細(xì)節(jié)信息丟失。而暗通道去霧和Dehaze-Net算法去霧效果更好,更能還原圖像真實(shí)色彩,但是DehazeNet由于其網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜,實(shí)時(shí)性較差,單張圖像的處理速度為7 s,而本文研究對(duì)象為行駛的車輛,對(duì)實(shí)時(shí)性要求較高,所以本文選擇暗通道去霧算法對(duì)原始有霧圖像進(jìn)行去霧。
在圖像中,有霧存在的大氣散射模型如公式(1)所示:
其中:I(x)為原始圖像,J(x)為原始圖像的無霧狀態(tài),t(x)是大氣光的透射率,A是大氣光值。根據(jù)大氣光值和透射率可以求得無霧圖像,如公式(2)所示。
算法流程圖如圖2所示。
圖2 暗通道先驗(yàn)去霧算法流程圖Fig.2 Flowchart of dark channel prior defogging algorithm
首先,輸入原始有霧圖像(圖3(a)),獲取有霧圖像的暗通道圖,采用局部最小值濾波得到大氣光和大氣光的透射率。然后,對(duì)粗估的透射率采用導(dǎo)向?yàn)V波進(jìn)一步細(xì)化。最后,根據(jù)原始圖像、大氣光值以及透射率實(shí)現(xiàn)圖像去霧,圖3(b)為去霧后圖像??梢钥闯?,暗通道去霧算法有效去除了部分霧氣的干擾,有助于提高目標(biāo)識(shí)別的準(zhǔn)確性。
圖3 去霧前后結(jié)果對(duì)比圖Fig.3 Comparison of results before and after defogging
本文研究對(duì)象為公路上的車輛,車輛行駛速度較快,尤其是在高速公路上,車輛行駛速度更快,因此對(duì)于車輛檢測的實(shí)時(shí)性要求就比較高。在自動(dòng)駕駛場景中,要求車輛檢測的時(shí)間在15~20 ms之間,同時(shí)如果檢測算法網(wǎng)絡(luò)復(fù)雜、計(jì)算量大也不利于在車上的嵌入式設(shè)備上進(jìn)行部署,因此本文選擇YOLOv5算法進(jìn)行車輛目標(biāo)的檢測。YOLOv5有5個(gè)版本,即YOLOv5x、YOLOv5l、YOLOv5m、YOLOv5s和YOLOv5n。各版本的性能見表2。本文綜合考慮計(jì)算資源、模型參數(shù)、檢測準(zhǔn)確率、部署能力和算法實(shí)用性,選擇YOLOv5s作為基礎(chǔ)算法,并對(duì)其進(jìn)行了提高檢測速度和模型壓縮的改進(jìn)。
表2 COCO數(shù)據(jù)集上5個(gè)版本的YOLOv5的綜合性能Tab.2 Comprehensive performance of five versions of YOLOv5 on the COCO dataset
YOLOv5s作為一種神經(jīng)網(wǎng)絡(luò)算法,其由輸入層、輸出層和隱藏層組成。輸入層通常表示要處理的信號(hào),輸出層表示希望網(wǎng)絡(luò)產(chǎn)生的預(yù)期結(jié)果。數(shù)據(jù)處理主要由位于輸入層和輸出層之間的隱藏層執(zhí)行。每個(gè)連續(xù)的隱藏層都使用其上游層的輸出作為輸入,對(duì)其進(jìn)行處理,然后將結(jié)果傳遞給下游層[9]。YOLOv5s的算法思想為:檢測的圖像通過輸入層(Input)進(jìn)行預(yù)處理,并在主干網(wǎng)絡(luò)進(jìn)行特征提取。主干網(wǎng)絡(luò)獲得不同大小的特征圖,然后通過特征融合網(wǎng)絡(luò)(Neck)融合這些特征,最終生成3個(gè)特征圖(在YOLOv5中,尺寸表示為80×80、40×40和20×20)。檢測圖片中的小、中、大3個(gè)特征圖被送到預(yù)測頭(Head)之后,使用預(yù)設(shè)的先驗(yàn)錨對(duì)特征圖中的每個(gè)像素執(zhí)行置信度計(jì)算和邊界框回歸,獲得包括對(duì)象類、類置信度、框坐標(biāo)、寬度和高度信息的多維陣列(BBoxes)。通過設(shè)置相應(yīng)的閾值以過濾陣列中的無用信息,并執(zhí)行非最大抑制(NMS)過程,輸出最終檢測信息[10-11]。
由于本文選擇的YOLOv5s模型的目標(biāo)檢測時(shí)單張圖片耗費(fèi)平均時(shí)間為0.17 s,考慮最終還需要對(duì)視覺檢測結(jié)果和毫米波雷達(dá)檢測結(jié)果進(jìn)行融合,因此視覺檢測的實(shí)時(shí)性仍需要提高。本文提出基于知識(shí)蒸餾改進(jìn)YOLOv5s算法以提高YOLOv5s檢測的實(shí)時(shí)性。知識(shí)蒸餾利用傳遞學(xué)習(xí)來補(bǔ)充小模型中缺失的特定參數(shù),以盡可能實(shí)現(xiàn)大模型的識(shí)別準(zhǔn)確率。本文中大模型是教師網(wǎng)絡(luò),即原始的YOLOv5s車輛檢測模型;小模型是學(xué)生網(wǎng)絡(luò),即改進(jìn)后的車輛檢測模型[12]。由于原始車輛檢測模型中的車輛特征提取網(wǎng)絡(luò)通道數(shù)比較大,網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜,因此本文將知識(shí)蒸餾引入特征提取網(wǎng)絡(luò)中,在目標(biāo)定位和分類階段計(jì)算車輛特征提取的蒸餾損失,對(duì)損失進(jìn)行反向傳播訓(xùn)練學(xué)生網(wǎng)絡(luò)。本文知識(shí)蒸餾的過程如圖4所示。
圖4 蒸餾過程圖Fig.4 Distillation process diagram
在知識(shí)蒸餾過程中,根據(jù)教師網(wǎng)絡(luò)輸出的車輛目標(biāo)預(yù)測結(jié)果與學(xué)生網(wǎng)絡(luò)輸出的車輛目標(biāo)預(yù)測結(jié)果得到軟損失函數(shù),通過對(duì)損失函數(shù)的反向傳播訓(xùn)練使學(xué)生網(wǎng)絡(luò)不斷向教師網(wǎng)絡(luò)靠近。但由于教師網(wǎng)絡(luò)的結(jié)果并非全部正確,為了保證學(xué)生網(wǎng)絡(luò)車輛預(yù)測結(jié)果的準(zhǔn)確性,引入硬損失函數(shù),即通過真實(shí)車輛標(biāo)簽與學(xué)生網(wǎng)絡(luò)的車輛預(yù)測結(jié)果得到硬損失函數(shù),通過α、β系數(shù)對(duì)軟硬損失函數(shù)進(jìn)行校正,得到最終的總損失函數(shù)。
測量學(xué)生和教師模型的相似性可以用公式(3)表示。?R是一個(gè)可以測量相似性的函數(shù),用softmax明確表示。在計(jì)算軟損失時(shí),當(dāng)softmax輸出的概率分布的熵值相對(duì)較小時(shí),負(fù)標(biāo)簽的值非常接近0,對(duì)損失函數(shù)的貢獻(xiàn)非常小,導(dǎo)致學(xué)生模型在蒸餾過程中對(duì)負(fù)標(biāo)簽的關(guān)注度降低,因此引入溫度系數(shù)T解決這一問題,如式(4)所示:
其中:I為softmax的logits輸入;T越高,教師模型輸出車輛類別值概率分布越平坦,學(xué)生模型學(xué)到的知識(shí)越豐富。
總損失Ltotal如公式(5)表示:
其中:α和β為平衡系數(shù),Lsoft為軟損失,也就是蒸餾損失,Lhard為硬損失,也就是學(xué)生損失。通過迭代訓(xùn)練使軟損失與硬損失的綜合訓(xùn)練損失所占的比重逐漸趨近1∶0。
Lhard公式如公式(6)所示:
Lsoft公式如式(7)所示:
在Lhard中是第i類學(xué)生模型在T=1時(shí)的softmax輸出值;cj是i類的基本真值,正標(biāo)簽取1,負(fù)標(biāo)簽取0。在Lsoft中,N是標(biāo)簽的數(shù)量,本文中標(biāo)簽主要為車輛,包含卡車、汽車、公交車等是第i類教師模型在系數(shù)T處的softmax輸出值是第i類學(xué)生模型在系數(shù)T處的softmax輸出值。
改進(jìn)后的YOLOv5s算法檢測結(jié)果如圖5所示。為了避免對(duì)有霧圖像檢測導(dǎo)致模型準(zhǔn)確率和召回率下降,使得檢測準(zhǔn)確率與COCO數(shù)據(jù)集統(tǒng)計(jì)的準(zhǔn)確率偏差較大,以及霧氣濃度不同導(dǎo)致檢測結(jié)果存在偏差等問題,采用無霧數(shù)據(jù)集對(duì)改進(jìn)后的YOLOv5s進(jìn)行測試,統(tǒng)計(jì)改進(jìn)前后模型檢測的準(zhǔn)確率、召回率、預(yù)測時(shí)間和模型參數(shù)大小,檢測結(jié)果見表3。由表3可知,改進(jìn)后的YOLOv5s的召回率與準(zhǔn)確率基本保持與改進(jìn)前一致,但模型大小縮減為原來的72%,檢測速度提高了35%。
圖5 改進(jìn)前后YOLOv5s檢測結(jié)果對(duì)比Fig.5 Comparison of YOLOv5s detection results before and after improvement
表3 檢測結(jié)果對(duì)比Tab.3 Comparison of test results
雖然去霧后視覺檢測準(zhǔn)確率有所提升,但是對(duì)于濃霧以及較遠(yuǎn)處的車輛信息依然顯著度不高,檢測準(zhǔn)確率難以大幅度提升且魯棒性不高,而毫米波雷達(dá)是依靠微波反射對(duì)目標(biāo)進(jìn)行檢測,所以其不受光線的干擾,霧天也不會(huì)對(duì)毫米波雷達(dá)產(chǎn)生影響。同時(shí)毫米波雷達(dá)還兼具微波制導(dǎo)與光波制導(dǎo)的特點(diǎn),除了可以獲取目標(biāo)的距離信息,還可以獲取目標(biāo)的速度和加速度信息。因此,輔助駕駛和自動(dòng)駕駛常用其來進(jìn)行感知和目標(biāo)檢測。但是在實(shí)際檢測過程中,由于受到金屬等障礙物的回波干擾以及毫米波雷達(dá)自身存在的不穩(wěn)定因素,檢測結(jié)果中會(huì)出現(xiàn)干擾目標(biāo)和無效目標(biāo)。本文采用毫米波雷達(dá)和視覺檢測融合的方法實(shí)現(xiàn)對(duì)霧天車輛的檢測,以提高檢測的準(zhǔn)確率。
為了濾除毫米波雷達(dá)檢測的無效目標(biāo)和干擾目標(biāo),本文首先對(duì)毫米波雷達(dá)數(shù)據(jù)進(jìn)行篩選,保留行車道內(nèi)的車輛目標(biāo)。對(duì)于靜止目標(biāo),考慮到車輛檢測后續(xù)決策和規(guī)劃中只有相鄰車道內(nèi)的靜止目標(biāo)需要檢測,非相鄰車道靜止目標(biāo)不會(huì)對(duì)本車造成影響,因此本文只檢測相鄰車道內(nèi)的全部目標(biāo)和車道內(nèi)非相鄰車道的非靜止目標(biāo),根據(jù)相對(duì)位移和相對(duì)速度去除無效目標(biāo),如式(8)、(9)所示:
式中:X0表示橫向相對(duì)距離,v表示相對(duì)速度。根據(jù)我國道路技術(shù)規(guī)范和國家標(biāo)準(zhǔn)GB/T 33577要求,雙向8車道是30 m,單車道為3.75 m,所以選定行車道的距離為28 m,相鄰車道的橫向相對(duì)距離為4.25 m。滿足上述條件的為需要去除的行車道以外的所有目標(biāo)以及相鄰車道以外的靜止目標(biāo)。
本文采用坐標(biāo)系轉(zhuǎn)換來實(shí)現(xiàn)毫米波雷達(dá)和視覺的空間融合。圖6所示的藍(lán)色坐標(biāo)系是攝像機(jī)坐標(biāo)系,其坐標(biāo)原點(diǎn)位于車輛前擋風(fēng)玻璃處,坐標(biāo)平面與車輛坐標(biāo)平面平行;紅色坐標(biāo)系為毫米波雷達(dá)坐標(biāo)系,坐標(biāo)原點(diǎn)位于車輛前保險(xiǎn)杠中心,坐標(biāo)平面平行于車輛坐標(biāo)平面。
圖6 毫米波雷達(dá)和視覺傳感器坐標(biāo)系Fig.6 mm-wave radar and vision sensor coordinate system
毫米波雷達(dá)坐標(biāo)[XWYWZW]到圖像坐標(biāo)[uv]的轉(zhuǎn)換過程可以根據(jù)公式(10)進(jìn)行。其轉(zhuǎn)換過程為:毫米波雷達(dá)坐標(biāo)系轉(zhuǎn)為世界坐標(biāo)系,世界坐標(biāo)系轉(zhuǎn)為相機(jī)坐標(biāo)系,相機(jī)坐標(biāo)系轉(zhuǎn)為圖像坐標(biāo)系,最終完成毫米波雷達(dá)坐標(biāo)到圖像坐標(biāo)的轉(zhuǎn)換過程。
式中:dx、dy為每個(gè)單位像素對(duì)應(yīng)物理坐標(biāo)系下的大小;f為相機(jī)焦距;R為旋轉(zhuǎn)矩陣;T為平移向量;Zc為毫米波雷達(dá)目標(biāo)點(diǎn)在相機(jī)坐標(biāo)系中的Z軸坐標(biāo)。
為了實(shí)現(xiàn)時(shí)間融合,毫米波雷達(dá)和攝像機(jī)的數(shù)據(jù)采集必須及時(shí)同步。毫米波雷達(dá)和相機(jī)采樣不均勻,幀速率分別約為10 FPS和30 FPS。本文以低頻毫米波雷達(dá)的測量時(shí)間作為參考,使高頻相機(jī)的數(shù)據(jù)向后兼容,實(shí)現(xiàn)毫米波雷達(dá)和相機(jī)之間的時(shí)間配準(zhǔn)。
毫米波雷達(dá)和相機(jī)收集的目標(biāo)數(shù)據(jù)完成時(shí)空對(duì)齊后,毫米波雷達(dá)數(shù)據(jù)在空間上轉(zhuǎn)換為圖像坐標(biāo)系,以形成圖像上感興趣的毫米波雷達(dá)目標(biāo),但這不能識(shí)別目標(biāo)是否為同一車輛目標(biāo)。為了實(shí)現(xiàn)毫米波雷達(dá)檢測結(jié)果和視覺檢測結(jié)果的互相補(bǔ)充和糾正,本文對(duì)毫米波雷達(dá)檢測目標(biāo)和視覺檢測目標(biāo)進(jìn)行匹配。通常,多傳感器數(shù)據(jù)匹配算法主要是感興趣區(qū)域匹配和距離排序匹配方法[13-14]。由于區(qū)域匹配方法算法復(fù)雜性高,檢測算法在實(shí)際應(yīng)用中耗時(shí)較長,不利于實(shí)時(shí)檢測。使用歐氏距離排序后,匹配算法的實(shí)現(xiàn)相對(duì)簡單,速度較快。但由于該歐式距離匹配僅計(jì)算兩點(diǎn)之間的空間絕對(duì)距離,沒有考慮各種特征之間的聯(lián)系,并且本文中的匹配點(diǎn)來自兩個(gè)不同的傳感器,歐氏距離匹配方法獲得匹配結(jié)果并不理想,誤差較大,因此本文提出了一種改進(jìn)的歐式距離匹配算法,該方法結(jié)合歐式距離匹配與目標(biāo)類型信息決定兩個(gè)傳感器測量的目標(biāo)數(shù)據(jù)是否針對(duì)同一運(yùn)動(dòng)目標(biāo)。歐式距離的計(jì)算公式如式(11)所示。
本文根據(jù)毫米波雷達(dá)檢測目標(biāo)的橫截面反射強(qiáng)度粗略估計(jì)目標(biāo)類別。毫米波雷達(dá)檢測到的目標(biāo)橫截面與目標(biāo)類型的對(duì)應(yīng)關(guān)系見表4。
表4 目標(biāo)橫截面與目標(biāo)類型的對(duì)應(yīng)關(guān)系Tab.4 Correspondence between target cross-sections and target types m2
本文定義了兩個(gè)傳感器檢測到的目標(biāo)的位置-類型相關(guān)矩陣,用{D}m×n表示,其中Dij是該矩陣中的一個(gè)元素,表示第i個(gè)攝像機(jī)目標(biāo)和第j毫米波雷達(dá)探測目標(biāo)。公式如式(12)所示:
其中:dCi表示相機(jī)中第i個(gè)目標(biāo)的距離測量值,dRi表示毫米波雷達(dá)中第j個(gè)目標(biāo)的距離測量值,m表示距離的偏差影響因素,目標(biāo)類型相關(guān)的矩陣可以用ClassT表示。ClassCi和ClassRj分別表示攝像機(jī)視頻中檢測到的第i個(gè)目標(biāo)類型和毫米波雷達(dá)中檢測出的第j個(gè)目標(biāo)類型,兩者之間目標(biāo)類型偏差的影響因素為f。
假設(shè)在任何給定時(shí)刻,攝像機(jī)檢測到視頻數(shù)據(jù)中有m個(gè)機(jī)動(dòng)目標(biāo),毫米波雷達(dá)檢測到n個(gè)目標(biāo)。由于每個(gè)傳感器本身的檢測性能存在一定差異,因此兩個(gè)傳感器檢測到的目標(biāo)數(shù)量m和n并不完全相等。假設(shè)匹配的偏差閾值為Dth,根據(jù)方程(11)計(jì)算攝像機(jī)視頻中檢測到的第i個(gè)目標(biāo)與毫米波雷達(dá)檢測到的第一個(gè)目標(biāo)匹配的偏差為{D}m×n。找到滿足條件Dij<Dth的數(shù)據(jù)目標(biāo)對(duì),然后確定數(shù)據(jù)目標(biāo)對(duì)中偏差最小的數(shù)據(jù)目標(biāo)。如果在攝像機(jī)采集的視頻中檢測到的第i個(gè)目標(biāo)與毫米波雷達(dá)檢測到的目標(biāo)數(shù)據(jù)中的第j個(gè)目標(biāo)的相似性最大,則確定該數(shù)據(jù)對(duì)可以表示兩個(gè)傳感器檢測到目標(biāo)的同一對(duì)象。
最后本文利用加權(quán)信息融合算法對(duì)匹配后的結(jié)果進(jìn)行最終決策。在大霧天氣下,毫米波雷達(dá)可以檢測到更多的有效目標(biāo),而視覺在正常天氣下的干擾信息更少。根據(jù)這兩種傳感器在霧天的識(shí)別能力和信息可靠性,本文設(shè)定在霧天下攝像機(jī)視覺識(shí)別權(quán)重為α,毫米波雷達(dá)識(shí)別權(quán)重為β,根據(jù)不同的天氣情況設(shè)置不同的權(quán)重值,信息融合后目標(biāo)屬于每一類別的概率Prob表示為式(13):
其中:Ec為視覺檢測的置信度,Rc為毫米波雷達(dá)檢測的目標(biāo)存在的可能性,α+β=1。根據(jù)不同的天氣情況設(shè)置不同的權(quán)重值,當(dāng)出現(xiàn)概率超過50%時(shí),則認(rèn)為該目標(biāo)存在。目標(biāo)的最終類別i_max為maxProb。
本文采集實(shí)車測試結(jié)果,視覺傳感器型號(hào)為CMOS攝像頭,采集分辨率為1 920×1 080,采集頻率為30幀/s。毫米波雷達(dá)選擇德國大陸ARS404雷達(dá)。ARS404是77 GHz的雷達(dá)傳感器,能夠同時(shí)檢測相對(duì)速度為-400~200 km/h的多個(gè)靜止和移動(dòng)目標(biāo),可檢測多達(dá)250個(gè)原始點(diǎn),有效探測距離為0~170 m。霧天主要分為薄霧、大霧、濃霧和強(qiáng)濃霧,其中水平能見度距離在1~10 km的稱為薄霧,水平能見度距離在200~500 m的稱為大霧,水平能見度距離在50~200 m的稱為濃霧,水平能見度不足50 m的霧稱為強(qiáng)濃霧。本文采集薄霧、大霧和濃霧3種天氣情況下的視覺數(shù)據(jù)和毫米波雷達(dá)數(shù)據(jù)進(jìn)行研究,用來驗(yàn)證本文提出的目標(biāo)檢測效果的準(zhǔn)確性。
本文的去霧視覺檢測實(shí)驗(yàn)所用硬件為單個(gè)具有64 GB內(nèi)存的NVIDIA GeForce RTX 2080Ti GPU,操作系統(tǒng)為Ubuntu18.04。由于霧天場景較少,因此本文實(shí)際采集數(shù)據(jù)為1 500張,通過對(duì)晴朗天氣進(jìn)行加霧獲得2 500張數(shù)據(jù),以及從網(wǎng)上尋找大霧天氣下的數(shù)據(jù)集1 500張,通過對(duì)原始數(shù)據(jù)進(jìn)行增強(qiáng),最終數(shù)據(jù)為10 000張,其中訓(xùn)練數(shù)據(jù)集為7 000張,測試數(shù)據(jù)集為3 000張。本文實(shí)驗(yàn)中采取的目標(biāo)檢測的評(píng)價(jià)標(biāo)準(zhǔn)有準(zhǔn)確率以及召回率。圖7所示為去霧前后視覺檢測結(jié)果的對(duì)比圖。由圖中紅色標(biāo)記可知,(?。┙M去霧后檢測到了更多小目標(biāo),(ⅱ)組去霧后避免了錯(cuò)誤識(shí)別的問題,(ⅲ)組去霧后檢測到了更多的車輛目標(biāo),因此去霧后的圖像可以獲得更多的細(xì)節(jié)信息,更能凸顯目標(biāo),識(shí)別到更多的小目標(biāo),同時(shí)還避免了一些誤檢和漏檢問題。
圖7 去霧前后的檢測結(jié)果對(duì)比圖Fig.7 Comparison of detection results before and after defogging
經(jīng)過在數(shù)據(jù)集上測試,對(duì)比去霧前后目標(biāo)檢測的結(jié)果如表5所示。根據(jù)表5可知,去霧后在薄霧場景下的準(zhǔn)確率提高了6%,召回率提高了10%;在大霧場景下,準(zhǔn)確率提高了13%,召回率提高了6%;在濃霧場景下準(zhǔn)確率提高了5%,召回率提高了3%。在霧比較薄的情況下,去霧后使用視覺檢測可以有效提高檢測效率;但是在濃霧場景下,即使去霧,目標(biāo)檢測準(zhǔn)確率依然很低。
表5 去霧前后的目標(biāo)檢測結(jié)果Tab.5 Object detection results before and after defogging
毫米波雷達(dá)和視覺融合檢測結(jié)果的測試采用實(shí)際采集的天氣不同場景下的數(shù)據(jù)以及nuScenes數(shù)據(jù)集進(jìn)行測試,包含薄霧、大霧、濃霧等。針對(duì)不同的天氣設(shè)置不同的融合權(quán)重值。由表5可知,視覺檢測在薄霧天氣下,經(jīng)過去霧后,圖像中的霧氣殘留較少,對(duì)目標(biāo)識(shí)別的影響較小,其檢測準(zhǔn)確率較高為91.01%;而在大霧和濃霧天氣下,雖然經(jīng)過去霧,但是圖像中仍殘留較多霧氣,其檢測準(zhǔn)確率為82.45%和67.89%。毫米波雷達(dá)由于其自身的不穩(wěn)定因素,其檢測準(zhǔn)確率要低于薄霧下的視覺檢測,約為83%,但是由于其不受天氣影響,所以在薄霧、大霧和濃霧的天氣下,其準(zhǔn)確率相差不大。經(jīng)過測試,本文設(shè)置在薄霧下攝像機(jī)識(shí)別權(quán)重α為0.7,毫米波雷達(dá)β為0.3,如圖8(ⅰ)、圖9(?。┙M所示;大霧下攝像機(jī)識(shí)別權(quán)重α為0.5,毫米波雷達(dá)β為0.5,如圖8(ⅱ)、圖9(ⅱ)組所示;濃霧下攝像機(jī)識(shí)別權(quán)重α為0.4,毫米波雷達(dá)β為0.6,如圖8(ⅲ)、圖9(ⅲ)組所示。實(shí)際采集數(shù)據(jù)檢測如圖8所示,nuScenes數(shù)據(jù)集檢測結(jié)果如圖9所示。
圖8 實(shí)際采集數(shù)據(jù)融合檢測結(jié)果Fig.8 Results of fusion detection of actual collected data
圖9 nuScenes數(shù)據(jù)集融合檢測結(jié)果Fig.9 Detection results of nuScenes dataset fusion
其中紅色二維框?yàn)楹撩撞ê鸵曈X檢測結(jié)果匹配成功后得到的目標(biāo)二維框,綠色二維框?yàn)楹撩撞ɡ走_(dá)檢測的目標(biāo)二維框,綠色的點(diǎn)為毫米波雷達(dá)檢測的目標(biāo)點(diǎn)。算法檢測結(jié)果見表6、表7。由表6可知,隨著霧氣指數(shù)的升高,圖像去霧后的視覺檢測準(zhǔn)確率仍呈非常明顯的下降,而毫米波和視覺融合的檢測結(jié)果無論是在薄霧、大霧還是濃霧的情況下都有穩(wěn)定較好的檢測率,同時(shí)也降低了毫米波雷達(dá)自身不穩(wěn)定引起的漏檢、誤檢問題。相對(duì)于單一傳感器,本文提出方法的準(zhǔn)確率更高。由表7可知,本方法在nuScenes數(shù)據(jù)集下,薄霧天氣下準(zhǔn)確率可達(dá)92.01%,召回率達(dá)90.37%,在濃霧和大霧天氣下的準(zhǔn)確率也高于84%,召回率高于86%,可以實(shí)現(xiàn)在霧天下的車輛檢測。
表6 目標(biāo)檢測結(jié)果統(tǒng)計(jì)Tab.6 Statistics of target detection results
表7 nuScenes數(shù)據(jù)集的測試結(jié)果Tab.7 Test results of nuScenes dataset
為了解決霧天車輛檢測比較困難的問題,本文提出融合毫米波雷達(dá)和機(jī)器視覺方法檢測車輛目標(biāo)。首先通過去霧算法去除霧氣對(duì)視覺圖像的干擾;然后使用知識(shí)蒸餾算法改進(jìn)YOLOv5s,提高目標(biāo)檢測的實(shí)時(shí)性;最后使用改進(jìn)的歐式距離匹配算法匹配毫米波雷達(dá)檢測結(jié)果與視覺的檢測結(jié)果。實(shí)驗(yàn)結(jié)果表明,該方法有效融合了毫米波雷達(dá)的檢測結(jié)果以及視覺的檢測結(jié)果,有效提高了有霧天氣下車輛的檢測準(zhǔn)確率,避免了單一傳感器帶來的誤檢和漏檢問題,同時(shí)在實(shí)時(shí)性上滿足自動(dòng)駕駛場景要求,避免了多傳感器融合導(dǎo)致的實(shí)時(shí)性不夠的問題。