紅外熱成像技術(shù)在ADAS系統(tǒng)中的應(yīng)用

鐘明霞,姜柏軍

(浙江商業(yè)職業(yè)技術(shù)學(xué)院,浙江 杭州 310053)

1 引 言

目標(biāo)檢測(cè)是高級(jí)駕駛輔助系統(tǒng)(ADAS)[1]的關(guān)鍵技術(shù),主要通過(guò)傳感器、處理單元以及控制單元以幫助駕駛者察覺(jué)可能發(fā)生的危險(xiǎn),消除人為錯(cuò)誤和分心駕駛來(lái)降低事故率,是提高駕駛安全的主動(dòng)安全技術(shù)。目標(biāo)檢測(cè)其關(guān)鍵核心技術(shù)主要包含兩個(gè)步驟:一是感知檢測(cè)對(duì)象；二是將對(duì)象進(jìn)行分類以確定行動(dòng)方案。步驟一需要借助傳感技術(shù),主要用來(lái)增強(qiáng)或逐步取代駕駛中所需的感知能力,優(yōu)化駕駛性能。步驟二需要借助人工智能深度學(xué)習(xí)算法,對(duì)傳感器傳送的道路交通圖像或視頻進(jìn)行分類識(shí)別,以區(qū)分是機(jī)動(dòng)車、行人、自行車等交通對(duì)象。

汽車駕駛場(chǎng)景中的目標(biāo)檢測(cè)是富有挑戰(zhàn)性的問(wèn)題,目前ADAS系統(tǒng)中應(yīng)用的主要傳感部件包括可見(jiàn)光攝像機(jī)、雷達(dá)傳感器和激光測(cè)距儀等,可見(jiàn)光攝像機(jī)能夠獲取環(huán)境景象信息,在光線和照明充足前提下,在交通標(biāo)注識(shí)別、車道偏離警告、緊急制動(dòng)輔助、行人/動(dòng)物檢測(cè)分類等方面性能優(yōu)越。缺點(diǎn)是夜視功能較弱且在雨霧天氣情況下視距縮短。而激光雷達(dá)傳感器可獲取環(huán)境空間的三維尺寸信息,缺點(diǎn)是激光雷達(dá)會(huì)受粉塵、雨霧天氣影響,一般在汽車上激光雷達(dá)需要結(jié)合其他傳感器來(lái)實(shí)現(xiàn)避障,對(duì)細(xì)小物體識(shí)別差。而紅外熱成像儀因?yàn)閷?duì)溫度敏感,夜視能力強(qiáng),作用距離遠(yuǎn),可排除眩光和天氣干擾,甚至在黑暗中或大霧條件下檢測(cè)和分類目標(biāo),提供改進(jìn)的態(tài)勢(shì)感知。因此在行駛汽車的傳感器套件中有必要添加紅外熱像儀,應(yīng)用紅外熱成像技術(shù)的價(jià)值在于可增加ADAS系統(tǒng)傳感器套件的可靠性并提高系統(tǒng)感知性能。如圖1所示為用可見(jiàn)光RGB相機(jī)和LWIR(長(zhǎng)波紅外)熱成像相機(jī)在霧隧道中記錄的示例圖像,很明顯的LWIR拍攝的圖像更利于目標(biāo)識(shí)別。

圖1 可見(jiàn)光RGB相機(jī)與LWIR熱成像相機(jī)拍攝圖像效果對(duì)比Fig.1 Comparison of image effects between visible light RGB camera and LWIR thermal imaging camera

近年來(lái)基于深度學(xué)習(xí)算法的ADAS系統(tǒng)目標(biāo)檢測(cè)技術(shù)得到了巨大的發(fā)展[2],比如一些著名的檢測(cè)算法(Faster R-CNN、YOLO和SSD)在機(jī)動(dòng)車或行人檢測(cè)方面以及交通標(biāo)志的識(shí)別任務(wù)中表現(xiàn)優(yōu)越[3],但是由于交通目標(biāo)一旦處于復(fù)雜環(huán)境,或光照不足,或處于惡劣天氣時(shí)段,深度學(xué)習(xí)算法的目標(biāo)檢測(cè)結(jié)果經(jīng)常出現(xiàn)誤檢或漏檢,同時(shí)檢測(cè)速度達(dá)不到系統(tǒng)要求的實(shí)時(shí)性需求。為了解決上述問(wèn)題,本文提出了紅外熱像技術(shù)結(jié)合深度學(xué)習(xí)下的最新的目標(biāo)檢測(cè)YOLOv5算法來(lái)幫助ADAS系統(tǒng)實(shí)現(xiàn)兼顧精度與實(shí)時(shí)性的目標(biāo)檢測(cè),主要特點(diǎn)有:①改變傳統(tǒng)目標(biāo)檢測(cè)算法采用RGB可見(jiàn)光圖像作為算法的輸入,采用紅外熱成像儀采集的圖像進(jìn)行目標(biāo)檢測(cè)。②為了更好的進(jìn)行特征提取便于后續(xù)的檢測(cè)分類,本文研究了紅外熱圖像的預(yù)處理方法,包括圖像增強(qiáng)以及ROI目標(biāo)提取。③選擇了最新的YOLOv5模型作為目標(biāo)檢測(cè)的基本模型,并采用遷移學(xué)習(xí)提高了模型的訓(xùn)練速度和檢測(cè)效率。

2 紅外熱圖像預(yù)處理

前面提到了盡管紅外熱成像技術(shù)采集的圖像(以下簡(jiǎn)稱為紅外熱圖像)在交通目標(biāo)檢測(cè)方面具有優(yōu)于RGB可見(jiàn)光圖像的優(yōu)點(diǎn),但是它也同樣存在缺點(diǎn)。相比于可見(jiàn)光圖像,紅外熱圖像具有信噪比低、目標(biāo)紋理特征少、分辨率低等特點(diǎn),導(dǎo)致圖像信息量太少,難以區(qū)分目標(biāo)與背景等[4]。這些問(wèn)題會(huì)影響目標(biāo)檢測(cè)的準(zhǔn)確性,故需要針對(duì)紅外熱圖像的特性進(jìn)行圖像預(yù)處理,主要包括2個(gè)方面。

(1)圖像增強(qiáng)

圖像增強(qiáng)目標(biāo)是增加紅外熱圖像的目標(biāo)與背景的對(duì)比度,本文采用文獻(xiàn)[5]提出的基于通道擴(kuò)展的紅外圖像數(shù)據(jù)增強(qiáng)算法。因?yàn)榧t外圖像為單通道圖像導(dǎo)致圖像信息量不夠難以實(shí)現(xiàn)目標(biāo)識(shí)別,所以對(duì)紅外圖像分別執(zhí)行CLAHE圖像增強(qiáng)算法和inversion圖像增強(qiáng)算法,然后進(jìn)行三通道合成,再輸入到后續(xù)操作中,這樣圖像數(shù)據(jù)量可以進(jìn)一步增加,后續(xù)網(wǎng)絡(luò)模型訓(xùn)練更利于特征提取。圖2所示為原圖與圖像增強(qiáng)效果對(duì)比。

(a)原圖 (b)增強(qiáng)效果圖圖2 圖像增強(qiáng)效果對(duì)比Fig.2 Comparison of image enhancement effects

(3)目標(biāo)ROI提取

經(jīng)研究發(fā)現(xiàn)視覺(jué)將顯著性算法在移動(dòng)目標(biāo)跟蹤、目標(biāo)識(shí)別領(lǐng)域有著很好的識(shí)別效果,因此本文打算采用視覺(jué)顯著性原理對(duì)目標(biāo) ROI 進(jìn)行快速定位。但是行人或遠(yuǎn)處的汽車等在紅外熱成像相機(jī)獲得的交通路況圖像或視頻通常都以紅外弱小目標(biāo)對(duì)象的形式存在,因?yàn)閳D像噪聲或?qū)Ρ榷鹊偷扔绊懩繕?biāo)檢測(cè)誤檢率較高。為解決誤檢問(wèn)題,本文采用文獻(xiàn)[6]基于空間距離改進(jìn)的視覺(jué)顯著性算法,通過(guò)減少噪聲、背景的干擾,同時(shí)該方法可以減少對(duì)圖像的計(jì)算量,提高紅外弱小目標(biāo)的檢測(cè)結(jié)果。以本文圖1中霧隧道紅外熱成像圖為例,對(duì)應(yīng)的目標(biāo)ROI的提取效果如圖3所示。

圖3 目標(biāo)ROI提取Fig.3 Extraction of target ROI

3 YOLOv5訓(xùn)練目標(biāo)檢測(cè)網(wǎng)絡(luò)

ADAS系統(tǒng)的交通目標(biāo)檢測(cè)是根據(jù)傳感器傳送的圖像或視頻來(lái)檢測(cè)是否存在給定類型的交通目標(biāo)實(shí)例(比如行人、機(jī)動(dòng)車、自行車、動(dòng)物等),若檢測(cè)為真值確定其存在則同步返回一個(gè)邊界框,用于標(biāo)注每個(gè)交通目標(biāo)實(shí)例的空間位置和覆蓋范圍。在汽車駕駛場(chǎng)景目標(biāo)檢測(cè)任務(wù)中,一般需要同時(shí)檢測(cè)多類目標(biāo),但是因?yàn)槠囻{駛場(chǎng)景下存在不同類型目標(biāo)尺度差異、姿態(tài)多樣以及背景復(fù)雜且存在遮擋等不利因素導(dǎo)致目標(biāo)檢測(cè)面臨諸多挑戰(zhàn)。其中最大的困難是網(wǎng)絡(luò)模型訓(xùn)練后的模板匹配過(guò)程很耗時(shí),以至于難以實(shí)現(xiàn)兼顧精度與實(shí)時(shí)性的目標(biāo)檢測(cè)系統(tǒng)。

計(jì)算視覺(jué)新創(chuàng)公司Roboflow通過(guò)實(shí)驗(yàn)證明YOLO系列最新的YOLOv5算法在目標(biāo)檢測(cè)方面性能優(yōu)越,不僅在硬件環(huán)境上易于配置,而且模型訓(xùn)練速度遠(yuǎn)超YOLOv4,可實(shí)時(shí)產(chǎn)生系統(tǒng)批處理結(jié)果。因此,本文采用YOLOv5算法,在圖像預(yù)處理基礎(chǔ)上對(duì)實(shí)驗(yàn)數(shù)據(jù)集進(jìn)行遷移學(xué)習(xí),訓(xùn)練并優(yōu)化模型用于檢測(cè)和分類各種交通環(huán)境或天氣條件下的交通目標(biāo)對(duì)象。遷移學(xué)習(xí)通過(guò)把當(dāng)前YOLOv5模型框架下已學(xué)習(xí)訓(xùn)練好的針對(duì)COCO數(shù)據(jù)集預(yù)訓(xùn)練的相關(guān)性模型參數(shù)遷移到新的模型來(lái)幫助新模型加快并優(yōu)化模型的學(xué)習(xí)效率。這樣可以降低訓(xùn)練對(duì)于樣本數(shù)量的依賴從而提高模型的精度,主要包含以下步驟:

(1)訓(xùn)練數(shù)據(jù)集采集與標(biāo)注

為了驗(yàn)證實(shí)驗(yàn)效果,本文測(cè)試數(shù)據(jù)庫(kù)采用2019年8月FLIR公司推出的免費(fèi)用于算法訓(xùn)練的FLIR Thermal Starter 數(shù)據(jù)集V1.3。數(shù)據(jù)是由安裝在車上的RGB相機(jī)和熱成像相機(jī)獲取的。數(shù)據(jù)集總共包含14452張紅外圖像,其中10228張來(lái)自多個(gè)短視頻；4224張來(lái)自一個(gè)長(zhǎng)為144 s的視頻；數(shù)據(jù)集圖像包括5種目標(biāo)分類:行人、狗、機(jī)動(dòng)車、自行車及其他車輛。該數(shù)據(jù)集使用MSCOCO labelvector進(jìn)行標(biāo)注,提供了帶注釋的熱成像數(shù)據(jù)集和對(duì)應(yīng)的無(wú)注釋RGB圖像(如圖4所示),數(shù)據(jù)集文件格式包括五種:①14位TIFF熱圖像(無(wú)AGC)；② 8位JPEG熱圖像(應(yīng)用AGC),圖像中未嵌入邊界框；③ 8位JPEG熱圖像(應(yīng)用AGC),圖像中嵌入邊界框便于查看；④RGB-8位JPEG圖像；⑤注釋:JSON(MSCOCO格式)。

圖4 FLIR Thermal Starter 數(shù)據(jù)集圖像示例Fig.4 Example of FLIR Thermal Starter data set image

(2)數(shù)據(jù)集預(yù)處理及配置文件準(zhǔn)備

為了完成模型的訓(xùn)練,FLIR Thermal Starter 數(shù)據(jù)集必須進(jìn)行預(yù)處理后才能使用,將JSON標(biāo)簽轉(zhuǎn)換為YOLO格式,并按照YOLOv5的訓(xùn)練文件結(jié)構(gòu)要求布置。同時(shí)加載預(yù)訓(xùn)練模型,準(zhǔn)備YOLOv5代碼庫(kù),在yolov5目錄下的model文件夾下是模型的配置文件,提供s、m、l、x版本,版本越高,架構(gòu)也越大,訓(xùn)練時(shí)間也會(huì)逐漸增大。為了保證系統(tǒng)的實(shí)時(shí)性,本文采用s版本,即采用yolov5s.yaml,修改參數(shù)后的模型文件命名custom_yolov5s.yaml,以及uc_data.yaml文件,模型的輸出是FLIR Thermal Starter 數(shù)據(jù)集中的5類交通目標(biāo),因此修改模型的對(duì)象預(yù)測(cè)層輸出類別數(shù)量為5。

(3)參數(shù)設(shè)置及模型訓(xùn)練,模型訓(xùn)練參數(shù)設(shè)置如表1所示。

表1 訓(xùn)練參數(shù)設(shè)置Tab.1 Training parameter settings

分類和目標(biāo)檢測(cè)的性能評(píng)價(jià)通常采用準(zhǔn)確率、精確率與召回率、綜合評(píng)價(jià)指標(biāo)(F1)來(lái)進(jìn)行衡量。圖5展示了模型訓(xùn)練結(jié)果,從圖中可以看出,隨著模型訓(xùn)練迭代次數(shù)的增加整個(gè)模型趨于收斂,損失值不斷降低,模型精確率和召回率也滿足要求。當(dāng)?shù)螖?shù)到達(dá)250次之后,模型趨于穩(wěn)定,準(zhǔn)確率最高超過(guò)90 %。

圖5 模型訓(xùn)練結(jié)果Fig.5 Model training results

4 實(shí)驗(yàn)結(jié)果及分析

為了測(cè)試和驗(yàn)證系統(tǒng)的目標(biāo)檢測(cè)性能,在數(shù)據(jù)集中選取了白天、夜晚光照不足、路口眩光、霧霾隧道等不同環(huán)境或天氣條件下的圖像進(jìn)行性能測(cè)試,圖像實(shí)驗(yàn)結(jié)果如圖6～9所示,進(jìn)行了四種情況下RGB可見(jiàn)光圖像與紅外熱成像儀拍攝圖像目標(biāo)檢測(cè)后的效果對(duì)比。很明顯,相比較RGB可見(jiàn)光相機(jī),紅外熱圖像在夜視不足、眩光、惡劣環(huán)境或天氣條件下具有更準(zhǔn)確的檢測(cè)效果。

(a)可見(jiàn)光 (b)紅外熱圖圖6 白天可見(jiàn)光相機(jī)圖像和紅外熱圖像檢測(cè)效果Fig.6 The detection results of visible light camera images and infrared thermal images during the day

(a)可見(jiàn)光 (b)紅外熱圖圖7 夜晚光照不足情況下可見(jiàn)光相機(jī)圖像和紅外熱圖像檢測(cè)效果Fig.7 The detection effect of visible light camera image and infrared thermal image under the condition of insufficient night light

(a)可見(jiàn)光 (b)紅外熱圖圖8 路口眩光可見(jiàn)光相機(jī)圖像和紅外熱圖像檢測(cè)效果Fig.8 The detection effect of the junction glare visible light camera image and infrared thermal image

本文從FLIR Thermal Starter數(shù)據(jù)集中選擇用于測(cè)試的實(shí)驗(yàn)紅外熱圖像600張,其中包含行人、機(jī)動(dòng)車、自行車等交通目標(biāo)2101個(gè),隨著模型訓(xùn)練迭代次數(shù)到達(dá)300次,檢測(cè)準(zhǔn)確率為90.58 %,即有效檢測(cè)目標(biāo)1903個(gè)；誤檢測(cè)目標(biāo)123個(gè),誤檢率為5.85 %；漏檢目標(biāo)75,漏檢率為3.57 %,目標(biāo)檢測(cè)速度為140FPS。通過(guò)實(shí)驗(yàn)也證明,經(jīng)過(guò)圖像預(yù)處理步驟(增強(qiáng)、ROI提取)后的模型分類精度更高,檢測(cè)速度更快。不同圖像預(yù)處理方法的模型檢測(cè)精度和速度對(duì)比見(jiàn)表2所示。

5 結(jié) 語(yǔ)

本文提出了現(xiàn)在主流的汽車傳感器技術(shù)在目標(biāo)檢測(cè)方面存在的缺陷,分析了紅外熱成像技術(shù)在ADAS系統(tǒng)應(yīng)用的優(yōu)點(diǎn),提出了在傳感器套件中添加紅外熱像儀的必要性及其技術(shù)價(jià)值,然后在圖像預(yù)處理基礎(chǔ)上結(jié)合YOLOv5算法研究了復(fù)雜交通環(huán)境中的移動(dòng)目標(biāo)檢測(cè)問(wèn)題,為汽車輔助駕駛系統(tǒng)的實(shí)際應(yīng)用提供了新思路。后續(xù)工作考慮采用RGB可見(jiàn)光圖像和紅外熱圖像的彩色圖像融合技術(shù)進(jìn)行交通檢測(cè)和目標(biāo)識(shí)別,進(jìn)一步增強(qiáng)目標(biāo)檢測(cè)系統(tǒng)的目標(biāo)識(shí)別速度和準(zhǔn)確度,以保證系統(tǒng)對(duì)各類場(chǎng)景的適應(yīng)性。