智能車輛環(huán)境感知技術(shù)系統(tǒng)研究

吳亞暉　陳海山　劉金波　趙新　段晶晶　王文哲

摘 要：環(huán)境感知是指通過多種傳感器相融合來獲得實(shí)時(shí)環(huán)境信息以應(yīng)用于車道識(shí)別、紅綠燈和障礙物檢測(cè)等，是智能車輛智能決策和控制的基礎(chǔ)，是實(shí)現(xiàn)智能化的關(guān)鍵環(huán)節(jié)。本文對(duì)智能車輛環(huán)境感知技術(shù)進(jìn)行系統(tǒng)性研究，深度剖析了機(jī)器視覺、毫米波雷達(dá)、激光雷達(dá)和紅外傳感器等幾個(gè)重要傳感器的應(yīng)用原理和控制策略，并分析其優(yōu)缺點(diǎn)。根據(jù)傳感器不同環(huán)境下的應(yīng)用方法，提出了一種基于傳感器信息融合的障礙物檢測(cè)構(gòu)思，詳細(xì)闡述了如何通過信息融合的方法以提高智能車輛的環(huán)境感知能力。

關(guān)鍵詞：智能車輛 環(huán)境感知 傳感器 信息融合

Research on Intelligent Vehicle Environment Perception Technology System

Wu Yahui Chen Haishan Liu Jinbo Zhao Xin Duan Jingjing Wang Wenzhe

Abstract：Environmental perception refers to the fusion of multiple sensors to obtain real-time environmental information for application in lane recognition， traffic lights and obstacle detection， etc.， which is the basis for intelligent decision-making and control of intelligent vehicles and the key link to realize intelligence. This paper systematically studies the intelligent vehicle environment perception technology， deeply analyzes the application principles and control strategies of several important sensors such as machine vision， millimeter wave radar， lidar and infrared sensors， and analyzes their advantages and disadvantages. According to the application methods of sensors in different environments， an obstacle detection concept based on sensor information fusion is proposed， and how to improve the environmental perception ability of intelligent vehicles through information fusion is elaborated.

Key words：intelligent vehicle， environmental perception， sensor， information fusion

智能車輛是一個(gè)不斷發(fā)展壯大的實(shí)體概念，一般認(rèn)為智能車是一個(gè)具有多種功能的綜合系統(tǒng)。在普通車輛的基礎(chǔ)上，增加先進(jìn)的信息感知系統(tǒng)、先進(jìn)的控制系統(tǒng)、可靠的執(zhí)行器等，利用車載傳感系統(tǒng)和信息終端實(shí)現(xiàn)智能信息互換，通過智能環(huán)境感知，自動(dòng)的分析車輛所處狀態(tài)，實(shí)現(xiàn)替代人工操作這一目的。

無人駕駛這一概念起源于美國國防部推出的DARPA挑戰(zhàn)賽[1]，吸引了來自斯坦福大學(xué)、卡內(nèi)基梅隆大學(xué)、FMC公司在內(nèi)的眾多科研機(jī)構(gòu)和高校，極大的推動(dòng)了智能車輛的發(fā)展。斯坦福大學(xué)在汽車頂部安裝多個(gè)多向激光雷達(dá)探測(cè)路面是否平順，用視覺攝像頭判別前方道路防止車輛跑偏，且最終以最短時(shí)間獲得無人車挑戰(zhàn)賽冠軍[2]。Google公司從2009年啟動(dòng)智能駕駛研究，并很快成為了無人車領(lǐng)域的標(biāo)桿之一[3]。在國內(nèi)，清華大學(xué)以準(zhǔn)結(jié)構(gòu)化和非結(jié)構(gòu)化道路環(huán)境為研究背景所設(shè)計(jì)的串聯(lián)式無人車THMR具有較高的行動(dòng)決策和規(guī)劃能力[4]。國防科技大學(xué)紅旗Q3無人車[5]、吉林大學(xué)JLUIV、DLIUV系列智能車[6]，以及上海交通大學(xué)、長(zhǎng)安大學(xué)、湖南大學(xué)所研制的智能汽車也都能夠?qū)崿F(xiàn)定位、導(dǎo)航、避障、跟隨等功能[7，8]。

智能駕駛的關(guān)鍵技術(shù)主要有感知、決策和規(guī)劃三大方面，其中環(huán)境感知是自動(dòng)駕駛技術(shù)的基礎(chǔ)，目的在于探測(cè)和識(shí)別周圍的道路、車輛、障礙物、交通信號(hào)燈等，是智能車輛的關(guān)鍵一環(huán)[9]。目前現(xiàn)有的智能車輛傳感技術(shù)主要是按算法分類，不能很好地概括各個(gè)傳感器的特點(diǎn)。本文以環(huán)境感知傳感器為切入點(diǎn)，分析了各個(gè)傳感器的工作原理、應(yīng)用背景以及應(yīng)用過程中的優(yōu)缺點(diǎn)，提出一種傳感器信息融合障礙物檢測(cè)方法，闡述了如何通過信息融合的方法結(jié)合多源傳感器以提高智能車輛的環(huán)境感知能力。

1 傳感器

環(huán)境感知是指利用不同傳感器對(duì)車輛環(huán)境進(jìn)行數(shù)據(jù)采集，獲取車輛周圍的環(huán)境信息，將處理過后的信息作為各種控制決策的信息依據(jù)。目前，智能車輛實(shí)現(xiàn)環(huán)境感知所用到的主要有機(jī)器視覺、激光雷達(dá)、毫米波雷達(dá)和紅外線傳感器。

1.1 機(jī)器視覺

隨著人工智能的飛速發(fā)展，互聯(lián)網(wǎng)、通信、機(jī)器視覺等技術(shù)逐漸占據(jù)日常生活的各個(gè)方面，其中機(jī)器視覺技術(shù)憑借其信息容量大、檢測(cè)范圍廣和成本低之類的優(yōu)點(diǎn)成為了汽車輔助駕駛行業(yè)的熱門研究對(duì)象[10]。

機(jī)器視覺采用圖像拍攝裝置獲取圖像信號(hào)，通過處理單元進(jìn)行圖像處理，根據(jù)亮度、像素、顏色等信息將圖像信號(hào)轉(zhuǎn)為數(shù)字信號(hào)，然后進(jìn)行目標(biāo)特征提取計(jì)算，從而獲得目標(biāo)信息。信息處理過程中用到眾多的學(xué)習(xí)網(wǎng)絡(luò)，如循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）、深度玻爾茲曼機(jī)（DBN）等，其目的在于通過深度學(xué)習(xí)算法自動(dòng)預(yù)測(cè)輸入圖像中目標(biāo)的類別和位置，且當(dāng)算法獲得目標(biāo)信息后，會(huì)立即將這些信息共享給其他傳感器，讓駕駛系統(tǒng)了解到車輛當(dāng)前所處的道路環(huán)境并進(jìn)行預(yù)警。在使用前需要提供足夠多的自動(dòng)駕駛場(chǎng)景圖像來訓(xùn)練該算法的網(wǎng)絡(luò)模型，訓(xùn)練過后的算法便可以提取道路環(huán)境中的特征信息并識(shí)別出自動(dòng)駕駛場(chǎng)景中的目標(biāo)，如行人、車輛和交通信號(hào)燈。

目前，目標(biāo)檢測(cè)算法采用深度學(xué)習(xí)并遵循其整體設(shè)計(jì)的預(yù)測(cè)過程，大致可以分為兩種情況：（1）以基于區(qū)域的卷積神經(jīng)網(wǎng)絡(luò)（RCNN）為代表的兩階段目標(biāo)檢測(cè)算法，第一階段是獲取候選框，且對(duì)每個(gè)候選框都進(jìn)行特征提取，第二階段是對(duì)候選框所代表的區(qū)域進(jìn)行分類，這種算法的優(yōu)點(diǎn)在于具有良好的準(zhǔn)確性；（2）基于You Only Look Once網(wǎng)絡(luò)為主體的目標(biāo)檢測(cè)算法，該類型算法放棄了兩階段算法中的區(qū)域分類，直接端到端從輸入到輸出來預(yù)測(cè)所選特征圖上的每個(gè)樣本，因此該算法在實(shí)時(shí)應(yīng)用中檢測(cè)速度更快。

1.2 毫米波雷達(dá)

毫米波頻段起初被廣泛應(yīng)用于國防領(lǐng)域中，如在航空應(yīng)用中被用于防碰撞，在軍事系統(tǒng)中用于導(dǎo)彈導(dǎo)引頭和火力控制，在短程反裝甲系統(tǒng)中用于精確測(cè)量目標(biāo)的相對(duì)速度和距離。毫米波雷達(dá)可以實(shí)時(shí)感知車輛和行人的位置以及運(yùn)動(dòng)狀態(tài)，能夠?qū)崿F(xiàn)長(zhǎng)距離測(cè)量、低成本、動(dòng)態(tài)目標(biāo)檢測(cè)能力和環(huán)境適應(yīng)力，是智能車輛環(huán)境感知領(lǐng)域的主要傳感器之一。

毫米波雷達(dá)的波長(zhǎng)在1-10mm之間，工作頻率常采用24GHz[11]和77GHz[12]這兩種，波束較窄，有較強(qiáng)的抗干擾能力。距離檢測(cè)是毫米波雷達(dá)傳感器的重要性能之一，因此按照不同的探測(cè)距離分為長(zhǎng)距離毫米波雷達(dá)、中距離毫米波雷達(dá)以及短距離毫米波雷達(dá)，其探測(cè)范圍參數(shù)如圖2所示。毫米波雷達(dá)是一種主動(dòng)型傳感器，通過自身能力向外界環(huán)境發(fā)射電磁波以進(jìn)行目標(biāo)檢測(cè)，傳播信號(hào)的過程中如果遇到了目標(biāo)物體，則會(huì)產(chǎn)生回波信號(hào)，回波信號(hào)將通過毫米波雷達(dá)的接收天線進(jìn)行接收，完成與目標(biāo)物體相對(duì)速度、相對(duì)距離的信息采集和處理，并進(jìn)行信息存儲(chǔ)[13]，其數(shù)據(jù)采集和處理流程如圖3所示。與其他感知傳感器相比，毫米波雷達(dá)具有穿透煙、霧、塵的能力，對(duì)不同關(guān)照條件和天氣具有良好的環(huán)境適應(yīng)性，其次遠(yuǎn)程雷達(dá)（LRR）可以探測(cè)250m范圍內(nèi)的目標(biāo)，還可以根據(jù)多普勒效應(yīng)來測(cè)量目標(biāo)的相對(duì)速度，其分辨率高達(dá)0.1m/s，這些優(yōu)點(diǎn)對(duì)于車輛的預(yù)測(cè)和決策而言十分重要。

1.3 激光雷達(dá)

由于光學(xué)系統(tǒng)的脆弱性，激光雷達(dá)在智能車輛中的應(yīng)用受到了限制，但是從激光雷達(dá)檢測(cè)到的障礙物信息中可直接獲取環(huán)境的三維數(shù)據(jù)描述，因此激光距離成像技術(shù)的研究受到了智能車領(lǐng)域的重視，廣泛應(yīng)用于障礙物檢測(cè)、環(huán)境三維信息的獲取以及車輛避障中。

激光雷達(dá)也是一種主動(dòng)型傳感器[14]過發(fā)射激光光束探測(cè)目標(biāo)，當(dāng)發(fā)射信號(hào)碰到目標(biāo)物便會(huì)產(chǎn)生回波信號(hào)，隨后激光雷達(dá)開始搜集目標(biāo)回波，經(jīng)過目標(biāo)檢測(cè)算法的信號(hào)處理后可獲得目標(biāo)的距離和方位等信息。激光雷達(dá)按激光線束可分為兩種，其一是置于車輛前方的單線激光雷達(dá)，可用于探測(cè)車輛前方的物體，測(cè)量速度快，但只能生成二維數(shù)據(jù)；其二是置于車頂?shù)亩嗑€激光雷達(dá)，可采用旋轉(zhuǎn)掃描的方式360°全方位獲取目標(biāo)，且線束越多的話，可獲取的目標(biāo)信息越詳細(xì)，但其點(diǎn)云數(shù)量會(huì)越大，因此對(duì)數(shù)據(jù)處理和數(shù)據(jù)存儲(chǔ)的要求也會(huì)越高。激光雷達(dá)測(cè)量距離常采用飛行時(shí)差測(cè)距法（Time of Fly），主要分為兩種，一種是通過測(cè)量激光脈沖在目標(biāo)與雷達(dá)間來回時(shí)差的直接測(cè)量法，另一種是計(jì)算接收波形與發(fā)射波形之間的相位差來推斷距離信息的間接測(cè)量法，本文主要介紹的是直接測(cè)距法的原理，

目標(biāo)物體與激光雷達(dá)的距離Ｈ（單位：米）與其他影響因子直接的關(guān)系如式1所示。

其中：c為光速；

為發(fā)射器記錄的發(fā)射時(shí)間和接收時(shí)間的時(shí)間差，單位：s。

由此可計(jì)算出目標(biāo)物體的三維空間坐標(biāo)，其三維空間關(guān)系。

通過上述三維空間坐標(biāo)關(guān)系可以算得激光雷達(dá)與目標(biāo)物體之間的距離關(guān)系如下式所示。

由此便可以獲得目標(biāo)物體的三維坐標(biāo)數(shù)據(jù)，實(shí)現(xiàn)對(duì)障礙物的探測(cè)。激光雷達(dá)實(shí)現(xiàn)目標(biāo)檢測(cè)的過程需要大量的數(shù)據(jù)進(jìn)行算法的訓(xùn)練，且成本高昂，因此目前采用激光雷達(dá)進(jìn)行目標(biāo)識(shí)別的案例很少，大多是利用激光雷達(dá)來獲取環(huán)境三維數(shù)據(jù)，結(jié)合車輛定位信息，在離線情況下繪制高精度地圖。

1.4 紅外傳感器

由于可見光攝像頭在夜間、低能見度條件下的目標(biāo)檢測(cè)效果不理想，對(duì)于紅外夜視輔助系統(tǒng)的研究原來越多。紅外傳感器的優(yōu)點(diǎn)體現(xiàn)在以下幾個(gè)方面：（1）紅外熱像儀的分辨率、成像效果和性價(jià)比在不斷提高；（2）紅外夜視系統(tǒng)接收外部目標(biāo)的紅外輻射成像，不依賴于場(chǎng)景的光照條件，任何溫度高于零的物體都可以輻射紅外線；（3）具有全天候工作能力，可顯著降低夜間行車風(fēng)險(xiǎn)，在低能見度環(huán)境下可輸出清晰的前方路況熱成像，提高駕駛員的視野范圍，提高行車安全。基于以上原因，車載紅外夜視技術(shù)受到國內(nèi)外各大汽車廠商和研究機(jī)構(gòu)的高度重視，且隨著技術(shù)的成熟，紅外夜視系統(tǒng)逐漸開始應(yīng)用到智能車輛中。

用于檢測(cè)的紅外攝像頭分為兩種，一種是使用近紅外線的有源系統(tǒng)，也稱近紅外系統(tǒng)，有源系統(tǒng)獲取的圖像質(zhì)量很高，通?？梢钥辞?50米以內(nèi)的物體，但由于對(duì)光源的依賴，近紅外系統(tǒng)在可見度低的環(huán)境下效果減弱，無法正常工作；另一種是不需要紅外光源的無源系統(tǒng)，也稱遠(yuǎn)紅外系統(tǒng)，利用物體的熱輻射來成像，由于熱輻射不受光所影響，所以可穿透雨雪和霧霾，在惡劣環(huán)境下依然可以正常工作。

根據(jù)成像原理，夜視系統(tǒng)主要分為主動(dòng)夜視系統(tǒng)和被動(dòng)夜視系統(tǒng)。主動(dòng)夜視技術(shù)是一種通過紅外光主動(dòng)照射和紅外光被目標(biāo)反射回來進(jìn)行觀測(cè)的紅外技術(shù)，并相應(yīng)的配備一種主動(dòng)式夜視系統(tǒng)。被動(dòng)夜視系統(tǒng)中，微光夜視和熱成像技術(shù)應(yīng)用較為廣泛。微光夜視技術(shù)又稱圖像增強(qiáng)技術(shù)，通過圖像增強(qiáng)器將微弱或能量較低的光轉(zhuǎn)換為增強(qiáng)的光學(xué)圖像，實(shí)現(xiàn)直接觀察。紅外熱成像技術(shù)一般配備有熱成像儀，將人眼無法直接看到的目標(biāo)表面的溫度分布轉(zhuǎn)變?yōu)槿搜劭梢杂^察的溫度分布的熱圖像，實(shí)現(xiàn)目標(biāo)檢測(cè)。根據(jù)每種成像技術(shù)的特點(diǎn)，總結(jié)了其相應(yīng)的優(yōu)缺點(diǎn)，如表1所示。

2 多傳感器信息融合

信息融合是指利用數(shù)學(xué)方法和計(jì)算機(jī)技術(shù)，對(duì)不同時(shí)空獲得的多源傳感器感知信息進(jìn)行處理，按照一定的規(guī)則進(jìn)行處理和綜合判斷，生成感知對(duì)象的一致性描述，為后續(xù)分析提供決策依據(jù)。相對(duì)于單一傳感器，多傳感器信息融合可以有效地協(xié)同提高車輛環(huán)境感知的識(shí)別精度和系統(tǒng)魯棒性。

作為智能車輛研究中最重要的基礎(chǔ)理論分支，信息融合技術(shù)的應(yīng)用成果十分豐碩。德國布倫瑞克科技大學(xué)的智能車輛通過使用立體相機(jī)和激光掃描儀等各種傳感器進(jìn)行信息融合，對(duì)障礙物進(jìn)行檢測(cè)[16]。美國Demon智能車搭載了由彩色攝像頭、雙目立體攝像頭、紅外攝像頭組成的毫米波測(cè)距傳感器和機(jī)器視覺系統(tǒng)[17]，利用雙目立體視覺檢測(cè)障礙物。日本豐田公司開發(fā)的ASIMO機(jī)器人是目前多傳感器信息融合技術(shù)應(yīng)用于移動(dòng)裝置中的一個(gè)經(jīng)典案例[18]。

機(jī)器視覺可用于圖像處理，毫米波雷達(dá)用于距離檢測(cè)，激光雷達(dá)可以獲取目標(biāo)的三維數(shù)據(jù)，紅外傳感器足以應(yīng)對(duì)低能見度環(huán)境。本文基于不同環(huán)境中障礙物的檢測(cè)原理，提出一種多傳感器融合的障礙物檢測(cè)系統(tǒng)，整個(gè)系統(tǒng)由四個(gè)獨(dú)立的單元組成，其總體架構(gòu)。數(shù)據(jù)采集單元主要負(fù)責(zé)獲取和存儲(chǔ)原始傳感器信息，它有多個(gè)傳感器作為輸入端，傳感器通過自身輸入端獲取并存儲(chǔ)原始數(shù)據(jù)；數(shù)據(jù)預(yù)處理單元從數(shù)據(jù)采集單元接收傳感器原始數(shù)據(jù)，獲得外部校準(zhǔn)以進(jìn)行傳感器配準(zhǔn)和數(shù)據(jù)關(guān)聯(lián)；融合單元需要對(duì)不同級(jí)別的預(yù)處理傳感器數(shù)據(jù)執(zhí)行原始數(shù)據(jù)級(jí)融合、特征級(jí)融合和決策級(jí)融合；決策單元根據(jù)多傳感器融合給出的輸出結(jié)果，為障礙物檢測(cè)任務(wù)選擇并確定良好的融合結(jié)果，然后將障礙物信息（如位置、標(biāo)簽、大小和速度）傳遞給自動(dòng)化系統(tǒng)中的其他模塊（如路徑規(guī)劃和控制模塊）。

3 結(jié)語

本文對(duì)智能車輛環(huán)境感知技術(shù)的發(fā)展與應(yīng)用進(jìn)行了研究，論述了機(jī)器視覺、毫米波雷達(dá)、激光雷達(dá)和紅外傳感器的工作原理和控制策略，根據(jù)不同傳感器的特征進(jìn)行了分類，并對(duì)比其優(yōu)缺點(diǎn)?；诙鄠鞲衅餍畔⑷诤霞夹g(shù)，提出一種多傳感器融合障礙物檢測(cè)系統(tǒng)，以提高智能車輛環(huán)境感知能力。最后對(duì)智能車輛環(huán)境感知技術(shù)的研究進(jìn)行了展望，并指出以下兩點(diǎn)：（1）單一視覺傳感器已經(jīng)不能滿足智能車輛的行駛要求，怎樣融合各傳感器的優(yōu)勢(shì)將成為未來的主流發(fā)展方向；（2）運(yùn)動(dòng)物體的檢測(cè)、識(shí)別和跟蹤是智能車輛感知模塊需要面臨的主要技術(shù)問題，雖然深度學(xué)習(xí)在目前的改進(jìn)算法中逐漸脫穎而出，但仍需要大量的測(cè)試來保證識(shí)別的準(zhǔn)確性和及時(shí)性。

參考文獻(xiàn)：

[1]Chen Q， Ozguner U， Redmill K. Ohio state university at the 2004 darpa grand challenge： Developing a completely autonomous vehicle[J]. IEEE Intelligent Systems， 2004， 19（5）：8-11.

[2]Thrun S， Montemerlo M， Dahlkamp H， et al. Stanley： The robot that won the DARPA Grand Challenge[J]. Journal of field Robotics， 2006， 23（9）：661-692.

[3]劉春曉.改變世界——谷歌無人駕駛汽車研發(fā)之路[J].汽車縱橫，2016（05）：94-99.

[4]王亞飛.THMR-V平臺(tái)上的智能交通監(jiān)控系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)測(cè)量與控制，2017，25（07）：106-109.

[5]陳治光.紅旗HQ3：智能與安全的結(jié)合[J].科技潮，2007（11）：23.

[6]王榮本，游峰，崔高健，等.基于計(jì)算機(jī)視覺高速智能車輛的道路識(shí)別[J].計(jì)算機(jī)工程與應(yīng)用，2004（26）：18-21.

[7]C. Jahanchahi and D. P. Mandic， “A class of quaternion Kal man fifilters，” IEEE Transactions on Neural Networks and Learning Systems， vol. 25， no. 3， pp. 533-544， 2014.

[8]Jiang Y， Xu X， Zhang L. Heading tracking of 6WID/4WIS unmanned ground vehicles with variable wheelbase based on model free adaptive control[J]. Mechanical Systems and Signal Processing， 2021， 159：107715.

[9]孟祥雨，張成陽，蘇沖.自動(dòng)駕駛汽車系統(tǒng)關(guān)鍵技術(shù)綜述[J].時(shí)代汽車，2019（17）：4-5.

[10]杜學(xué)峰，高越，楊偉，等.基于機(jī)器視覺的車輛檢測(cè)[J].汽車實(shí)用技術(shù)，2021，46（15）：48-50.

[11]Klotz M， Rohling H. 24 GHz radar sensors for automotive applications[C]//13th International Conference on Microwaves， Radar and Wireless Communications. MIKON-2000. Conference Proceedings （IEEE Cat. No. 00EX428）. IEEE， 2000， 1： 359-362.

[12]Rohling H， Lissel E. 77 GHz radar sensor for car application[C]//Proceedings International Radar Conference. IEEE， 1995： 373-379.

[13]魯自清. 非相干散射雷達(dá)信號(hào)處理與分析[D].南昌大學(xué)，2016.

[14]孫朋朋. 城市環(huán)境下智能車行車環(huán)境精確感知關(guān)鍵技術(shù)研究[D].長(zhǎng)安大學(xué)，2019.

[15]石永彪，張湧.車載紅外夜視技術(shù)發(fā)展研究綜述[J].紅外技術(shù)，2019，41（06）：504-510.

[16]Hussein A， Marín-Plaza P， Martín D， et al. Autonomous off-road navigation using stereo-vision and laser-rangefinder fusion for outdoor obstacles detection[C]//2016 IEEE Intelligent Vehicles Symposium （IV）. IEEE， 2016： 104-109.

[17]Bellutta P， Manduchi R， Matthies L， et al. Terrain perception for DEMO III[C]//Proceedings of the IEEE Intelligent Vehicles Symposium 2000 （Cat. No. 00TH8511）. IEEE， 2000： 326-331.

[18]Okita S Y， Ng-Thow-Hing V， Sarvadevabhatla R. Learning together： ASIMO developing an interactive learning partnership with children[C]//RO-MAN 2009-The 18th IEEE International Symposium on Robot and Human Interactive Communication. IEEE， 2009： 1125-1130.