基于自動(dòng)駕駛多傳感器信息融合的研究綜述

揚(yáng)州大學(xué)；江蘇 揚(yáng)州 225127

引言

自動(dòng)駕駛汽車已被廣泛認(rèn)為已經(jīng)是我國新一輪汽車工業(yè)和信息科技發(fā)展革命過程中的一個(gè)新興產(chǎn)業(yè)，它不僅有助于不斷改善我國道路交通安全、實(shí)現(xiàn)高效節(jié)約能源低碳節(jié)能減排、消除交通擁堵、提高經(jīng)濟(jì)社會(huì)治理效率，并將極大拉動(dòng)我國新能源車與汽車、電子、通訊、服務(wù)、社會(huì)管理經(jīng)濟(jì)學(xué)和管理等各個(gè)領(lǐng)域的產(chǎn)業(yè)協(xié)同創(chuàng)新發(fā)展，對(duì)于加快促進(jìn)當(dāng)代我國國民經(jīng)濟(jì)社會(huì)產(chǎn)業(yè)的快速轉(zhuǎn)型結(jié)構(gòu)升級(jí)發(fā)展起到重大的前瞻戰(zhàn)略意義。自動(dòng)駕駛需要通過感知層、控制層、執(zhí)行管理層三者之間的協(xié)同來實(shí)現(xiàn)。攝像頭和雷達(dá)等各種傳感器分別從區(qū)域內(nèi)和不同范圍內(nèi)獲取了不同的環(huán)境信息，所獲得的多源異質(zhì)性信息很有可能是彼此之間的補(bǔ)充，也很有可能是空間上的冗余甚至矛盾，控制中心最后只能向用戶下達(dá)唯一正確的指令，這時(shí)候就需要控制中心必須對(duì)異質(zhì)性信息做出融合，從而實(shí)現(xiàn)綜合性的判斷。

關(guān)鍵詞：自動(dòng)駕駛? 多傳感器融合? 攝像頭 激光 毫米波

一.關(guān)于自動(dòng)駕駛國內(nèi)外現(xiàn)狀：

國內(nèi)關(guān)于自動(dòng)駕駛多傳感器信息融合的研究可以分為企業(yè)和高校兩塊：各個(gè)主要的公司包括蘋果、英偉達(dá)、 Google 、特斯拉、百度等都在自動(dòng)駕駛領(lǐng)域積極布局。每個(gè)人的工作思路都不一樣，傳感器與網(wǎng)絡(luò)結(jié)構(gòu)都很差。蘋果采用的便攜式是一種多傳感器融合解決方案;特斯拉的汽車ADAS是目前量產(chǎn)中最好的，同時(shí)它也是基于汽車工廠的設(shè)計(jì)理念。從設(shè)計(jì)造價(jià)和整車成本的角度來看，自動(dòng)駕駛系統(tǒng)的造價(jià)將受到限制，這意味著它不會(huì)配備更昂貴的傳感器，而是將主要集中在攝像頭和視頻技術(shù)上;谷歌的算法相對(duì)成熟，但它太多地基于激光雷達(dá)，而且價(jià)格昂貴。谷歌透露，多年的努力表明，研究無人駕駛這項(xiàng)技術(shù)是可行的，并已基本商業(yè)化。它既有先發(fā)的第一優(yōu)勢，也有先發(fā)的第一劣勢。谷歌通過采用領(lǐng)先的技術(shù)開發(fā)路線，比如激光雷達(dá)，并逐漸走向了一個(gè)新的起點(diǎn)。在開始自動(dòng)駕駛的最初幾年，圖像識(shí)別技術(shù)還遠(yuǎn)未成熟，只能依靠激光雷達(dá)。但這樣的一種時(shí)代特征與歷史背景，讓這些新的管理方法并沒有真正從技術(shù)上真正得以充分體現(xiàn)和廣泛應(yīng)用發(fā)展出來，而這個(gè)發(fā)展過程又恰恰正是新興技術(shù)企業(yè)的發(fā)展契機(jī)。Google自研制和發(fā)展的新型激光雷達(dá)在安全和技術(shù)可靠性兩個(gè)方面已經(jīng)表現(xiàn)得非常突出，但是該公司系列新型激光雷達(dá)目前的技術(shù)成本大幅下降仍然可能需要很長的一段發(fā)展時(shí)期。通常，業(yè)界普遍認(rèn)為的"多傳感器融合"，都可以是廣泛定義泛指對(duì)于手機(jī)攝像頭、激光雷達(dá)、毫米波激光雷達(dá)、超聲波激光雷達(dá)等多種電子傳感器各自分別從互聯(lián)網(wǎng)絡(luò)中獲取搜集出來得到的相關(guān)數(shù)據(jù)然后進(jìn)行所融合做的"數(shù)據(jù)融合"，而基于百度公司此前獲得的apandora的第二種融合做法原則是"硬件層面的融合"，即在一個(gè)硬件技術(shù)層面就把這些相關(guān)聯(lián)的攝像頭、激光雷達(dá)全部進(jìn)行集成了融合到一起，然后再把這些采集出來得到的相關(guān)數(shù)據(jù)然后進(jìn)行統(tǒng)一地處理輸送并傳給了基于計(jì)算機(jī)的平臺(tái)。

國內(nèi)研究自動(dòng)駕駛的高校包括但不限于卡內(nèi)基梅隆大學(xué)、科羅拉多大學(xué)、加州理工學(xué)院、麻省理工學(xué)院、韓國KAIST、清華大學(xué)、西北工業(yè)大學(xué)、西安交大、吉林大學(xué)等幾乎清一色使用多傳感器信息融合來完成自動(dòng)駕駛環(huán)境感知功能，因?yàn)閷?duì)于高校研究來說多傳感器信息融合是最經(jīng)濟(jì)且效果最好的方式，尤其是在深度學(xué)習(xí)算法引入后，融合算法使得歷史積累的數(shù)據(jù)能最大發(fā)揮其作用，通過算法"學(xué)習(xí)"環(huán)境然后理解新的環(huán)境。

二.數(shù)據(jù)融合的發(fā)展：

“數(shù)據(jù)融合”的概念大概于1970年提出，以滿足軍事C31系統(tǒng)（指揮、控制、通信和情報(bào)）的多源需求，然后在獨(dú)立學(xué)科中發(fā)展。根據(jù)相關(guān)數(shù)據(jù)，美國是第一個(gè)研究數(shù)據(jù)融合技術(shù)的國家。關(guān)于國外數(shù)據(jù)融合的發(fā)展成就，1973年，美國第一次將信息融合技術(shù)用于聲納研究;1983年，美國國防部將傳感器數(shù)據(jù)融合列為年代重要研究領(lǐng)域的項(xiàng)目;1984年，美國宣布成立數(shù)據(jù)融合專家組，研究工作已進(jìn)入系統(tǒng)化階段;1988年，傳感器融合技術(shù)被確定為美國國防部最關(guān)鍵的技術(shù)之一，并受到前所未有的重視;1988年，國際信息融合學(xué)會(huì)在美國成立，并宣布每年召開一次學(xué)術(shù)會(huì)議;到1991年，美國已經(jīng)有50多個(gè)數(shù)據(jù)融合技術(shù)引進(jìn)到試驗(yàn)床、試驗(yàn)機(jī)使用。其他西方國家也非常重視融合技術(shù)的研究，英國陸軍研制類似于炮兵智能信息融合系統(tǒng)，1982年提出開發(fā)“海軍知識(shí)庫”作戰(zhàn)指揮系統(tǒng)。1987年又與其他歐洲幾個(gè)國家聯(lián)合開展“決策控制的傳感器信號(hào)與知識(shí)綜合系統(tǒng)”的研究。法國德國同樣也是在該項(xiàng)技術(shù)的研究上很重視，德國曾在“豹2”坦克的改進(jìn)中用到信息融合技術(shù)。

相比國外研究方面，我國多傳感器數(shù)據(jù)融合的發(fā)展相對(duì)滯后。國內(nèi)一些科研院所和大學(xué)開始加入了數(shù)據(jù)融合的研究，但是起步較晚，缺乏完整成熟的理論體系，為了加快技術(shù)實(shí)施，中國將其列入國家863計(jì)劃和國家自然基金重點(diǎn)支持項(xiàng)目。

三.關(guān)于傳感器融合介紹：

為了解周邊交通狀況，車輛的自動(dòng)駕駛技術(shù)采用攝像頭、雷達(dá)傳感器、激光測距儀和其他相關(guān)儀器。道路導(dǎo)航技術(shù)通過詳細(xì)的地圖實(shí)現(xiàn)自動(dòng)駕駛的目的。自動(dòng)駕駛技術(shù)主要包括收集道路上的相關(guān)信息，如車輛周圍的情況、相關(guān)警告信號(hào)、交通燈等。同時(shí)，由主控計(jì)算機(jī)控制，配合車輛相關(guān)部件完成車輛的駕駛或其他動(dòng)作，在主控計(jì)算機(jī)及其系統(tǒng)的幫助下，完成對(duì)采集信息的處理和處理，規(guī)劃車輛相應(yīng)的行駛路徑，并在某些緊急情況下進(jìn)行評(píng)估。這些信息主要通過最敏感的傳感器收集，如高清攝像頭和激光雷達(dá);處理過程依賴于主控計(jì)算機(jī)和相應(yīng)的自動(dòng)導(dǎo)航系統(tǒng)，如車輛傳感器融合系統(tǒng)、環(huán)視系統(tǒng)和傳感器泊車輔助系統(tǒng)。信息的輸出可直接控制制動(dòng)器、油門、發(fā)動(dòng)機(jī)轉(zhuǎn)速調(diào)節(jié)、輪胎轉(zhuǎn)向等。目前，自動(dòng)駕駛汽車的分類分為五個(gè)階段，其主要處于第三這一發(fā)展階段。

然而，由于單個(gè)傳感器的特點(diǎn)和局限性，我們必須將不同的傳感器應(yīng)用到車輛的智能駕駛系統(tǒng)中，并使用不同的手段和方法進(jìn)行測量。例如，ark算法和Clark算法是一種計(jì)算方法，專門用于計(jì)算車輛和障礙物的位置以及車輛和道路的當(dāng)前狀態(tài)。算法中的主要信息來自雷達(dá)和攝像機(jī)檢測信息。clark 的探測和計(jì)算主要包括兩部分：一是利用多融合技術(shù)識(shí)別障礙物;然后使用道路檢測和偵察算法對(duì)信息進(jìn)行充分處理，提高了信息的識(shí)別率。但是，clark 算法的一個(gè)局限性是，在整個(gè)實(shí)際應(yīng)用過程中，此算法測量的最小寬度約為道路寬度的一半。因此，由于等待我們的障礙物相對(duì)較小，此方法無法廣泛使用。

下面將主從攝像頭雷達(dá)，激光雷達(dá)，毫米波雷達(dá)方面來介紹：

（一）攝像頭雷達(dá)

從目前研發(fā)的激光雷達(dá)或攝像雷達(dá)來看，其主要問題是如何識(shí)別物體。要想擁有與人腦相同的思維能力，汽車必須能夠直觀地識(shí)別道路緊急情況。大陸集團(tuán)在2018 CES Asia展上推出了第五代視覺平臺(tái)的計(jì)算機(jī)以及第五代攝像頭，利用人工智能技術(shù)預(yù)測和評(píng)估可能的道路狀況，以提高車輛的環(huán)境感知能力、駕駛路線規(guī)劃能力和汽車控制能力，推動(dòng)自動(dòng)駕駛的實(shí)施。

如果車輛想要擁有與人類相同的思考能力，它們不僅必須直觀地識(shí)別道路狀況，還應(yīng)該預(yù)測各種可能的交通行為。人工智能是推動(dòng)自動(dòng)駕駛研發(fā)進(jìn)程的必要手段。人工智能是實(shí)現(xiàn)真正自動(dòng)駕駛的必要手段。智能干預(yù)使車輛能夠更準(zhǔn)確的預(yù)測周圍的環(huán)境。2018年，大陸集團(tuán)在CES Asia 2018發(fā)布了第五代MFC 500攝像頭。在上一代攝影技術(shù)的基礎(chǔ)上，攝像頭添加了一個(gè)深度學(xué)習(xí)算法，以提高車輛環(huán)境感知、駕駛路徑規(guī)劃和運(yùn)動(dòng)控制能力。

傳統(tǒng)的基于規(guī)則算法的自動(dòng)駕駛系統(tǒng)可以判斷行人是否對(duì)駕駛安全構(gòu)成威脅。只有當(dāng)行人出現(xiàn)在車道上時(shí)，他們才會(huì)做出緊急反應(yīng)。人工智能算法可以提前檢測出行人的意圖。作為一名經(jīng)驗(yàn)豐富的老飛行員，該人工智能系統(tǒng)的關(guān)鍵在于其學(xué)習(xí)能力。該系統(tǒng)從雷達(dá)和攝像機(jī)信號(hào)中獲取真實(shí)駕駛條件下的環(huán)境信息，然后軟件對(duì)這些數(shù)據(jù)進(jìn)行分析，以獲得學(xué)習(xí)和使用該系統(tǒng)的不同執(zhí)行策略。

（二）激光雷達(dá)

激光光度傳感器：利用先進(jìn)的激光掃描技術(shù)檢測物體內(nèi)部光度的光學(xué)傳感器。它由電子激光儀器組成，激光測量探測器和其他激光控制電路構(gòu)成。激光遙控傳感器是一種新型的遠(yuǎn)程自動(dòng)測量儀器。其主要技術(shù)優(yōu)勢之一是，它可以輕松直接地在線實(shí)施自動(dòng)控制測量，而無需意外接觸傳感器具有速度快，精度高，，測量量大，抗光電干擾能力強(qiáng)的特點(diǎn)，適合內(nèi)部機(jī)器人Slam應(yīng)用，提供360度掃描場和5.5hz/10hz的旋轉(zhuǎn)頻率，確保8個(gè)測距儀的距離，是機(jī)器人消費(fèi)者和硬件愛好者等成本敏感領(lǐng)域的理想傳感器。Rplidar A2運(yùn)行速度非?？?，每秒超過4000個(gè)樣本。Rplidar A1支持2000個(gè)樣本。一次必須掃描360個(gè)樣本才能達(dá)到10Hz的掃描頻率。用戶可以通過檢查掃描引擎速度自由定制從2Hz到10Hz的掃描頻率。Rpliar將適應(yīng)速度掃描。目前，Rpliar A2以每秒4000多個(gè)樣本的速度測量高速距離，Rpliar A1支持從2000到10Hz的樣本。一次必須掃描360個(gè)樣本才能達(dá)到10Hz的掃描頻率。用戶可以通過檢查掃描引擎速度自由定制從2Hz到10Hz的掃描頻率。RPLIDAR 將適應(yīng)現(xiàn)在的掃描速度。

（三）毫米波雷達(dá)

20世紀(jì)40年代，毫米波雷達(dá)開始研發(fā)。它的第一個(gè)應(yīng)用是海上導(dǎo)航。由于其低功率和傳輸損耗，其發(fā)展非常有限。德國AEG Telefunken和Bosch公司已開始注資研究將毫米波車輛應(yīng)用于防撞的技術(shù)。由于成本高，沒有后續(xù)行動(dòng)。直到80年代末，歐洲才開始實(shí)施“高效和安全的歐洲交通計(jì)劃”重新啟動(dòng)了毫米波雷達(dá)研究項(xiàng)目。毫米波雷達(dá)在我國的研究和發(fā)展日益增多。傳統(tǒng)的24GHz毫米波雷達(dá)已被多家國家公司成功研制，并逐步形成市場化產(chǎn)品。

雷達(dá)式火控傳感器由火控超聲波和毫米波雷達(dá)兩個(gè)大部分結(jié)合組成，二者的整體反應(yīng)時(shí)間表以及其它的整體操作準(zhǔn)確性均值都要遠(yuǎn)遠(yuǎn)明顯高于火控?cái)z像頭，而超聲毫米波火控雷達(dá)則已經(jīng)能夠把其與方向盤的誤差直接控制在2度以內(nèi)。它雖然能夠很好地自動(dòng)適應(yīng)各種極端的惡劣氣候天氣并且所達(dá)到要求的天氣探測持續(xù)時(shí)間不會(huì)很長，只是由于它的價(jià)格過高。目前這些內(nèi)置傳感器的各種多樣化功能組合己經(jīng)逐漸發(fā)展成為自動(dòng)無人駕駛汽車系統(tǒng)的重要標(biāo)準(zhǔn)。各個(gè)不同類型的光傳感器之間的應(yīng)用優(yōu)缺點(diǎn)并不相同，可以與之形成很好的交叉應(yīng)用互補(bǔ)，在不同的應(yīng)用情況下都能發(fā)揮自己的獨(dú)特長處。

四.總結(jié)與展望：

雖然多傳感器融合技術(shù)已經(jīng)得到了廣泛的應(yīng)用，但仍然存在傳感器生成信息的異構(gòu)性、多態(tài)性、完整性和不確定性以及數(shù)據(jù)干擾等問題。在這個(gè)階段，毫米波測試沒有統(tǒng)一的國際測試標(biāo)準(zhǔn)。雖然一些項(xiàng)目總體上取得了進(jìn)展，但仍需進(jìn)一步開發(fā)和完善。許多現(xiàn)有系統(tǒng)僅適用于室內(nèi)或室外環(huán)境，交通規(guī)劃是理想的。但是，在現(xiàn)實(shí)生活中，復(fù)雜的交通環(huán)境和駕駛員行為的不確定性使自動(dòng)駕駛充滿挑戰(zhàn)。

五.結(jié)束語：

多傳感器信息融合已廣泛應(yīng)用于集成電路技術(shù)、軍事信號(hào)處理、醫(yī)學(xué)、氣象、農(nóng)業(yè)科學(xué)等各領(lǐng)域，但也引起了軍事以及民用部門的重視，多傳感器融合技術(shù)的應(yīng)用不僅提高了置信率和分辨率，也增加了系統(tǒng)的魯棒性和容錯(cuò)性。將信息融合到多個(gè)傳感器已成為信息科學(xué)發(fā)展的一個(gè)必然階段。隨著科學(xué)和現(xiàn)代技術(shù)的不斷進(jìn)步，多傳感器融合技術(shù)有朝一日將擴(kuò)展到更大的領(lǐng)域，并在重大項(xiàng)目中廣泛應(yīng)用，以進(jìn)一步推動(dòng)科學(xué)技術(shù)和社會(huì)的發(fā)展。

參考文獻(xiàn)：

[1]宮天丞.綜述自動(dòng)駕駛發(fā)展與組成情況[J].通訊世界，2018（11）：293-294.

[2]崔碩，姜洪亮，戎輝，王文揚(yáng).多傳感器信息融合技術(shù)綜述[J].汽車電器，2018（09）：41-43.

[3]王遠(yuǎn)桂，何歡.人工智能2.0給自動(dòng)駕駛發(fā)展帶來的影響[J].現(xiàn)代電信科技，2017，47（4）：20～24.

[4]王禹，吳石峰，陶恂.自動(dòng)駕駛中多傳感器信息融合技術(shù)的研究[J].福建電腦，2019，35（01）：110-112.

[5]朱敏慧.人工智能推進(jìn)自動(dòng)駕駛研發(fā)進(jìn)程[J].汽車與配件，2018（20）：38-39.

[6]祝彬.國外毫米波雷達(dá)制導(dǎo)技術(shù)的發(fā)展?fàn)顩r[J].中國 航天，2007（1）： 40-43.

[7]宋瑞，陳艷梅，張志國.車載毫米波雷達(dá)測試現(xiàn)狀分析[J].汽車與配件，2020（07）：68-71.

[8]郭蓬，郭劍銳，戎輝，唐風(fēng)敏，王文揚(yáng)，王夢丹.毫米波雷達(dá)研究現(xiàn)狀及其測試項(xiàng)目[J].汽車電器，2018（10）：33-35.

基金項(xiàng)目：

2020年江蘇省大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃項(xiàng)目“自動(dòng)駕駛汽車多傳感器信息融合系統(tǒng)研究”，項(xiàng)目編號(hào)：X20200419

作者簡介：

李璠（1999—），女，漢族，甘肅天水人，揚(yáng)州大學(xué)本科在讀，電子信息工程專業(yè)