智軌電車多源環(huán)境感知系統(tǒng)

胡云卿，馮江華，龍 騰，潘文波，袁希文，林 軍，黃瑞鵬，侯志超

（中車株洲電力機車研究所有限公司，湖南 株洲 412001）

0 引言

環(huán)境感知系統(tǒng)是實現(xiàn)智軌電車智能化運行的至關(guān)重要一環(huán)，其通過傳感器獲取行駛的道路信息、車輛前方以及周圍的障礙物信息、交通標識等環(huán)境信息，并將之提供給車輛智能駕駛系統(tǒng)進行相應(yīng)的路徑規(guī)劃、駕駛決策以及運行控制。本文根據(jù)智軌電車的結(jié)構(gòu)特性以及運行環(huán)境，構(gòu)建了一套多源環(huán)境感知系統(tǒng)，其采用激光雷達、毫米波雷達以及攝像頭作為主要傳感器，可提高智軌電車運行安全系數(shù)。

相比于毫米波雷達和超聲波雷達，激光雷達因具有更精確的時間和空間分辨率、超遠的探測距離等特點而成為當(dāng)前先進的探測傳感器[1-6]。在智軌電車的環(huán)境感知系統(tǒng)中，激光雷達占有主導(dǎo)作用，其能準確檢測出前方障礙物信息，完成對車輛、行人等動態(tài)障礙物的識別[7-8]、跟蹤[9-11]及避撞[12-14]?？紤]到目前激光雷達價格高，且智軌電車車身長、感知車輛周界所需的雷達數(shù)量大，因此采用多個毫米波雷達作為補充來感知車輛側(cè)向和前向的障礙物信息。毫米波雷達相比于紅外或者視覺檢測，具有測速精度高、成本低、不受外界環(huán)境干擾等優(yōu)點，目前已被廣泛應(yīng)用于汽車智能駕駛領(lǐng)域。

雷達檢測雖然能準確獲得車輛周圍的障礙物信息，但輸出的點云信息不便于直接觀察，因此在環(huán)境感知系統(tǒng)中還增加了視覺感知系統(tǒng)，以便駕駛員或調(diào)度中心直接查看車輛周界環(huán)境。

智軌電車是多編組鉸接式列車，需要采用多個攝像頭圖像進行拼接來獲取全方位的智軌電車周圍信息，即構(gòu)成360度環(huán)視系統(tǒng)。智軌電車采用的360度環(huán)視系統(tǒng)需要獲取車輛的鉸接角信息，并實時調(diào)整圖像拼接參數(shù)，其研發(fā)難度遠高于目前業(yè)內(nèi)主流的、針對單一車廂環(huán)視系統(tǒng)的[15-17]。

本文介紹了智軌電車多源環(huán)境感知系統(tǒng)組成，詳細分析了其中激光雷達感知子系統(tǒng)、毫米波雷達感知子系統(tǒng)以及360度環(huán)視子系統(tǒng)的核心技術(shù)，并通過實車試驗對其多源環(huán)境感知效果進行驗證。

1 多源環(huán)境感知系統(tǒng)組成

智軌電車的環(huán)境感知系統(tǒng)由激光雷達感知子系統(tǒng)、毫米波雷達感知子系統(tǒng)、360度環(huán)視子系統(tǒng)組成，為智軌電車的主動防護以及智能駕駛提供有效信息，其結(jié)構(gòu)如圖1所示。

圖1 智軌電車環(huán)境感知系統(tǒng)組成Fig. 1 Structure of the environment perception system for autonomous-rail rapid tram

1.1 激光雷達感知子系統(tǒng)

激光雷達感知子系統(tǒng)中包括前后各2個16線激光雷達和1個4線激光雷達。16線激光雷達被安裝在車輛側(cè)前方，距離地面高度900~1 000 mm，并被嵌入車體一部分，露出部分角度大于184°；4線激光雷達被安裝在車頭中心線距離地面500~550 mm高度的位置，如圖2所示。

圖2 智軌電車激光雷達安裝示意圖Fig. 2 Schematic diagram for installation of LiDAR on autonomous-rail rapid tram

智軌電車通過前后共6個激光雷達進行檢測，其覆蓋范圍可達到車輛前后方0.2~100 m范圍，測距精度達到±0.3 cm，垂直視場角為±15°，更新頻率為10 Hz。

在激光雷達感知子系統(tǒng)中，智能駕駛運算平臺也是其中的關(guān)鍵部分。激光雷達點云稠密且為非結(jié)構(gòu)化數(shù)據(jù)，處理過程運算量大。智軌電車定制化的智能駕駛運算平臺采用了集成化和小型化的域控制器，其整合了數(shù)字信號處理芯片、圖像處理芯片、FPGA芯片、微控制芯片，以滿足數(shù)據(jù)處理要求。

1.2 毫米波雷達感知子系統(tǒng)

毫米波雷達感知子系統(tǒng)包含側(cè)向毫米波雷達和前向毫米波雷達兩類。單個側(cè)向毫米波雷達選用24 GHz毫米波雷達，能實現(xiàn)0.2~30 m范圍的測距，更新頻率大于17 Hz；單個前向毫米波雷達選用77 GHz毫米波雷達，能實現(xiàn)0.2~200 m范圍的測距，更新頻率大于17 Hz。在智軌電車的兩側(cè)安裝了18顆側(cè)向毫米波雷達，而前向毫米波雷達被安裝在車頭正前方，如圖3所示。

圖3 智軌電車毫米波雷達安裝示意Fig. 3 Schematic diagram for installation of millimeter wave radar on autonomous-rail rapid tram

1.3 360度環(huán)視子系統(tǒng)

360度環(huán)視子系統(tǒng)包括魚眼攝像頭、控制器以及鉸接盤角度傳感器。8個安裝在車廂頂部的魚眼攝像頭用于抓取車身周圍圖像；主控制器被安裝在車廂內(nèi)部；鉸接盤角度傳感器被安裝在鉸接盤上，用于測量兩車廂的相對角度，具體安裝位置如圖4所示。

圖4 智軌電車攝像頭安裝示意圖Fig. 4 Schematic diagram for installation of camera on autonomous-rail rapid tram

360度環(huán)視子系統(tǒng)采用無縫拼接技術(shù)實現(xiàn)全景環(huán)視，能監(jiān)測到車輛前后各4 m、左右各3.5 m范圍的景觀；前后盲區(qū)范圍控制在距保險杠30 cm以內(nèi)，左右側(cè)盲區(qū)控制在距車身20~50 cm范圍內(nèi)，接縫處可以監(jiān)測到20 cm×20 cm×20 cm的障礙物邊緣；支持自動標定和手動標定功能，并支持上位機配置、上位機刷寫等網(wǎng)絡(luò)功能。

需要強調(diào)的是，以上3種環(huán)境感知方式都有其固有的缺點。激光雷達價格高，使用壽命短，受灰塵雨霧影響大；毫米波雷達虛警目標多，分辨率不高，測高能力弱；攝像頭受光照影響大，無法準確獲得目標深度信息。為了彌補單一感知方式的缺陷，通常同時采用多種傳感器進行感知（即稱“多源感知”），以消除信息的不確定性、提高檢測的準確性。

2 激光雷達感知算法

激光雷達感知子系統(tǒng)實現(xiàn)對車輛行駛區(qū)域內(nèi)障礙物的檢測及報警，其采用多計算模塊融合協(xié)同架構(gòu)，核心技術(shù)主要包括結(jié)構(gòu)化點云地圖構(gòu)建、點云匹配、障礙物檢測和運動狀態(tài)估計，相互關(guān)系如圖5所示。

圖5 激光雷達感知子系統(tǒng)組成Fig. 5 Structure of LiDAR sensing subsystem

障礙物檢測是通過對實時獲取的點云數(shù)據(jù)進行處理，檢測出其中包含的障礙物信息，其步驟包括：首先對點云數(shù)據(jù)進行預(yù)處理，去除其中的噪聲；然后通過點云聚類得到候選目標，確定潛在障礙物并對目標進行跟蹤，確定其運動狀態(tài)（位置、速度和加速度等）并對障礙物信息進行發(fā)布。

2.1 點云分割算法

在激光雷達感知中，只關(guān)心一定掃描范圍內(nèi)的地面以外障礙物信息，所以需要對場景中的地面進行分割提取。本文基于預(yù)處理后的點云，采用基于射線的地面分割算法對地面點云進行分割，獲取感興趣區(qū)域點云，再進行進一步處理。

基于射線的地面分割算法，以射線的形式來組織點云，將點云的三維空間降到平面，計算每一個點到智軌電車正方向（x軸）的平面夾角, 對車身360°范圍以激光雷達的角度分辨率進行微分，每一份的角度為激光雷達的水平角分辨率，同一夾角上的n線激光雷達由n束射線組成。圖6所示為將三維點云投影到二維平面并進行角度劃分的示意。將每個射線中的點按照距離的遠近進行排序，通過判斷射線中前后兩點的坡度是否大于事先設(shè)定的坡度閾值，從而判斷點是否為地面點。

圖6 激光線束等間隔劃分示意Fig. 6 Schematic diagram of equal interval division of laser harness

2.2 點云聚類

由于激光雷達點云密度大、分辨率高，因此同一個障礙物可能由許多點組成。為了實現(xiàn)對障礙物的準確檢測和跟蹤，本文采用基于歐幾里德的聚類算法對目標點云進行聚類，得到障礙物目標的中心位置以及尺寸信息。

歐幾里德聚類算法中使用的基本數(shù)據(jù)結(jié)構(gòu)是KD Tree（k-維樹），在本文中僅使用了一個二維樹，將點云壓縮成了2維——即將所有點的z值（高度）設(shè)為0。這樣處理，一方面可忽略點云簇在z方向的搜索順序（兩個物體在z方向疊在一起將其視為一個障礙物），另一方面可加快聚類速度以滿足檢測的實時性需求。使用二維樹對平面上的點進行劃分的原理如圖7所示。

圖7 二維KD樹Fig. 7 Two-dimensional KD tree

采用歐幾里德聚類法，首先創(chuàng)建一個二維樹用來描述輸入點云數(shù)據(jù)集P；接著創(chuàng)建一個空的點云簇列表C，以及需要被檢測的點隊列Q；最后對P中的每一個點pi， 執(zhí)行以下操作：

（1）將點pi加入到當(dāng)前的隊列Q中。

（2）對每一個屬于Q中的點pi在半徑r

（3）當(dāng)Q中的所有點都被處理過后，添加Q到點云簇列表C，并重置Q為空列表；當(dāng)所有點pi∈P都已處理完畢并且pi現(xiàn)在是點云簇列表C的一部分時，算法終止。

3 毫米波雷達感知算法

毫米波雷達感知子系統(tǒng)將檢測數(shù)據(jù)輸入給障礙物檢測模塊，通過有效目標檢測、目標關(guān)聯(lián)和目標跟蹤算法，得到準確的障礙物信息，最終將障礙物檢測結(jié)果通過障礙物預(yù)警模塊以相應(yīng)報警信息形式輸出，其信息處理結(jié)構(gòu)如圖8所示。

圖8 毫米波雷達感知子系統(tǒng)組成Fig. 8 Structure of millimeter wave radar sensing subsystem

3.1 有效目標檢測算法

由于雷達測量特性以及復(fù)雜環(huán)境的不確定性，在傳感器返回的目標信息中，會存在較多的空目標、無效目標以及目標分裂的情況，這些信息將會導(dǎo)致系統(tǒng)誤判，產(chǎn)生錯誤警報，因此必須先進行有效目標檢測。

設(shè)毫米波雷達獲取的目標為z=(α,r,s)，其中α為目標與雷達坐標系的水平角，r為目標與雷達的距離，s為目標與雷達之間的相對速度，則每一幀毫米波雷達檢測結(jié)果可表示為Z=(z1,z2,z3,…,zn)T。

由于大物體存在目標分裂情況，需要對目標進行聚類。針對毫米波雷達的特性，本文提出了一種基于距離的聚類方法。定義目標zi與zj的距離為

根據(jù)智軌電車不同的運行場景以及所處固定線路的位置，實時調(diào)整對應(yīng)的聚類閾值，再根據(jù)閾值來判斷相鄰的兩個目標散射點是否為同一個物體。

3.2 障礙物關(guān)聯(lián)和跟蹤算法

由于前后兩幀所得到的障礙物數(shù)量不一致，且目標ID值在前后幀中均無法一一對應(yīng)，因此需要對障礙物的目標數(shù)據(jù)進行關(guān)聯(lián)。本文采用了一種基于改進的最近鄰算法進行數(shù)據(jù)關(guān)聯(lián)，關(guān)聯(lián)過程如圖9所示。

圖9 數(shù)據(jù)關(guān)聯(lián)過程Fig. 9 Data association process

數(shù)據(jù)關(guān)聯(lián)過程主要包括門限過濾、關(guān)聯(lián)矩陣計算以及通過關(guān)聯(lián)準則確定關(guān)聯(lián)對。

在目標跟蹤過程中，首先根據(jù)數(shù)據(jù)關(guān)聯(lián)結(jié)果建立航跡隊列，再根據(jù)隊列目標中檢測成功的總次數(shù)來判斷障礙物是否確定出現(xiàn)和消失。目標跟蹤主要步驟包括航跡頭建立、航跡起始、航跡確認、航跡保持、航跡撤銷，整個過程稱為航跡管理。每條航跡的第一個點即稱作航跡頭。

對勻速直線運動的目標，利用同一目標初始的兩個相鄰點跡的坐標數(shù)據(jù)，推算出第三個掃描周期該目標的預(yù)測或外推位置，對可能的一條航跡進行航跡初始化，稱作航跡起始。

以預(yù)測值為中心設(shè)置一個關(guān)聯(lián)門，若在關(guān)聯(lián)門內(nèi)，至少有一個來自第三次或者第五次掃描周期的觀測數(shù)據(jù)，初始航跡就可以作為一條新航跡并加以保存，稱其為新航跡確認。

航跡保持是在航跡起始之后，在存在真實目標的情況下，按照給定的規(guī)則使航跡得到延續(xù)，保持對目標的連續(xù)跟蹤。當(dāng)航跡不滿足準則時，就將其從航跡記錄中撤銷。

4 360度環(huán)視圖像拼接算法

智軌電車由3節(jié)長車廂組成，其中每一個車廂均由多個攝像頭采集圖像，因此，在進行多車廂全景圖像拼接前，需要完成單個車廂全景圖像拼接；并在此基礎(chǔ)上進一步通過圖形處理器（graphic processing unit, GPU）的運算最終得到智軌電車完整的周界全景圖像。

4.1 單車廂全景圖像拼接算法

單車廂全景圖像拼接主要包含4個步驟，如圖10所示，分別為圖像采集、畸變圖像矯正、透視變換以及全景圖像拼接，最終得到單車廂的鳥瞰圖。圖像拼接過程為：提取同一場景中的圖像特征，再進行特征匹配；完成相鄰攝像頭圖像的拼接。

圖10 單車廂全景圖像生成流程Fig. 10 Flow chart of around view for single carriage

在智軌電車的單車廂全景圖像拼接中，采用前、后、左、右4個攝像頭的圖像進行拼接，拼接縫的去除采用加權(quán)差值融合算法進行計算，最終得到的單車廂全景圖像的拼接效果如圖11所示。

圖11 單車廂全景圖像拼接效果Fig. 11 Mosaic effect of around view for single carriage

4.2 多車廂全景圖像拼接算法

智軌電車的車廂之間通過鉸接盤進行連接，鉸接點為兩車廂的重合點，以此為基準建立多車廂圖像的拼接模型，如圖12所示。

圖12 三節(jié)車廂圖像拼接模型示意Fig. 12 Three-car compartment image mosaic model

本文將中間車廂的全景圖形置于拼接的中心，設(shè)M1,M2,M3,M4分別為中間車廂全景圖形的4個頂點，JMF,JMR為前后兩車廂的鉸接點，O為中間車廂全景圖形的中心，U1,V1為單車廂全景圖形拼接尺寸。在O處建立平面直角坐標系，則M1,M2,M3,M4的坐標可表示為

進一步可得到JMF,JMR的坐標為

式中：m——鉸接點距車廂的距離；LF——前后攝像頭向前方視野距離；LL——車輛長度。

由于前車廂的鉸接點JFM與中間車廂的鉸接點JMF為同一點，后車廂的鉸接點JRM和中間車廂的鉸接點JMR為同一點，根據(jù)此幾何關(guān)系，可求得兩個鉸接點在整個全景圖像中的坐標。

同理可得拼接后的360°全景圖像各個頂點的坐標：

式中：T——不同車廂拼接圖像中同一鉸接點的坐標偏移量，

5 實車應(yīng)用效果與分析

將激光雷達、毫米波雷達以及魚眼攝像頭安裝到智軌電車對應(yīng)位置。為保證測試安全，由駕駛員駕駛智軌電車在株洲市區(qū)公路上進行測試。采用激光雷達感知算法、毫米波雷達感知算法以及360度環(huán)視圖像拼接算法進行數(shù)據(jù)處理，并對檢測結(jié)果進行評價。

5.1 激光雷達感知子系統(tǒng)應(yīng)用效果

5.1.1 激光雷達地面過濾實驗

對每一幀中的點云遍歷使用基于射線的地面過濾算法，其結(jié)果如圖13所示。圖13（a）為未經(jīng)過地面濾除的多個激光雷達融合后的點云效果，從點云中明顯可以看出呈圓形狀的地面點云和智軌電車行駛環(huán)境中的樹木、車輛以及公路以外的護坡等。為了消除地面點云的干擾，采用第2節(jié)所述激光雷達感知算法，經(jīng)過地面過濾后的點云如圖13（b）所示，地面信息明顯減少，可以有效提高后續(xù)障礙物檢測的精度。

圖13 地面點云過濾計算結(jié)果Fig. 13 Results of ground point cloud fi ltering algorithm

5.1.2 激光雷達點云聚類實驗

為了驗證點云聚類算法的有效性，本文在智軌電車運行環(huán)境中進行實驗，場景中包含有不同規(guī)格、不同大小的障礙物。將經(jīng)過地面過濾的點云再進一步處理，提取路沿等邊界信息，獲取點云的感興趣區(qū)域，則可聚焦智軌電車行駛道路上的點云。如圖14所示，通過本文的點云聚類算法，對不同尺寸和不同距離的障礙物都能有效地識別，將同一個障礙物用立方體表示，根據(jù)立方體中點云的分布情況可得到對應(yīng)障礙物的中心位置和尺寸信息。

圖14 聚類檢測結(jié)果Fig. 14 Cluster test results

5.1.3 激光雷達障礙物檢測實驗

綜合激光雷達感知算法進行整體實驗，基于多個激光雷達融合后的原始點云，先采用地面濾除算法濾除地面并提取感興趣區(qū)域，再經(jīng)過點云聚類算法和目標跟蹤算法最終得到智軌電車前方的障礙物信息。如圖15所示，盡管場景中有多個障礙物變換方向及位姿，本文所采用的算法依然能較好地取得檢測結(jié)果，圖中在白色立方體上方分別標注有當(dāng)前障礙物中心位置距離智軌電車正前方的距離以及當(dāng)前障礙物的ID值。除此兩個參數(shù)外，通過激光雷達障礙物檢測算法還可得到障礙物的尺寸及速度等狀態(tài)信息。在實際測試過程中，障礙物位置檢測精度約0.1 m，在相對速度120 km/h的情況下也能準確判斷車輛前方障礙物。

圖15 障礙物檢測結(jié)果Fig . 15 Obstacle detection results

5.2 毫米波雷達感知子系統(tǒng)應(yīng)用效果

如圖16所示，在激光雷達的點云中標注有毫米波雷達的檢測結(jié)果，可以看出，毫米波雷達能夠有效地檢測出路邊障礙物以及智軌電車前方運行的車輛。毫米波雷達具備精準的距離和速度分辨率，在實車測試過程中，毫米波雷達感知子系統(tǒng)最小角分辨率可達到3°，測距精度可達到0.1 m，測速精度可達0.3 km/h，即使兩目標距離邊界最近距離為0.2 m時，也能通過速度檢測進行有效分離。圖中每個障礙物標注有ID值以及障礙物的三維坐標，并且可準確得到每個障礙物的相對速度及散射強度信息。

圖16 毫米波雷達檢測結(jié)果Fig. 16 Detection results of millimeter wave radar

5.3 360度環(huán)視子系統(tǒng)應(yīng)用效果

360度環(huán)視子系統(tǒng)通過圖像拼接方法可得到如圖17所示全景圖像拼接效果?？梢钥闯?，所研究的多編組車輛360度全景環(huán)視子系統(tǒng)滿足了清晰顯示車體四周環(huán)境和消除盲區(qū)的功能要求，且畫面顯示流暢，能適應(yīng)不同光照條件，為駕駛員觀察四周提供有力依據(jù)。通過實際測量，360度環(huán)視子系統(tǒng)能夠監(jiān)測到車輛前后各4 m、左右各3.5 m范圍的景觀， 且四周盲區(qū)均在20 cm以內(nèi)。

圖17 直道和彎道情況下全景圖像拼接效果Fig. 17 Panoramic mosaic image effect in straight and curve

6 結(jié)語

智軌電車多源環(huán)境感知系統(tǒng)通過激光雷達感知子系統(tǒng)對智軌電車運行前方的障礙物進行識別，其在復(fù)雜場景驗證中能有效識別不同尺寸的障礙物并對其進行持續(xù)跟蹤；通過前側(cè)向毫米波雷達感知子系統(tǒng)對智軌電車運行前方以及兩側(cè)物進行檢測，實車測試表明，其前側(cè)向毫米波雷達子系統(tǒng)能夠準確感知障礙物的位置及速度信息；通過360度環(huán)視子系統(tǒng)得到智軌電車周圍環(huán)視圖像信息，實車測試中無論在直道或者彎道情況下，全景圖像均能為駕駛員提供準確信息。通過這3種不同感知系統(tǒng)的相互配合，為智軌電車主動安全提供了有效保障，提高了智軌電車安全運行系數(shù)。在此感知系統(tǒng)的基礎(chǔ)上，還可結(jié)合車路協(xié)同技術(shù)以及高精度地圖，對智軌電車運行環(huán)境以及橫縱向定位開展更深層次的研究。