基于視覺與雷達(dá)感知融合的環(huán)衛(wèi)車控制系統(tǒng)設(shè)計

孫正宜 王秦越 陳禮群

關(guān)鍵詞：環(huán)衛(wèi)車；行人辨識；激光雷達(dá)測距；控制方案設(shè)計

1 引言

環(huán)衛(wèi)車作為城市綠色建設(shè)中的一環(huán)，對城市整潔面貌的保持具有重要意義。常見的環(huán)衛(wèi)車包括灑水車、綠化噴水車、清掃車、壓縮垃圾車等。隨著科技的發(fā)展，智能導(dǎo)航系統(tǒng)和定位系統(tǒng)等遠(yuǎn)程終端服務(wù)的技術(shù)水平大大推進(jìn)，在一些工程車輛上陸續(xù)開展了智能控制技術(shù)的應(yīng)用研究。目前主流的研究方向是在工程車輛上加裝GPS定位系統(tǒng)與視覺感知系統(tǒng)，應(yīng)用物聯(lián)網(wǎng)理論知識，解決環(huán)衛(wèi)車遠(yuǎn)程監(jiān)控、科學(xué)調(diào)度和集中化管理的問題[1]。

由于受到多種因素的限制，無人駕駛與智能控制現(xiàn)階段主要被應(yīng)用于小型低速無人車領(lǐng)域，應(yīng)用場景也多為諸如機(jī)場、高校、隧道、大型商場等安全考慮指數(shù)較低的環(huán)境?？紤]到無人駕駛技術(shù)在大規(guī)模應(yīng)用前還需進(jìn)行進(jìn)一步的安全性能測試，環(huán)衛(wèi)車輛作為大型車輛仍然少不了專門駕駛員進(jìn)行路況的把控和車輛操縱[2]，將智能控制引入環(huán)衛(wèi)車輛系統(tǒng)，尤其是工作中可能對行人造成影響的灑水車、綠化噴水車、大型路面清掃車等，以實(shí)現(xiàn)行人檢測與自動啟停，對于環(huán)衛(wèi)車輛的駕駛?cè)藛T工作輔助與減負(fù)還是相當(dāng)有意義的。例如城市灑水車與綠化車，在遇到作業(yè)范圍內(nèi)存在行人的情況下，只能由車輛控制人員主動關(guān)閉水閥，關(guān)閉不及時或控制人員未注意到行人存在時往往會造成行人被噴濺的結(jié)果，有時行人為了躲避作業(yè)中的環(huán)衛(wèi)車輛而慌不擇路，甚至?xí)l(fā)嚴(yán)重的交通事故。因此，有必要研究更加智能的環(huán)衛(wèi)車控制系統(tǒng)。

本文按照環(huán)衛(wèi)車輛自動區(qū)別障礙物與行人，作業(yè)時不影響行人的要求，設(shè)計了一種基于視覺與激光雷達(dá)感知融合的智能環(huán)衛(wèi)車控制方案。通過攝像頭獲取圖像信息進(jìn)行行人檢測，與激光雷達(dá)獲取的激光點(diǎn)云測距信息相結(jié)合，有效地檢測環(huán)衛(wèi)車作業(yè)范圍內(nèi)行人的存在，通過智能控制算法實(shí)現(xiàn)自動關(guān)?；驕p小車輛作業(yè)核心裝置的控制效果，在避免影響到行人或非機(jī)動車輛的前提下，保證車輛作業(yè)面積和范圍。

2 系統(tǒng)設(shè)計

2.1 方案設(shè)計

通常情況下，環(huán)衛(wèi)車輛的核心作業(yè)裝置應(yīng)只對工作范圍內(nèi)出現(xiàn)的行人進(jìn)行避讓，而無須對工作范圍外的人員做出反應(yīng)。因此本方案關(guān)注的兩個問題為視野中是否檢測到行人以及行人是否在工作范圍內(nèi)。對于第一個問題，可采用行人檢測算法進(jìn)行可視范圍內(nèi)的行人檢測，考慮到基于單目的視覺方案雖能完成行人目標(biāo)辨識，但無法獲得行人的距離信息，而雙目方案雖能同時獲取距離信息但計算量過大，對算法平臺要求高且實(shí)時性較差[3]，因此本方案采用激光雷達(dá)結(jié)合基于單目視覺的行人檢測模塊進(jìn)行協(xié)同工作，為系統(tǒng)提供行人的實(shí)際距離信息。

在實(shí)際實(shí)施中，車輛兩側(cè)各配備一組16線激光雷達(dá)與相機(jī)，相機(jī)獲取環(huán)衛(wèi)車周圍路面圖像，并傳送至控制器進(jìn)行行人檢測。激光雷達(dá)則在工作過程中向外發(fā)射激光，并接收目標(biāo)反射信號構(gòu)成激光點(diǎn)云，經(jīng)信號處理后快速準(zhǔn)確地獲取汽車車身周圍的物理環(huán)境信息，以判斷環(huán)衛(wèi)車作業(yè)范圍內(nèi)是否有障礙物的存在，并將障礙物的測距信息傳送至控制器內(nèi)進(jìn)行處理。當(dāng)行人檢測算法識別出視野中的行人目標(biāo)存在，且激光測距的結(jié)果判斷該目標(biāo)處于車輛工作范圍內(nèi)，即關(guān)斷或減小核心作業(yè)裝置的相應(yīng)側(cè)閥門，上述協(xié)同工作的流程如圖1所示。

2.2 行人檢測、

在本方案中，行人檢測模塊由攝像頭模組結(jié)合運(yùn)算平臺搭載的行人檢測算法完成，攝像頭獲取路面圖像信息后，通過行人檢測算法完成對行人的識別。本方案采取方向梯度直方圖（Histogram of Oriented Gradi? cehnitn， eH，OSVGM） 特） 分征類結(jié)器合進(jìn)支行持行人向檢量測機(jī)[4（-S5]，u能pp有ort效V檢ec測tor出M步a?行行人及駕駛非機(jī)動車的行人。算法的整體工作流程以及所獲得的城市街道行人檢測效果分別如圖2（a） 、（b） 所示。從實(shí)驗(yàn)效果來看，受限于采樣圖片的分辨率等因素，該行人檢測算法對于遠(yuǎn)處、有遮擋的行人識別效果不佳，但對于近處無遮擋的步行行人以及非機(jī)動車駕駛行人具有較高的識別率，滿足整體方案的要求。

2.3 激光雷達(dá)測距

采用上述行人檢測算法識別出視野內(nèi)的行人目標(biāo)后，輸出目標(biāo)的檢測框。為了獲取行人目標(biāo)的真實(shí)位置信息，需要將雷達(dá)獲得的點(diǎn)云數(shù)據(jù)與圖像數(shù)據(jù)預(yù)先進(jìn)行關(guān)聯(lián)，以便對檢測框內(nèi)的點(diǎn)云深度信息進(jìn)行提取。為了完成上述關(guān)聯(lián)，需要將雷達(dá)數(shù)據(jù)和圖像數(shù)據(jù)進(jìn)行時間與空間上的雙重匹配[6]。

時間匹配指的是不同傳感器的每次有效協(xié)同采樣應(yīng)該為同一時刻所獲取，通常可將不同傳感器的數(shù)據(jù)統(tǒng)一至掃描周期較長的傳感器上，同時采集一幀雷達(dá)數(shù)據(jù)與一幀圖像數(shù)據(jù)。由于環(huán)衛(wèi)車在城市街道進(jìn)行作業(yè)時的行駛速度一般不高，最高時速限制在20至30km/h左右，相機(jī)的采集幀率可以選取為30fps，激光雷達(dá)的掃描幀率為10Hz，為了保持時間匹配，協(xié)同采樣的幀率選取可以統(tǒng)一至雷達(dá)掃描幀率，如圖3所示。

空間匹配則是按照標(biāo)定法則，對雷達(dá)坐標(biāo)系和相機(jī)獲取的圖像坐標(biāo)系進(jìn)行匹配，并將激光雷達(dá)獲取的三維點(diǎn)云投影至二維圖像平面上。圖像數(shù)據(jù)中的一個像素點(diǎn)p（u，v） 與其相對應(yīng)的雷達(dá)數(shù)據(jù)掃描點(diǎn)P （x，y，z ）可通過下述轉(zhuǎn)換關(guān)系，進(jìn)行轉(zhuǎn)換求取[7-8]。

其中ZC 為相機(jī)光軸，M 為相機(jī)內(nèi)參矩陣，由相機(jī)橫縱焦距、光學(xué)中心位置等確定;R 和T 分別為兩坐標(biāo)系轉(zhuǎn)換的旋轉(zhuǎn)矩陣和平移向量，可使用自動駕駛軟件平臺Autoware的標(biāo)定工具Calibration Tool Kit進(jìn)行確定。在像素點(diǎn)原有維度上添加雷達(dá)的y 分量，表示與障礙物的距離，擴(kuò)展為p′（u，v，y ）。

當(dāng)獲取行人目標(biāo)的檢測框后，選取檢測框中心點(diǎn)、檢測框中心點(diǎn)與檢測框四角連線的中間點(diǎn)共5個像素點(diǎn)，如圖4中O、A′、B′、C′、D′所示，對其y 分量求均（值 作 為 該 行 人 目 標(biāo)） 的 實(shí) 際 距 離 yˉ，即 yˉ = yO + yA′ + yB′ + yC′ + yD′ 5。

2.4 控制算法設(shè)計

當(dāng)視野內(nèi)檢測到多個行人目標(biāo)時，總以距離最近的行人作為參照調(diào)節(jié)環(huán)衛(wèi)車作業(yè)機(jī)構(gòu)的閥門開度。在應(yīng)用中，可以根據(jù)實(shí)際工作的不同的需求設(shè)置以下兩種工作模式：即停式與調(diào)節(jié)式。

即停式為在工作范圍內(nèi)一旦檢測到行人存在，即yˉmin ≤ yTH 時，立即關(guān)閉相應(yīng)側(cè)執(zhí)行機(jī)構(gòu)，其中yˉmin 為最近的行人距離，yTH 為由環(huán)衛(wèi)車工作影響范圍大小所確定的閾值，當(dāng)行人處于環(huán)衛(wèi)車作業(yè)范圍外時再進(jìn)行相應(yīng)側(cè)執(zhí)行機(jī)構(gòu)的開啟。即停工作模式受攝像頭角度范圍制約，可能造成執(zhí)行機(jī)構(gòu)的提前開啟而影響行人。

調(diào)節(jié)式為當(dāng)工作范圍內(nèi)出現(xiàn)行人時，利用行人的距離信息進(jìn)行執(zhí)行機(jī)構(gòu)工作閥門開度的調(diào)節(jié)，在行人距環(huán)衛(wèi)車的距離由大變小時調(diào)小閥門開度，距離變大時調(diào)大閥門開度，至行人離開環(huán)衛(wèi)車作業(yè)范圍外時閥門開度恢復(fù)至設(shè)定的初始最大值。本文引入神經(jīng)網(wǎng)絡(luò)中常見的激活函數(shù)Sigmoid函數(shù)，對其進(jìn)行修改優(yōu)化后控制作業(yè)機(jī)構(gòu)閥門開度，具體閥門開度與行人距離的對應(yīng)關(guān)系為：

其中參數(shù)N 根據(jù)yTH 的值進(jìn)行確定，N 值越大，S型函數(shù)的整體向右偏移越大，通過設(shè)置合適的N 值，可以在距離較小時獲得適當(dāng)?shù)摹八绤^(qū)”，以達(dá)到當(dāng)行人處于較近距離內(nèi)時閥門無法開啟的效果。如圖5所示，當(dāng)設(shè)置N 值為12，從相應(yīng)的閥門開度曲線可以看出，行人距離小于3米時閥門基本處于關(guān)閉狀態(tài)，當(dāng)行人距離為9米時，閥門基本完全打開。

3 結(jié)論

本文設(shè)計了一種基于視覺圖像與激光雷達(dá)感知融合的智能環(huán)衛(wèi)車系統(tǒng)方案。通過基于HOG+SVM的行人檢測算法檢測視野范圍內(nèi)是否存在行人，檢測到行人目標(biāo)存在后，通過提取行人目標(biāo)檢測框內(nèi)的激光雷達(dá)深度信息，獲取行人距離并判斷其是否處于環(huán)衛(wèi)車作業(yè)范圍內(nèi)。若在環(huán)衛(wèi)車輛行駛作業(yè)過程中檢測到作業(yè)范圍內(nèi)行人存在，則根據(jù)行人距離自動調(diào)整車輛作業(yè)核心裝置的閥門開度。該方案提升了環(huán)衛(wèi)車的智能化水平，節(jié)約了人力物力，能夠有效降低環(huán)衛(wèi)車輛作業(yè)期間對行人產(chǎn)生的干擾。