基于多視覺(jué)傳感器的泊車(chē)輔助系統(tǒng)設(shè)計(jì)

郭劍鷹 周小兵 管西強(qiáng)

(1.華域汽車(chē)股份有限公司,上海 200041;2.上海交通大學(xué),上海 200240)

0 引言

隨著科學(xué)技術(shù)的飛速發(fā)展，汽車(chē)工業(yè)近年來(lái)面臨著重大革新，自動(dòng)駕駛已經(jīng)成為各大汽車(chē)廠商和高校的研究熱點(diǎn)[1-3]。根據(jù)自動(dòng)駕駛技術(shù)分級(jí)，L1級(jí)別的輔助駕駛是目前最為可行技術(shù)方案。這其中，泊車(chē)輔助系統(tǒng)，已經(jīng)逐漸成為各大汽車(chē)品牌在新產(chǎn)品中的標(biāo)準(zhǔn)配置[2]。然而，由于傳統(tǒng)的泊車(chē)輔助系統(tǒng)方案中，車(chē)位感知主要通過(guò)超聲波雷達(dá)進(jìn)行。由于超聲波雷達(dá)的工作原理的局限性，使得該方案對(duì)于車(chē)位場(chǎng)景的適應(yīng)性較差，例如前后均無(wú)車(chē)的停車(chē)場(chǎng)中，該方案無(wú)法檢測(cè)出車(chē)位，從而使得基于超聲波雷達(dá)的泊車(chē)功能失效。此外，由于超聲波雷達(dá)的抗干擾特性較差，對(duì)于車(chē)位尺寸及坐標(biāo)的檢測(cè)精度也較差，進(jìn)一步削弱了該方案的適用性[4]。

為了提高泊車(chē)輔助系統(tǒng)的適用范圍，本文基于傳統(tǒng)超聲波泊車(chē)輔助系統(tǒng)，提出一種更為精確的基于多視覺(jué)傳感器的車(chē)位檢測(cè)技術(shù)。相對(duì)于單攝像頭方案[5,6]，本文提出的多視覺(jué)傳感器方案，不僅能夠?qū)崿F(xiàn)車(chē)位的檢測(cè)成功率，還能通過(guò)多攝像頭在泊車(chē)過(guò)程中對(duì)車(chē)位尺寸進(jìn)行修正，再結(jié)合泊車(chē)控制器，實(shí)現(xiàn)高精度高成功率的泊車(chē)輔助功能。

1 泊車(chē)輔助系統(tǒng)架構(gòu)設(shè)計(jì)

基于多視覺(jué)傳感器的泊車(chē)輔助系統(tǒng)架構(gòu)如圖1所示。該系統(tǒng)主要由感知系統(tǒng)、中央控制器、執(zhí)行機(jī)構(gòu)和人機(jī)交互系統(tǒng)等組成，其中車(chē)位識(shí)別通過(guò)感知系統(tǒng)實(shí)現(xiàn)，中央控制器利用感知系統(tǒng)獲得的車(chē)位及障礙物等信息，進(jìn)行故障診斷、泊車(chē)控制和障礙無(wú)檢測(cè)處理等，并通過(guò)CAN總線將控制信號(hào)及顯示信號(hào)發(fā)送至人機(jī)交互系統(tǒng)和執(zhí)行機(jī)構(gòu)，通過(guò)人機(jī)交互系統(tǒng)對(duì)駕駛員進(jìn)行選換檔、制動(dòng)和停車(chē)的信息提示和報(bào)警提醒，利用執(zhí)行機(jī)構(gòu)對(duì)車(chē)輛的轉(zhuǎn)向執(zhí)行機(jī)構(gòu)進(jìn)行自動(dòng)控制，最終實(shí)現(xiàn)車(chē)輛的泊車(chē)輔助功能。

圖1 泊車(chē)輔助系統(tǒng)架構(gòu)

該泊車(chē)輔助系統(tǒng)中的感知系統(tǒng)主要分為超聲波雷達(dá)和視覺(jué)傳感器(即廣角數(shù)字?jǐn)z像頭)，考慮到傳統(tǒng)超聲波雷達(dá)的車(chē)位檢測(cè)技術(shù)日趨成熟，本文主要針對(duì)感知系統(tǒng)部分中的多視覺(jué)傳感器技術(shù)進(jìn)行研究分析，擬通過(guò)多攝像頭在泊車(chē)過(guò)程中對(duì)車(chē)位尺寸進(jìn)行修正，再結(jié)合泊車(chē)控制器，實(shí)現(xiàn)高精度高成功率的泊車(chē)輔助功能。

2 基于視覺(jué)的車(chē)位檢測(cè)方法

基于視覺(jué)的車(chē)位檢測(cè)技術(shù)[5,7,8]，其算法架構(gòu)如圖2所示。首先，在泊車(chē)輔助系統(tǒng)運(yùn)行后進(jìn)行包括攝像機(jī)內(nèi)外參數(shù)讀取、逆透視變換參數(shù)讀取以及環(huán)視?shū)B(niǎo)瞰圖參數(shù)的初始化。各參數(shù)初始化后，利用安裝在車(chē)身左右的兩路攝像機(jī)進(jìn)行在線實(shí)時(shí)采集，并同時(shí)去畸變進(jìn)行圖像矯正和逆透視變換，對(duì)生成的俯瞰圖進(jìn)行圖像分割，然后通過(guò)設(shè)計(jì)的直線檢測(cè)算法進(jìn)行車(chē)位檢測(cè)。

結(jié)合以上架構(gòu)，本文對(duì)具體的算法步驟進(jìn)行了詳細(xì)的設(shè)計(jì)，基于視覺(jué)的車(chē)位檢測(cè)與識(shí)別流程如圖3所示。

圖2 基于視覺(jué)的車(chē)位檢測(cè)算法架構(gòu)

Fig.2 Vision-based parking space detection algorithm architecture

3 車(chē)位檢測(cè)關(guān)鍵技術(shù)

3.1 圖像灰度化

灰度轉(zhuǎn)化是常用的圖像處理方法，在灰度化的情況進(jìn)行圖像處理不僅能夠節(jié)省內(nèi)存，而且還能提高后續(xù)工作的效率。為了最大程度上減少失去的原圖信息，對(duì)彩色圖像進(jìn)行灰度轉(zhuǎn)換，其公式表達(dá)為：

Gray=a×R+b×G+c×B

(1)

式中，a,b,c是灰度圖像中各顏色通道的權(quán)值。

圖3 車(chē)位檢測(cè)與識(shí)別流程

車(chē)位線一般是黃色或白色的直線段，對(duì)于白色的車(chē)位線可采用傳統(tǒng)的灰度化方法，但是對(duì)于黃色車(chē)位線傳統(tǒng)的灰度化方法并不能很好的將車(chē)位線與背景分離開(kāi)來(lái)。因此，本文對(duì)灰度化中各通道的加權(quán)值進(jìn)行了分析對(duì)比，最終得出a=0.8,b=0.05,c=-0.6能得到比較好的灰度圖像。如圖4所示，改進(jìn)后的灰度化方法更能突出目標(biāo)車(chē)位線有利于后續(xù)車(chē)位線提取。

(a) 原始的灰度化效果

(b) 改進(jìn)后的灰度化效果

Fig.4 Comparison of graying effects before and after improvement

3.2 俯瞰圖生成

為了覆蓋盡可能多的車(chē)位線、獲取更加豐富的環(huán)境信息，采用了魚(yú)眼廣角攝像頭，但是帶來(lái)了圖像畸變，使得圖像中的對(duì)象喪失其固有的特征不利于后續(xù)的車(chē)位線識(shí)別。因此，需要對(duì)攝像頭進(jìn)行內(nèi)參及外參標(biāo)定并通過(guò)畸變校正和逆投影變換將原始圖像轉(zhuǎn)化為相應(yīng)的俯瞰圖。本文采用張正友標(biāo)定法[9]對(duì)攝像頭進(jìn)行內(nèi)、外參標(biāo)定并利用得到的參數(shù)生成從畸變圖像到俯瞰圖的map圖用于實(shí)時(shí)的圖像轉(zhuǎn)化。如圖5所示，經(jīng)過(guò)畸變矯正及逆投影變換后得到的俯瞰圖中的車(chē)位線特征更加容易檢測(cè)，更好地反映了車(chē)位線為固定寬度的直線，車(chē)位線夾角為90°，60°，120°等特征。

3.2 直線對(duì)及交點(diǎn)提取

車(chē)位線一般由固定寬度的直線段組成，而固定寬度的直線對(duì)在Hough空間中是具有相同角度距離值固定的亮點(diǎn)對(duì)，如圖6所示，圖(a)中直線對(duì)L1和L2對(duì)應(yīng)圖(b)中的亮點(diǎn)對(duì)P1和P2。因此，原始圖像中的直線對(duì)提取可以轉(zhuǎn)化為Hough空間中的亮點(diǎn)對(duì)提取[10,11]。

為了提取Hough空間中的亮點(diǎn)對(duì)，本文設(shè)計(jì)了如圖7及式所示一維濾波器遍歷Hough空間中的各點(diǎn)，其中的W代表車(chē)位線寬度，一般取為15 cm。

(2)

式中，PH，PL分別為上、下亮點(diǎn)鄰域的Hough變換最大值，以便提高算法的魯棒性。HS(θ,ρ),HS(θ,ρ-W),HS(θ,ρ+W)分別為亮點(diǎn)對(duì)中心、亮點(diǎn)中心上W和亮點(diǎn)中心下W處的Hough變換值。

(a) 垂直車(chē)位原始圖像

(b) 垂直車(chē)位俯瞰圖

(c) 斜向車(chē)位原始圖像

(d) 斜向車(chē)位俯瞰圖

(a) 俯瞰后的二值圖

(b) Hough空間值

為了避免由于Hough變換值的不同，導(dǎo)致S(θ,ρ)基準(zhǔn)值的變化。將其作歸一化處理：

(3)

式中，L(θ,ρ)為亮點(diǎn)中心概率密度，越大的值代表該候選點(diǎn)是泊車(chē)位線的可能性越大。

圖7 一維亮點(diǎn)對(duì)提取濾波器

對(duì)計(jì)算出來(lái)的亮點(diǎn)中心概率密度，設(shè)定閾值：當(dāng)L(θ,ρ)大于該閾值時(shí)便認(rèn)為是候選泊車(chē)位線，如式(4)所示。此外，為了消除光線、噪聲等因素的干擾，對(duì)檢測(cè)出來(lái)的候選亮點(diǎn)對(duì)需進(jìn)一步的聚類(lèi)處理，具體為判斷Hough空間里的候選點(diǎn)間的距離。

(4)

式中，C(θ,ρ)為該亮點(diǎn)對(duì)是否為候補(bǔ)泊車(chē)位線標(biāo)志，L0為設(shè)定的判斷閾值。

確定候選亮點(diǎn)中心的(θ,ρ)后，可通過(guò)式確定候選的車(chē)位線交點(diǎn)。

(5)

式中，(θ1,ρ1)和(θ2,ρ2)為兩個(gè)候選中心點(diǎn)，x,y為交點(diǎn)坐標(biāo)。

3.3 車(chē)位線角點(diǎn)提取

雖然直線對(duì)檢測(cè)可以提取出大部分的車(chē)位線，但是由于車(chē)輛泊車(chē)環(huán)境較為復(fù)雜，存在光線變化、鄰車(chē)干擾、非停車(chē)位線等影響，往往會(huì)給車(chē)位檢測(cè)帶來(lái)干擾，出現(xiàn)如圖8所示的誤檢測(cè)。為了消除這些干擾，需要對(duì)提取出來(lái)的車(chē)位交點(diǎn)作進(jìn)一步篩選以獲得真實(shí)有效的車(chē)位角點(diǎn)。一般平行及垂直車(chē)位的角點(diǎn)鄰域是如圖9所示的“T”字型或“L”字型特征區(qū)域，可通過(guò)對(duì)該區(qū)域特征的識(shí)別進(jìn)行車(chē)位線角點(diǎn)的進(jìn)一步篩選。

(a) 誤檢測(cè)1

(b) 誤檢測(cè)2

圖9 實(shí)際車(chē)位線角點(diǎn)特征

對(duì)候補(bǔ)車(chē)位角點(diǎn)鄰域通過(guò)Sobel算子分別取水平和垂直梯度值，并分別統(tǒng)計(jì)該鄰域內(nèi)的水平及垂直梯度總值。當(dāng)該區(qū)域內(nèi)的水平及垂直梯度均大于相應(yīng)的閾值后，便認(rèn)為候選角點(diǎn)為真實(shí)的車(chē)位角點(diǎn)，否則為誤檢測(cè)點(diǎn)，如圖10和圖11所示。

(a) 鄰域二值圖(b) 水平梯度值(c) 垂直梯度值

圖10 真實(shí)車(chē)位線角點(diǎn)

圖11 誤檢測(cè)車(chē)位線角點(diǎn)

Fig.11 False detection of parking line corner points

3.4 后攝像頭修正

目前常用的基于攝像頭的車(chē)位檢測(cè)是根據(jù)側(cè)向攝像頭拍攝的畫(huà)面進(jìn)行車(chē)位檢測(cè)，車(chē)輛距離車(chē)位線較遠(yuǎn)且多是在車(chē)輛以較高車(chē)速向前行駛時(shí)段，因此會(huì)帶來(lái)一定的延遲。為了對(duì)減少標(biāo)定、延遲等帶來(lái)的誤差，本文中對(duì)側(cè)向攝像頭得到的車(chē)位在車(chē)輛泊車(chē)過(guò)程中通過(guò)后攝像頭對(duì)車(chē)位線坐標(biāo)進(jìn)行修正。此時(shí)后攝像頭距離車(chē)位線較近且車(chē)速較低，檢測(cè)得到的車(chē)位線坐標(biāo)精度更高。

4 系統(tǒng)功能實(shí)車(chē)測(cè)試驗(yàn)證

試驗(yàn)平臺(tái)如圖12所示，包括4個(gè)魚(yú)眼攝像頭、輪速傳感器、電動(dòng)助力轉(zhuǎn)向系統(tǒng)(EPS車(chē)輛自身配備)。

圖12 試驗(yàn)平臺(tái)

基于該試驗(yàn)平臺(tái)，在不同車(chē)速和側(cè)向距離下，對(duì)基于多視覺(jué)傳感器的泊車(chē)輔助系統(tǒng)進(jìn)行了水平和垂直泊車(chē)測(cè)試，如圖13和圖14所示。

圖13 基于攝像頭的水平泊車(chē)

圖14 基于攝像頭的垂直泊車(chē)

相同的測(cè)試環(huán)境下，后攝像頭修正前后的泊車(chē)誤差統(tǒng)計(jì)如表1所示，從統(tǒng)計(jì)結(jié)果中可以看出修正后的泊車(chē)效果均方根誤差更小、穩(wěn)定性更好。

表1 后攝像頭修正前后泊車(chē)誤差

5 結(jié)語(yǔ)

本文設(shè)計(jì)出一種基于多視覺(jué)傳感器的泊車(chē)輔助系統(tǒng)，并針對(duì)車(chē)位檢測(cè)與識(shí)別過(guò)程進(jìn)行了詳細(xì)的研究，對(duì)相關(guān)技術(shù)進(jìn)行了深入的分析和算法設(shè)計(jì)，提出一種泊車(chē)過(guò)程中利用車(chē)輛后攝像頭修正車(chē)位檢測(cè)精度的方法。

根據(jù)設(shè)計(jì)的泊車(chē)輔助系統(tǒng)架構(gòu)，本文基于某型SUV車(chē)輛進(jìn)行了實(shí)車(chē)改裝和傳感器的安裝與標(biāo)定。通過(guò)水平泊車(chē)和垂直泊車(chē)，對(duì)基于多視覺(jué)傳感器的泊車(chē)輔助系統(tǒng)進(jìn)行了功能驗(yàn)證。在停車(chē)試驗(yàn)場(chǎng)地中，該系統(tǒng)能夠?qū)?chē)位進(jìn)行精確的檢測(cè)與識(shí)別，通過(guò)中央控制器對(duì)駕駛員進(jìn)行選換檔及制動(dòng)等提醒，對(duì)車(chē)輛轉(zhuǎn)向系統(tǒng)進(jìn)行自動(dòng)控制，最終實(shí)現(xiàn)高精度的泊車(chē)過(guò)程，使車(chē)輛能夠準(zhǔn)確地到達(dá)泊車(chē)位中心位置。