基于多視覺傳感器的泊車輔助系統(tǒng)設(shè)計

郭劍鷹 周小兵 管西強(qiáng)

1、2 華域汽車股份有限公司 3 上海交通大學(xué)

0 引言

隨著科學(xué)技術(shù)的飛速發(fā)展，汽車工業(yè)近年來面臨著重大革新，自動駕駛已經(jīng)成為各大汽車廠商和高校的研究熱點[1-3]。根據(jù)自動駕駛技術(shù)分級，L1級別的輔助駕駛是目前最為可行技術(shù)方案。這其中，泊車輔助系統(tǒng)，已經(jīng)逐漸成為各大汽車品牌在新產(chǎn)品中的標(biāo)準(zhǔn)配置[2]。然而，由于傳統(tǒng)的泊車輔助系統(tǒng)方案中，車位感知主要通過超聲波雷達(dá)進(jìn)行。由于超聲波雷達(dá)的工作原理的局限性，使得該方案對于車位場景的適應(yīng)性較差，例如前后均無車的停車場中，該方案無法檢測出車位，從而使得基于超聲波雷達(dá)的泊車功能失效。此外，由于超聲波雷達(dá)的抗干擾特性較差，對于車位尺寸及坐標(biāo)的檢測精度也較差，進(jìn)一步削弱了該方案的適用性[4]。

為了提高泊車輔助系統(tǒng)的適用范圍，本文基于傳統(tǒng)超聲波泊車輔助系統(tǒng)，提出一種更為精確的基于多視覺傳感器的車位檢測技術(shù)。相對于單攝像頭方案[5, 6]，本文提出的多視覺傳感器方案，不僅能夠?qū)崿F(xiàn)車位的檢測成功率，還能通過多攝像頭在泊車過程中對車位尺寸進(jìn)行修正，再結(jié)合泊車控制器，實現(xiàn)高精度高成功率的泊車輔助功能。

1 泊車輔助系統(tǒng)架構(gòu)設(shè)計

基于多視覺傳感器的泊車輔助系統(tǒng)架構(gòu)如圖1所示。該系統(tǒng)主要由感知系統(tǒng)、中央控制器、執(zhí)行機(jī)構(gòu)和人機(jī)交互系統(tǒng)等組成，其中車位識別通過感知系統(tǒng)實現(xiàn)，中央控制器利用感知系統(tǒng)獲得的車位及障礙物等信息，進(jìn)行故障診斷、泊車控制和障礙物檢測處理等，并通過CAN總線將顯示信息和控制信號分別發(fā)送至人機(jī)交互系統(tǒng)和執(zhí)行機(jī)構(gòu)，通過人機(jī)交互系統(tǒng)對駕駛員進(jìn)行選換擋、制動和停車的信息提示和報警提醒，利用執(zhí)行機(jī)構(gòu)對車輛的轉(zhuǎn)向執(zhí)行機(jī)構(gòu)進(jìn)行自動控制，最終實現(xiàn)車輛的泊車輔助功能。

圖1 泊車輔助系統(tǒng)架構(gòu)

Fig.1 Architecture of parking assistance system

該泊車輔助系統(tǒng)中的感知系統(tǒng)主要由超聲波雷達(dá)和視覺傳感器(即廣角數(shù)字?jǐn)z像頭)兩部分組成，考慮到傳統(tǒng)超聲波雷達(dá)的車位檢測技術(shù)較為成熟，本文主要針對感知系統(tǒng)部分中的多視覺傳感器技術(shù)進(jìn)行研究分析，擬通過多攝像頭對泊車過程中車位的尺寸進(jìn)行修正，再結(jié)合泊車控制器，實現(xiàn)高精度高成功率的泊車輔助功能。

2 基于視覺的車位檢測方法

基于視覺的車位檢測技術(shù)[5, 7, 8]，其算法架構(gòu)如圖2所示。首先，在泊車輔助系統(tǒng)運行后進(jìn)行攝像機(jī)內(nèi)外參數(shù)讀取、逆透視變換參數(shù)讀取以及環(huán)視鳥瞰圖參數(shù)的初始化。各參數(shù)初始化后，利用安裝在車身左右的兩路攝像機(jī)進(jìn)行圖像的在線實時采集，并同時進(jìn)行去畸變圖像矯正和逆透視變換，對生成的俯瞰圖進(jìn)行圖像分割，然后通過設(shè)計的直線檢測算法進(jìn)行車位檢測。

圖2 基于視覺的車位檢測算法架構(gòu)Fig.2 Vision-based architecture of parking space detection algorithm

結(jié)合以上架構(gòu)，本文對具體的算法步驟進(jìn)行了詳細(xì)的設(shè)計，基于視覺的車位檢測與識別流程如圖3所示。

3 車位檢測關(guān)鍵技術(shù)

3.1 圖像灰度化

灰度轉(zhuǎn)化是常用的圖像處理方法，在灰度化的情況進(jìn)行圖像處理不僅能夠節(jié)省內(nèi)存，而且還能提高后續(xù)工作的效率。為了最大程度上減少失去的原圖信息，對彩色圖像進(jìn)行灰度轉(zhuǎn)換，其公式表達(dá)為：

圖3 車位檢測與識別流程Fig.3 Parking space detection and identification process

Gray=a×R+b×G+c×B

(1)

式中，a、b、c分別是灰度圖像中R、G、B三色通道的加權(quán)值。

車位線一般是黃色或白色的直線段，對于白色的車位線可采用傳統(tǒng)的灰度化方法，但是對于黃色車位線，傳統(tǒng)的灰度化方法并不能很好的將車位線與背景分離開來。因此，本文對灰度化中各通道的加權(quán)值進(jìn)行了分析對比，最終得出當(dāng)a=0.8,b=0.05,c=-0.6時能得到比較好的灰度圖像。如圖4所示，改進(jìn)后的灰度化方法更能突出目標(biāo)車位線有利于后續(xù)車位線提取。

圖4 改進(jìn)前后灰度化效果對比

Fig.4 Comparison of graying effect before and after improvement

3.2 俯瞰圖生成

為了覆蓋盡可能多的車位線、獲取更加豐富的環(huán)境信息，采用了魚眼廣角攝像頭，同時也帶來了圖像畸變，使得圖像中的對象喪失其固有的特征，不利于后續(xù)的車位線識別。因此，需要對攝像頭進(jìn)行內(nèi)參及外參標(biāo)定，并通過畸變校正和逆投影變換將原始圖像轉(zhuǎn)化為相應(yīng)的俯瞰圖。本文采用張正友標(biāo)定法[9]對攝像頭進(jìn)行內(nèi)、外參標(biāo)定，并利用得到的參數(shù)生成從畸變圖像到俯瞰圖的map圖，用于實時的圖像轉(zhuǎn)化。如圖5所示，經(jīng)過畸變矯正及逆投影變換后得到的俯瞰圖中的車位線特征更加容易檢測，更好地反映了車位線為固定寬度的直線，車位線夾角為90°、60°、120°等特征。

圖5 原始圖像和俯瞰圖中車位特征對比

Fig.5 Comparison of parking space features between original image and aerial view

3.2 直線對及交點提取

車位線一般由固定寬度的直線段組成，而固定寬度的直線對在Hough空間中是具有相同角度距離值的固定亮點對，如圖6所示，圖(a)中直線對L1和L2對應(yīng)圖(b)中的亮點對P1和P2。因此，原始圖像中的直線對提取可以轉(zhuǎn)化為Hough空間中的亮點對提取[10,11]。

圖6 俯瞰圖中的Hough變換

Fig.6 Hough transform in aerial view

為了提取Hough空間中的亮點對，本文設(shè)計了如圖7及式(2)所示的一維濾波器，遍歷Hough空間中的各點，其中的W代表車位線寬度，一般取為15 cm。

S(θ,ρ)=PH+PL-HS(θ,ρ)-HS(θ,ρ-W)-

HS(θ,ρ+W)

(2)

式中，PH、PL分別為上、下亮點鄰域的Hough變換最大值，以便提高算法的魯棒性。HS(θ,ρ)、HS(θ,ρ-W)、HS(θ,ρ+W)分別為亮點對中心、亮點中心上W和亮點中心下W處的Hough變換值。

圖7 一維亮點對提取濾波器Fig.7 One-dimensional bright spot pair extraction filter

為了避免由于Hough變換值的不同，導(dǎo)致S(θ,ρ)基準(zhǔn)值的變化，將其作歸一化處理：

(3)

式中，L(θ,ρ)為亮點中心概率密度，越大的值代表該候選點是泊車位線的可能性越大。

對計算出來的亮點中心概率密度，設(shè)定閾值。當(dāng)L(θ,ρ)大于該閾值時便認(rèn)為是候選泊車位線，如式(4)所示。此外，為了消除光線、噪聲等因素的干擾，檢測出來的候選亮點對需進(jìn)一步的聚類處理，具體為判斷Hough空間里的候選點間的距離。

(4)

式中，C(θ,ρ)為該亮點對是否為候補(bǔ)泊車位線標(biāo)志，L0為設(shè)定的判斷閾值。

確定候選亮點中心的(θ,ρ)后，可通過式(5)確定候選的車位線交點。

(5)

式中，(θ1,ρ1)和(θ2,ρ2)為兩個候選中心點，x、y為交點坐標(biāo)。

3.3 車位線角點提取

雖然直線對檢測可以提取出大部分的車位線，但是由于車輛泊車環(huán)境較為復(fù)雜，存在光線變化、鄰車干擾、非停車位線等影響，往往會給車位檢測帶來干擾，出現(xiàn)如圖8所示的誤檢測。為了消除這些干擾，需要對提取出來的車位交點作進(jìn)一步篩選以獲得真實有效的車位角點。一般平行及垂直車位的角點鄰域是如圖9所示的“T”字型或“L”字型特征區(qū)域，可通過對該區(qū)域特征的識別進(jìn)行車位線角點的進(jìn)一步篩選。

圖8 可能的誤檢測

Fig.8 Possible error detection

對候補(bǔ)車位角點鄰域通過Sobel算子分別取水平和垂直梯度值，并分別統(tǒng)計該鄰域內(nèi)的水平及垂直梯度總值。當(dāng)該區(qū)域內(nèi)的水平及垂直梯度均大于相應(yīng)的閾值后，便認(rèn)為候選角點為真實的車位角點，否則為誤檢測點，如圖10和圖11所示。

3.4 后攝像頭修正

目前常用的基于攝像頭的車位檢測是根據(jù)側(cè)向攝像頭拍攝的畫面進(jìn)行車位檢測，車輛距離車位線較遠(yuǎn)且多是在車輛以較高車速向前行駛時段，因此會帶來一定的延遲。為了對減少標(biāo)定、延遲等帶來的誤差，本文中對側(cè)向攝像頭得到的車位在車輛泊車過程中通過后攝像頭對車位線坐標(biāo)進(jìn)行修正。此時后攝像頭距離車位線較近且車速較低，檢測得到的車位線坐標(biāo)精度更高。

圖9 實際車位線角點特征Fig.9 Characteristics of corner points of actual parking spaces

圖10 真實車位線角點

Fig.10 Corner of real parking space

圖11 誤檢測車位線角點

Fig.11 Corner of error detection

4 系統(tǒng)功能實車測試驗證

實驗平臺如圖12所示，包括4個魚眼攝像頭、輪速傳感器、電動助力轉(zhuǎn)向系統(tǒng)(EPS車輛自身配備)。

圖12 實驗平臺Fig.12 Experimental platform

基于該實驗平臺，在不同車速和側(cè)向距離下，對基于多視覺傳感器的泊車輔助系統(tǒng)進(jìn)行了水平和垂直泊車測試，如圖13和圖14所示。

相同的測試環(huán)境下，后攝像頭修正前后的泊車誤差統(tǒng)計如表1所示，從統(tǒng)計結(jié)果中可以看出修正后的泊車效果均方根誤差更小、穩(wěn)定性更好。

圖13 基于攝像頭的水平泊車

Fig.13 Horizontal parking based on camera

表1 后攝像頭修正前后泊車誤差

5 結(jié)語

本文設(shè)計出一種基于多視覺傳感器的泊車輔助系統(tǒng)，并針對車位檢測與識別過程及相關(guān)技術(shù)進(jìn)行了詳細(xì)的研究，提出一種泊車過程中利用車輛后攝像頭修正車位檢測精度的方法，并開展了相應(yīng)的算法設(shè)計。

圖14 基于攝像頭的垂直泊車

Fig.14 Vertical parking based on camera

根據(jù)設(shè)計的基于多視覺傳感器的泊車輔助系統(tǒng)架構(gòu)，本文基于某型SUV車輛進(jìn)行了實車改裝和傳感器的安裝與標(biāo)定。通過水平泊車和垂直泊車，對該泊車輔助系統(tǒng)進(jìn)行了功能驗證。在停車試驗場地中，該系統(tǒng)能夠?qū)囄贿M(jìn)行精確的檢測與識別，通過中央控制器對駕駛員進(jìn)行選換擋及制動等提醒，對車輛轉(zhuǎn)向系統(tǒng)進(jìn)行自動控制，最終實現(xiàn)高精度的泊車過程，使車輛能夠準(zhǔn)確地到達(dá)泊車位中心位置。