泊車機(jī)器人障礙物視覺(jué)識(shí)別系統(tǒng)研究

王帥 楊建璽

摘要：針對(duì)智能停車庫(kù)中的泊車機(jī)器人視覺(jué)系統(tǒng)研究需求，提出一種基于雙目視覺(jué)的泊車機(jī)器人障礙物識(shí)別系統(tǒng)。通過(guò)雙目攝像頭進(jìn)行圖像采集，利用張正友棋盤(pán)標(biāo)定法進(jìn)行雙目相機(jī)標(biāo)定;采用Bouguet進(jìn)行立體校正，將高斯濾波與拉普拉斯算子相結(jié)合進(jìn)行圖像預(yù)處理;采用YOLO卷積神經(jīng)網(wǎng)絡(luò)對(duì)目標(biāo)障礙物進(jìn)行快速識(shí)別;利用區(qū)域匹配算法進(jìn)行立體匹配并生成目標(biāo)障礙物視差圖;通過(guò)成像點(diǎn)和目標(biāo)障礙物的立體幾何關(guān)系計(jì)算得到目標(biāo)障礙物的深度信息。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)具有良好的實(shí)時(shí)性和較高精度，障礙物識(shí)別時(shí)間平均為0.0901s，在2600mm具有最佳測(cè)距精度，可為泊車機(jī)器人自動(dòng)泊車提供保障。

關(guān)鍵詞：泊車機(jī)器人;雙目視覺(jué);相機(jī)標(biāo)定;立體匹配;YOLO卷積神經(jīng)網(wǎng)絡(luò)

DOI：10.11907/rjdk.191255

中圖分類號(hào)：TP303 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1672-7800（2019）012-0026-04

0引言

隨著人們生活水平的提高，汽車保有量呈井噴式增長(zhǎng)，停車成為日常出行的難題，智能停車庫(kù)應(yīng)運(yùn)而生，而作為其核心運(yùn)載工具的泊車機(jī)器人日趨受到科研人員關(guān)注，成為移動(dòng)機(jī)器人領(lǐng)域應(yīng)用重點(diǎn)。文獻(xiàn)[2]中提到的泊車機(jī)器人采用激光導(dǎo)航方式，可完成較高精度的導(dǎo)航，但遇到障礙物就會(huì)自動(dòng)停止，需人工干預(yù)，不能獲取障礙物三維信息而進(jìn)行自主避障;文獻(xiàn)[3]中由德國(guó)Serva Trans-port Systems GmbH公司研制的新型泊車機(jī)器人Ray雖已應(yīng)用到德國(guó)杜塞爾機(jī)場(chǎng)，但由于其采用3D激光掃描與激光導(dǎo)航方式，運(yùn)行速度不高，技術(shù)難度大，很難得到推廣;文獻(xiàn)[4]中的國(guó)產(chǎn)最新泊車機(jī)器人導(dǎo)航方式為“激光導(dǎo)引+磁釘導(dǎo)航”，雖能完成泊車導(dǎo)航，但前期需對(duì)停車場(chǎng)進(jìn)行較大改造，鋪設(shè)磁釘，使機(jī)器人運(yùn)行路徑固定，使用不方便，成本較大，缺少對(duì)泊車路徑上障礙物三維信息的檢測(cè)。

以上文獻(xiàn)中的泊車機(jī)器人雖能完成泊車導(dǎo)航功能，但均采用了激光導(dǎo)航技術(shù)，成本較高、技術(shù)難度大，不利于推廣，且缺少對(duì)泊車路徑上的障礙物（人為誤進(jìn)、車輛附屬物脫落等）進(jìn)行實(shí)時(shí)檢測(cè)并獲得障礙物三維信息的功能，易發(fā)生泊車事故。本文采用價(jià)格低廉的視覺(jué)傳感器代替成本較高的激光傳感器，利用雙目視覺(jué)技術(shù)，設(shè)計(jì)一套泊車機(jī)器人障礙物視覺(jué)識(shí)別系統(tǒng)，利用Matlab進(jìn)行雙目相機(jī)標(biāo)定，通過(guò)高斯濾波與拉普拉斯算子相結(jié)合進(jìn)行圖像預(yù)處理，采用YOLO卷積神經(jīng)網(wǎng)絡(luò)結(jié)合雙目視覺(jué)完成目標(biāo)障礙物的快速識(shí)別，具有成本低、精度較高并能實(shí)時(shí)獲得豐富的障礙物信息等優(yōu)勢(shì)，彌補(bǔ)了國(guó)內(nèi)泊車機(jī)器人缺少障礙物視覺(jué)識(shí)別功能的缺陷，為泊車機(jī)器人視覺(jué)避障奠定基礎(chǔ)。

1系統(tǒng)設(shè)計(jì)

障礙物視覺(jué)識(shí)別系統(tǒng)作為泊車機(jī)器人的“眼睛”，必須保證其實(shí)時(shí)性和準(zhǔn)確性，故本系統(tǒng)搭建雙目視覺(jué)系統(tǒng)以實(shí)時(shí)獲得豐富的環(huán)境信息。

系統(tǒng)由軟、硬件系統(tǒng)兩部分組成。硬件系統(tǒng)包括兩臺(tái)MV-3000UC相機(jī)、LP-03微調(diào)長(zhǎng)型云臺(tái)板、Inter i7、GTX970和16G內(nèi)存，軟件系統(tǒng)包括VS2015、Matlab2016a、OpenCV 3.3.0和Ubuntu14.04。

系統(tǒng)工作流程為：通過(guò)雙目相機(jī)捕捉前方障礙物的目標(biāo)圖像，采集的圖像經(jīng)過(guò)立體校正、預(yù)處理、YOLO障礙物識(shí)別、立體匹配和深度計(jì)算，實(shí)現(xiàn)泊車機(jī)器人障礙物視覺(jué)識(shí)別功能。系統(tǒng)工作流程如圖1所示。

2基于natlab的雙目相機(jī)標(biāo)定

由于OpenCV中的StereoCalibrate標(biāo)定結(jié)果極不穩(wěn)定，甚至?xí)玫胶芸鋸埖慕Y(jié)果，故本識(shí)別系統(tǒng)采用Matlab標(biāo)定工具箱進(jìn)行雙目相機(jī)標(biāo)定，標(biāo)定步驟如下：

（1）采用棋盤(pán)標(biāo)定法，利用Microvision USBDevice為左、右相機(jī)采集38張棋盤(pán)標(biāo)定圖片，并將圖片分別命名為leftl-38，rightl-38，棋盤(pán)格規(guī)格為25mmx25mm。

（2）左相機(jī)標(biāo)定：在Matlab環(huán)境下，調(diào)用Camera Cali-bration ToolBox，選擇Standard選項(xiàng)，通過(guò)Image names自動(dòng)讀取文件名為left的棋盤(pán)標(biāo)定圖片。

（3）點(diǎn)擊Extract grid corners完成對(duì)每張棋盤(pán)標(biāo)定圖片的角點(diǎn)檢測(cè)。檢測(cè)完成后利用Calibration進(jìn)行左相機(jī)標(biāo)定，驗(yàn)證標(biāo)定結(jié)果，去除誤差較大的圖像對(duì)，保存標(biāo)定結(jié)果。

（4）重復(fù)步驟（2）、步驟（3）進(jìn)行右相機(jī)標(biāo)定。

（5）在Matlab環(huán)境下，通過(guò)stereo_gui指令調(diào)用StereoCamera Calibration Toolbox，分別載人左右相機(jī)的標(biāo)定信息，執(zhí)行Run stereo calibration完成相機(jī)標(biāo)定，雙目標(biāo)定結(jié)果如圖2所示。

3基于openCV的Bouguet立體校正

根據(jù)雙目視差求解距離公式是在雙目視覺(jué)系統(tǒng)處在理想狀態(tài)下推導(dǎo)的，在實(shí)際操作中，由于相機(jī)畸變、相機(jī)裝配等原因，兩個(gè)相機(jī)完全共面行對(duì)準(zhǔn)的成像平面是不存在的。因此，必須對(duì)其進(jìn)行校正以減少實(shí)際誤差，校正步驟如下：

（1）共面：校正過(guò)程中兩個(gè)圖像平面均按照相機(jī)旋轉(zhuǎn)矩陣R旋轉(zhuǎn)一半，使重投影畸變最小。此時(shí)兩個(gè)相機(jī)圖像平面共面（畸變校正后光軸也平行），但是行不對(duì)準(zhǔn)。

（2）行對(duì)準(zhǔn)：極點(diǎn)是兩個(gè)相機(jī)坐標(biāo)系原點(diǎn)的連線和圖像平面的交點(diǎn)，要想使得極點(diǎn)處于無(wú)窮遠(yuǎn)處（行對(duì)準(zhǔn)），就必須使兩個(gè)相機(jī)的圖像平面和兩個(gè)相機(jī)坐標(biāo)系原點(diǎn)的連線平行，可通過(guò)計(jì)算Rrect矩陣使得極點(diǎn)處于無(wú)窮遠(yuǎn)處。

將Rrect左乘到旋轉(zhuǎn)矩陣R分解后，作用于左右相機(jī)坐標(biāo)系的矩陣，即可得到最終的立體校正矩陣。

4圖像預(yù)處理

由于電磁信號(hào)干擾、左右光照不同等因素，導(dǎo)致采集的圖像存在噪音，故本文設(shè)計(jì)一種圖像預(yù)處理算法以達(dá)到消除噪音并增強(qiáng)圖像邊緣的目的。

首先，將彩色圖像進(jìn)行灰度化處理。鑒于噪音是在拍攝時(shí)產(chǎn)生的，故采用高斯濾波器消除此噪音，但高斯濾波器將圖像進(jìn)行一定程度的模糊處理后圖像細(xì)節(jié)被破壞。針對(duì)這一問(wèn)題，采用拉普拉斯算子銳化圖像，提高圖像邊緣信息。

5障礙物識(shí)別與深度計(jì)算

5.1基于YOLO卷積神經(jīng)網(wǎng)絡(luò)的障礙物快速識(shí)別

YOLO全稱You Only Look Once，是一個(gè)十分容易構(gòu)造的目標(biāo)檢測(cè)算法，它將目標(biāo)區(qū)域預(yù)測(cè)和目標(biāo)類別預(yù)測(cè)整合于單個(gè)神經(jīng)網(wǎng)絡(luò)模型中，可在準(zhǔn)確率較高的情況下實(shí)現(xiàn)快速目標(biāo)檢測(cè)與識(shí)別，適合泊車機(jī)器人應(yīng)用環(huán)境。

YOLO卷積網(wǎng)絡(luò)模型共有24個(gè)卷積層和2個(gè)全連接層。其中，卷積層用來(lái)提取圖像特征，全連接層用來(lái)預(yù)測(cè)圖像位置和類別概率值。YOLO卷積神經(jīng)網(wǎng)絡(luò)采用PAS-CAL VOC數(shù)據(jù)訓(xùn)練卷積層，然后利用卷積層和全連接構(gòu)成RPN（Region Proposal Network）實(shí)現(xiàn)目標(biāo)的類別和物體位置預(yù)測(cè)。

YOLO目標(biāo)檢測(cè)算法：首先把輸入圖像劃分成SxS的格子，然后對(duì)每個(gè)格子都預(yù)測(cè)B個(gè)檢測(cè)框（bounding boxes），每個(gè)檢測(cè)框包含5個(gè)預(yù)測(cè)值：X，y，y，w，h和置信度（confi-dence）。其中，x、y是檢測(cè)框的中心坐標(biāo)，w、h是檢測(cè)框的寬與高，每個(gè)格子預(yù)測(cè)c個(gè)假定類別的概率，最后輸出特征圖，其大小為SxSx（Bx5+C）。

5.2立體匹配

立體匹配建立介于兩圖像平面之間3D特征點(diǎn)的對(duì)應(yīng)關(guān)系。由于泊車機(jī)器人障礙物視覺(jué)識(shí)別系統(tǒng)對(duì)實(shí)時(shí)性要求較高但對(duì)精度要求不高，故采用區(qū)域匹配算法完成立體匹配?；贠penCV的區(qū)域匹配算法步驟如圖3所示。

5.3深度計(jì)算

通過(guò)視差圖和標(biāo)定參數(shù)，將左右成像平面上的成像點(diǎn)轉(zhuǎn)化到3D空間，可求得障礙物目標(biāo)點(diǎn)的真實(shí)距離。重投影矩陣Q的表達(dá)式如下：

其中，（Cx，Cy）是左圖像主點(diǎn)，廠是左目相機(jī)焦距，Cx是右圖像上由Cx產(chǎn)生的坐標(biāo)，三維坐標(biāo)為（X/W，Y/W，Z/W），通過(guò)相機(jī)標(biāo)定的參數(shù)和公式（6）可計(jì)算障礙物目標(biāo)點(diǎn)的坐標(biāo)值。

6實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證系統(tǒng)的實(shí)時(shí)性與準(zhǔn)確性，對(duì)目標(biāo)障礙物在同一車庫(kù)環(huán)境不同距離情況下進(jìn)行識(shí)別。首先對(duì)左右圖像進(jìn)行預(yù)處理，把處理后的左相機(jī)圖像輸入YOLO卷積神經(jīng)網(wǎng)絡(luò)，確定立體匹配區(qū)域，然后通過(guò)立體匹配計(jì)算視差，最后利用雙目相機(jī)標(biāo)定參數(shù)計(jì)算出目標(biāo)區(qū)域中心點(diǎn)的實(shí)際距離。系統(tǒng)輸出的障礙物識(shí)別及深度信息如圖4所示。

通過(guò)9組實(shí)驗(yàn)得出的結(jié)果可知，該系統(tǒng)在2600mm距離處測(cè)距精度較高。隨著實(shí)際距離的增大或減小，測(cè)距精度都呈現(xiàn)下降趨勢(shì);該系統(tǒng)通過(guò)GPU加速能夠在100ms內(nèi)完成對(duì)目標(biāo)障礙物的快速識(shí)別，識(shí)別效率可滿足泊車機(jī)器人障礙物識(shí)別要求，系統(tǒng)性能分析如表1所示。

7結(jié)語(yǔ)

隨著汽車保有量的井噴式增長(zhǎng)，泊車機(jī)器人應(yīng)用前景將十分廣闊。本文論述了基于雙目視覺(jué)的泊車機(jī)器人障礙物識(shí)別系統(tǒng)。隨著科研工作者對(duì)機(jī)器視覺(jué)與人工智能研究的不斷深入，搭載單一視覺(jué)傳感器的泊車機(jī)器人有望研制成功。該機(jī)器人利用視覺(jué)傳感器完成泊車路徑規(guī)劃、障礙物實(shí)時(shí)檢測(cè)和自主避障，將硬件成本降到最低。但國(guó)內(nèi)外相關(guān)研究不夠深人，智能車庫(kù)環(huán)境下的視覺(jué)識(shí)別算法不成熟，硬件成本較高。針對(duì)這些問(wèn)題如何制造出低成本、高效率的泊車機(jī)器人將是未來(lái)研究的重點(diǎn)。