基于視覺和激光傳感器信息融合的樓梯結(jié)構(gòu)參數(shù)估計(jì)*

李艷杰, 劉 宸, 眭 晉

0 引 言

目前樓梯識(shí)別方法主要分為基于視覺傳感器的樓梯識(shí)別方法和基于激光傳感器的樓梯識(shí)別方法。Se S等人采用基于單目視覺傳感器的方法，對(duì)圖像進(jìn)行Gabor濾波，進(jìn)而用消失點(diǎn)約束來尋找階梯邊緣特征直線，最后利用單一性搜索方法估計(jì)樓梯偏移角。Lu X等人采用了融合立體視覺提取的三維邊緣點(diǎn)信息和單目視覺提取的圖像邊緣線的方法，獲得了樓梯的結(jié)構(gòu)參數(shù)，但精度有限，識(shí)別效果受環(huán)境影響比較大。與攝像頭對(duì)比，激光測(cè)距儀有測(cè)量精度高、受光照條件影響小、測(cè)量范圍大等優(yōu)點(diǎn)，在樓梯參數(shù)估計(jì)方面被大量使用。Theeravithayangkura C等人采取將單線激光雷達(dá)進(jìn)行旋轉(zhuǎn)的方式獲得稠密的三維點(diǎn)云，再將三維點(diǎn)云逐列提取線段并將線段聚合后提取樓梯的豎直平面，最后依據(jù)提取出的平行的豎直平面來構(gòu)建樓梯模型,但識(shí)別效果非常依賴提取線段的斷點(diǎn)位置，如果樓梯比較老舊、形狀不夠規(guī)則，無法保證成功構(gòu)建樓梯模型。O?wald S等人通過單線激光俯仰的方式獲得三維點(diǎn)云，采用改進(jìn)的線段分組方法進(jìn)行平面提取，進(jìn)而估計(jì)樓梯結(jié)構(gòu)參數(shù)。該方法依然對(duì)于樓梯有較高的要求，只有樓梯平面比較規(guī)則時(shí)才會(huì)有較好的效果。

本文提出了一種新的樓梯結(jié)構(gòu)參數(shù)估計(jì)方法,該方法精度較高、通用性強(qiáng)、對(duì)樓梯形狀是否規(guī)則沒有過高要求，可以通過后期校正處理光照等影響。

1 樓梯結(jié)構(gòu)參數(shù)確定

1.1 技術(shù)方案

本文根據(jù)室內(nèi)樓梯環(huán)境特點(diǎn)，考慮其他應(yīng)用(如自主避障)需求，以及前人經(jīng)驗(yàn)，應(yīng)用Pointgrey FL3-GE-03S2C-C工業(yè)千兆以太網(wǎng)相機(jī)和Velodyne VLP-16三維激光雷達(dá)組成的測(cè)距系統(tǒng)采集樓梯地形環(huán)境信息。工業(yè)相機(jī)采集的數(shù)據(jù)為分辨率為640×480的彩色圖片；激光雷達(dá)采集的數(shù)據(jù)為雷達(dá)坐標(biāo)系下的坐標(biāo)值。執(zhí)行攀爬任務(wù)前，機(jī)器人位于樓梯不遠(yuǎn)處且大致正對(duì)樓梯。圖1(a)為使用工業(yè)相機(jī)采集的樓梯模型圖像數(shù)據(jù)。圖1(b)為激光雷達(dá)采集圖像的俯視圖，其中緊密排列的矩形即為樓梯，特征明顯，且容易用數(shù)學(xué)方法表示和計(jì)算相關(guān)參數(shù)。

圖1 實(shí)驗(yàn)用樓梯及點(diǎn)云數(shù)據(jù)

如圖2所示為技術(shù)方案。

圖2 技術(shù)方案

定義機(jī)器人正前方為Y正軸，正右方為X正軸，正上方為Z正軸，將激光點(diǎn)云數(shù)據(jù)變換到機(jī)器人坐標(biāo)系下表示。

1.2 臺(tái)階深度與寬度確定

將圖1(b)點(diǎn)云數(shù)據(jù)投影到XY平面，發(fā)現(xiàn)在激光雷達(dá)位置高于臺(tái)階時(shí)，有相當(dāng)大的概率會(huì)使激光點(diǎn)落到臺(tái)階水平面上，給直線的提取帶來問題，所以，保留激光雷達(dá)坐標(biāo)系下Z>0的激光點(diǎn)。

為了利用霍夫變換算法，本文將激光點(diǎn)云俯視圖處理為二值圖像。處理時(shí)要記錄下每一個(gè)像素與點(diǎn)云數(shù)據(jù)的對(duì)應(yīng)關(guān)系，目的是利用從圖像中提取出的特征線段坐標(biāo)選出落到臺(tái)階立面上的點(diǎn)云數(shù)據(jù)。

利用霍夫變換提取直線。提取出樓梯特征直線后，首先區(qū)分樓梯臺(tái)階直線和扶手直線。

如果機(jī)器人與樓梯呈一個(gè)較小的角度，為了能夠融合視覺和激光傳感器進(jìn)行識(shí)別，必須要調(diào)整姿態(tài)到近似正對(duì)樓梯。此時(shí)，扶手直線與臺(tái)階直線的斜率乘積近似為-1，則提取出的直線可用斜率的正負(fù)區(qū)分為2組。根據(jù)直線幾何關(guān)系挑選出特征直線，進(jìn)而估算出機(jī)器人相對(duì)樓梯的位置，并調(diào)整機(jī)器人位姿，使其正對(duì)樓梯。

當(dāng)機(jī)器人正對(duì)樓梯，將提取出的直線根據(jù)斜率絕對(duì)值大小分為2組，各組結(jié)合斜率、相鄰直線間距離等信息去除干擾直線并確定特征直線。挑選出與各直線對(duì)應(yīng)的點(diǎn)云，根據(jù)各直線對(duì)應(yīng)的點(diǎn)云在機(jī)器人坐標(biāo)系中的坐標(biāo)，即可計(jì)算出樓梯的寬度和深度。

1.3 臺(tái)階高度確定

通過相機(jī)與激光雷達(dá)進(jìn)行聯(lián)合標(biāo)定，確定了點(diǎn)云坐標(biāo)系與圖像坐標(biāo)系的映射關(guān)系，通過計(jì)算獲得激光點(diǎn)云映射到圖像坐標(biāo)系中的坐標(biāo)，點(diǎn)云直線的實(shí)際距離可用激光點(diǎn)云數(shù)據(jù)計(jì)算得出，臺(tái)階高度根據(jù)映射到圖像中的點(diǎn)云直線距離與臺(tái)階邊緣直線距離的比例關(guān)系計(jì)算，如圖3所示。

圖3 點(diǎn)云直線與臺(tái)階邊緣直線比例關(guān)系示意

圖4 臺(tái)階點(diǎn)云三維圖

1.4 臺(tái)階高度校正

由于基于圖像信息進(jìn)行結(jié)構(gòu)參數(shù)確定的效果受光照條件、邊緣和特征提取效果等因素影響較大，并不一定能夠準(zhǔn)確估計(jì)出結(jié)構(gòu)參數(shù)，所以，在攀爬樓梯過程中要對(duì)臺(tái)階高度進(jìn)行校正。本文采用了GNSS組合慣導(dǎo)系統(tǒng)NV-GI310實(shí)時(shí)獲得機(jī)器人的運(yùn)動(dòng)信息。該傳感器在室外和室內(nèi)條件可保持高精度數(shù)據(jù)輸出。利用機(jī)器人的俯仰角，根據(jù)直角三角形的性質(zhì)進(jìn)行臺(tái)階高度校正。

機(jī)器人在逐漸由擺臂引導(dǎo)到樓梯上到完全脫離地面的時(shí)間內(nèi)，俯仰角隨時(shí)間增加，直到完全脫離地面，俯仰角趨于穩(wěn)定，如圖5所示(圖中由于傳感器安裝問題，機(jī)器人俯仰角為傳感器測(cè)量值的相反數(shù)。橫坐標(biāo)長度不隨著時(shí)間的增加而增加，只顯示固定時(shí)間內(nèi)的俯仰角變化情況。下圖為上圖的延續(xù)，其中,上圖橫坐標(biāo)為42 s處的點(diǎn)與下圖橫坐標(biāo)為8 s的點(diǎn)為同一點(diǎn))。

圖5 俯仰角變化曲線

如圖6所示，W為采用文中方法獲得的臺(tái)階寬度，α為機(jī)器人攀爬過程中的俯仰角增量，臺(tái)階高度h為

h=W·tanα

(1)

圖6 臺(tái)階高度校正幾何示意

此樓梯所有結(jié)構(gòu)參數(shù)都確定完畢，攀爬過程中可根據(jù)參數(shù)自主進(jìn)行構(gòu)型優(yōu)化，改變重心，增加攀爬穩(wěn)定性。

2 試驗(yàn)結(jié)果與誤差分析

在如圖7所示無人平臺(tái)上進(jìn)行了測(cè)試，傳感器系統(tǒng)包括Pointgrey FL3-GE-03S2C-C工業(yè)千兆以太網(wǎng)相機(jī)、Velodyne VLP—16三維激光雷達(dá)和NV-GI310組合慣導(dǎo)系統(tǒng)，搭載平臺(tái)為中科院沈陽自動(dòng)化研究所研發(fā)的“單人攜帶型”履腿復(fù)合式機(jī)器人。該系統(tǒng)中激光雷達(dá)共有16個(gè)激光束，垂直分辨率為0.2°，水平分辨率為0.1°～0.4°，最遠(yuǎn)探測(cè)距離為100 m并且能保證典型距離下誤差在±3 cm以內(nèi)。相機(jī)分辨率為640×480，鏡頭為焦距4 mm的工業(yè)低畸變鏡頭。組合慣導(dǎo)系統(tǒng)水平姿態(tài)精度保持在0.05°以內(nèi)。對(duì)前文介紹過的試驗(yàn)樓梯進(jìn)行了不同距離的場景下進(jìn)行了測(cè)試。

圖7 試驗(yàn)無人平臺(tái)

圖8(a)為經(jīng)過圖像處理后，提取出的特征直線。圖8(b)為點(diǎn)云直線映射到可見光圖像中。

圖8 數(shù)據(jù)處理過程

表1 為機(jī)器人正對(duì)樓梯，在不同距離下的測(cè)試結(jié)果。

表1 不同距離下的結(jié)構(gòu)參數(shù)測(cè)量結(jié)果及誤差 m

由于機(jī)器人自身結(jié)構(gòu)問題，距離樓梯距離需大于等于0.4 m?？梢钥闯觯鍪志嚯x平均誤差為0.023 18 m，最大誤差為0.035 6 m；臺(tái)階寬度平均誤差為0.017 71 m，最大誤差為0.032 2 m；臺(tái)階高度平均誤差為0.018 78 m，最大誤差為0.021 8 m。表中表明的扶手距離和臺(tái)階寬度的測(cè)量值普遍大于實(shí)際值(臺(tái)階寬度為0.281 0 m；臺(tái)階高度為0.162 3 m；樓梯扶手距離為0.673 2 m)，而不是在實(shí)際值附近上下擺動(dòng)，經(jīng)分析認(rèn)為是由樓梯模型平面度不夠或激光雷達(dá)測(cè)量誤差引起的，如圖8(a)所示，點(diǎn)云圖像提取出的邊緣是一個(gè)包圍住了特征直線的輪廓，在此基礎(chǔ)上進(jìn)行特征提取就只能在輪廓上進(jìn)行，這必然會(huì)帶來誤差，誤差的大小受模型平面度和激光測(cè)量誤差影響；而臺(tái)階高度測(cè)量值則普遍小于實(shí)際值的情況，經(jīng)分析，主要原因是模型中臺(tái)階邊緣靠下約0.02 m處有一個(gè)由不同木板貼合出現(xiàn)的規(guī)則的直線邊緣，造成了偽樓梯邊緣的產(chǎn)生。

由于臺(tái)階高度、寬度精度在0.02 m左右，扶手距離精度在0.023 m左右，可以滿足履腿復(fù)合式機(jī)器人自主攀爬樓梯需要的結(jié)構(gòu)參數(shù)精度要求。

3 結(jié) 論

本文提出了一種基于視覺和激光傳感器的樓梯目標(biāo)檢測(cè)與結(jié)構(gòu)參數(shù)確定方法,能夠可靠、快速地識(shí)別樓梯目標(biāo)并獲得樓梯的結(jié)構(gòu)參數(shù)，為履帶式機(jī)器人自主安全通過樓梯提供了有效參考。方法中結(jié)合傳感器系統(tǒng)采用了將三維點(diǎn)云作為圖像的處理方法，有一定創(chuàng)新性。

參考文獻(xiàn):

[1] Se S,Brady M.Vision-based detection of staircases[C]∥Proceedings of the Fourth Asian Conference on Computer Vision,Taipei:Springer,2000:535-540.

[2] Lu X,Manduchi R.Detection and localization of curbs and stairways using stereo vision[C]∥Proceedings of the 2005 IEEE International Conference on Robotics and Automation,Barcelona,Spain:IEEE,2005:4648-4654.

[3] 朱萬彬，鐘 俊，莫仁蕓.激光位移傳感器在角度測(cè)量中的應(yīng)用[J].傳感器與微系統(tǒng)，2010,29(6)131-133.

[4] 曹 鵬，尹文慶，吳林華，等.基于激光傳感器的稻種輪廓形狀測(cè)量方法研究[J].傳感器與微系統(tǒng)，2017,36(3)：29-32.

[5] Theeravithayangkura C,Takubo T,Mae Y,et al.Stair recognition of with laser range scanning by limb mechanism robot ‘ASTERISK’[C]∥Proceedings of IEEE International Conference on Robotics and biomimetics,Bangkok,Thailand:IEEE,2009:915-920.

[6] O?wald S,Gutmann J S,Hornung A,et al.From 3D point clouds to climbing stairs: A comparision of plane segmentation approaches for humanoids[C]∥The 11th IEEE/RAS International Conference on Humanoid Robots,Bled,Slovenia:IEEE,2011:93-98.