基于天花板的移動(dòng)機(jī)器人視覺(jué)定位方法的研究

朱瑩瑩+謝明+王德明+梅磊+鄧歆

摘 要： 為了實(shí)現(xiàn)室內(nèi)移動(dòng)機(jī)器人的自定位，考慮到室內(nèi)的復(fù)雜程度和環(huán)境特色，設(shè)計(jì)一種基于單目視覺(jué)的移動(dòng)機(jī)器人定位系統(tǒng)。機(jī)器人在室內(nèi)帶有天花板路標(biāo)信息的環(huán)境下，以顏色和形狀結(jié)合的路標(biāo)作為特征，通過(guò)機(jī)器人頭頂與天花板垂直的攝像機(jī)，運(yùn)用彩色圖像分割輪廓矩匹配的方法識(shí)別路標(biāo)，解析路標(biāo)攜帶的世界坐標(biāo)信息，從而計(jì)算出機(jī)器人的全局位置和航向角。該方法大大提高了圖像處理和特征提取的速度，通過(guò)實(shí)驗(yàn)驗(yàn)證，其滿足定位系統(tǒng)的實(shí)時(shí)性和魯棒性要求。

關(guān)鍵詞： 視覺(jué)定位； 天花板； 移動(dòng)機(jī)器人； 路標(biāo)； 彩色圖像分割

中圖分類號(hào)： TN911.73?34； TP391.41 文獻(xiàn)標(biāo)識(shí)碼： A 文章編號(hào)： 1004?373X（2016）23?0129?04

Research on ceiling?based visual location method of mobile robot

ZHU Yingying， XIE Ming， WANG Deming， MEI Lei， DENG Xin

（College of Electrical Engineering and Control Science， Nanjing Tech University， Nanjing 211816， China）

Abstract： In order to realize the self?location of the indoor mobile robot， a mobile robot location system based on monocular vision was designed in consideration of the indoor complexity and environment feature. The landmark combining color and shape is taken as the robot feature in the indoor environment with the ceiling landmark information. The color image segmentation and contour matching method is used to recognize the landmark by means of the camera whose head is vertical to the cei?ling， so as to analyze the world coordinate information of the landmark， and calculate the global position and azimuth angle of the robot. This method can improve the speed of image processing and feature extraction greatly. The experimental results show this method can satisfy the requirements of system real?time performance and robustness.

Keywords： visual location； ceiling； mobile robot； landmark； color image segmentation

0 引 言

在移動(dòng)機(jī)器人研究的領(lǐng)域中，自主定位和導(dǎo)航一直是研究的熱點(diǎn)，其中定位一直是首要解決的問(wèn)題，即確定移動(dòng)機(jī)器人在全局環(huán)境中的位置和方向。目前對(duì)于不同的傳感器提出了很多定位方法，主要分為相對(duì)定位法和絕對(duì)定位法。隨著機(jī)器視覺(jué)的圖像處理技術(shù)的不斷提高，路標(biāo)定位法的高速度、高精度的特點(diǎn)使其應(yīng)用更加廣泛。文獻(xiàn)[1]提出了一種基于直線和單特征點(diǎn)的視覺(jué)推算定位方法，通過(guò)固定在移動(dòng)機(jī)器人上的攝像機(jī)提取天花板圖像中的兩條相交直線及其交點(diǎn)，通過(guò)直線的方向估計(jì)機(jī)器人的方位，再根據(jù)相交點(diǎn)的像素坐標(biāo)變化量推算出機(jī)器人的位置。文獻(xiàn)[2]提出了一種在天花板上貼人工混合編碼路標(biāo)的方法，通過(guò)選取合適的動(dòng)態(tài)閾值提取路標(biāo)像上的編碼信息和重心坐標(biāo)，從而換算出機(jī)器人在環(huán)境中的位置和航向，實(shí)現(xiàn)定位。文獻(xiàn)[3]提出一種可用于圖書(shū)館內(nèi)圖書(shū)運(yùn)載車的車輛室內(nèi)自動(dòng)定位定向方法，借鑒二維條形碼思想設(shè)計(jì)路標(biāo)，將路標(biāo)放置在圖書(shū)館天花板上，由安裝于圖書(shū)運(yùn)載車上，且光軸和天花板垂直的攝像機(jī)進(jìn)行識(shí)別定位。文獻(xiàn)[4]利用彩色圖像對(duì)移動(dòng)機(jī)器人進(jìn)行定位，將顏色轉(zhuǎn)換到HSI空間中，在結(jié)構(gòu)上采用全局靜態(tài)視覺(jué)，給移動(dòng)機(jī)器人設(shè)置著色標(biāo)記，利用標(biāo)記的顏色信息識(shí)別移動(dòng)機(jī)器人從而確定其位置。

本文提出一種基于天花板路標(biāo)的機(jī)器人視覺(jué)定位方法，設(shè)計(jì)出一種顏色和形狀結(jié)合、具有高識(shí)別度的路標(biāo)，移動(dòng)機(jī)器人頭頂安裝攝像頭，指向并垂直于天花板平面，機(jī)器人在行駛過(guò)程中采集天花板路標(biāo)，通過(guò)圖像預(yù)處理、顏色分割、特征提取等技術(shù)定位人工路標(biāo)，解讀路標(biāo)中包含的世界坐標(biāo)信息，計(jì)算機(jī)器人的當(dāng)前位置和航向角。

1 系統(tǒng)描述

本系統(tǒng)的載體為人形移動(dòng)機(jī)器人，如圖1所示。在機(jī)器人頭頂安裝一部單目攝像機(jī)，攝像機(jī)實(shí)時(shí)采集天花板，圖像處理模塊將攝取的圖像進(jìn)行處理、識(shí)別、匹配進(jìn)行定位。因此設(shè)計(jì)合理的路標(biāo)是實(shí)現(xiàn)快速定位的關(guān)鍵。

1.1 路標(biāo)設(shè)計(jì)

根據(jù)室內(nèi)的環(huán)境，設(shè)計(jì)一種可以安置在天花板上的彩色路標(biāo)，每個(gè)路標(biāo)都具有惟一的顏色圖形組合，同時(shí)每個(gè)路標(biāo)攜帶坐標(biāo)信息。

直接采用顏色和字母形狀的組合，可以適當(dāng)拉開(kāi)色度的差距，從真彩色圖像量化成8 b圖像，即256色，再根據(jù)實(shí)際中的面積選擇顏色和字母圖形個(gè)數(shù)進(jìn)行組合。例如在256色中選擇20種顏色，圖形選擇10個(gè)字母作為模板，可以組合200種路標(biāo)。并且通過(guò)字母的朝向獲得航向角（其中摒棄上下對(duì)稱的字母），直接計(jì)算出移動(dòng)機(jī)器人的方向。

1.2 路標(biāo)識(shí)別和信息提取

路標(biāo)定位是具有明顯區(qū)別于環(huán)境，能夠被傳感器通過(guò)相應(yīng)算法識(shí)別的物體。通常情況下，路標(biāo)所處的環(huán)境位置是不變的或者路標(biāo)的位置是已知的，基于此，機(jī)器人可以在檢測(cè)到預(yù)訂路標(biāo)的情況下對(duì)自身位置進(jìn)行再次修正。對(duì)于機(jī)器人而言，定位的主要任務(wù)就是采用合適的算法對(duì)設(shè)置的路標(biāo)進(jìn)行識(shí)別，并且根據(jù)識(shí)別的結(jié)果計(jì)算路標(biāo)所代表的環(huán)境信息，以此確定機(jī)器人的位置，實(shí)現(xiàn)機(jī)器人的定位。

2 視覺(jué)系統(tǒng)

本移動(dòng)機(jī)器人可以采用在雙輪差速移動(dòng)平臺(tái)上配有雙機(jī)械臂的設(shè)計(jì)方案，使用紅外和超聲傳感器相結(jié)合的方式作為機(jī)器人的避障傳感器系統(tǒng)，并以全局視覺(jué)和雙目立體視覺(jué)作為主要的機(jī)器人傳感器系統(tǒng)，實(shí)現(xiàn)了餐廳服務(wù)機(jī)器人在餐廳環(huán)境下的移動(dòng)導(dǎo)航、定位及避障功能，成功完成服務(wù)機(jī)器人的自主取菜、送菜及點(diǎn)菜等任務(wù)。

實(shí)驗(yàn)系統(tǒng)的處理流程如圖2所示，通過(guò)對(duì)彩色圖像的閾值分割獲得顏色信息，再進(jìn)行特征提取獲得路標(biāo)中包含的坐標(biāo)信息，從而實(shí)現(xiàn)定位。

2.1 色彩空間轉(zhuǎn)換

RGB顏色空間常用于顯示系統(tǒng)，但不適合于圖像分割和分析。HSI顏色空間是一種和人眼的視覺(jué)感知相吻合的色彩空間，它的三個(gè)顏色分量相對(duì)獨(dú)立。由于人的視覺(jué)對(duì)亮度的敏感程度遠(yuǎn)強(qiáng)于對(duì)顏色濃淡的敏感程度，人的視覺(jué)系統(tǒng)經(jīng)常采用HSI色彩空間， 它比RGB色彩空間更符合人的視覺(jué)特性。在圖像處理和計(jì)算機(jī)視覺(jué)中，大量算法都可在HSI色彩空間中方便地使用，它們可以分開(kāi)處理而且是相互獨(dú)立的。因此，在HSI色彩空間可以大大簡(jiǎn)化圖像分析和處理的工作量。所以，為了提高識(shí)別效果，獲得具有適應(yīng)性調(diào)節(jié)的顏色特征。所以先將RGB顏色空間轉(zhuǎn)化到HSI顏色空間，再進(jìn)行彩色圖像分割。由RGB空間到HSI空間的變換為：

[H=θ，2π-θ，B≤GB>GS=1-3R+G+BminR，G，BI=13R+G+B] （1）

式中：[θ=cos-112R-G+R-BR-G2+R-BG-B]。如果飽和度[S]為0，色調(diào)[H]就沒(méi)有定義，如果強(qiáng)度[I]為0，飽和度[S]就沒(méi)有定義。

2.2 基于彩色空間的顏色分割

HSI模型用[H，S，I]三參數(shù)描述顏色特性。其中[H]表示色調(diào)，定義顏色的波長(zhǎng)；[S]表示飽和度，形容顏色的深淺程度；[I]表示強(qiáng)度或亮度。色調(diào)[H]主要由可見(jiàn)光光譜中各分量成分的波長(zhǎng)來(lái)確定，為光譜波長(zhǎng)分布中波峰的位置，是顏色光的基本特征。如果以顏色作為主要分割依據(jù)，那么色調(diào)[H]具有單調(diào)惟一的特性。色調(diào)值[H]由角度表示，從0°～360°的變化范圍正好對(duì)應(yīng)可見(jiàn)光從紅到紫的所有顏色。為此，可采用基于色調(diào)[H]直方圖統(tǒng)計(jì)的自適應(yīng)閾值化法對(duì)圖像進(jìn)行分割。

對(duì)彩色圖像的分割現(xiàn)已提出了許多算法， 這些算法可分為四大類：基于鄰域的方法，直方圖閾值法，色彩空間聚類的方法和基于模糊集理論的方法。其中，基于閾值分割的方法最早被使用，運(yùn)算簡(jiǎn)便且速度快。直方圖閾值法廣泛應(yīng)用于單色圖像的分割，當(dāng)目標(biāo)或背景內(nèi)相鄰像素的灰度值高度相關(guān)而處于目標(biāo)和背景交界處兩邊的像素的灰度值差別很大時(shí)，選擇合適的閾值進(jìn)行分割效果最好。閾值為82時(shí)效果最好，分割結(jié)果如圖3所示。

2.3 字母圖形提取、識(shí)別

顏色分割后，視覺(jué)系統(tǒng)獲得路標(biāo)的顏色信息，繼而進(jìn)行對(duì)圖案的提取識(shí)別。幾何特征提取的方法有很多，基本上都是根據(jù)提取的圖像邊緣的特征進(jìn)行檢測(cè)。常用的有兩種：整體和局部方法。本系統(tǒng)采用整體方法中的不變矩特征提取Hu矩匹配路標(biāo)字母形狀。OpenCV庫(kù)函數(shù)cvMatchShape（）計(jì)算兩個(gè)物體的矩再根據(jù)提供的標(biāo)準(zhǔn)進(jìn)行比較。圖4為天花板上的實(shí)際路標(biāo)圖像與路標(biāo)模板匹配的結(jié)果。匹配結(jié)果返回為0，表示匹配正確，解析出路標(biāo)[A]的實(shí)際坐標(biāo)為（100，100）。

3 定位系統(tǒng)

機(jī)器人頂部的攝像機(jī)在運(yùn)動(dòng)過(guò)程中相對(duì)于天花板平面的特征圖像塊沒(méi)有尺度變化發(fā)生，僅有旋轉(zhuǎn)和仿射變換，因此可以有效地縮短特征提取、匹配的時(shí)間，減小計(jì)算復(fù)雜度，同時(shí)具有很高的定位精度。

3.1 視覺(jué)模型

基于天花板的視覺(jué)定位模型示意圖如圖5所示。攝像機(jī)安裝在餐服機(jī)器人的頭頂，并垂直指向天花板。假定地面與天花板均為平面，且兩個(gè)平面互相平行。將世界坐標(biāo)系建立在天花板上。

攝像機(jī)采用小孔模型，自然光經(jīng)物體反射到達(dá)攝像機(jī)的感光元件形成物體的圖像。攝像機(jī)坐標(biāo)系原點(diǎn)建立在光軸中心處，其[z]軸與攝像機(jī)光軸中心線方向平行，攝像機(jī)到天花板方向?yàn)檎较?，圖像坐標(biāo)沿水平增加的方向?yàn)閇x]軸正方向。假設(shè)攝像機(jī)的內(nèi)參數(shù)已經(jīng)預(yù)先標(biāo)定，內(nèi)參數(shù)模型為：

[uv1=kx0u00kyv0001xczcyczc1] （2）

3.2 視覺(jué)推算定位

在機(jī)器人首次標(biāo)定之后，攝像機(jī)的投影矩陣不再變化，旋轉(zhuǎn)矩陣不再變化，在以后的定位中只要知道一個(gè)世界坐標(biāo)就可以確定機(jī)器人的位置。

設(shè)路標(biāo)像中字母朝向?yàn)檎较颉D像中心、路標(biāo)像中心與世界坐標(biāo)的關(guān)系如圖6所示。圖中[P]點(diǎn)表示圖像中某路標(biāo)的中心；[Q]點(diǎn)表示圖像的中心；[xwOyw]坐標(biāo)系代表環(huán)境坐標(biāo)系。[xPy]坐標(biāo)系代表路標(biāo)坐標(biāo)系。[PQ]表示向量[PQ]的模，即[P]點(diǎn)與[Q]點(diǎn)之間的距離；[α]表示機(jī)器人行駛的航向角；[β]為路標(biāo)像中心到圖像中心的連線與世界坐標(biāo)系[xw]軸的夾角；[θ]為[x]與[xw]的夾角。

圖6 圖像中心、路標(biāo)像中心與世界坐標(biāo)的關(guān)系圖

根據(jù)圖6所示的幾何關(guān)系，可以獲得路標(biāo)坐標(biāo)系[xPy]中[Q]點(diǎn)坐標(biāo)（單位：像素）的計(jì)算公式為：

[xB=PQcosθ=PQcos（β-α）yB=PQsinθ=PQsin（β-α）] （3）

若路標(biāo)的全局坐標(biāo)為[（x1，y1）]，則移動(dòng)機(jī)器人的全局坐標(biāo)[（xR，yR）]為：

[xR=x1+SxQ=x1+SPQcos（β-α）yR=y1+SyQ=y1+SPQsin（β-α）] （4）

4 實(shí)驗(yàn)結(jié)果分析

本文的載體是人形移動(dòng)機(jī)器人。該移動(dòng)機(jī)器人最大移動(dòng)速度為0.7 m/s，身高140 cm。行走動(dòng)力源采用鉛酸電池，其他動(dòng)力源可以采用鋰電池，充電一次可以連續(xù)工作4 h。機(jī)器人所用攝像頭為USB3.0攝像頭，焦距為3.6 mm，500萬(wàn)像素。實(shí)驗(yàn)中以Win7 64位系統(tǒng)為開(kāi)發(fā)平臺(tái)，VS2010和OpenCV2.4.9為軟件編程環(huán)境。實(shí)驗(yàn)在室內(nèi)實(shí)驗(yàn)室環(huán)境下進(jìn)行。

天花板到移動(dòng)機(jī)器人頭頂攝像頭的距離是218 cm，天花板上各路標(biāo)間距20 cm。比例系數(shù)[S]由天花板路標(biāo)實(shí)際長(zhǎng)度與攝像機(jī)圖像平面上的同一位置長(zhǎng)度比值決定，經(jīng)實(shí)際測(cè)量[S=2.66。]

機(jī)器人實(shí)驗(yàn)移動(dòng)軌跡如圖7所示?！?”代表實(shí)驗(yàn)過(guò)程中機(jī)器人的測(cè)試位置，“o”代表世界坐標(biāo)系中的路標(biāo)實(shí)際位置。實(shí)驗(yàn)中，移動(dòng)機(jī)器人從起始坐標(biāo)點(diǎn)（100，100）沿順時(shí)針?lè)较蜻\(yùn)動(dòng)一圈回到起始點(diǎn)附近。移動(dòng)過(guò)程中，利用本文方法進(jìn)行在線實(shí)時(shí)定位，采集處理了天花板上的20個(gè)路標(biāo)點(diǎn)，其中最大誤差為33 cm，最小誤差為2 cm。從圖7可以看出，測(cè)量位置和實(shí)際位置基本一致。采樣點(diǎn)的誤差曲線如圖8所示，橫軸是采樣點(diǎn)，縱軸是測(cè)量位置和實(shí)際位置的歐氏距離。

移動(dòng)機(jī)器人在行駛過(guò)程中，根據(jù)路標(biāo)字母的朝向獲得航向角，進(jìn)行幾組單獨(dú)的航向角實(shí)驗(yàn)來(lái)驗(yàn)證航向角精度。令機(jī)器人沿一條直線行駛，即航向角[α]不變時(shí)，觀察比較系統(tǒng)計(jì)算獲得的航向角。結(jié)果數(shù)據(jù)如表1所示。

通過(guò)多次實(shí)驗(yàn)測(cè)量結(jié)果統(tǒng)計(jì)發(fā)現(xiàn)，移動(dòng)機(jī)器人航向角的測(cè)量誤差不超過(guò)3°，移動(dòng)機(jī)器人的位置誤差不超過(guò)2%。對(duì)于餐廳環(huán)境來(lái)說(shuō)，這些誤差在允許范圍內(nèi)。

5 結(jié) 語(yǔ)

機(jī)器人工作在特定的環(huán)境中，主要完成迎賓、導(dǎo)購(gòu)、對(duì)話等任務(wù)。這對(duì)機(jī)器人位置的精確度和運(yùn)動(dòng)的實(shí)時(shí)性要求很高。本文針對(duì)移動(dòng)機(jī)器人的自動(dòng)定位導(dǎo)航應(yīng)用，提出了一種基于彩色路標(biāo)的室內(nèi)定位方法。雖然此方法需要在室內(nèi)天花板按照一定規(guī)則粘貼各種圖案的路標(biāo)，但是可以根據(jù)環(huán)境風(fēng)格進(jìn)行優(yōu)化，而且路標(biāo)制作簡(jiǎn)單、價(jià)格低廉、適用性強(qiáng)。并且通過(guò)實(shí)驗(yàn)說(shuō)明該路標(biāo)方法具有簡(jiǎn)單、魯棒性高、實(shí)時(shí)性好的特點(diǎn)，為接下來(lái)的路徑規(guī)劃和自主導(dǎo)航打下了堅(jiān)實(shí)的基礎(chǔ)，具有很好的應(yīng)用前景。

參考文獻(xiàn)

[1] 韓立偉，徐德.基于直線和單特征點(diǎn)的移動(dòng)機(jī)器人視覺(jué)推算定位法[J].機(jī)器人，2008，30（1）：79?84.

[2] 章小兵，宋愛(ài)國(guó)，唐鴻儒.基于視覺(jué)的室內(nèi)移動(dòng)機(jī)器人精確定位方法[J].數(shù)據(jù)采集與處理，2007，22（2）：196?200.

[3] 王建功，林國(guó)余.室內(nèi)圖書(shū)運(yùn)載車的計(jì)算機(jī)視覺(jué)定位定向方法[J].閩江學(xué)院學(xué)報(bào)，2014（5）：73?80.

[4] 吳衛(wèi)國(guó)，陳輝堂，王月娟，等.基于彩色圖像的移動(dòng)機(jī)器人定位[J].機(jī)器人，1999，21（5）：340?346.

[5] KAEHLER A， BRADSKI G R. Learning OpenCV [M]. US： O′Reilly， 2009.

[6] 馬爽，樊養(yǎng)余，雷濤，等.一種基于多特征提取的實(shí)用車牌識(shí)別方法[J].計(jì)算機(jī)應(yīng)用研究，2013，30（11）：3495?3499.

[7] 徐德，譚民，李原.機(jī)器人視覺(jué)測(cè)量與控制[M].2版.北京：國(guó)防工業(yè)出版社，2014：180?183.

[8] 胡山，許增樸，于德敏，等.基于彩色色標(biāo)的服務(wù)機(jī)器人定位研究[J].制造業(yè)自動(dòng)化，2005，27（2）：38?40.

[9] PARK D， KAPUSTA A， YOU K K， et al. Learning to reach into the unknown： selecting initial conditions when reaching in clutter [C]// Proceedings of 2014 IEEE/RSJ International Conference on Intelligent Robots and Systems. Atlanta： IEEE， 2014： 630?637.

[10] 陰國(guó)富.基于閾值法的圖像分割技術(shù)[J].現(xiàn)代電子技術(shù)，2007，30（23）：107?108.

[11] 應(yīng)在恩，李正洋，平雪良，等.基于雙目視覺(jué)動(dòng)態(tài)跟蹤的機(jī)器人標(biāo)定[J].計(jì)算機(jī)應(yīng)用研究，2014，30（5）：1424?1427.

[12] 林開(kāi)顏，吳軍輝，徐立鴻.彩色圖像分割方法綜述[J].中國(guó)圖象圖形學(xué)報(bào)，2005，10（1）：1?10.

[13] 查志強(qiáng).復(fù)雜背景下的快速車牌識(shí)別技術(shù)研究[D].南京：南京理工大學(xué)，2013.