基于人工路標的機器人視覺定位研究

基于人工路標的機器人視覺定位研究*

韓笑1,廖粵峰2

(1.河南機電高等專科學校 電氣工程系,河南 新鄉(xiāng)453000;2.河南機電高等專科學校 自動控制系,河南 新鄉(xiāng) 453000)

摘要:自定位和位置估計是自主移動機器人最重要的能力之一。根據(jù)攝像機透視映射原理,確定內(nèi)外參數(shù)來推算機器人位置?；趯嶒灧治?提出了一種人工路標方案。通過建立以RGB的值域范圍為分割點,分層實現(xiàn)彩 色圖像的目標與背景分離,從而完成了圖像標志的識別。試驗表明基于人工路標信息的視覺定位系統(tǒng)能夠有效識別出機器人,實現(xiàn)反饋機器人的當前位置。

關鍵詞:視覺定位;人工路標;圖像分割

收稿日期：2015-01-15

中圖分類號：TP242

借助計算機視覺理論,視覺系統(tǒng)可通過圖像分析、目標識別等手段,獲取環(huán)境信息,進而實現(xiàn)獲取自身位置信息。因此基于視覺的定位系統(tǒng)對于自主移動機器人有著重要的研究意義和應用價值[1]。

國內(nèi)外都很重視機器人視覺系統(tǒng)的研究工作。美國Carnegie-Mellon大學研制的NAVLAB自主車,它采用了多傳感器信息融合系統(tǒng)[1]。在視野范圍內(nèi)識別目標,依靠積累的經(jīng)驗求解行動規(guī)劃,以及對目標物體進行跟蹤,可以實現(xiàn)簡單移動,轉彎和路徑規(guī)劃,但是速度很慢。日本大阪大學自適應機械系統(tǒng)研究院研制了一種自適應視覺伺服系統(tǒng),利用雙目立體視覺的原理,實時計算目標圖像的雅可比矩陣,從而預測出目標下一步運動方向,實現(xiàn)了對運動方式未知的目標的自適應跟蹤[2]。國內(nèi)哈工大采用異構雙目活動視覺系統(tǒng)實現(xiàn)了全自主足球機器人導航,使機器人在視野范圍、測精度及處理速度方面達到最佳匹配。雙目協(xié)調(diào)技術可使機器人同時捕捉多個有效目標,通過數(shù)據(jù)融合技術,可以提高測量精度,但雙目視覺處理方法復雜,實時性不高,不利于在快速移動下進行運算。

本論文針對圖像處理中實時性及復雜性問題,提出了基于人工路標信息的視覺定位系統(tǒng)能夠有效識別出機器人位置信息,研究基于全局視頻信息的機器人遠程路徑控制技術,實現(xiàn)基于單目視覺信息的平面機器人定位,能夠?qū)崿F(xiàn)目標快速定位分析及識別,使系統(tǒng)可靠性上升,更加縮短了識別的時間。

1基于單目視覺信息的平面移動機器人定位分析

1.1坐標系引用

攝像機參數(shù)總是相對于某種幾何成像模型的,不考慮畸變量等因素,把攝像機成像模型看作是針孔模型。建立4個坐標系,圖像坐標系、成像平面坐標系、攝像機坐標系和世界坐標系[3]。

為空間內(nèi)任意一點,如圖1所示。

圖1　各個坐標間成像關系的針孔模型

A. 圖像坐標系:經(jīng)攝像機采集的圖像以數(shù)字圖像的形式輸入在計算機中,即每幅數(shù)字圖像實際為一個M×N的數(shù)組,其M行N列的單位元素為像素。直角坐標系u、v定義為圖像坐標系,以像素為單位,任意一點坐標 表示第u行、第v列的點的像素。

B. 成像平面坐標系:在圖像坐標系的基礎上,以物理單位表示像素在圖像中的位置,稱為成像平面坐標系。如圖1所示,成像平面坐標系以O0為原點,X軸與Y軸分別平行于圖像坐標系中u、v軸,任一點坐標(X0,Y0)表示這一點的物理坐標值(通常的物理單位為mm)。P0(X0,Y0)為P在成像平面坐標系上的投影。

C. 攝像機坐標系:攝像機的幾何成像關系由圖2所示。其中Oc點稱為攝像機的光心,X軸和Y軸與成像平面坐標系的X1軸和Y1軸平行,Z1軸為攝像機的光軸,與圖像平面垂直。圖像坐標系的原點O0即為光軸與圖像平面的交點,由點Oc與X、Y、Z軸組成的坐標系稱為攝像機坐標系。線段 O1O0為攝像機的焦距f。P1(X1，Y1，Z1)為P在攝像機坐標系上的投影。

D. 世界坐標系:在環(huán)境中選擇一個基準坐標系來描述攝像機的位置,并用它描述環(huán)境中的任何位置,該坐標系稱為世界坐標系。它由X2、Y2、Z2軸組成。P2(X2,Y2,Z2)為P在世界坐標系上的投影。

結合以上4個坐標系,可以便捷的描述攝像機的成像幾何關系,圖像坐標系到攝像機坐標系的轉換關系(A→C)由內(nèi)參確定,攝像機坐標系到世界坐標系的關系(C→D)由外參確定。要完成攝像機的參數(shù)標定必須分別實現(xiàn)內(nèi)參標定和外參標定兩部分。

1.2內(nèi)外參變換

由于已知機器人在某一平面內(nèi),即在大地坐標內(nèi)Z=機器人高度為定值,則可以把雙目視覺測量轉化為單目視覺與已知任意平面的測量方法。

(1)已知 Z=定值　 (2)X、Y、Z均等于任意值 圖2　有已知平面情況下的單目視覺測量示意圖

當平面為任意平面時,由圖2可得,射線L與攝像機坐標系Z=0相交于M(Xm,Ym,0),則射線L必與平面S相交于一點。此點為機器人的攝像機坐標,設為P(X,Y,Z),又由小孔成像原理得:

(1)

內(nèi)參確定了圖像坐標系和攝像機坐標系之間的仿射關系[4]。相結合得到圖像坐標系和世界坐標系的相互轉化,得到以世界坐標系表示的P點與其投影點P的坐標(u,v)的關系[5],如公式(2)所示。

=M1M2X1=MX1

(2)

其中,M1與攝像機內(nèi)部參數(shù)有關,稱這些參數(shù)為攝像機內(nèi)參數(shù);M2由攝像機相對于世界坐標系的方位決定,稱為攝像機外參數(shù)。

綜上所述,確定了內(nèi)外參數(shù)就確定了機器人的相應標定參數(shù),從而推算出估算的位置坐標。

1.3推算方法實現(xiàn)

1.3.1 內(nèi)參標定方法實現(xiàn)

用Matlab標定工具箱進行標定,得標定結果:

焦距fcx=662.586±1.51949

fcy=644.80970±1.63496

主點位置

qu=307.25932±2.98351

qv=241.69022±2.75434

θ=90o

畸變系數(shù)

k1=-0.28090±0.01214

k2=0.33847±0.01214

k3=0.00054±0.00069

k4=0.00047±0.00072

以上結果長度以像素為單位。得到根據(jù)當前標定結果得到的反投影誤差,如圖3所示?？稍诖嘶A上繼續(xù)進行角點檢驗,如圖4所示。

圖3　反投影誤差示意圖

圖4　多次焦點檢測后反投影誤差

將fcx,fcy,qu,qv代入(3)得：

(3)

1.3.2外參標定方法實現(xiàn)

P1在圖像坐標系、攝像機坐標系、界坐標系上的投影分別為P01(X01,Y01)、P11(X11,Y11,Z11)、P21(X21,Y21,Z21)。類似推出P2P3…Pn。

圖5　兩個六自由度的三維坐標的轉換圖

對P1,據(jù)圖5得:

(4)

在實際求解過程中,空間變換陣轉換可以看作是兩個六自由度的三維坐標的轉換。

已知測得P1(X1,Y1,Z1)

如下表1:

表1　 P 1(X 1,Y 1,Z 1)值

測得P2(X2，Y2，Z2) 如下表2：

表2　值 P 2(X 2,Y 2,Z 2)值

對于X11,Y11,Z11,求得對應未知參數(shù)a0=2.5,a1=3,a2=4。

類似方法求得其他參數(shù),得空間轉換系數(shù)

(5)

2基于人工設計目標快速定位分析

2.1基于人工路標的目標識別

2.1.1路標設計

使用的路標大致可以分為兩類:人工路標和自然路標[6]。自然路標受外界的環(huán)境影響較大,不太穩(wěn)定。因此,在路標識別上,往往采用人工路標。

人工路標是指特殊設計的物體或者標記,需要被放置在特定的環(huán)境中,并且路標能夠被激光、紅外、聲吶和視覺等傳感器進行檢測。

人工路標的設計應主要從路標識別的準確性、實時性以及在大型復雜環(huán)境中的可擴展性三方面考慮。路標主要由雙環(huán)組成,在識別的時候環(huán)環(huán)確定目標位置。改變外環(huán)內(nèi)環(huán)顏色選擇實驗效果的組合[7]。分三組實驗。由實驗效果得:外環(huán)為黑色,內(nèi)環(huán)為紅色最好。選擇紅色作為內(nèi)環(huán)顏色,一方面是因為工作環(huán)境中紅色相對較少,紅色圓形框結構就更少,另一方面則由于紅色純度高,明度低,散射強度小,有利于保證在不同距離下的準確識別。外部的黑色背景和白色底色形成強烈的明暗對比,有助于識別目標。

2.1.2目標識別

目標識別具體思路為[8]:先加載位圖,再根據(jù)位圖調(diào)整程序并進行檢測,最后察看目標識別效果,若效果不好則重復上一步。具體步驟如下:

第一步:先對紅色進行檢測,即查詢紅色點的RGB值,統(tǒng)計大概的范圍。

第二步:找到黑色點和白色點的值域范圍,并將黑色顯示為綠色,白色顯示為藍色。

當滿足三種顏色的點個數(shù)在區(qū)域范圍內(nèi)滿足一定值時,此部分點為目標識別的最終目標并有紅色框跟隨,如圖6所示。

(a)第30幀 　　　　　　(b)第47幀

(c)第66幀 　　　　　　(d)第93幀 圖6　目標識別示意圖

2.1.3目標識別流程

第1級檢測,在設定好的紅色區(qū)域范圍內(nèi),紅色點超過一定點數(shù)時,進入下一個檢測,否則跳過此點。第2級檢測,在設定好的黑色區(qū)域范圍內(nèi),黑色點超過一定點數(shù)時,進入下一個檢測,否則跳過此點。第3級檢測,在設定好的白色區(qū)域范圍內(nèi),白色點超過一定點數(shù)時,進入下一個檢測,否則跳過此點。通過四級檢測的點就是目標點,如圖7所示。

圖7　目標識別的基本思路示意圖

2.2基于目標識別的實驗分析

在實際試驗之前,由于光照、攝像機焦距等不同,先對各種顏色組合的路標進行試驗,從中選擇試驗效果最明顯的一組,由試驗可得,黑色外環(huán)與紅色內(nèi)環(huán)組合識別效果最好,如圖8所示。

圖8　實際人工路標設計圖

2.2.1顏色檢測

分級進行顏色區(qū)域范圍檢測。如圖9所示。

圖9　實驗結果

2.2.2目標識別

當經(jīng)過幾次檢測與調(diào)試,藍框基本跟隨目標,如圖10所示。

(a)第4幀　　　　　　　　　(b)第22幀

(c)第86幀 　　　　　　　　(d)第130幀 圖10　目標識別實驗圖

2.2.3目標識別與平面定位相結合

在機器人運動模式下,進行實時識別,并實時調(diào)用上一章的標定矩陣,并實時計算物理坐標,如圖11所示。

圖11　目標識別與平面定位相結合實驗效果圖

3結語

本文針對基于人工路標平面移動機器人定位分析,并推廣到任意平面,應用性更強。針對內(nèi)外參數(shù)進行分析,驗證了在儀器條件滿足的情況下可以實現(xiàn)圖像坐標系與世界坐標系的轉換。在基于人工目標的識別情況下,設計了快速的系統(tǒng)檢測,相對于系統(tǒng)全局檢測,可靠性上升,更加縮短了識別的時間。

(責任編輯呂春紅)

參考文獻：

[1] 李博.自動移動機器人視覺導航信息研究[D].西安:西安理工大學,2009.

[2] 林琳.機器人雙目視覺定位技術研究[D].西安:西安電子科技大學,2009.

[3] 朱睿爽.全景視覺系統(tǒng)標定技術研究[D].哈爾濱:哈爾濱工程大學,2011.

[4] 于泓.攝像機標定算法研究[D].山東:山東大學,2003.

[5] 傅丹,馮衛(wèi)東,于起峰,等.一種攝像機自標定的線性方法[J].光電工程,2008.

[6] 劉振宇,姜楠,張令濤.基于人工路標和立體視覺的移動機器人自定位[J].計算機工程與應用,2010.

[7]張靜,何明一,戴玉超,等. 綜合顏色和形狀的圓形交通標志檢測方法[J].計算機工程與應用,2011.

[8]徐大宏,吳敏,曹衛(wèi)華.一種新的實時彩色目標分割方法[J].計算機工程與應用,2003,22:75.

Study on Vision Localization of Robot Based on Artificial Landmark

HAN Xiao，et al

(Department of Electrical Engineering, Henan Mechanical and Electrical

Engineering College, Xinxiang 453000, China)

Abstract:Self-localization and position estimation are ones of the most important skills of autonomous mobile robot. According to the camera perspective mapping principle, the parameters of inside and outside are determined to reckon the position of mobile robot. Accomplish past location by artificial landmarks. Based on experimental analysis, bring forward a new design of artificial goal. Through established split points at the range of RGB, achieve detach between the objectives and background, thus completing the image mark recognition. The experiments illustrate that the proposed method can effectively identity the robot, and can feedback the current position of the robot.

Key words: vision localization; artificial landmark; image segmentation