基于單目視覺的障礙物定位和測量

王振,王化明

(南京航空航天大學(xué)，江蘇 南京 210016)

?

基于單目視覺的障礙物定位和測量

王振,王化明

(南京航空航天大學(xué)，江蘇 南京 210016)

摘要：障礙物定位與測量是智能移動機(jī)器人自主運(yùn)動的核心問題之一。研究了一種結(jié)合障礙物色彩屬性和接觸邊緣屬性的算法，通過單個視覺傳感器實(shí)現(xiàn)平坦路面中障礙物的定位和測量。該算法以圖像中已知路面范圍的外觀屬性為基準(zhǔn)對圖像進(jìn)行初步處理，依據(jù)障礙物和地面接觸邊緣屬性對障礙物進(jìn)行初步定位，在障礙物上選擇區(qū)域，以該區(qū)域外觀屬性為基準(zhǔn)對圖像進(jìn)行二次處理，得到障礙物在圖像中占據(jù)范圍，結(jié)合視覺傳感器成像原理，對障礙物位置和尺寸進(jìn)行標(biāo)定和測量。以輪式移動機(jī)器人為實(shí)驗(yàn)平臺，驗(yàn)證所提算法的可行性和精度，最終測得其定位誤差為1.6%，測量誤差為1.5%。

關(guān)鍵詞：單目視覺；外觀屬性；高度測量

0引言

障礙物定位是實(shí)現(xiàn)移動機(jī)器人智能運(yùn)動的關(guān)鍵問題。為了適應(yīng)未知環(huán)境的要求，機(jī)器人必須能夠?qū)\(yùn)動環(huán)境進(jìn)行探測和識別，并能夠自主、高效地選擇合適運(yùn)動路徑。同時，對于彈跳式運(yùn)動機(jī)器人而言，障礙物高度也是決定其運(yùn)動路徑的重要參數(shù)。依據(jù)障礙物實(shí)際高度，控制彈跳式移動機(jī)器人的輸入能量和彈跳姿態(tài)，實(shí)現(xiàn)對機(jī)器人彈跳高度、彈跳軌跡等的有效控制，提高能源利用率。

大多數(shù)智能移動機(jī)器人都通過多種傳感器配合，以實(shí)現(xiàn)障礙物探測，如激光掃描傳感器、聲納傳感器、視覺傳感器等。這些傳感器均能夠提供障礙物與機(jī)器人的間距信息，因此可以用于智能移動機(jī)器人的障礙物探測和躲避，然而在對障礙物具體尺寸進(jìn)行測量時都存在不足之處。文獻(xiàn)[1-3] 中利用激光掃描傳感器對機(jī)器人運(yùn)動環(huán)境進(jìn)行探測，但算法復(fù)雜且代價昂貴。雙目視覺法是通過對兩個視覺傳感器所得圖像的比較，并結(jié)合兩視覺傳感器相對位置參數(shù)，對障礙物進(jìn)行定位和測量；但雙目視覺法所需處理數(shù)據(jù)較多、算法復(fù)雜，且兩視覺傳感器共視角區(qū)域受距離影響，因此可探測范圍受很大限制[4-7]。Iwan Ulrich等提出了基于HSI(hue、saturation、intensity，色調(diào)、飽和度、強(qiáng)度)圖像中路面與障礙物色調(diào)和強(qiáng)度屬性的不同對路面和障礙物進(jìn)行區(qū)分的算法，而該算法所需運(yùn)算量大，且并未完成對障礙物的定位和測量[8]。

針對上述問題，研究了一種基于單目視覺的障礙物定位與測量算法。以圖像中已知地面范圍內(nèi)像素外觀屬性為基準(zhǔn)，對圖像中地面范圍進(jìn)行初步提取，并通過接觸邊緣屬性對障礙物進(jìn)行初步定位，進(jìn)而以障礙物上中間區(qū)域外觀屬性為基準(zhǔn)，對圖像進(jìn)行二次處理，實(shí)現(xiàn)對該障礙物的提取。根據(jù)視覺傳感器成像原理，結(jié)合障礙物在像中所處位置，得到障礙物相對于視覺傳感器的位置和障礙物高度，為彈跳式移動機(jī)器人的運(yùn)動規(guī)劃提供依據(jù)。

1障礙物定位和測量算法

本文所提出的障礙物定位與測量算法是依據(jù)單位像素點(diǎn)外觀屬性的不同判別障礙物的存在，該算法的實(shí)現(xiàn)基于下述假設(shè)條件的成立[8-11]。

假設(shè)條件：圖像中障礙物與路面外觀屬性存在顯著差異，用來區(qū)別障礙物與地面的外觀屬性有多種選擇，如密度、亮度、色彩等，但該外觀屬性必須滿足以下兩點(diǎn)要求：1) 該屬性能夠提供足夠多的信息，以區(qū)分障礙物與地面；2) 通過該屬性實(shí)現(xiàn)地面和障礙物區(qū)分的過程不能耗時過長，以實(shí)現(xiàn)實(shí)時探測。本文以灰度值屬性作為算法處理的依據(jù)，依據(jù)地面和障礙物灰度值屬性差異，實(shí)現(xiàn)地面范圍和障礙物范圍的提取。

1.1　算法基本原理

當(dāng)視覺傳感器聚焦到障礙物上時，障礙物在其視覺傳感器像屏上成像，其成像大小與障礙物和視覺傳感器的間距成反比，具體成像原理如圖1所示。

圖1　視覺傳感器成像原理

圖中，a、b分別為視覺傳感器所成像的行、列像素值，h1為視覺傳感器中心距離地面高度，x為像屏與視覺傳感器距離，x1為h1高度下能夠在視覺傳感器中成像的最近地面點(diǎn)與視覺傳感器間距，h0為障礙物實(shí)際高度，x0為障礙物與視覺傳感器間距，Δa0為障礙物高度方向在像中占據(jù)像素范圍，Δa1為h1高度在像中對應(yīng)占據(jù)像素范圍，α為視覺傳感器的垂直視場角，h為x0距離下視覺傳感器能夠探測的垂直高度范圍。由圖1可知：

tan(α/2)=h1/x1=(h/2)/x0

(1)

同時，基于視覺傳感器成像過程中三角形相似原理，可得障礙物上高度Δh與其在像中所占據(jù)范圍Δa2關(guān)系如式(2)所示[12]：

Δh/x0=Δa2/x

(2)

由此可知，像中障礙物所占據(jù)范圍內(nèi)單位像素差值所代表實(shí)際長度(即單像素高度)Δl相等，并可由下式表示：

Δl=h1/Δa1=h0/Δa0=h/a

(3)

由此，即可求得障礙物高度h0為：

h0=Δl·Δa0=h1·Δa0/Δa1

(4)

同時，將式(3)代入式(1)中可以求得障礙物與視覺傳感器之間的距離x0為：

x0=a·x1/(2Δa1)

(5)

因此，由式(4)和式(5)可知，在該算法中，障礙物相對于視覺傳感器的距離及自身高度的計(jì)算和a、h1、x1、Δa0、Δa1有關(guān)，其中a、h1、x1與系統(tǒng)運(yùn)動環(huán)境有關(guān)，當(dāng)視覺傳感器安放固定后將不再變化。因此，如何準(zhǔn)確、快速地得到Δa0、Δa1的大小是成功實(shí)現(xiàn)算法的關(guān)鍵。

1.2　圖像處理基準(zhǔn)

視覺傳感器所成圖像為彩色圖像，單位像素色彩屬性均可通過紅色(R)、綠色(G)和藍(lán)色(B)組成，若分別對每個像素點(diǎn)的R、G、B三個參數(shù)進(jìn)行判斷則所耗時間較長、運(yùn)算量大，不能滿足進(jìn)行實(shí)時圖像處理的需求。而灰度值圖像是將每個像素點(diǎn)的R、G、B參數(shù)數(shù)值經(jīng)運(yùn)算化為灰度值參數(shù)。由此即能夠提供足夠的信息判別障礙物，又能夠減少計(jì)算消耗時間，因此以灰度值屬性作為區(qū)分障礙物與地面的外觀屬性參數(shù)(圖2)。

圖2　選擇區(qū)域灰度直方圖

圖2表明圖像中路面范圍和障礙物范圍的灰度值屬性差異。由圖可知，圖像中路面區(qū)域和障礙物區(qū)域內(nèi)像素點(diǎn)灰度值屬性范圍存在較為明顯差異，因此可依據(jù)該屬性差異將圖像中路面范圍和障礙物范圍進(jìn)行區(qū)分。

1.3　算法流程

以地面范圍和障礙物范圍灰度值屬性差異為基礎(chǔ)，通過對圖像中單位像素點(diǎn)灰度值屬性的分析，提取障礙物范圍，并求得該障礙物在圖像中所對應(yīng)Δa0、Δa1數(shù)值，進(jìn)而實(shí)現(xiàn)障礙物定位和測量。

用于障礙物定位和測量的圖像處理過程包括以下步驟：

1) 圖像轉(zhuǎn)換

對輸入圖像進(jìn)行平滑濾波并轉(zhuǎn)換為灰度圖像。

2) 路面基準(zhǔn)區(qū)域選擇

基于機(jī)器人安全運(yùn)動的要求，可確定當(dāng)前機(jī)器人前方一定范圍內(nèi)(10~30 cm)內(nèi)不存在障礙物，因此可將視覺傳感器所成圖像最底部中間范圍視為路面范圍，進(jìn)而以此范圍作為路面基準(zhǔn)區(qū)域A。

3) 圖像初步處理

對基準(zhǔn)區(qū)域A中像素點(diǎn)灰度值屬性進(jìn)行處理，得到其灰度值屬性范圍，進(jìn)而對圖像中每一像素點(diǎn)灰度值屬性進(jìn)行處理，將屬性處于該范圍外區(qū)域視為障礙區(qū)域(設(shè)為白色)，而將其余區(qū)域視為路面區(qū)域(設(shè)為黑色)，由此初步將路面從圖像中提取。

4) 障礙物初步提取

從圖像底部中間列向上逐行掃描，求得灰度值屬性變化區(qū)域，進(jìn)而依據(jù)障礙物和地面的線接觸屬性以及障礙物輪廓屬性，將機(jī)器人前方直線區(qū)域上障礙物提取。

5) 障礙物基準(zhǔn)區(qū)域選擇

為避免障礙物輪廓處因光線影響引起其灰度值屬性變化，需以障礙物屬性基準(zhǔn)，對圖像進(jìn)行二次處理。由此選擇上一步所得障礙物區(qū)域的中間區(qū)域作為障礙物基準(zhǔn)區(qū)域B。

6) 圖像二次處理

對基準(zhǔn)區(qū)域B中像素點(diǎn)灰度值屬性進(jìn)行處理，得到其灰度值屬性范圍，并以此屬性范圍為標(biāo)準(zhǔn)，對圖像中每一像素點(diǎn)灰度值屬性進(jìn)行處理，將屬性處于該范圍外區(qū)域視為路面區(qū)域(設(shè)為白色)，而將屬性處于該范圍內(nèi)區(qū)域視為障礙物區(qū)域(設(shè)為黑色)，由此初步將路面從圖像中提取。

7) 障礙物定位和測量

由基準(zhǔn)區(qū)域B分別向四周掃描得到障礙物四邊邊界，由此得到障礙物在圖像中所處位置及其占據(jù)范圍大小，通過運(yùn)算即可對障礙物進(jìn)行定位和測量。

圖3所示為算法中所對應(yīng)圖像處理結(jié)果，其中(a)為傳感器采集原圖像，(b)為區(qū)域A選擇圖像，(c)為以區(qū)域A為基準(zhǔn)進(jìn)行初步處理后圖像，(d)為區(qū)域B選擇圖像，(e)為經(jīng)二次處理后所得圖像，(f)為最終障礙物選擇圖像。

圖3　圖像處理流程

2實(shí)驗(yàn)結(jié)果

為檢驗(yàn)本文所提算法的準(zhǔn)確性，共進(jìn)行了5次實(shí)驗(yàn)：分別將障礙物一、二、三放置于距離視覺傳感器一定距離處，依據(jù)本文所提算法對障礙物進(jìn)行定位和測量，并將算法所得數(shù)值與實(shí)際測量數(shù)值相比較，以驗(yàn)證所提算法的可行性與精度。

實(shí)驗(yàn)所用視覺傳感器像素為2 400×3 200，其垂直視場角為37°、水平視場角為50°，傳感器中心距離地面高度為53 mm。

圖4所示為實(shí)驗(yàn)所得圖像對比，其中(a)、(b)、(c)分別為障礙物1在1000 mm、1500 mm和2000 mm距離情況下圖像對比，(d)、(e)為障礙物2和障礙物3在1000 mm距離情況下圖像對比，上側(cè)圖像為不同位置處視覺傳感器所得彩色圖像，下側(cè)圖像為算法處理后所得障礙物提取圖像。

圖4　障礙物定位與測量處理結(jié)果

對障礙物在像中位置進(jìn)行測量，得到其在像中所占據(jù)像素范圍參，數(shù)如表1所示。

表1　障礙物占據(jù)像素位置參數(shù)

經(jīng)計(jì)算后所求得測量值與實(shí)際測量值如表2所示。

表2　障礙物定位與測量實(shí)驗(yàn)結(jié)果

3分析和討論

由實(shí)驗(yàn)所得圖表分析可得：

1) 隨著障礙物距離的增加，障礙物在像中所占據(jù)的像素范圍不斷減小。因此，當(dāng)障礙物距離達(dá)到一定數(shù)值后，障礙物在像中所占據(jù)的像素范圍已小至無法分辨，由此所提算法的實(shí)際可測距離有限制。

2) 本文以地面和障礙物的灰度值屬性作為兩者區(qū)別的主要屬性，因此可將具有較大灰度值屬性差別的物體進(jìn)行區(qū)分。然而，對于室外環(huán)境而言，該算法將不同于路面灰度值屬性的區(qū)域均設(shè)為障礙物區(qū)域，但如圖3(c)所示，算法將圖像中草地也設(shè)為障礙物區(qū)域，減小了機(jī)器人可行區(qū)域范圍。

3) 本文所提算法中圖像處理的主要依據(jù)是障礙物與地面之間灰度屬性，故對于兩者色彩屬性相似時算法可行性較低。然而并非只有灰度值可體現(xiàn)圖像色彩屬性，RGB、HIS、HSV等圖像也可表達(dá)障礙物與地面之間色彩屬性的不同，故通過對于其他彩色空間的研究也可實(shí)現(xiàn)基于單目視覺的障礙物定位與測量。

4結(jié)論

研究了一種基于單目視覺的算法對機(jī)器人運(yùn)動環(huán)境中的障礙物進(jìn)行定位及測量，以實(shí)現(xiàn)機(jī)器人自主、智能運(yùn)動的目的。該算法以地面和障礙物色彩屬性以及障礙物底部與地面接觸處的邊緣屬性作為參考依據(jù)。當(dāng)假設(shè)一成立時，在圖像中已知地面范圍上選擇區(qū)域A，進(jìn)而以所選區(qū)域A的直方圖作為基準(zhǔn)，對圖像進(jìn)行初步處理，并根據(jù)障礙物底部與地面接觸處的邊緣屬性將障礙物從圖像中分割出來，進(jìn)而在每個障礙物上選擇區(qū)域B，以所選區(qū)域B的直方圖作為基準(zhǔn)，對圖像進(jìn)行二次處理，以便將其他干擾因素去除，由此即可得到每個障礙物在圖像中的具體位置，進(jìn)而根據(jù)視覺傳感器成像原理求得障礙物相對于視覺傳感器的位置和其自身尺寸參數(shù)。經(jīng)實(shí)驗(yàn)驗(yàn)證，所提算法能夠較為快速、精確地對障礙物進(jìn)行定位和測量，且所得數(shù)據(jù)與實(shí)際數(shù)據(jù)的誤差較小，最終測得其定位誤差為1.6%，測量誤差為1.5%。

參考文獻(xiàn):

[1] Koichi N, Joel C, Satoshi K Autonomous Navigation of a Humanoid Robot over Unknown Rough Terrain using a Laser Range Sensor[J]. The International Journal of Robotics Research, 2012, 0(0):1-12.

[2] Jaehyun H, Dongchul K, Minchae L, el al. Enhanced Road Boundary and Obstacle Detection Using a Downward-Looking LIDAR Sensor[J]. IEEE TRANSACTIONS ON VEHICULAR TECHNOLOGY, 2012, 61(3):971-985.

[3] MANDUCHI R, el al. Obstacle Detection and Terrain Classification for Autonomous Off-Road Navigation[J]. Autonomous Robots, 2005, 18:81-102.

[4] Pedro S, Magno G, Luis C, el al. Stereo-Based All-Terrain Obstacle Detection Using Visual Saliency[J]. Journal of Field Robotics, 2011, 28(2):241-263.

[5] Zhongfei Z, Richard W, Allen H. Obstacle Detection Based on Qualitative and Quantitative 3D Reconstruction[J]. IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENG, 1997, 19(1):15-26.

[6] Kurt K, Motilal A, Morten R B, el al. Mapping, Navigation, and Learning for Off-Road Traversal[J]. Journal of Field Robotics, 2009, 26(1):88-113.

[7] Alberto B, Massimo B, Alessandra F, el al. Visual Perception of Obstacle and Vehicles for Platoon[J]. IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEM, 2000, 1(3):164-176.

[8] Iwan U, Illah N. Appearance-Based Obstacle Detection with Monocular Color Vision[C]. Proceeding of the AAAI National Conference on Artificial Intelligence. Austin, TX, July/August 2000.

[9] Roth P M, Winter M. SURVEY OF APPEARANCE-BASED METHODS FOR OBJECT RECOGNITION[J]. Inse for Computer Graphics and Vision,Graz， Tech/Rep. ICG-TR-01/08.

[10] Ohnishi N, Imiya A. Appearance-based navigation and homing for autonomous mobile robot[J]. Image and Vision Computing, 2013, 31:511-532.

[11] Cherubini A, Chaumette F. Visual Navigation of a Mobile Robot with Laser-based Collision Avoidance[J]. The International Journal of Robotics Research, 2012, 0(0):1-17.

[12] 沈常宇,金尚忠. 光學(xué)原理[M]. 北京：清華大學(xué)出版社, 2013.

Obstacle Detection and Measurement Based on Monocular Vision

WANG Zhen, WANG Hua-ming

(Nanjing University of Aeronautics and Astronautics, Nanjing 210016, China)

Abstract:Obstacle detection and measurement is one of the key problems for the autonomous movement of intelligent mobile robot. This paper presents an algorithm based on the combination of the appearance and the contact edge which is used to detect and measure the obstacle on the flat surface using single visual sensor. In the algorithm the image is primary handled according to the appearance property of known ground surface and the obstacle position defected according to the edge property of the contact area between obstacle and ground, then the reference area on the obstacle is seleted and the image is handled again according to the appearance property of the obstacle to get the position of the obstacle in the image, finally the obstacle detection and measurement are finished according to the principle of visual sensor. The effectiveness and accuracy of the algorithm is tested and verified on a wheeled mobile robot, the error of detection algorithm is about 5 %, while the error of measurement algorithm is about 1.89 %.

Keywords:monocular vision; appearance property; height measurement

收稿日期：2013-10-14

中圖分類號：TP242.6

文獻(xiàn)標(biāo)志碼：B

文章編號：1671-5276(2015)01-0198-04

作者簡介：王振(1989-)，男，江蘇準(zhǔn)安人，碩士研究生，研究領(lǐng)域：彈跳機(jī)器人，機(jī)器人智能控制。