復(fù)雜工況下視覺AGV導(dǎo)航標(biāo)識帶中心線的提取研究

佘宏杰,趙燕偉,冷龍龍

(浙江工業(yè)大學(xué) 特種裝備制造與先進(jìn)加工技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室,杭州　310014)

?

復(fù)雜工況下視覺AGV導(dǎo)航標(biāo)識帶中心線的提取研究

佘宏杰,趙燕偉,冷龍龍

(浙江工業(yè)大學(xué) 特種裝備制造與先進(jìn)加工技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室,杭州310014)

針對光照不均勻、導(dǎo)航標(biāo)識帶破損、少量雜物干擾的復(fù)雜工況條件下，對視覺AGV采集到的路面導(dǎo)航標(biāo)識帶圖片進(jìn)行特征提取，采用灰度化、中值濾波進(jìn)行了圖像預(yù)處理，研究了Otsu法和迭代法等動態(tài)閾值分割算法以及形態(tài)學(xué)在圖像分割中的應(yīng)用，并對預(yù)處理圖像作了分割對比實(shí)驗(yàn);然后對分割后的圖像進(jìn)行邊緣提取，分析了基于最小二乘法和Hough變換算法的直線擬合原原理，提出了Hough算法下基于邊緣線的中心線擬合算法，并作了直線擬合對比試驗(yàn);實(shí)驗(yàn)表明，復(fù)雜工況下，采用基于形態(tài)學(xué)和Otsu算法相結(jié)合的方法對圖像進(jìn)行分割，得到的二值圖像邊界更完整，效果更好，基于Hough變換算法較最小二乘法能更精確有效地提取出導(dǎo)航標(biāo)識帶中心線及其方程。

視覺AGV；數(shù)學(xué)形態(tài)學(xué)；閾值分割；Hough變換

0　引言

自動引導(dǎo)車 AGV(automatic guided vehicle)是指裝有電磁或者光學(xué)等智能導(dǎo)引裝置，能夠沿著導(dǎo)引路徑自動行駛，具有智能避障以及各種預(yù)警和移載功能的無人運(yùn)輸車。近年來，隨著自動化水平的提高，AGV的應(yīng)用范圍不斷擴(kuò)展，廣泛地應(yīng)用于工業(yè)、軍事、交通等領(lǐng)域。

基于視覺導(dǎo)引的AGV是利用攝像頭采集行駛路面的圖片信息，通過計算機(jī)進(jìn)行數(shù)字圖像處理，識別出路徑信息，繼而控制車輛的運(yùn)行。主要有兩種方式，一種是標(biāo)識帶圖像識別方法，它是在AGV行走路徑的地面上貼上明顯的導(dǎo)向色帶，利用攝像頭動態(tài)攝取標(biāo)識帶圖像并計算出AGV中心相對于標(biāo)識帶中心線的方向和距離偏差，以控制車輛沿著中心線運(yùn)行。另一種是利用攝像頭動態(tài)攝取AGV路徑周圍環(huán)境的圖像信息，與設(shè)定的路徑周圍環(huán)境數(shù)據(jù)庫中的圖像信息進(jìn)行比較，從而確定當(dāng)前AGV位置并對繼行路線做出決策，這種方法不需設(shè)置物理路徑，在理論上具有最佳的柔性，但實(shí)際應(yīng)用還存在問題，主要是實(shí)時性差和路徑周圍環(huán)境信息庫建立比較困難。利用機(jī)器視覺,通過識別路徑上的條帶狀標(biāo)實(shí)現(xiàn)自主導(dǎo)航仍是現(xiàn)階段智能AGV車輛研究的導(dǎo)向方法[1]。相較傳統(tǒng)的電磁導(dǎo)航、磁帶導(dǎo)航等導(dǎo)引方式，這種視覺導(dǎo)航具有導(dǎo)引精度高、路徑設(shè)置和變更簡單靈活、智能化程度高等優(yōu)點(diǎn)。視覺系統(tǒng)對于視覺AGV而言就如同眼睛對于人一樣，是非常重要的組成部分，其中圖像處理環(huán)節(jié)更是至關(guān)重要，能否正確有效地提取出標(biāo)識帶的中心線直接關(guān)系到AGV導(dǎo)航的精度，對車體控制的準(zhǔn)確性和穩(wěn)定性具有決定性的作用。 視覺信息的處理技術(shù)是自動引導(dǎo)車研究中的關(guān)鍵技術(shù)之一[2]。

1　圖像預(yù)處理

AGV的導(dǎo)航標(biāo)識帶是一條貼在地面上的有色色帶，安裝在車體上的攝像頭拍攝采集路面圖片，然后進(jìn)行圖像處理。首先，要將圖片灰度化，因?yàn)椴噬珗D片數(shù)據(jù)量大，處理所需時間較長?；叶然笕鐖D1(a)所示。

采集圖像過程中由于受光照強(qiáng)度、鏡頭清潔度、攝像機(jī)的抖動等因素影響，不可避免地會含有噪聲。為了使圖像更有利于提取特征信息，需要對圖像進(jìn)行濾波去噪處理。因?yàn)闃?biāo)識線的邊緣信息準(zhǔn)確與否對圖像的識別結(jié)果有著較大的影響, 所以在選擇濾波方法時, 要保證濾波處理后的圖像邊緣細(xì)節(jié)不產(chǎn)生模糊化現(xiàn)象[3]。中值濾波對于噪聲有良好的濾除作用，特別是在濾除噪聲的同時，能夠較好地保護(hù)圖像的邊緣，使之不被模糊。因此對灰度化后的圖像進(jìn)行中值濾波處理，基于處理速度考慮，采用了3*3的濾波算子，濾波結(jié)果如圖1中(b)所示。

圖1　圖像灰度化與中值濾波

2　圖像分割與邊緣提取

在AGV實(shí)際行駛途中，光照強(qiáng)度事實(shí)上是不均勻的，采集到的圖片局部有明有暗，會為圖像分割提取標(biāo)志帶邊緣帶來了很大的困難。由于路面圖像的特點(diǎn)是目標(biāo)與背景對比鮮明，直方圖呈現(xiàn)較明顯的雙峰，且AGV對圖像處理有較高的實(shí)時性要求，因此圖像的分割采用閾值法，閾值分割具有計算簡單、運(yùn)算效率較高、速度快的優(yōu)點(diǎn)。閾值分割的公式如下：

(1)

t為分割閾值，一般的1表示目標(biāo)，0表示背景。其中分割閾值的確定是關(guān)鍵，一般采用動態(tài)閾值分割方法，即算法根據(jù)圖像自動確定分割閾值。

2.1迭代法和Otsu法

迭代法是一種在圖像分割過程中選擇合適閾值的方法，它是基于逼近的思想通過閾值迭代的方式，利用程序自動計算出比較合適的分割閾值[4]。迭代算法的具體分割步驟入如下：

1)選取初始閾值t0，t0為圖像灰度的中值。

2)利用閾值t把圖像分成兩個部分，R1和R2，其灰度均值分別為g1和g2。其中：

(2)

3)計算新的閾值ti+1:

(3)

4)重復(fù)2～3，直到ti+1和ti的差小于某個值。

Otsu算法[5]又稱作最大類間方差法，該算法計算簡單，處理迅速，被認(rèn)為是自適應(yīng)閾值分割方法中的最優(yōu)算法。它的原理是選取使得目標(biāo)與背景差別最大，即類間方差最大的分割閾值為最佳閾值。

設(shè)圖像像素總數(shù)為N,包含有l(wèi)個灰度級，對應(yīng)灰度級為i的像素個數(shù)為ni，幾率 ：

(4)

整個圖像的灰度均值：

(5)

t為分割閾值，將圖像劃分為兩類R0和R1，即R0={0,1,2...t}，R1={t,t+1,t+2...l-1}，灰度均值分別為：

(6)

其中：

(7)

由以上式得：

(8)

類間方差為：

(9)

使上式最大的t值即為最佳分割閾值。

圖1中的灰度圖片基于迭代法和Otsu算法的圖像分割結(jié)果分別如圖2中的(a)和(b)所示。(a)中的標(biāo)識帶的頂部并沒有完整地分割出來，(b)中圖像背景部分還存在較多白點(diǎn)，且標(biāo)識帶頂部也沒有分割出來，可見對于光照不均勻的圖像迭代法和Otsu算法的分割效果并不好。

2.2基于形態(tài)學(xué)和Otsu的圖像分割

數(shù)學(xué)形態(tài)學(xué)應(yīng)用于圖像處理，其基本思想是利用一個結(jié)構(gòu)元素作為探針，放入圖像內(nèi)部用于探測和提取圖像特征。形態(tài)學(xué)的基本運(yùn)算包括腐蝕、膨脹、開運(yùn)算和閉運(yùn)算[6]。設(shè)A和B為空間Z的集合，A表示原始圖像，B表示結(jié)構(gòu)元素。則B對A的膨脹：

(10)

(11)

B對A的腐蝕：

(12)

B對A的開運(yùn)算：

(13)

B對A的閉運(yùn)算：

(14)

對于灰度圖像定義一個比圖像中目標(biāo)大的結(jié)構(gòu)元素作開運(yùn)算，就可以濾除目標(biāo)，獲得大致的背景亮度，再用原圖減去背景得到目標(biāo)圖像，從而解決光照不均勻帶來的問題。圖像分割具體步驟如下：

1)定義結(jié)構(gòu)元素，與原始灰度圖作開運(yùn)算，獲取背景圖像；

2)原始灰度圖減去背景圖像，得到目標(biāo)圖像；

3)基于Otsu算法對目標(biāo)圖像進(jìn)行閾值分割，獲得目標(biāo)的二值圖像。

因?yàn)锳GV在行駛過程中，采集到的圖片大小相同且作為提取目標(biāo)的標(biāo)識帶寬度不變，所以結(jié)構(gòu)元素只需定義一次，其大小稍大于圖像中標(biāo)識帶的像素寬度。結(jié)構(gòu)元素定義為直徑60像素的圓形結(jié)構(gòu)，按上述步驟的分割過程如圖3所示。

圖3　基于形態(tài)學(xué)和Otsu的圖像分割

從實(shí)驗(yàn)結(jié)果可以看出，分割的圖像邊緣清晰完整，比迭代法和Otsu算法分割的效果好。

2.3邊緣提取

對閾值分割得到的二值圖像需要提取其中標(biāo)識帶的邊緣線，利用形態(tài)學(xué)運(yùn)算，先用結(jié)構(gòu)元素對圖像進(jìn)行膨脹，再與分割圖像相減，可以得到標(biāo)識帶的兩條邊緣線，實(shí)驗(yàn)中結(jié)構(gòu)元素選用直徑為4像素的圓形結(jié)構(gòu)，邊緣線提取結(jié)果如圖4所示。

圖4　邊緣提取

3　直線擬合

3.1基于最小二乘法的直線擬合

首先對圖4的邊緣線的圖像逐行掃描，提取白色像素點(diǎn)對應(yīng)的坐標(biāo)，將每行的第一個和最后一個點(diǎn)取平均值，即可得到標(biāo)識帶中心線上的一系列點(diǎn)，如圖5中的(a)所示。

最小二乘法擬合直線[7]是比較常用的一種方法，速度快效率高，其原理是通過尋找一組最佳的函數(shù)匹配使得誤差的平方和最小化。已知一系列的點(diǎn)(x1,y1)(x2,y2),…設(shè)要擬合的曲線模型設(shè)為y=f(x)，最小二乘法是使φ=∑|yi-f(xi)|2最小，通過對其求導(dǎo)可得到每個系數(shù)的方程，再將點(diǎn)帶入方程組可求出各個系數(shù)，最終得到方程表達(dá)式。

利用最小二乘法擬合標(biāo)識帶中心線，可以設(shè)直線方程為:

y=kx+b

(15)

根據(jù)上述原理，誤差平方為:

(16)

分別對其關(guān)于k和b求導(dǎo)得：

(17)

將(a)圖中的一系列點(diǎn)坐標(biāo)帶入上式，可以求解出系數(shù)k和b，從而得到中心線方程。但是由于在Matlab7.0中圖像的坐標(biāo)原點(diǎn)位于左上角，還需進(jìn)行坐標(biāo)系轉(zhuǎn)換，使得坐標(biāo)原點(diǎn)位于圖像中間，豎直向上為縱坐標(biāo)正向，水平向右為橫坐標(biāo)正向。轉(zhuǎn)換后的中心線及其方程如圖5中的(b)所示。

對于受干擾較少的圖像，最小二乘法能夠較好地擬合得到標(biāo)識帶的中心線及其方程。但是當(dāng)圖像中存在較多干擾點(diǎn)等因素時，取得的效果就不理想了，如圖5中(d)所示，可看出原圖不僅光照不均而且地面有一些分散的孔洞，受此影響獲取的中心點(diǎn)則比較分散，如圖5中(c)所示,擬合得到的直線就不再是標(biāo)識帶的中線了。

圖5　最小二乘法擬合直線

3.2基于Hough變換的中心線擬合

3.2.1Hough變換

Hough變換[8]實(shí)現(xiàn)了從圖像空間到參數(shù)空間的映射，它的主要優(yōu)點(diǎn)是抗干擾能力強(qiáng)，受噪聲和幾何形狀間斷的影響比較小，常用來作直線的檢測。其基本思想在于點(diǎn)線間的對偶性，即圖像空間中共線的點(diǎn)對應(yīng)參數(shù)空間相交的線，而參數(shù)空間中相交于一點(diǎn)的直線在圖像空間中都有共線的點(diǎn)對應(yīng)。Hough參數(shù)空間的坐標(biāo)系為極坐標(biāo)，如圖6所示，參數(shù)方程為：

(18)

圖6　Hough變換坐標(biāo)系

對于圖像空間任意一點(diǎn)(x,y)，θ∈[0,180°]，計算相應(yīng)的ρ值，建立的累加數(shù)組A(ρ,θ)即為目標(biāo)圖像的Hough變換圖像。開始時，數(shù)組A為零，再對圖像空間中的每個給定點(diǎn)，θ取遍所有可能的值，計算出對應(yīng)的ρ，根據(jù)ρ和θ的值對A累加。遍歷完圖像后，A(ρ,θ)的值即為在點(diǎn)(ρ,θ)處共線點(diǎn)的個數(shù)。(ρ,θ)的值同時也給定了直線方程的參數(shù)，可得到點(diǎn)所在的直線。

3.2.2標(biāo)識帶邊線檢測

用Hough變換檢測標(biāo)識帶邊線的算法步驟為：

1)初始化(r,θ)空間的數(shù)組；

2)遍歷圖像中的所有物體點(diǎn)，對每一點(diǎn)按變換域的各個點(diǎn)加1；

3)獲取變換域的值大于設(shè)定閾值的點(diǎn)；

4)根據(jù)獲取的點(diǎn)在原空間內(nèi)畫出直線；

5)選取長度最長的直線，即為標(biāo)識帶邊緣線。

對圖7中(a)所示的二值圖像進(jìn)行如上步驟的邊線檢測，其結(jié)果如圖7所示，(b)為Hough變換檢測到的所有長度大于設(shè)定閾值的直線，(c)為最長的直線，即標(biāo)識帶的邊緣線。

圖7　Hough變換提取標(biāo)識帶邊線

3.2.3中心線擬合

圖7中得到的是標(biāo)識帶的邊緣線，按照前面的算法，提取到的最長的直線可能是標(biāo)識帶的左邊緣線也可能是右邊緣線，依據(jù)這根線進(jìn)行AGV的導(dǎo)航是不穩(wěn)定的，最佳方法是提取標(biāo)識帶的中心線。

1)逐行獲取兩幅二值圖像中白色點(diǎn)的位置索引，分別存放于行向量A和B中；

4)為左邊緣線則中心線在標(biāo)識帶邊緣線基礎(chǔ)上向右補(bǔ)償W/2，為右邊緣線則向左補(bǔ)償W/2；

5)擬合中心線并進(jìn)行坐標(biāo)系轉(zhuǎn)換，獲得以圖像中心為原點(diǎn)的直線方程。

基于上述算法進(jìn)行中心線擬合，判定最長直線為標(biāo)識帶的左邊緣線，因此向右補(bǔ)償半個標(biāo)識帶寬度，實(shí)驗(yàn)結(jié)果如圖8所示。

圖8　中心線擬合

4　實(shí)驗(yàn)及結(jié)論

實(shí)驗(yàn)是在Matlab7.0下完成的，實(shí)驗(yàn)圖片為工業(yè)車間實(shí)景采集。采集到的圖片包含光照不均勻、標(biāo)識帶破損、有少量雜物干擾等多種工況。對這些圖片進(jìn)行圖像預(yù)處理后，進(jìn)行基于形態(tài)學(xué)和Otsu算法的動態(tài)閾值分割，再進(jìn)行基于Hough變換的中心線擬合，均可準(zhǔn)確有效獲取到用于視覺AGV導(dǎo)航的標(biāo)識帶中心線及其方程，實(shí)驗(yàn)結(jié)果如圖9所示。

圖9　復(fù)雜工況下標(biāo)識帶中心線提取實(shí)驗(yàn)

相比較傳統(tǒng)的迭代法和Otsu法，形態(tài)學(xué)與Otsu法相結(jié)合的方法，得到的標(biāo)識帶分割圖像邊界更完整，基于Hough變換的中心線擬合相較于最小二乘法直線擬合更能適應(yīng)復(fù)雜的工況條件，獲得準(zhǔn)確的中心線及方程。

[1]劉二林, 詹躍東, 宋孫浩. 雙目視覺在 AGV導(dǎo)引中的應(yīng)用研究[J]. 昆明理工大學(xué)學(xué)報:工版, 2005 ,30(5A): 56-58.

[2] 譚小軍, 郭志豪. 基于視覺的機(jī)器人導(dǎo)航算法研究[J] . 中山大學(xué)學(xué)報(自然科學(xué)版),2004(6):127-131.

[3] 鐘玉琢, 喬秉新, 李樹青. 機(jī)器人視覺技[M].北京:國防工業(yè)出版社,1994.

[4] 柯慧燕. Web文本分類研究及應(yīng)用[D].武漢:武漢理工大學(xué),2006.

[5] Otsu N.A threshold selection method from gray-level histogram[J]. IEEE Trans on SMC, 1979, 9(1):62-66.

[ 6] 陳虎, 周朝輝, 王守尊. 基于數(shù)學(xué)形態(tài)學(xué)的圖像去噪方法研究[J]. 工程圖學(xué)學(xué)報, 2004, 2: 116-11.

[7] 孫涵, 任明武, 楊靜宇. 一種快速使用的直線檢測算法[J].計算機(jī)應(yīng)用研究,2006,2(5):257-260.

[8] 葉富東. 基于霍夫變換的圖形檢測算法[J]. 湖北生態(tài)工程職業(yè)技術(shù)學(xué)院學(xué)報, 2011, 9(3): 45-49.

Study on Center Line Extraction for AGV’s Guide Ribbon Under Complex Conditions

She Hongjie, Zhao Yanwei, Leng Longlong

(Ministrial key lab. of E&M of Special Eguipment, Zhejiang University of Technology, Hangzhou310014, China)

Aiming at the complex condition of non-uniform lighting,damaged ribbon and a few clutter interference , the guided ribbon pictures of AGV based on vision has been collected to extract features, conducting the image pretreatment by using the methods of Graying and Median filter,study on the dynamic threshold segmentation methods include Otsu algorithm and Iterative method and the application of mathematical morphology in image processing, and make image threshold segmentation experiments respectively to analysis.Then extract the boundary of the segmented image ,analysis on the least-square and Hough transform methods ,a algorithm of ribbon’s center line fitting based on the Hough transform is proposed , and using the methods respectively to obtain ribbon’s center line and its mathematical Equation .Experimental results show that under the complex conditions ,using the method based on Otsu algorithm and mathematical morphology to segment image can get better effect on Boundary integrality of binary image ,and using the algorithm based on Hough transform to extract ribbon’s center line and its mathematical Equation can be more accurate and effective.

visual guided AGV; mathematical morphology; threshold segmentation; Hough transform

2015-07-07；

2015-09-06。

國家自然科學(xué)基金項目(51275477)。

佘宏杰(1991-)，男，安徽合肥人，碩士研究生，主要從事AGV視覺導(dǎo)航及避障方向的研究。

1671-4598(2016)01-0212-04

10.16526/j.cnki.11-4762/tp.2016.01.058

TP3

A