基于視覺(jué)辨色的AGV路徑識(shí)別算法研究

官祥錦，張為民，陳 娟

（1.中國(guó)航空制造技術(shù)研究院，北京100024；2.北京化工大學(xué)，北京 100029）

自動(dòng)導(dǎo)引車（Automatic guided vehicle，AGV）是一種能夠進(jìn)行自主或半自主移動(dòng)的輪式機(jī)器人。它集控制和導(dǎo)航系統(tǒng)于一體，廣泛用于柔性加工、柔性裝配、自動(dòng)化立體倉(cāng)庫(kù)等領(lǐng)域[1]。隨著科學(xué)技術(shù)的進(jìn)步和國(guó)家生產(chǎn)制造能力的提高，AGV 的運(yùn)用越來(lái)越廣泛[2]。它能夠在已知或未知的環(huán)境中，根據(jù)生產(chǎn)或運(yùn)輸?shù)囊?，自?dòng)將貨物按照人們的意愿從一個(gè)地方運(yùn)輸?shù)搅硪粋€(gè)地方。AGV 的應(yīng)用不僅提高了生產(chǎn)效率，還在很大程度上降低了生產(chǎn)成本。但是目前還沒(méi)有一種通用的AGV 能夠適用于各種生產(chǎn)場(chǎng)所，AGV 的設(shè)計(jì)也需要根據(jù)應(yīng)用場(chǎng)景的變化而變化[3]。此外，目前AGV 大多應(yīng)用在已知環(huán)境中，即根據(jù)現(xiàn)場(chǎng)生產(chǎn)需要，讓AGV 按照預(yù)先鋪設(shè)的路徑行駛[4]。路徑識(shí)別在AGV 行駛的過(guò)程中起著至關(guān)重要的作用，現(xiàn)存的AGV路徑識(shí)別方法主要有基于電磁的路徑識(shí)別方法和基于視覺(jué)的路徑識(shí)別方法[5]。基于視覺(jué)的路徑識(shí)別方法由于成本低，系統(tǒng)搭建容易，相對(duì)于電磁方式,基于視覺(jué)的方法在工業(yè)現(xiàn)場(chǎng)的抗干擾能力也更強(qiáng)，所以基于視覺(jué)的路徑識(shí)別方法在實(shí)際的生產(chǎn)生活中有著更為廣泛的應(yīng)用[6]。由于AGV 的廣泛應(yīng)用，基于視覺(jué)的AGV路徑識(shí)別有著較大的應(yīng)用潛力，但很多研究在AGV 的路徑鋪設(shè)方面，都只使用了單一顏色的路徑[7-8]，同時(shí)也沒(méi)有考慮多路徑交叉的情況，這和AGV 現(xiàn)實(shí)的應(yīng)用場(chǎng)景不符合[9-13]。此外，已有研究中，在路徑的識(shí)別算法上要么過(guò)于復(fù)雜[14-16]，實(shí)時(shí)性差，要么僅考慮了某幾種特殊情況[17-19]，實(shí)用性較差。

針對(duì)以上問(wèn)題，提出了一種基于視覺(jué)辨色的AGV路徑識(shí)別方法，該方法使用紅黃兩種不同顏色的色帶鋪設(shè)路徑，通過(guò)將灰度圖像和HSV 格式圖像的不同通道進(jìn)行分離以及重新融合處理，根據(jù)不同的顏色特征以及不同路徑的形狀特征，能夠很好地識(shí)別單一路徑和多路徑交叉情況。此外，該路徑識(shí)別算法簡(jiǎn)單，具有較好的實(shí)時(shí)性、魯棒性和實(shí)用性。

1 AGV 系統(tǒng)組成

本研究中使用的AGV 模型如圖1所示，其為四輪結(jié)構(gòu)，采用的是四輪獨(dú)立驅(qū)動(dòng)方式。該AGV 載重約700kg,長(zhǎng)度2.3m，寬度0.9m，高度0.6m，屬于中型運(yùn)輸AGV。用于圖像采集的攝像頭安裝于AGV 車身內(nèi)部的中間位置，并且與AGV 的行駛路面垂直，攝像頭采集的圖像大小為480×640。車載PC 為裝有Windows7系統(tǒng)的平板電腦，處理器為Intel Celero，處理器頻率為1.85GHz。此外采用了LED 光源對(duì)攝像頭進(jìn)行光照補(bǔ)償，幫助攝像頭進(jìn)行路徑圖像的采集。

圖1 AGV 簡(jiǎn)要結(jié)構(gòu)Fig.1 Brief structure of AGV

本研究的AGV路徑使用紅色和黃色兩種顏色的色帶進(jìn)行鋪設(shè)，其模型如圖2所示。

圖2 AGV 行駛路徑模型Fig.2 AGV driving path model

通過(guò)對(duì)攝像頭采集的圖像進(jìn)行處理后，得到AGV在單一路徑和交叉路徑上的簡(jiǎn)單導(dǎo)航模型如圖3所示。其中圖3（a）為AGV 在單一路徑上行駛時(shí)的路徑和中心線模型；圖3（b）為AGV 在交叉路口行駛時(shí)的路徑和中心線模型。參數(shù)θ為路徑中心線與圖像Y軸的角度偏移量；參數(shù)d為路徑中心線的中點(diǎn)與圖像Y軸的距離偏移量。

圖3 導(dǎo)航模型Fig.3 Navigation model

對(duì)采集的圖像進(jìn)行處理，計(jì)算出路徑中心線即可得到當(dāng)前AGV 的角度偏移量θ和距離偏移量d，將這兩個(gè)值輸入AGV 的控制器，即可以對(duì)AGV 的行駛角度和行駛方向進(jìn)行控制。

2 路徑識(shí)別算法

本研究中攝像頭采集的原始圖像為RGB 格式圖像，由于RGB 格式圖像包含的數(shù)據(jù)量大，如果直接使用RGB 格式圖像進(jìn)行路徑識(shí)別，不但識(shí)別效果差而且計(jì)算量大，導(dǎo)致AGV 系統(tǒng)的實(shí)時(shí)性較差。此外，由于攝像頭垂直地面安裝且離地面距離較近，獲得的RGB 格式圖像變形較小，不需要對(duì)圖像進(jìn)行幾何校正[20]。為了能夠有效降低圖像處理的計(jì)算量，提高實(shí)時(shí)性，將攝像頭獲取的RGB 原始圖像縮小為原來(lái)的1/4，即圖像的大小變?yōu)?20×160。為了能夠更好地解決識(shí)別單一路徑和多路徑交叉時(shí)的問(wèn)題，本研究中使用紅色和黃色兩種顏色的色帶鋪設(shè)AGV 的行駛路徑，這兩種顏色的色帶與路面的背景顏色形成了鮮明的對(duì)比。但是RGB 顏色模型不能夠很好地反映出物體的顏色信息，也就不能夠很好地體現(xiàn)出紅黃顏色的AGV路徑與灰色路面的差別。而相對(duì)于RGB 顏色模型而言，HSV 顏色模型能夠非常直觀地體現(xiàn)出不同顏色的明暗程度、色調(diào)信息以及不同顏色的鮮艷程度，方便進(jìn)行不同顏色之間的對(duì)比與計(jì)算。所以將圖像的RGB 顏色模型轉(zhuǎn)換為HSV 顏色模型，方便識(shí)別黃色和紅色的AGV路徑。此外，由于RGB 格式圖像的灰度模型穩(wěn)定性較好，受到光照的影響也較小，所以還將圖像的灰度模型和HSV 顏色模型的不同通道進(jìn)行了混合，從而提高了路徑識(shí)別算法的魯棒性和可靠性。

2.1 圖像預(yù)處理

HSV 顏色模型在有些文獻(xiàn)中也被稱作六角椎體模型。其中，H表示圖像的色調(diào)，它的大小用角度值來(lái)進(jìn)行衡量，其取值范圍為0°～360°，不同點(diǎn)的角度值代表了不同的顏色。S表示圖像的飽和度，它的取值范圍為0～1.0，S的值越大，圖像的飽和度就越高，顏色也就越鮮艷。V表示圖像的亮度，它的取值范圍為0～1.0，在相同的光源下，圖像中物體的亮度與該物體的透射或反射比有關(guān)，物體的透射或反射比不同，亮度V的取值也就不同，可以根據(jù)圖像中亮度V的不同取值，識(shí)別出具有不同透射或反射比的物體。

圖像的RGB 顏色模型和HSV 顏色模型的轉(zhuǎn)換關(guān)系如式（1）～（3）所示：其中R、G、B分別表示RGB 格式圖像的紅色、綠色和藍(lán)色通道的像素值。max 表示R、G、B 通道中的最大像素值，min 表示R、G、B 通道中的最小像素值。

因?yàn)榛叶葓D像受到的光照影響較小，所以為了使路徑識(shí)別算法具有更好的穩(wěn)定性和魯棒性，將轉(zhuǎn)換后的S通道圖像和灰度圖像進(jìn)行了加權(quán)混合。RGB 格式圖像和灰度圖像Gray 的轉(zhuǎn)換關(guān)系為：

由于地面色帶反光、光照不均、色帶磨損以及地面污漬的影響，導(dǎo)致轉(zhuǎn)換后的圖像中含有較多的噪聲干擾，為了不影響路徑的識(shí)別效果，需要將轉(zhuǎn)換后的圖像進(jìn)行濾波處理。而圖像中路徑邊緣準(zhǔn)確性和清晰程度對(duì)路徑中心線的提取起著至關(guān)重要的作用，所以使用了中值濾波對(duì)圖像進(jìn)行了濾波處理。

中值濾波是一種非線性濾波，它通過(guò)將一個(gè)鄰域內(nèi)的像素組成一個(gè)集合，然后計(jì)算出該集合的中間值代替當(dāng)前的像素值，所以中值濾波對(duì)圖像中的椒鹽噪聲具有很好的抑制作用，并且能夠很好地保留圖像中色帶路徑的邊緣，有助于對(duì)路徑中心線的提取。

2.2 路徑識(shí)別

研究所使用的路徑識(shí)別算法的主要思路為：對(duì)攝像頭獲取的RGB 格式圖像進(jìn)行預(yù)處理后，從RGB 格式圖像中檢測(cè)當(dāng)前路徑的顏色，并將RGB 格式圖像轉(zhuǎn)換為HSV 格式圖像。如果當(dāng)前檢測(cè)到的路徑圖像為單一顏色圖像，則將HSV 格式圖像的S 通道圖像和V 通道圖像進(jìn)行加權(quán)求和后進(jìn)行閾值化處理，得到當(dāng)前路徑的二值化圖像；如果當(dāng)前檢測(cè)到路徑圖像為紅黃兩種顏色的混合顏色圖像，則將HSV 格式圖像的S 通道圖像和V通道圖像加權(quán)求和后進(jìn)行閾值化處理得到混合路徑的二值化圖像；然后將S 通道圖像和灰度圖像進(jìn)行加權(quán)求和并進(jìn)行閾值化處理得到紅色路徑的二值化圖像。由于混合路徑圖像中只會(huì)存在紅色和黃色路徑圖像，所以將混合路徑圖像和紅色路徑圖像進(jìn)行求差運(yùn)算，即可得到黃色路徑圖像，從而識(shí)別出不同的路徑。圖像中路徑顏色檢測(cè)算法如下：

檢測(cè)圖像中是否有某種顏色是通過(guò)迭代的方式，計(jì)算目標(biāo)顏色與當(dāng)前顏色的距離，然后判斷距離是否在允許的公差范圍內(nèi)，如果在公差范圍內(nèi)，則將當(dāng)前像素的顏色判斷為目標(biāo)顏色，否則當(dāng)前像素的顏色不是目標(biāo)顏色。通過(guò)迭代的方式計(jì)算圖像中含有目標(biāo)顏色的像素?cái)?shù)，如果圖像中含有目標(biāo)顏色的像素?cái)?shù)大于定義閾值，則表示圖像中含有目標(biāo)顏色的路徑，否則沒(méi)有目標(biāo)顏色的路徑。計(jì)算兩種顏色距離的方法有歐幾里得距離、曼哈頓距離（也稱為城市街區(qū)距離）、明可夫斯基距離以及余弦相似度等，為了簡(jiǎn)化計(jì)算，研究中所采用的是曼哈頓距離。曼哈頓距離的計(jì)算方式如式（5）所示：

其中，R1、G1、B1表示目標(biāo)顏色；R2、G2、B2表示當(dāng)前像素值。

判斷圖像中是否具有目標(biāo)顏色和目標(biāo)路徑的算法如式（6）和（7）所示：

其中，maxDist 表示判斷圖像中是否具有目標(biāo)顏色的最大公差；count 表示滿足圖像中像素顏色與目標(biāo)顏色距離小于等于最大公差的像素?cái)?shù)；threshValue 表示是否具有目標(biāo)顏色路徑的像素?cái)?shù)閾值。

S 通道圖像和V 通道圖像的加權(quán)求和公式如式（8）所示：

其中，M表示混合路徑圖像；?、β分別表示S 通道圖像和V 通道圖像的加權(quán)值；γ表示偏移量。

類似地，S 通道圖像和灰度圖像的加權(quán)求和公式如式（9）所示：

其中，Red 表示紅色路徑圖像；α1、β1分別表示S 通道圖像和灰度圖像的加權(quán)值；γ1表示偏移量。

本研究中?=0.75，β=0.6，γ=0；α1=0.6，β1=0.7，γ1=0。

將混合路徑圖像和紅色路徑圖像通過(guò)式（10）進(jìn)行閾值處理后，得到混合路徑和紅色路徑的二值化圖像。

其中，dst 表示閾值化后的圖像；src 表示原始圖像。

通過(guò)攝像頭實(shí)時(shí)獲取的路徑圖像，計(jì)算紅色路徑圖像和黃色路徑圖像的算法如式（11）所示：

其中，redI 表示二值化后的紅色路徑圖像；yellowI 表示二值化后的黃色路徑圖像；Red1 表示S 通道圖像和灰度圖像加權(quán)求和并進(jìn)行閾值化處理后的二值圖像。

根據(jù)在AGV 行駛路面鋪設(shè)的色帶情況，在AGV沿色帶行駛的過(guò)程中，會(huì)存在如圖4所示的路徑特征，其中特征1 和特征6 分別對(duì)應(yīng)AGV 減速和加速時(shí)的特征。當(dāng)在圖像中只檢測(cè)到一種顏色時(shí)，表示當(dāng)前AGV正行駛在單一路徑上；當(dāng)在圖像中同時(shí)檢測(cè)到兩種顏色時(shí)，可能是圖4 中路徑特征為3、4、5 的情況，但是只有路徑特征4 是交叉路口的完整特征。所以為了防止AGV 在交叉路口還沒(méi)有形成完整特征時(shí)產(chǎn)生誤判，結(jié)合不同的顏色，當(dāng)路徑從特征3 變成特征4 的時(shí)候才認(rèn)為是完整的交叉路口，從而解決還未形成完整交叉路口特征時(shí)的誤判問(wèn)題。

本研究中路徑識(shí)別算法流程圖如圖5所示。其中Y 和R 分別表示黃色和紅色，type 的取值表示圖4所示的路徑特征，其中type 的值為7 時(shí)，表示特殊路徑類型或者圖像中沒(méi)有路徑。top 和bottom 分別表示二值化后的路徑圖像中頂部和底部路徑寬度的像素?cái)?shù)統(tǒng)計(jì)值，width 表示標(biāo)定的色帶寬度在圖像中對(duì)應(yīng)的像素?cái)?shù)統(tǒng)計(jì)值。通過(guò)輸出的type 值即可得到當(dāng)前AGV 的行駛路徑類型，并且通過(guò)判斷type 值從3 到4 的跳變能夠準(zhǔn)確、穩(wěn)定地識(shí)別出交叉路口特征完整時(shí)的路徑類型。

圖4 AGV路徑圖像特征Fig.4 AGV path image features

圖5 AGV路徑識(shí)別算法流程圖Fig.5 AGV path recognition algorithm flowchart

2.3 計(jì)算路徑中心線

當(dāng)AGV 的當(dāng)前行駛路徑為單一路徑時(shí)，通過(guò)對(duì)二值化后的路徑圖像進(jìn)行Canny 邊緣檢測(cè)，然后將一系列邊緣點(diǎn)進(jìn)行連接，得到圖6（a）所示路徑的最小外接旋轉(zhuǎn)矩形。經(jīng)過(guò)比較計(jì)算便可以得到最小外接旋轉(zhuǎn)矩形的4 個(gè)頂點(diǎn)。在最小外接矩形的4 個(gè)頂點(diǎn)中，排序找出y值最小的兩個(gè)點(diǎn)p1和p2；以及y值最大的兩個(gè)點(diǎn)p3和p4。然后計(jì)算出p1和p2的中點(diǎn)作為路徑中心線的終點(diǎn)（x1，y1），p3和p4的中點(diǎn)作為路徑中心線的起點(diǎn)（x2，y2）。在得到路徑中心線上的兩個(gè)點(diǎn)后便可以計(jì)算出路徑中心線的直線方程y=ax+b。其中a表示直線的斜率，b表示直線的截距。根據(jù)路徑中心線的方程便可以計(jì)算出當(dāng)前AGV 行駛路徑的方向偏移d和角度偏移θ，將這兩個(gè)參數(shù)輸入控制器便可以控制AGV 沿著色帶行駛。

圖6 路徑的最小外接旋轉(zhuǎn)矩形Fig.6 Minimum circumscribed rotation rectangle of path

在交叉路口的情況如圖6（b）所示，同樣是計(jì)算路徑的最小外接矩形，但是這里出現(xiàn)了兩段路徑的最小外接旋轉(zhuǎn)矩形。通過(guò)計(jì)算分別得到每個(gè)最小外接矩形的4 個(gè)頂點(diǎn)，再將兩個(gè)最小外接矩形的4 個(gè)頂點(diǎn)進(jìn)行比較計(jì)算，得到y(tǒng)值最小的兩個(gè)點(diǎn)p7、p8和y值最大的兩個(gè)點(diǎn)p1和p2。將p7和p8的中心點(diǎn)作為路徑中心線的終點(diǎn)（x1，y1），p1和p2的中心點(diǎn)作為路徑中心線的起點(diǎn)（x2，y2）。和在單一路徑下的情況類似，得到路徑中心點(diǎn)上的兩個(gè)點(diǎn)后，便可以計(jì)算出AGV 在交叉路口行駛時(shí)的方向偏移值d和角度偏移值θ。

為了能夠從二值化的路徑圖像中更加準(zhǔn)確地計(jì)算出路徑中心線，使用了Canny 邊緣檢測(cè)算法對(duì)二值化后的路徑圖像進(jìn)行邊緣檢測(cè)，Canny 算子是一種比較實(shí)用的邊緣檢測(cè)算子，具有良好的邊緣檢測(cè)性能，并且能夠在噪聲抑制和邊緣檢測(cè)之間取得較好的平衡。此外，Canny 邊緣檢測(cè)算子能夠很好地定位邊緣點(diǎn)，它檢測(cè)到的邊緣點(diǎn)和圖像中物體實(shí)際的邊緣點(diǎn)之間的距離是最近的，而且Canny 算子對(duì)于真實(shí)的邊緣點(diǎn)，只會(huì)存在一個(gè)響應(yīng)，不會(huì)同時(shí)計(jì)算出多個(gè)邊緣像素。其Canny 邊緣檢測(cè)算法的實(shí)現(xiàn)過(guò)程如下：

（1）對(duì)圖像使用高斯濾波進(jìn)行平滑處理；

（2）使用一階偏導(dǎo)數(shù)計(jì)算梯度的幅值和方向；

（3）對(duì)梯度幅值圖像進(jìn)行非極大值抑制；

（4）使用雙閾值處理和連接分析的方式來(lái)檢測(cè)和連接檢測(cè)到的物體邊緣點(diǎn)。

Canny 邊緣檢測(cè)算子的表示如式（12）～（16）所示：

其中，G（x，y）為標(biāo)準(zhǔn)差為σ的二維高斯函數(shù)；f（x，y）表示圖像在點(diǎn)（x，y）處的像素值；Ex（x，y）和Ey（x，y）分別表示圖像f在點(diǎn)（x，y）處沿x方向和沿y方向的偏導(dǎo)數(shù)。其中圖像在（x，y）點(diǎn)處的梯度幅值M（x，y）和?（x，y）方向分別為：

3 試驗(yàn)結(jié)果與討論

為了驗(yàn)證本研究中所使用方法的有效性，使用OpenCV 庫(kù)和VisualStudio2017 進(jìn)行編程，將AGV 上攝像頭采集的圖像實(shí)時(shí)傳輸?shù)杰囕dPC 端進(jìn)行處理，并將圖像的處理和識(shí)別結(jié)果通過(guò)RS232 串口傳輸?shù)紸GV的控制器，從而實(shí)現(xiàn)控制器對(duì)AGV 行駛的實(shí)時(shí)控制。試驗(yàn)結(jié)果如圖7所示。

圖7（a）為在黃色單一路徑下，路面存在雜物時(shí)的處理結(jié)果和路徑中心線；圖7（b）為在黃色單一路徑下，type=1（AGV 開(kāi)始減速）時(shí)的處理結(jié)果和路徑中心線；圖7（c）為AGV 處于減速帶（色帶寬度為正常色帶的2 倍）上的處理結(jié)果和路徑中心線；圖7（d）為AGV 行駛在紅色道路上，且道路上存在雜物和道路有磨損時(shí)的處理結(jié)果和路徑中心線，雖然路徑上有雜物并且道路存在磨損，但是仍能夠很好地提取出路徑中心線；圖7（e）為AGV 行駛在黃色路徑上，且交叉路口特征還沒(méi)有完整時(shí)的處理結(jié)果和路徑中心線；圖7（f）為AGV 行駛在黃色路徑上，交叉路口特征已經(jīng)完整，且AGV 有一定的傾斜時(shí)的處理結(jié)果和路徑中心線；圖7（g）為AGV行駛在紅色路徑上，交叉路口特征已經(jīng)完整，且AGV 有一定的傾斜時(shí)的處理結(jié)果和路徑中心線；圖7（h）為AGV 行駛在紅色路徑上，交叉路口特征已經(jīng)完整，且路徑中存在雜物時(shí)的處理結(jié)果和路徑中心線；圖7（i）為AGV 行駛在黃色路徑上，離開(kāi)交叉路口時(shí)的處理結(jié)果和路徑中心線；圖7（j）為AGV 行駛在黃色路徑上，離開(kāi)交叉路口，type=6（AGV 開(kāi)始加速）時(shí)的處理結(jié)果和路徑中心線。通過(guò)以上的試驗(yàn)結(jié)果可以看出，通過(guò)判斷當(dāng)前AGV 是行駛在紅色路徑上還是黃色路徑上，以及結(jié)合不同的路徑特征，便能夠很好地判斷出單一路徑和多路徑交叉的情況。當(dāng)圖像中存在一些雜物、污漬以及光照不均勻時(shí)都能夠獲得較好的處理結(jié)果，即該算法具有較好的穩(wěn)定性和魯棒性。此外也通過(guò)大量的試驗(yàn)驗(yàn)證了該算法處理每幀圖像的平均時(shí)間小于30ms，能夠很好地滿足AGV 對(duì)實(shí)時(shí)性的要求。

圖7 處理結(jié)果和中心線Fig.7 Result and center line

此外，本研究還用文獻(xiàn)[5，9，12-13]中使用的路徑識(shí)別算法進(jìn)行對(duì)比研究，這些文獻(xiàn)中的路徑識(shí)別算法和本研究所使用的路徑識(shí)別算法在處理單幀圖像上的時(shí)間對(duì)比如表1所示，可以看出，本研究所使用的路徑識(shí)別算法在實(shí)時(shí)性上具有較好的效果。

表1 不同算法識(shí)別效果Table 1 Recognition effect of different algorithms

4 結(jié)論

（1）針對(duì)AGV 在實(shí)際應(yīng)用過(guò)程中存在的單一行駛路徑和多路徑交叉的情況，提出了一種新型的，基于不同顏色色帶的AGV路徑識(shí)別方法，該方法能夠通過(guò)結(jié)合路徑的顏色識(shí)別結(jié)果和不同的控制指令，很好地解決單一路徑和多路徑交叉時(shí)的路徑識(shí)別問(wèn)題。

（2）該算法的計(jì)算量小，實(shí)時(shí)性好，處理一幀圖像的平均時(shí)間小于30ms，能夠很好地滿足AGV 對(duì)實(shí)時(shí)性的要求，并且受光照影響小，抗干擾性強(qiáng)，具有較好的魯棒性和穩(wěn)定性。此外，該路徑識(shí)別算法在結(jié)合AGV 的路徑規(guī)劃算法后，將正式投入AGV 的運(yùn)行車間進(jìn)行使用。