基于人工路標的AGV識別與定位技術(shù)研究

陳 成，錢東海，趙 偉，劉 洋，孫林林

（上海大學 機電工程與自動化學院，上海200444）

近幾年來，以人工智能及物聯(lián)網(wǎng)為代表的新一代技術(shù)的迅速發(fā)展，人類生產(chǎn)生活的智能化程度日益提高，機器人成為人類生產(chǎn)生活的一大主題。 作為機器人的一個重要分支，自動導引車AGV（automated guided vehicle） 產(chǎn)業(yè)的發(fā)展迎來了巨大的突破。AGV 作為物流系統(tǒng)和柔性制造系統(tǒng)中的關(guān)鍵子系統(tǒng)，目前應(yīng)用越來越廣泛。 并且，隨著計算機視覺技術(shù)的不斷進步，視覺相關(guān)技術(shù)越來越多地被機器人領(lǐng)域廣泛采用。 在工廠的實際生產(chǎn)中AGV 往往需要在目標點附近進行準確定位，以控制AGV 完成更好的?？?。 基于人工路標的視覺定位算法具有速度快、可靠性高、實現(xiàn)簡易等特點，能夠順利地應(yīng)用到AGV 的定位系統(tǒng)中。 故在此研究了基于人工路標的AGV 識別與定位算法，設(shè)計出一種簡單實用的人工路標，提出一種魯棒的基于對數(shù)極坐標變換的圖像識別算法，利用相機采集到路標的4 個頂點，與世界坐標系下的坐標配對求解出AGV 的位姿，實現(xiàn)AGV 在目標點附近的準確?？?。

1 人工路標的設(shè)計與識別

人工路標的設(shè)計主要考慮路標的簡易美觀性、路標識別的準確性、實時性、穩(wěn)定性以及在復雜環(huán)境中的可擴展性。 識別算法需要在復雜環(huán)境中也能快速準確地識別以此確保定位的精度。

1.1 人工路標的設(shè)計

在此綜合考慮人工路標的一系列設(shè)計要求和已提出的多種路標設(shè)計方案，所設(shè)計的人工路標如圖1所示。 該路標由三大部分組成：紅色的矩形方框、內(nèi)部的白色背景，以及待識別的目標圖案。 將路標的外圍方框設(shè)置為紅色的原因有2 個：①因為在該AGV 應(yīng)用的工作環(huán)境中紅色的物體相對較少，標準的紅色矩形框結(jié)構(gòu)就更少；②因為紅色與其他顏色相較其純度高，散射強度小，明度低，保證了AGV 在不同距離下識別的準確性。內(nèi)部設(shè)置成黑白兩色，能夠形成強烈的明暗對比，有助于圖案的識別。

圖1 人工路標Fig.1 Artificial road signs

1.2 人工路標的識別

人工路標的設(shè)計完成后，根據(jù)路標的一系列特征使其能夠在圖像中被準確的定位與識別。 通常，路標在圖像中的形狀、尺寸等會發(fā)生很大的變化，使得識別的難度增加不少。 為了在發(fā)生尺度變化以及旋轉(zhuǎn)變化的情況下都能準確地識別路標并確定位置，在此提出了一種魯棒的路標識別方法。 其主要的算法流程如圖2所示。

圖2 路標檢測算法流程Fig.2 Flow chart of road sign detection algorithm

采用基于閾值的分割算法，對相機采集到的彩色圖像進行分割。 彩色圖像空間有很多種，在此選擇在RGB 顏色空間對圖像中的紅色區(qū)域進行分割。采用的r，g，b 計算值為

式中：R，G，B 為圖像在各顏色空間的亮度值。 計算出r，g，b 的值后，對圖像進行二值化，選擇r>0.4，g<0.3，b<0.3 時的像素點的值置為255，其余的為0。多次試驗證明，該方法對光照強弱不敏感且計算簡單，獲得的二值化圖像如圖3。圖像中的白色部分即為原圖像中的紅色區(qū)域，黑色則為其他區(qū)域。 為了去除圖像中的噪聲并平滑候選區(qū)域，再將二值化圖像進行形態(tài)學開運算。

圖3 分割前后的路標閾值Fig.3 Road sign threshold before and after segmentation

由圖可見，經(jīng)過分割的圖像，彩色圖像中的紅色部分轉(zhuǎn)化為白色，其余部分為黑色。 然而，環(huán)境中除路標以外，還可能存在一些其他區(qū)域是紅色的，因此可以通過輪廓來區(qū)分路標與其他干擾區(qū)域。

觀察路標中紅色方框的輪廓是2 個四邊形，外圍的四邊形內(nèi)部包含另外一個四邊形。 通過輪廓檢測算法對圖像進行輪廓檢測，尋找圖像中所有的封閉輪廓，此時檢查出的輪廓為光滑的曲線，需要對每個輪廓進行多邊形擬合，選擇形狀為四邊形且凹凸性為凸的輪廓。 通過余弦定理計算每條邊之間的夾角，若其余弦值的最大絕對值小于0.3，則對該輪廓做進一步的判斷。 充分利用路標中紅色矩形方框的特性，即一個外圍四邊形輪廓內(nèi)部再包含一個四邊形輪廓，所以目標輪廓一定具有父輪廓，至此準確定位到路標的位置。

找到符合條件內(nèi)外輪廓之后，利用內(nèi)輪廓在彩色圖像中對路標進行裁剪，對裁剪下來的圖片進行投影變換，變換為正方形后采用對數(shù)極坐標變換算法識別路標。 對數(shù)極坐標變換是將笛卡爾坐標系下的圖像轉(zhuǎn)化到對數(shù)極坐標系下。 目標經(jīng)過對數(shù)極坐標變換之后，目標的尺度變化與旋轉(zhuǎn)變化轉(zhuǎn)換為極坐標下的橫向與縱向平移，這有利于對目標的識別。

笛卡爾坐標系與極坐標系之間的變化關(guān)系為

再轉(zhuǎn)換到對數(shù)極坐標平面，描述關(guān)系為

式中：x，y 為笛卡爾坐標系下坐標；ρ 為直角坐標系下像素點到變換中心的距離即半徑長度；θ 為直角坐標系下像素點與變換中心連線與X 軸的夾角即角度；ξ，ψ 為對數(shù)極坐標系下的坐標；kξ，kψ為設(shè)計參數(shù)，用于改進ξ 和ψ 的值域范圍；ρmin為進行極坐標變換的最小半徑。

對數(shù)極坐標變換的變換中心選取的是目標的質(zhì)心。 該變換有2 個優(yōu)點：①將目標區(qū)域的尺度變化轉(zhuǎn)變?yōu)閷?shù)極坐標中的上下平移；②目標區(qū)域繞其變換中心的旋轉(zhuǎn)相當于沿著ψ 軸平移。 針對優(yōu)點①例如，一目標以變換中心放大m 倍，其變換公式為

根據(jù)式（4）可得，放大m 倍后，相當于沿著ξ 軸平移一段距離。

為了能更好地識別目標，式（4）中引入了ρmin參數(shù)，使其開始的位置始終固定，這樣放縮導致的平移為零。 此外，為了限定ξ 軸的范圍，需要引入?yún)?shù)ρmax，將ξ 軸的值域歸一化為［0，kξ］，此時變換公式為

其中

式中：u，v 分別為輸入目標圖像的長、寬。

由于笛卡爾坐標系與對數(shù)極坐標系并非一一對應(yīng)的關(guān)系，為獲得較好效果的對數(shù)極坐標圖像，在變換過程中需要進行線性插值，在此采用雙線性插值算法，變化前后的圖片如圖4所示。

圖4 對數(shù)極坐標變換前后的圖像Fig.4 Images before and after log-polar coordinate transformation

獲得對數(shù)極坐標圖像后，從對數(shù)極坐標圖像中可以得到代表原始目標特征的直方圖。 在對數(shù)極坐標圖像中，ξ 為像素點到變換中心的距離，所以該圖像中同一行的所有像素到變換中心的距離相等。 對對數(shù)極坐標圖像的每一行像素值為0 的像素點進行統(tǒng)計，就得到一個直方圖，該直方圖表示原始目標圖像中距變換中心相同距離的像素點中像素值為0 的個數(shù)。 因為對數(shù)極坐標圖像具有尺度與旋轉(zhuǎn)不變性，因此統(tǒng)計的直方圖也具有該特性。

因此，可以通過極坐標直方圖識別從圖像中提取的路標，將其與標準路標進行比較。 直方圖距離的計算方法有很多種，如相關(guān)性比較、卡方距離、巴氏距離等。

在此，測試了不同計算直方圖距離的方法，比如L1范數(shù)和L2范數(shù)、卡方距離。 試驗結(jié)果表明使用卡方距離會得到較好的結(jié)果，所以在系統(tǒng)中采用該方法來計算直方圖的距離。

卡方距離源于卡方檢驗，卡方檢驗就是統(tǒng)計樣本的實際觀測值與理論推斷值之間的偏離程度，實際觀測值與理論推斷值之間的偏離程度就決定卡方值的大小，卡方值越大，越不符合；卡方值越小，偏差越小，越趨于符合。 卡方距離應(yīng)用于2 個柱狀圖，可以得到這些柱狀圖所有位置之間的差值的加權(quán)平均值，因此可以判斷出與目標圖案最接近的圖案。 直方圖i 和j 卡方距離為

2 AGV 位姿計算

2.1 提取配對點

根據(jù)上述對數(shù)極坐標變換算法識別路標之后，定位到路標再圖像中的位置。 在此選區(qū)的配對點是路標的4 個頂點，需要在圖像中準確的定位到4 個頂點的位置。 在路標的識別過程中已經(jīng)獲得路標的輪廓，在該輪廓上需尋找路標的4 個頂點，利用路標為正方形的特性，在圖像中都會是一個四邊形。具體方法如下：

首先，在從相機獲得圖像上的4 個頂點A（0，0）、B（u，0）、C（u，v）、D（0，v），其中u，v 分別為圖像的長和寬，原點位于圖像的左上角，依次計算出4 個直線方程：過A 點斜率為-1，過B 點斜率為1，過C 點斜率為-1，過D 點斜率為1。

已知4 個直線方程依次選取路標輪廓上距離各個直線方程最近的點，獲得4 個點的坐標，此時可以分為2 種情況討論：一是4 個點即路標的4 個頂點坐標；二是4 個頂點不是路標的4 個頂點。 判斷4 個點為路標的4 個頂點的具體方法如下：

先計算上述4 個點組成四邊形的面積，與路標輪廓計算出來的面積相比較。 若4 個點組成四邊形的面積與由路標輪廓所圍區(qū)域面積之比約為1，則選出的4 個頂點即為路標的4 個頂點。 如果選出的4 個頂點并非路標的4 個頂點，其組成四邊形的面積與由路標輪廓所圍區(qū)域面積之比明顯小于1，則此時的4 個頂點不是路標的4 個頂點。 一般情況以離外圍4 條直線最近的點為路標頂點，具體如圖5所示。

若出現(xiàn)第1 次取得的4 個頂點并非路標的頂點，則重新進行選。 在圖像坐標系下，求得圖像4 條邊的直線方程分別為x=0，y=0，x=u，y=v，計算路標輪廓中與這4 條直線距離最近的點，獲得的點即為路標的4 個頂點。 此種情況選擇離圖像4 條邊最近的點為路標的頂點，如圖6所示。

圖5 離外圍四條直線最近的點作為路標頂點Fig.5 Points closest to four peripheral lines serves as the signpost vertex

圖6 離圖像四條邊最近的點作為路標頂點Fig.6 Points closest to four sides of the image serves as the signpost vertex

得到路標的4 個頂點之后，4 個頂點在圖像坐標系下的坐標就確定了。 還需要一組世界坐標系下的坐標才能求解出AGV 的位姿。 為了使算法更加簡單，以路標的中心為原點建立世界坐標系，已知路標的邊長，可以得出路標的4 個頂點在世界坐標系下的坐標。 綜上，由所獲得4 對3D-2D 的匹配點，可以求解出AGV 的位姿。

2.2 解算AGV 位姿

根據(jù)二維圖像坐標系下的點與三維相機坐標系下的點之間的對應(yīng)關(guān)系，求解位姿通常被稱之為PnP（Perspective-n-Point），求解PnP 問題的方法通常有P3P，直接線性變換，EPnP，UPnP，非線性優(yōu)化，等很多種。在此分別使用P3P，EPnP 和直接線性變換。對比發(fā)現(xiàn)，使用EPnP 算法計算的位姿結(jié)果誤差最小，能夠?qū)崿F(xiàn)較好的精度要求，因此選擇EPnP 為位姿求解算法。

由于AGV 在結(jié)構(gòu)化的工廠環(huán)境中運行，在平坦的地面上行進，設(shè)置相機坐標系與以路標中心為原點的世界坐標系在同一個平面，通過EPnP 算法求解出相機的位姿之后，分解得到旋轉(zhuǎn)矩陣R 和平移矩陣t，綜上計算出相機與路標中心的水平距離以及角度就完成了AGV 的定位。

3 試驗結(jié)果與分析

路標的設(shè)計與算法密切相關(guān)，不能選擇其中之一進行驗證，需要將所設(shè)計的路標與算法相結(jié)合進行驗證。 為了驗證所提方法的準確性，將路標貼于墻上，并且調(diào)節(jié)相機光心與路標中心置于同一水平面上。 試驗設(shè)備如下：相機——普通攝像頭，1000萬像素，分辨率為1920×1080；試驗平臺——Intel i5-4200u 處理器，8 GB 內(nèi)存（算法主要使用C++實現(xiàn)，在VS 2015（Visual Studio）環(huán)境下編譯）；人工路標尺寸——試驗所用路標的大小為135 mm×135 mm；一些其他的固定測量設(shè)備。

試驗中主要有路標坐標系、相機坐標系、AGV坐標系，各坐標系之間的主要關(guān)系如圖7所示。

圖7 各坐標系之間的關(guān)系Fig.7 Relationship between coordinate systems

在此重點關(guān)注距離誤差和角度誤差，在不同距離和不同角度下拍攝路標（如圖8所示），獲取圖像，計算路標與相機之間的相對位姿，計算出相對距離以及角度即可完成相機相對于路標的定位。

圖8 在不同距離和不同角度下拍攝路標Fig.8 Shoot road signs at different distances and angles

獲取到在不同距離下的誤差，以及不同角度下的數(shù)據(jù)，主要是相機到路標平面的距離及角度2 個數(shù)據(jù)，每個位置采集5 張圖像，估計相機與路標的相對位姿，計算得出距離誤差以及角度誤差的折線圖，結(jié)果如圖9所示。

圖9 人工路標定位誤差Fig.9 Error of artificial road sign positioning

由試驗結(jié)果可知，當距離小于1 m 時誤差穩(wěn)定在一個較小的值，大于1 m 時誤差顯著增加，但是依舊屬于可接受范圍；總體的角度誤差在±1.5°以內(nèi)。因此該算法總體具有較好的準確性與穩(wěn)定性。

4 結(jié)語

結(jié)構(gòu)化的工廠環(huán)境中，AGV 到達目標點附近時在需要調(diào)整位姿后才能準確停靠。針對這種情況，設(shè)計了一種簡單美觀人工路標，用于AGV 在工廠環(huán)境中的定位； 提出了一種快速有效的人工路標識別算法，具有尺度不變性與旋轉(zhuǎn)不變性，識別準確等特點。使用單目相機識別路標后，定位路標的位置取得4個頂點在圖像坐標系中的坐標，利用已知世界坐標系下的頂點坐標，使用EPnP 算法求解AGV 的位姿，為控制系統(tǒng)提供定位數(shù)據(jù)。試驗結(jié)果表明，該算法能有效地識別圖像中的路標，并且準確求解出AGV的位姿，能夠有效地實現(xiàn)AGV 的定位。 該算法對硬件要求低，系統(tǒng)簡單，因此具有很高的實用價值。