林桂潮 鄒湘軍 張 青 熊俊濤
(1.滁州學(xué)院機(jī)械與汽車工程學(xué)院, 滁州 239000;2.華南農(nóng)業(yè)大學(xué)南方農(nóng)業(yè)機(jī)械與裝備關(guān)鍵技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室, 廣州 510642)
基于主動輪廓模型的自動導(dǎo)引車視覺導(dǎo)航
林桂潮1鄒湘軍2張 青1熊俊濤2
(1.滁州學(xué)院機(jī)械與汽車工程學(xué)院, 滁州 239000;2.華南農(nóng)業(yè)大學(xué)南方農(nóng)業(yè)機(jī)械與裝備關(guān)鍵技術(shù)教育部重點(diǎn)實(shí)驗(yàn)室, 廣州 510642)
為解決工廠或農(nóng)業(yè)非線性光照環(huán)境下視覺導(dǎo)航算法魯棒性和實(shí)時性差的問題,提出基于主動輪廓模型的導(dǎo)航標(biāo)識線檢測與跟蹤算法。首先用多項(xiàng)式曲線模型描述單向標(biāo)識線,導(dǎo)航問題等價為計(jì)算多項(xiàng)式曲線參數(shù);然后依據(jù)標(biāo)識線顏色和邊緣等特征,給出關(guān)于多項(xiàng)式曲線的主動輪廓模型的內(nèi)、外部能量函數(shù);最后將能量函數(shù)簡化為非線性最小二乘問題,應(yīng)用高斯牛頓法和Armijo-Goldstein不精確一維搜索方法求解曲線最優(yōu)參數(shù)。采用自制視頻和自主小車測試算法,結(jié)果表明:該算法對非線性光照條件下直線和彎曲標(biāo)識線的導(dǎo)航正確率為98.96%,運(yùn)算時間為40.18 ms。試驗(yàn)驗(yàn)證了該算法的魯棒性和實(shí)時性。
自動導(dǎo)引車; 主動輪廓模型; 高斯牛頓法; 視覺導(dǎo)航
自動導(dǎo)引車(Automatic guided vehicle, AGV)是廣泛應(yīng)用于農(nóng)業(yè)、汽車和家電等行業(yè)的物料輸送移動機(jī)器人[1-2],近年來視覺導(dǎo)航技術(shù)以其靈活性高、成本低、適用范圍廣等特點(diǎn)在AGV應(yīng)用中逐漸引起關(guān)注[3-4]。視覺導(dǎo)航是用視覺算法來識別鋪設(shè)在底面上的特殊標(biāo)識線,生成導(dǎo)航指令,其主要問題在于視覺算法實(shí)時性和魯棒性差,特別是工廠或農(nóng)業(yè)的非線性光照因素制約了視覺導(dǎo)航效果[5]。
視覺導(dǎo)航方法大致分為兩類:基于顏色分割的方法和基于曲線模型的方法?;陬伾指畹姆椒ㄊ歉鶕?jù)標(biāo)識線與背景顏色特征的差異,使用聚類[6]或閾值分割,結(jié)合貝葉斯決策[7]、偽彩色空間[8]或小波分析[9]等方法來提取標(biāo)識線感興趣區(qū)域。此類方法在不確定性環(huán)境下,如非線性光照污染,魯棒性將降低[5]。
基于曲線模型方法是在給定標(biāo)識線曲線模型的前提下,利用少量標(biāo)識線邊緣點(diǎn)來估計(jì)曲線參數(shù)[10-13]。主動輪廓模型是該方法中的一種魯棒算法[14-16],它通過圖像力迫使參數(shù)曲線向圖像顯著特征移動變形,其關(guān)鍵問題是需依據(jù)具體環(huán)境確定圖像外力,以及需提供合適初值避免陷入局部解[17],因此相關(guān)算法的應(yīng)用還需改進(jìn)。
為克服非線性光照污染條件下視覺導(dǎo)航存在的問題,本文提出基于主動輪廓模型的導(dǎo)航標(biāo)識線檢測與跟蹤算法:提出使用多項(xiàng)式曲線來表示導(dǎo)航標(biāo)識線模型;提出適用于導(dǎo)航標(biāo)識線特點(diǎn)的主動輪廓模型的內(nèi)、外部能量函數(shù);將主動輪廓模型的能量函數(shù)抽象為非線性最小二乘問題,再用高斯牛頓法求解;通過試驗(yàn)驗(yàn)證算法在光照污染下的實(shí)時性和魯棒性。
1.1 導(dǎo)航標(biāo)識線模型
工業(yè)應(yīng)用中,AGV一般采用由直線、圓弧或拋物線等簡單線段組成的結(jié)構(gòu)化人工標(biāo)識線。人工標(biāo)識線寬度較小,通過檢測與跟蹤左邊緣(或右邊緣)即可實(shí)現(xiàn)導(dǎo)航,如圖1所示。在不考慮交叉十字路線的情況下,可用多項(xiàng)式曲線模型來描述左邊緣(或右邊緣),因此導(dǎo)航標(biāo)識線檢測與跟蹤問題等價于求解多項(xiàng)式曲線參數(shù)。令第t幀圖像中的多項(xiàng)式曲線為
xt(y;θt)=at,1+at,2y+…+at,nyn-1(y∈[0,h))
(1)
其中
θt=(at,1,at,2,…,at,n)
式中n——曲線階數(shù)θt——曲線參數(shù)h——數(shù)字圖像高度
本文將xt(y;θt)簡化為xt。
圖1 AGV導(dǎo)航標(biāo)識線Fig.1 Navigation lane of AGV
1.2 主動輪廓模型
主動輪廓模型是一種目標(biāo)提取方法,它用1條能量曲線來表示目標(biāo)輪廓,在曲線內(nèi)力和圖像外力作用下,能量曲線不斷變形和移動,最終被吸附到鄰近的顯著特征上。主動輪廓模型能量函數(shù)為[17]
E(θt)=Eint(θt)+Eext(θt)
(2)
(3)
Eext(θt)=Ecolor+Eedge+Espeed
(4)
式中Eint——控制曲線彎曲程度的內(nèi)部能量Eext——由圖像性質(zhì)產(chǎn)生的外部能量x′t、x″t——曲線xt對y的1階導(dǎo)數(shù)和2階導(dǎo)數(shù),對應(yīng)著曲線斜率和曲率
α、β——控制曲線斜率和曲率權(quán)重因子
Ecolor、Eedge——關(guān)于圖像顏色和邊緣特征的能量項(xiàng),吸引曲線到標(biāo)識線邊緣上
Espeed——關(guān)于圖像運(yùn)動速度的能量項(xiàng),控制曲線移動速度
1.2.1 顏色能量Ecolor
導(dǎo)航標(biāo)識線顏色均一,如本文所用標(biāo)識線是黑色的,當(dāng)主動輪廓模型捕獲到正確的標(biāo)識線左邊緣(或右邊緣)時,則多項(xiàng)式曲線右側(cè)(或左側(cè))的圖像顏色便與均一的標(biāo)識線顏色相同,即正確的多項(xiàng)式曲線單位法向量方向(圖2)的圖像顏色與標(biāo)識線顏色的歐氏距離應(yīng)最小。基于此,給出能量項(xiàng)
(5)
(6)
式中wC——權(quán)重因子It——第t幀灰度圖像w——標(biāo)識線像素寬度u1——標(biāo)識線灰度 (nx,ny)——曲線單位法向量
(nx,ny)按式(6)計(jì)算,檢測左邊緣時取上方符號,檢測右邊緣時取下方符號。
能量Ecolor使曲線不斷調(diào)整自身形狀、位置以尋找標(biāo)識線,最終使曲線移動到標(biāo)識線邊緣上或者感興趣區(qū)域中。
圖2 曲線的法向量Fig.2 Normal vector of curves
1.2.2 邊緣能量Eedge
圖像邊緣具有較大的梯度幅值,使用它作為外力可吸附曲線到標(biāo)識線邊緣上,避免曲線落入標(biāo)識線感興趣區(qū)域中。為此,定義能量項(xiàng)Eedge為關(guān)于梯度幅值的大于零的遞減函數(shù)[18]
(7)
(8)
式中Gt(x,y)——圖像梯度幅值u2——圖像梯度幅值最大值wE——權(quán)重因子Gσ——標(biāo)準(zhǔn)差為σ的高斯函數(shù) *——圖像卷積運(yùn)算p——大于等于1的實(shí)數(shù)
最小化Eedge將推動曲線到圖像梯度幅值的極大值處,起到邊緣檢測算子作用。此外,選擇合適的σ值可平滑圖像,增加Eedge的邊緣捕獲范圍。
1.2.3 速度能量Espeed
在AGV運(yùn)動過程中,相鄰兩幀圖像采集時間間隔很小,圖像灰度變化微小,因此可認(rèn)為圖像中標(biāo)識線的位移量和梯度幅值變化量不大。據(jù)此給出能量項(xiàng)
(9)
式中wG、wP——權(quán)重因子
最小化Espeed限制了曲線移動速度,防止曲線出現(xiàn)劇烈振蕩而進(jìn)入局部解的情況,并且利用前一幀圖像結(jié)果來引導(dǎo)曲線變化,起到路線跟蹤作用。
1.3 高斯牛頓法
連續(xù)的內(nèi)、外部能量需進(jìn)行離散化以滿足數(shù)字圖像的計(jì)算要求,給出能量函數(shù)式(2)的離散表達(dá)式
(10)
式(10)可簡化為
E(θt)≈f(θt)TDf(θt)
(11)
其中
式中S——常數(shù),等于(w+5)hα、β、wE、wG、wP——主對角線元素為α、β、wE、wG、wP的h階對角矩陣
wC——主對角線元素為wC的h×w階對角矩陣
由式(11)可知,能量函數(shù)是關(guān)于參數(shù)θt的非線性最小二乘問題,可用高斯牛頓法來計(jì)算[19],其基本步驟為:
(5)令k=k+1,返回步驟(2)直到算法收斂。
在用高斯牛頓法計(jì)算曲線最優(yōu)參數(shù)過程中,需注意以下內(nèi)容:
(1)雅可比矩陣J中圖像It和梯度圖像G的偏導(dǎo)數(shù)可用有限差分算子來計(jì)算,如Sobel算子;亞像素位置的圖像灰度值需進(jìn)行圖像插值計(jì)算,本文均使用雙線性插值法。
(2)經(jīng)實(shí)驗(yàn)發(fā)現(xiàn),一維搜索方法對算法計(jì)算效率和正確率影響很大。使用Armijo-Goldstein不精確一維搜索方法[19],在確保每次迭代都有滿意下降量的條件下,能夠減少計(jì)算量。
(4)算法終止準(zhǔn)則為:算法達(dá)到最大迭代次數(shù)kmax,或者|skh|小于給定閾值。
假設(shè)曲線參數(shù)數(shù)量為n,在不考慮一維搜索計(jì)算量的前提下,該優(yōu)化方法每次迭代的總時間復(fù)雜度是O(n3+2nS2+n2S+nS+n2)。表1給出了每次迭代過程中的時間復(fù)雜度。
表1 每次迭代過程的時間復(fù)雜度Tab.1 Time complexity of each iteration
1.4 坐標(biāo)轉(zhuǎn)換
圖3 坐標(biāo)轉(zhuǎn)換原理Fig.3 Principle of coordinate transform
視覺導(dǎo)航所得曲線需根據(jù)攝像機(jī)位置、鏡頭參數(shù)進(jìn)行空間轉(zhuǎn)換,得到世界坐標(biāo)系下的軌跡圖,才能指導(dǎo)AGV運(yùn)行。將世界坐標(biāo)系放置在平面標(biāo)定板上,標(biāo)定板平放在地面上,如圖3所示。根據(jù)文獻(xiàn)[20]可得曲線任意(xt,y)在世界坐標(biāo)系上的二維坐標(biāo)點(diǎn)為
(12)
式中,h11、h12、h14、h21、h22、h24、h31、h32、h34為單應(yīng)矩陣H的元素,H=K[RT],其中,[RT]是攝像機(jī)與標(biāo)定板間的位姿矩陣,K是鏡頭內(nèi)參數(shù)矩陣,均可通過標(biāo)定得到[21]。
1.5 算法步驟
AGV運(yùn)動過程中連續(xù)采集圖像形成視頻,本文給出針對視頻流的導(dǎo)航標(biāo)識線檢測與跟蹤算法步驟:
(1)初始化主動輪廓模型的權(quán)重α、β、wC、wE、wG和wP,標(biāo)識線像素寬度w和標(biāo)識線灰度t1,給定變量t=1和多項(xiàng)式曲線階數(shù)n。
(2)打開攝像頭。
2.1 算法精度、魯棒性和實(shí)時性試驗(yàn)
2.1.1 試驗(yàn)條件與參數(shù)
為考察本文算法在非線性光照污染環(huán)境下的檢測精度、魯棒性和實(shí)時性,并與IRANSAC算法[4](IRANSAC是一種基于曲線模型的方法,由2個步驟組成,首先提取路徑邊緣,再用IRANSAC算法檢測曲線)比較,選用易反光的瓷磚地面上鋪設(shè)單向黑色標(biāo)識線,采用大恒公司分辨率為656像素×492像素,焦距為8 mm,幀速為120幀/s的MER-030-120UM型工業(yè)相機(jī)采集100幅圖像和1個視頻。應(yīng)用Visual Studio 2008和opencv 2.3.1編寫算法,算法運(yùn)行平臺為CPU頻率2.80 GHz,內(nèi)存2 GB,運(yùn)行Windows 7的計(jì)算機(jī)。算法參數(shù)設(shè)置為:多項(xiàng)式曲線階數(shù)n-1=3,內(nèi)部能量函數(shù)權(quán)重α=1、β=500,外部能量函數(shù)權(quán)重wC=1、wE=0.1、wG=0.1和wP=0.1,標(biāo)識線像素寬度w=10,標(biāo)識線灰度t1=0,最大迭代次數(shù)kmax=30,|skh|<10-3(這些參數(shù)經(jīng)多次試驗(yàn)、反復(fù)調(diào)整確定)。
2.1.2 算法檢測精度試驗(yàn)
為充分考察算法檢測精度,從100幅圖像中隨機(jī)選擇5幅圖像,對應(yīng)著直線標(biāo)識線、彎曲標(biāo)識線、受光照污染的直線與彎曲標(biāo)識線和軌跡缺陷等5種標(biāo)識線。用本文算法(對于非視頻流中的圖像,能量項(xiàng)Espeed不起作用,需將它的權(quán)重wG和wP設(shè)置為0)和IRANSAC算法檢測5幅圖像,試驗(yàn)結(jié)果如圖4所示,記錄5幅圖像的計(jì)算結(jié)果θ并與真實(shí)結(jié)果θ*比較,其中,真實(shí)參數(shù)θ*用人工選擇盡可能少且充分正確的標(biāo)識線邊緣點(diǎn),通過多項(xiàng)式插值求得[4],如表2所示。
由圖4和表2數(shù)據(jù)可知,相比IRANSAC算法,本文算法能夠正確檢測光照污染和軌跡缺陷條件下的標(biāo)識線,檢測精度較高,能夠滿足工業(yè)或農(nóng)業(yè)應(yīng)用的導(dǎo)航精度要求。另外,由圖4可見,標(biāo)識線在局部光照污染情況下,表現(xiàn)為軌跡部分缺陷,也就是說軌跡缺陷可視為局部光照污染下的特例。
圖4 2種算法檢測結(jié)果Fig.4 Results of two kinds of algorithms
不同標(biāo)識線真實(shí)參數(shù)θ*本文算法IRANSAC算法計(jì)算參數(shù)θ誤差‖θ-θ*‖計(jì)算參數(shù)θ誤差‖θ-θ*‖直線(158.766,0.055,0.000,-0.000)(159.065,-0.000,0.001,-0.000)0.303(158.659,0.034,0.000,-0.000)0.109彎曲(322.580,-3.207,0.012,-0.000)(322.571,-3.207,0.012,-0.000)0.008(247.968,-2.222,0.010,-0.000)74.618光照污染直線(169.033,0.055,-0.001,0.000)(169.655,-0.013,0.000,-0.000)0.626(-2502.905,35.134,-0.002,-0.000)2672.2光照污染彎曲(121.351,0.867,-0.024,0.000)(121.836,0.841,-0.002,-0.000)0.486(-119.517,6.944,-0.073,0.000)240.947軌跡缺陷(-0.000,0.008,-1.623,246.157)(-0.000,0.008,-1.623,246.161)0.005(0.000,-0.018,0.767,298.209)52.107
2.1.3 算法魯棒性和實(shí)時性試驗(yàn)
為驗(yàn)證算法魯棒性和實(shí)時性,對采集視頻進(jìn)行檢測與跟蹤,部分結(jié)果如圖5所示。
算法魯棒性用正確率來衡量,即標(biāo)識線被正確檢測的數(shù)量與圖像總幀數(shù)的比例。視頻的檢測跟蹤結(jié)果見表3。由表3數(shù)據(jù)可知:本文算法對直線標(biāo)識線、彎曲標(biāo)識線、受非線性光照污染的直線、彎曲標(biāo)識線等4種標(biāo)識線的檢測跟蹤正確率分別為100%、100%、100%、92.58%,平均正確率為98.96%,均優(yōu)于IRANSAC算法,表明本文算法具有較高的魯棒性。
算法實(shí)時性用每幀圖像的平均運(yùn)算時間或迭代次數(shù)來衡量。對視頻的試驗(yàn)結(jié)果進(jìn)行統(tǒng)計(jì)可知:本文算法平均迭代3次收斂,平均運(yùn)算時間為40.18 ms;IRANSAC算法平均運(yùn)算時間為188 ms,表明本文算法更具實(shí)時性。
圖5 本文算法檢測與跟蹤標(biāo)識線結(jié)果Fig.5 Results of lane detection and tracking using proposed algorithm
這里需要說明,本文算法在檢測與跟蹤的過程中,如果某1幀圖像中的標(biāo)識線受到大面積遮擋,將使解算出來的曲線偏移真實(shí)的標(biāo)識線邊緣,進(jìn)而顯著降低整個視頻流的檢測跟蹤正確率,其主要原因是主動輪廓模型容易收斂于局部特征。1種有效的解決方法是,當(dāng)主動輪廓模型失效時,人為地重新采集n+1個點(diǎn)作為當(dāng)前幀的迭代初值,避免AGV迷路。
表3 視頻的檢測與跟蹤結(jié)果統(tǒng)計(jì)Tab.3 Statistics of video detection and tracking results
2.2 視覺導(dǎo)航AGV樣機(jī)試驗(yàn)
搭建視覺導(dǎo)航自動導(dǎo)引車(圖6),由以下部件組成:1輛后輪驅(qū)動前輪轉(zhuǎn)向的小車、1臺2 G內(nèi)存計(jì)算機(jī)、1塊單片機(jī)、1臺30幀/s CCD相機(jī)。其工作原理是:以計(jì)算機(jī)作為上位機(jī)運(yùn)行導(dǎo)航算法,經(jīng)串口通信將導(dǎo)航信息傳輸給單片機(jī),再驅(qū)動數(shù)字舵機(jī)控制前輪轉(zhuǎn)向,實(shí)現(xiàn)小車沿標(biāo)識線行走。為增加標(biāo)識線與室外環(huán)境顏色對比度,提高算法魯棒性,采用白色標(biāo)識線,標(biāo)識線灰度u1需設(shè)為255。試驗(yàn)過程如圖7所示,表明AGV能有效跟蹤直線和彎曲標(biāo)識線,本文算法可滿足自動導(dǎo)引車的魯棒性和實(shí)時性導(dǎo)航要求。
圖6 視覺導(dǎo)航自動導(dǎo)引車Fig.6 AGV with vision navigation1.CCD相機(jī) 2.單片機(jī) 3.計(jì)算機(jī) 4.小車
在某些應(yīng)用中可能會出現(xiàn)交叉路線,可參照文獻(xiàn)[22]在交叉位置貼上包含轉(zhuǎn)向信息的一維條形碼,當(dāng)AGV掃描到一維條形碼時即可轉(zhuǎn)向,也就是說,本文提出的適用于單向標(biāo)識線的導(dǎo)航算法可應(yīng)用于交叉標(biāo)識線。
(1)針對非線性光照污染環(huán)境下視覺檢測與跟蹤算法魯棒性和實(shí)時性差的問題,通過分析標(biāo)識線的顏色、圖像梯度和運(yùn)動速度等特征,確定了適用于標(biāo)識線識別的主動輪廓模型的內(nèi)外部能量函數(shù),并使用高斯牛頓法給出了能量函數(shù)的最優(yōu)解。
(2)在不考慮交叉十字路線的情況下,本文算法對直線和彎曲標(biāo)識線、受非線性光照污染的直線、彎曲標(biāo)識線等4種標(biāo)識線的檢測跟蹤正確率分別為100%、100%、100%、92.58%,平均正確率為98.96%,平均運(yùn)算時間為40.18 ms,能夠滿足工業(yè)或農(nóng)業(yè)非線性光照環(huán)境下AGV的導(dǎo)航魯棒性和實(shí)時性要求。
1 周俊, 陳欽, 梁泉. 基于強(qiáng)化學(xué)習(xí)的農(nóng)業(yè)移動機(jī)器人視覺導(dǎo)航[J/OL]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2014, 45(2):53-58. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20140210&flag=1.DOI: 10.6041/j.issn.1000-1298.2014.02.010. ZHOU Jun, CHEN Qin, LIANG Quan. Vision navigation of agricultural mobile robot based on reinforcement learning[J/OL].Transactions of the Chinese Society for Agricultural Machinery,2014,45(2):53-58.(in Chinese)
2 武啟平, 金亞萍, 任平,等. 自動導(dǎo)引車(AGV)關(guān)鍵技術(shù)現(xiàn)狀及其發(fā)展趨勢[J]. 制造業(yè)自動化, 2013(10):106-109.
3 胡靜濤, 高雷, 白曉平,等. 農(nóng)業(yè)機(jī)械自動導(dǎo)航技術(shù)研究進(jìn)展[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2015,31(10):1-10. HU Jingtao, GAO Lei, BAI Xiaoping, et al. Review of research on automatic guidance of agricultural vehicles[J]. Transactions of the CSAE, 2015,31(10):1-10. (in Chinese)
4 林桂潮, 鄒湘軍, 羅陸鋒,等. 改進(jìn)隨機(jī)樣本一致性算法的彎曲果園道路檢測[J]. 農(nóng)業(yè)工程學(xué)報(bào), 2015,31(4):168-174. LIN Guichao, ZOU Xiangjun, LUO Lufeng, et al. Detection of winding orchard path through improving random sample consensus algorithm[J]. Transactions of the CSAE, 2015(4):168-174. (in Chinese)
5 蔡晉輝, 才輝, 張光新,等. 復(fù)雜環(huán)境下自動導(dǎo)引車路徑識別算法[J]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2011, 42(10):20-24. CAI Jinhui, CAI Hui, ZHANG Guangxin, et al. Guidance line identification algorithm for AGV in complex environment[J]. Transactions of the Chinese Society for Agricultural Machinery, 2011, 42(10):20-24. (in Chinese)
6 高國琴,李明. 基于 K-means 算法的溫室移動機(jī)器人導(dǎo)航路徑識別[J]. 農(nóng)業(yè)工程學(xué)報(bào),2014,30(7):25-33. GAO Guoqing, LI Ming. Navigating path recognition for greenhouse mobile robot based on K-means algorithm[J]. Transactions of the CSAE,2014, 30(7):25-33. (in Chinese)
7 宋懷波,何東健,辛湘俊. 基于機(jī)器視覺的非結(jié)構(gòu)化道路檢測與障礙物識別方法[J].農(nóng)業(yè)工程學(xué)報(bào),2011,27(6):225-230. SONG Huaibo, HE Dongjian, XIN Xiangjun. Unstructured road detection and obstacle recognition algorithm based on machine vision[J]. Transactions of the CSAE,2011,27(6):225-230. (in Chinese)
8 胡曉輝,孫苗強(qiáng),蘇曉許. 偽彩色空間完全非結(jié)構(gòu)化道路檢測方法[J]. 中國圖象圖形學(xué)報(bào),2012,17(2):203-208. HU Xiaohui, SUN Miaoqiang, SU Xiaoxu. Completely unstructured road detection for pseudo-color space[J]. Journal of Image and Graphics,2012,17(2):203-208. (in Chinese)
9 杜明芳,王軍政,李靜,等. 自主移動機(jī)器人自適應(yīng)室外道路檢測[J]. 中國圖象圖形學(xué)報(bào),2014,19(7) : 1046-1053. DU Mingfang, WANG Junzheng, LI Jing, et al. Adaptive outdoor road detection for autonomous mobile robot[J]. Journal of Image and Graphics, 2014,19(7) : 1046-1053. (in Chinese)
10 許華榮,王曉棟,方遒. 基于B 樣條曲線模型的結(jié)構(gòu)化道路檢測算法[J].自動化學(xué)報(bào),2011,37(3):270-275. XU Huarong, WANG Xiaodong, FANG Qiu. Structure road detection algorithm based on B-spline curve model[J]. Acta Automatic Sinica, 2011,37(3):270-275. (in Chinese)
11 王新忠,韓旭,毛罕平,等. 基于最小二乘法的溫室番茄壟間視覺導(dǎo)航路徑檢測[J/OL]. 農(nóng)業(yè)機(jī)械學(xué)報(bào),2012,43(6):161-166. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20120629&flag=1.DOI:10.6041/j.issn.1000-1298.2012.06.029. WANG Xinzhong, HAN Xu, MAO Hanping, et al. Navigation line detection of tomato ridges in greenhouse based on least square method[J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 2012,43(6):161-166. (in Chinese)
12 李林, 魏新華, 朱文靜,等. 寬幅施藥機(jī)械機(jī)器視覺輔助導(dǎo)航系統(tǒng)研究[J/OL]. 農(nóng)業(yè)機(jī)械學(xué)報(bào), 2015, 46(9):28-33. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20150904&flag=1.DOI: 10.6041/j.issn.1000-1298.2015.09.004. LI Lin, WEI Xinhua, ZHU Wenjing, et al. Research on auxiliary navigation system for wide spraying mechanism based on machine vision[J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(9):28-33. (in Chinese)
13 馮娟,劉剛,司永勝,等. 果園視覺導(dǎo)航基準(zhǔn)線生成算法[J/OL]. 農(nóng)業(yè)機(jī)械學(xué)報(bào),2012,43(7):185-189,184. http:∥www.j-csam.org/jcsam/ch/reader/view_abstract.aspx?file_no=20120734&flag=1.DOI:10.6041/j.issn.1000-1298.2012.07.034. FENG Juan, LIU Gang, SI Yongsheng, et al. Algorithm based on image processing technology to generate navigation directrix in orchard[J/OL]. Transactions of the Chinese Society for Agricultural Machinery, 2012,43(7):185-189,184. (in Chinese)
14 WANG Y, TEOH E K, SHEN D G. Lane detection and tracking using B-Snake[J]. Image and Vision Computing, 2004,22(4):269-280.
15 LU B, MIAO C, WANG H, et al. Lane mark detection with active contour for gradient domain[C]∥International Conference on Control and Automation and Systems Engineering, 2009: 591-594.
16 LI X, FANG X, WANG C, et al. Lane detection and tracking using a parallel-snake approach[J]. Journal of Intelligent & Robotic Systems, 2015, 77(3-4):597-609.
17 IVINS J, PORRILL J. Everything you always wanted to know about snakes (but were afraid to ask)[J]. AIVRU Technical Memo #86,1993.
18 CHAN T F, VESE L A. Active contours without edges[J]. IEEE Transactions on Image Processing, 2001, 10(2):266-277.
19 袁亞湘,孫文瑜. 最優(yōu)化理論與方法[M].北京:科學(xué)出版社,2003.
20 STEGER C, ULRICH M, WIEDEMANN C. Machine vision algorithm and applications [M]. Hoboken, NJ: Wiley-VCH, 2007:193-196.
21 ZHANG Z. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334.
22 TAHA Z, MAT-JIZAT J A, ISHAK I. Bar code detection using omnidirectional vision for automated guided vehicle navigation[C]∥International Conference on Automatic Control and Artificial Intelligence, 2012:589-592.
Visual Navigation for Automatic Guided Vehicles Based on Active Contour Model
LIN Guichao1ZOU Xiangjun2ZHANG Qing1XIONG Juntao2
(1.CollegeofMechanicalandAutomotiveEngineering,ChuzhouUniversity,Chuzhou239000,China2.KeyLaboratoryofKeyTechnologyonSouthAgriculturalMachineandEquipment,MinistryofEducation,SouthChinaAgriculturalUniversity,Guangzhou510642,China)
Lane detection and tracking algorithm based on active contour model was proposed to solve the poor robustness and real-time problem for vision navigation under factory or agricultural nonlinear illumination conditions. First of all, it was illustrated that navigation problem was equivalent to calculation of polynomial curve parameters, which could describe the navigation lanes. Secondly, the external energy function of active contour model was investigated, including three energy terms. The first energy term was about the Euclidean distance between lane colors and colors on one side of polynomial curve, by minimizing the first energy term could attract polynomial curve to navigation lanes. The second energy term was about the edge features, which could attract polynomial curve to lane edges. The third energy term was about the position difference of polynomial curve between adjacent frames, which could limit curve to change abruptly. Finally, the energy function was simplified to a nonlinear least squares problem, and the Gauss-Newton method as well as the Armijo-Goldstein inexact line search method were used to solve this problem. Home video and independent car were tested, the result showed that the algorithm achieved a navigation accuracy of 98.96% for both the straight lane and bending lane under nonlinear illumination, with average processing time of 40.18 ms, and the independent car could walk along the navigation lane successfully. Experiment result showed that the algorithm was robust and real-time.
automatic guided vehicles; active contour models; Gauss-Newton method; visual navigation
10.6041/j.issn.1000-1298.2017.02.003
2016-05-17
2016-07-01
國家自然科學(xué)基金項(xiàng)目(31571568)、廣州市科技計(jì)劃項(xiàng)目(201510010140)和廣東省工程中心項(xiàng)目(2014B090904056)
林桂潮(1989—),男,助教,主要從事視覺導(dǎo)航和視覺工業(yè)機(jī)器人研究,E-mail: guichaolin@126.com
鄒湘軍(1957—),女,教授,博士生導(dǎo)師,主要從事智能設(shè)計(jì)和系統(tǒng)仿真研究,E-mail: xjzou1@163.com
TP391.41
A
1000-1298(2017)02-0020-07