基于特征融合的果園非結(jié)構(gòu)化道路識別方法

張彥斐 封子晗 張嘉恒 宮金良 蘭玉彬

(1.山東理工大學(xué)農(nóng)業(yè)工程與食品科學(xué)學(xué)院, 淄博 255000; 2.山東理工大學(xué)機械工程學(xué)院, 淄博 255000)

0 引言

隨著農(nóng)業(yè)現(xiàn)代化的推進(jìn)[1],我國農(nóng)業(yè)快速發(fā)展,智慧農(nóng)業(yè)加速了農(nóng)業(yè)機器人代替?zhèn)鹘y(tǒng)農(nóng)業(yè)機械的步伐,促進(jìn)了農(nóng)業(yè)機械生產(chǎn)過程中自動化、智能化水平的提升[2],在減輕人工勞動強度的同時,還能降低作業(yè)成本、提高作業(yè)效率與精度[3]。道路的精準(zhǔn)識別作為農(nóng)業(yè)機器人實現(xiàn)自主導(dǎo)航、路徑規(guī)劃以及實施精細(xì)化作業(yè)的基礎(chǔ),對于農(nóng)業(yè)機械在非結(jié)構(gòu)化道路環(huán)境下是否能夠安全可靠的運行具有重要意義[4]。

非結(jié)構(gòu)化道路由于沒有清晰的道路邊界且易受陰影和水跡等干擾因素影響[5],導(dǎo)致道路區(qū)域和非道路區(qū)域難以區(qū)分。目前常見的道路識別方法主要依靠視覺傳感器、激光雷達(dá)及多傳感器數(shù)據(jù)融合等,由于視覺傳感器獲取信息豐富,可從圖像中提取顏色、形狀和紋理等特征以識別道路,不受多傳感器協(xié)同作業(yè)時的干擾,且具備環(huán)境適應(yīng)性強、誤差累積小、性價比高以及細(xì)節(jié)識別精度高等特點[6-10],已成為農(nóng)業(yè)車輛自主導(dǎo)航系統(tǒng)的研究熱點。

在基于機器視覺識別道路研究中,文獻(xiàn)[11-12]通過提取多種道路特征并結(jié)合支持向量機、隨機森林等實現(xiàn)道路識別,該方法對結(jié)構(gòu)化道路識別效果較好,但當(dāng)面對道路環(huán)境相對復(fù)雜的非結(jié)構(gòu)化道路時,識別效果并不理想。文獻(xiàn)[13-16]通過道路形狀特征、各顏色空間特征信息等進(jìn)行道路特征的提取,從而限定路面的不可通行區(qū)域達(dá)到可通行區(qū)域檢測的目的,并結(jié)合各種曲線模型、擬合算法完成對道路的識別。以上方法雖對非結(jié)構(gòu)化道路檢測效果較好,但對圖像顏色依賴性較大,當(dāng)?shù)缆放c背景差異不顯著以及陰影覆蓋面積較大時算法檢測失效。

針對果園環(huán)境中非結(jié)構(gòu)化道路沒有明顯道路邊界且周圍環(huán)境復(fù)雜,單一使用顏色特征無法將道路和與其特征相似的干擾因素較好分離等問題,本文提出一種將顏色特征與紋理特征相結(jié)合的非結(jié)構(gòu)化道路邊緣識別方法,將全局特征提取與局部特征提取相結(jié)合,保證邊界提取的精度與完整度,并使用基于距離和位置雙重約束的兩級偽特征點剔除方法對干擾點進(jìn)行剔除,最后使用分段三次樣條插值函數(shù)對邊緣點進(jìn)行擬合得到道路邊緣曲線。

1 圖像預(yù)處理

1.1 畸變矯正

使用RMONCAM林柏視-G600型相機采集分辨率為640像素×480像素的圖像,此時圖像位于像素坐標(biāo)系中且存在一定畸變,為了得到畸變相對較小的圖像,需進(jìn)行相機標(biāo)定確定相機內(nèi)部參數(shù)以得到像素坐標(biāo)系與世界坐標(biāo)系的映射關(guān)系,并獲取畸變參數(shù)以矯正由于鏡頭存在光學(xué)畸變造成的圖像徑向與切向畸變。

本文使用OpenCV中的相機標(biāo)定方法[17]對20幅不同角度的11×8棋盤格圖像進(jìn)行標(biāo)定,標(biāo)定過程如圖1所示,相機內(nèi)部參數(shù)與畸變參數(shù)見表1,反向投影誤差為0.025像素,對圖像進(jìn)行畸變矯正與變換縮放,效果如圖2所示。

圖1 相機標(biāo)定過程

圖2 圖像畸變矯正

表1 相機標(biāo)定結(jié)果

1.2 圖像灰度化

矯正后圖像位于RGB顏色空間中,對于非結(jié)構(gòu)化道路而言,其周圍環(huán)境較為復(fù)雜,除道路兩側(cè)植被外,還有陰影、土壤以及沙石等因素的干擾,而RGB顏色空間3個分量與亮度高度相關(guān),易受光照影響,使用單一顏色特征難以將道路與非道路區(qū)域進(jìn)行區(qū)分,故將RGB圖像轉(zhuǎn)換到更適合進(jìn)行圖像處理的HSV顏色空間[18]。

HSV顏色空間由色調(diào)(Hue,H)、飽和度(Saturation,S)和亮度(Value,V)3個分量構(gòu)成,對圖2b在HSV空間各分量的特征分布進(jìn)行分析,圖3為各分量的特征空間。

圖3 HSV顏色空間各分量空間特征圖

由圖3可知,以圖像左上角為原點,向右為x軸正方向,向下為y軸正方向,道路圖像HSV顏色空間中H、V分量道路區(qū)域與周圍植被區(qū)域灰度漸進(jìn),無明顯灰度分級?；叶鹊燃売嬎愎綖?/p>

(1)

式中GH、GM、GL——HSV空間中各分量灰度分級后的高、中、低灰度級

Gmax、Gmin——HSV空間中各分量的最大、最小灰度

[]——取整符號

若將圖像灰度等級分為高(GH)、中(GM)、低(GL)3級,H分量中道路與植被均處于GL灰度級(灰度范圍為[0,59)),V分量中道路與植被均處于GH灰度級(灰度范圍為[170,255]),不易區(qū)分道路與非道路區(qū)域。相較而言,S分量中道路區(qū)域主要位于GL灰度級(灰度范圍為[0,85)),鄰近區(qū)域主要位于GM與GH灰度級(灰度范圍分別為[85,170)和[170,255]),兩區(qū)域灰度分級較明顯,利于后續(xù)道路邊緣提取。對圖4中不同工況和季節(jié)下圖像中道路及其鄰近區(qū)域進(jìn)行灰度分級,其分級結(jié)果見表2。由表2可知,不同環(huán)境下S分量較H、V分量而言,其道路及其鄰近區(qū)域均處于不同的灰度等級,且S分量受光照干擾程度較小,故本文選用HSV顏色空間中的S分量對圖像進(jìn)行灰度化處理,圖2b灰度化效果如圖5所示。

圖4 不同環(huán)境下圖像

圖5 S分量灰度化效果

表2 不同環(huán)境下圖像灰度分級結(jié)果

1.3 感興趣區(qū)域選取

感興趣區(qū)域(Region of interest,ROI)的選取要在滿足減小計算量需求的同時,盡可能保留圖像中的有效信息,以便后續(xù)圖像處理。為能恰當(dāng)選取ROI分割位置,本文提出一種基于濾波與梯度統(tǒng)計相結(jié)合的感興趣區(qū)域動態(tài)提取方法。

由圖3b可知,雖然道路與非道路區(qū)域灰度分級較明顯,但非道路區(qū)域灰度變換劇烈且道路區(qū)域存在細(xì)小噪聲。為方便后續(xù)梯度統(tǒng)計,使用雙邊濾波[19]對圖像進(jìn)行平滑處理,得到濾波后輸出的像素值ID(i,j)為

(2)

式中 (i,j)、(u,v)——核內(nèi)鄰域像素與中心像素坐標(biāo)

f(i,j)、f(u,v)——核內(nèi)鄰域像素與中心像素灰度

σs、σv——空間域核與值域核的標(biāo)準(zhǔn)差

D——以(u,v)為中心的濾波核窗口

雙邊濾波可保證在對圖像消除低頻分量噪聲的同時保留邊緣細(xì)節(jié)。濾波后,采用Sobel算子沿水平方向提取圖像梯度,圖6為濾波效果及圖像梯度空間分布特征。

圖6 雙邊濾波效果及Sobel水平梯度空間特征圖

由圖6b可知,因道路區(qū)域灰度變換均勻,該區(qū)域梯度基本為零,道路兩側(cè)及邊緣存在梯度變換,且單行像素中道路區(qū)域所占比例由近視野區(qū)至遠(yuǎn)視野區(qū)逐漸變小,若對道路區(qū)域統(tǒng)計每行梯度非零的像素個數(shù),道路盡頭所處位置梯度非零個數(shù)應(yīng)為最大。由于道路盡頭位于圖像中間區(qū)域,為減小計算量,沿圖像水平方向選取中間1/3區(qū)域自上而下統(tǒng)計每行梯度非零的像素個數(shù)并存入數(shù)組N_zero[],計算數(shù)組最大值及其對應(yīng)索引位置,若存在多處索引,則取最大索引并確定分割位置

(3)

式中L——ROI分割位置對應(yīng)索引

h——輸入圖像高度

I——數(shù)組N_zero[]最大值對應(yīng)索引位置

圖7為S分量ROI。

圖7 S分量ROI

2 圖像融合與道路邊緣提取

2.1 多特征圖像融合

2.1.1紋理特征提取

Gabor濾波器[20-21]可對局部特征進(jìn)行提取并對光照變化具有較強的魯棒性,能夠根據(jù)特定紋理方向提取有效特征并去除顏色特征無法識別的陰影部分。由于道路本身同樣存在紋理特征,若設(shè)置的紋理提取方向過多易造成全圖像紋理特征提取,導(dǎo)致道路與非道路區(qū)域無法區(qū)分。為保證在突顯道路邊緣特征的同時盡量不提取路面紋理,根據(jù)道路與邊緣區(qū)域紋理角度信息,構(gòu)建2個尺度為7、方向分別為0°和90°的Gabor濾波核并對S分量ROI進(jìn)行濾波得到紋理圖像g(x,y)。

(4)

其中

(5)

(6)

式中 (x,y)——像素坐標(biāo)位置

θ、σ、γ——濾波核的方向、標(biāo)準(zhǔn)差與長寬比

b、λ、ψ——濾波核的帶寬、正弦函數(shù)的波長與相位偏移

圖8a、8b為濾波后所得紋理圖像,由于θ=0°的原紋理圖像對比度較小,為使紋理特征更便于觀察,圖8a為θ=0°原紋理圖像做一次灰度正規(guī)化增強處理后效果,圖8c為θ=0°原紋理圖像與θ=90°紋理圖像相加所得的多方向紋理特征提取圖像。

圖8 紋理特征提取

2.1.2圖像融合及后處理

當(dāng)路邊土壤、沙石等與道路飽和度相近的干擾因素覆蓋道路時,單一使用S分量無法將其與道路分離,易造成邊界的誤判或漏判。為保證邊界提取的精度與完整度,本文提出一種基于圖像顏色與多方向紋理特征相結(jié)合的圖像融合方法,該方法主要包括以下兩個關(guān)鍵步驟:

(1)紋理特征掩膜提取。采用Sobel算子計算紋理圖像水平方向梯度,依據(jù)梯度圖像中邊緣位置較其他位置而言其梯度絕對值更大的特點,將圖像梯度由最大值至最小值平均分為5份,提取梯度位于上2/5與下2/5區(qū)域的像素點,其余像素點值設(shè)為0,所提取到的特征掩膜如圖9a所示。

圖9 圖像融合及二值化

(2)最大值法圖像融合。將提取到的紋理特征掩膜各像素點值與S分量ROI最大類間方差法[22-24]分割閾值進(jìn)行比較,根據(jù)比較結(jié)果對掩膜像素點值進(jìn)行重置。

(7)

式中V′M(i,j)——重置后紋理特征掩膜像素點值

VM(i,j)——重置前紋理特征掩膜像素點值

VS(i,j)——S分量ROI的像素點值

TS——S分量ROI的最大類間方差法分割閾值

重置后的掩膜圖像與S分量ROI逐像素點比較,取兩者中較大像素點值生成融合圖像,如圖9b所示。

F(i,j)=max{V′M(i,j),VS(i,j)}

(8)

式中F(i,j)——融合后圖像像素點值

融合后圖像將全局特征提取與局部特征提取相結(jié)合,在顏色特征提取基礎(chǔ)邊界的前提下,使用紋理特征對精細(xì)化邊界進(jìn)行填充,能夠有效提高邊緣檢測精度。

使用最大類間方差法將融合圖像二值化,對二值圖像采用3×3模板進(jìn)行開運算,采用最大聯(lián)通區(qū)域法先將其面積小于100像素的白色孔洞像素值設(shè)為0(黑色),再將其面積小于200像素的黑色孔洞像素值設(shè)為255(白色),以此達(dá)到去除噪聲的目的,圖9c、9d為圖像二值化及其去噪后效果。

2.2 道路邊緣提取

2.2.1特征點尋找及剔除

若選取二值圖像中包含邊緣信息的某一列像素,可知道路邊緣點應(yīng)位于像素值突變位置。將去噪后二值圖像沿水平方向平均分為40個子區(qū)域,取每個子區(qū)域中間列作為特征點提取列,將每列自上而下檢索到的像素值由0(黑色)至255(白色)的突變點作為候補特征點。

候補特征點中存在許多干擾點,如單列存在多個突變點、道路區(qū)域大面積噪聲未去除導(dǎo)致偽特征點被提取等情況,為精準(zhǔn)剔除偽特征點保留邊緣點,本文提出一種基于距離與位置雙重約束的兩級偽特征點剔除方法?；诰嚯x約束的一級偽特征點剔除具體步驟如下:

(1)查找x值最小候補特征點所在提取列(以下簡稱為“首點列”)上存在幾個特征點,若只有一個特征點,則保留該點(以下簡稱為“保留點”);若存在多個特征點,保留y值最大的特征點,其余點剔除。

(2)順序遍歷首點列后的每一提取列,若該列不存在特征點,繼續(xù)遍歷下一列;若該列存在一個特征點,則保留該點;若存在多個特征點,計算該列所有候補特征點與上一個保留點之間的距離(以下簡稱“點距”),并計算最小點距及其對應(yīng)在該列候補點中的索引位置,若自上而下最小點距點為該列最后一個特征點,則保留該點,其余點剔除,否則計算其后所有候補特征點點距與最小點距之間的差值,若點距差值均大于給定閾值,則保留最小點距點,其余點剔除;若存在點距差值不大于設(shè)定閾值的候補特征點,則保留符合要求的候補特征點中y值最大的特征點,其余點剔除。

道路環(huán)境較簡單時,可實現(xiàn)一級偽特征點剔除后的保留點均為道路邊緣點,但當(dāng)?shù)缆翻h(huán)境較為復(fù)雜時,一級偽特征點剔除后的保留點除道路真實邊緣點外還包含少量較當(dāng)列其他候補特征點而言雖距離邊緣較近但非邊緣點的干擾點,針對這部分干擾點,使用基于位置約束的二級偽特征點剔除方法進(jìn)行剔除,具體步驟如下:

(1)使用K-means[25-26]方法對一級偽特征點剔除后的保留點進(jìn)行聚類,并計算左右聚類中心,根據(jù)2個聚類中心x值大小區(qū)分左右特征點。

(2)將左側(cè)保留點x值不大于其聚類中心x值的點集設(shè)為p1,保留點x值大于其聚類中心x值的點集設(shè)為p2;將右側(cè)保留點x值小于其聚類中心x值的點集設(shè)為p3,保留點x值不小于其聚類中心x值的點集設(shè)為p4。

(3)將點集p1、p4中y值最大的保留點y1max和y4max,以及點集p2、p3中y值最小的保留點y2min和y3min設(shè)為基準(zhǔn)點,圖10為K-means聚類結(jié)果及基準(zhǔn)點。

圖10 K-means聚類結(jié)果及基準(zhǔn)點

(4)判斷基準(zhǔn)點y1max和y3min是否為其所在類別中x值最小的特征點,若是,則保留點集p1、p3中所有特征點;若不是,剔除其所在類別中x值小于基準(zhǔn)點y1max、y3min相應(yīng)x值的保留點。

(5)判斷基準(zhǔn)點y2min和y4max是否為其所在類別中x值最大的特征點,若是,則保留點集p2、p4中所有特征點;若不是,剔除其所在類別中x值大于基準(zhǔn)點y2min、y4max相應(yīng)x值的保留點。

(6)經(jīng)過步驟(4)與步驟(5)剔除后所剩的特征點為最終提取到的道路邊緣點,特征點提取與剔除結(jié)果如圖11所示。

圖11 特征點提取與剔除

2.2.2道路邊緣擬合

由于非結(jié)構(gòu)化道路邊緣無固有形狀,若使用線性擬合、邊緣模型等方法進(jìn)行擬合,其擬合效果與實際道路邊緣誤差較大,故本文使用分段三次樣條插值法分別對道路左右邊緣進(jìn)行擬合,在保證分段點間連接平滑的同時避免了高次函數(shù)導(dǎo)致的龍格現(xiàn)象,使擬合結(jié)果更貼合實際邊緣。

以左側(cè)邊緣點為例,設(shè)給定的節(jié)點(邊緣點)坐標(biāo)為(xi,yi)(i=0,1,…,n),相鄰2個節(jié)點構(gòu)成一個分段區(qū)間,n+1個節(jié)點共構(gòu)成n個分段區(qū)間,每個分段區(qū)間的三次樣條函數(shù)表達(dá)式為

Si(x)=ai(x-xi)3+bi(x-xi)2+ci(x-xi)+di

(x∈[xi,xi+1],i=0,1,…,n-1)

(9)

式中ai、bi、ci、di——各分段區(qū)間三次樣條函數(shù)各項系數(shù)

則n個分段區(qū)間對應(yīng)的三次樣條函數(shù)S(x)表達(dá)式為

(10)

同時,三次樣條插值函數(shù)S(x)需滿足以下4個插值條件:

(1)函數(shù)S(x)穿過所有節(jié)點,即Si(xi)=yi(i=0,1,…,n-1)且Sn-1(xn)=yn。

(2)函數(shù)S(x)在所有節(jié)點(除第1個節(jié)點和最后1個節(jié)點)處零階連續(xù),即Si(xi+1)=Si+1(xi+1)(i=0,1,…,n-2)。

(3)函數(shù)S(x)在所有節(jié)點(除第1個節(jié)點和最后1個節(jié)點)處一階連續(xù),即S′i(xi+1)=S′i+1(xi+1)(i=0,1,…,n-2)。

(4)函數(shù)S(x)在所有節(jié)點(除第1個節(jié)點和最后1個節(jié)點)處二階連續(xù),即S″i(xi+1)=S″i+1(xi+1)(i=0,1,…,n-2)。

由式(9)可得各分段區(qū)間三次樣條函數(shù)Si(x)的一階導(dǎo)函數(shù)與二階導(dǎo)函數(shù)分別為

S′i(x)=3ai(x-xi)2+2bi(x-xi)+ci

(11)

S″i=6ai(x-xi)+2bi

(12)

根據(jù)條件(1)與式(9)可得

(13)

根據(jù)條件(2)與式(9)可得

(14)

根據(jù)條件(3)與式(11)可得

(15)

根據(jù)條件(4)與式(12)可得

6aihi+2bi-2bi+1=0

(16)

式(14)～(16)中,i=0,1,…,n-2;hi=xi+1-xi。

本文使用非節(jié)點邊界法給出插值函數(shù)的邊界條件。第1段函數(shù)S0(x)和第2段函數(shù)S1(x)在第2個節(jié)點(x1,y1)處三階導(dǎo)數(shù)連續(xù),同時要求倒數(shù)第2段函數(shù)Sn-2(x)和最后一段函數(shù)Sn-1(x)在倒數(shù)第2個節(jié)點(xn-1,yn-1)處三階導(dǎo)數(shù)連續(xù),由此可得S?0(x1)=S?1(x1)和S?n-2(xn-1)=S?n-1(xn-1),即

(17)

聯(lián)立式(13)～(17)即可求解分段三次樣條插值函數(shù)S(x),得到左側(cè)道路邊緣三次樣條插值曲線,同理,可得右側(cè)道路邊緣三次樣條插值曲線, 圖12 為道路邊緣擬合結(jié)果。

圖12 道路邊緣擬合結(jié)果

3 試驗及結(jié)果分析

試驗在位于山東省淄博市沂源縣山東理工大學(xué)與山東中以現(xiàn)代智慧農(nóng)業(yè)有限公司共建的標(biāo)準(zhǔn)化蘋果園中進(jìn)行,試驗設(shè)備采用Intel(R)Core(TM)i5-7200U CPU,主頻2.50 GHz,內(nèi)存12 GB,Windows 64位操作系統(tǒng)的計算機,道路邊緣識別程序在Anaconda(Spyder)集成開發(fā)環(huán)境下使用Python 3.8編寫完成,圖13為圖像采集設(shè)備,圖像采集時相機光心離地1.3 m。

圖13 圖像采集設(shè)備

在晴天、陰天(存在車輛干擾)、順光、逆光、冬季晴天和雨雪天氣6種工況條件下對本文提出的基于圖像顏色與多方向紋理特征相結(jié)合的圖像融合方法進(jìn)行試驗效果分析。在其他處理步驟一致的前提下,設(shè)置S分量與多方向紋理特征圖像為對照組,提取3種特征圖像中的邊緣點,檢測算法識別邊緣點與人工標(biāo)識邊緣點之間的縱向偏差絕對值dv,并計算偏差率

(18)

式中Nv——ROI圖像縱向像素數(shù)

rd——偏差率

圖14為多工況條件下3種特征圖像邊緣點提取結(jié)果,表3為多工況條件下3種特征圖像邊緣點平均縱向偏差絕對值與平均偏差率。

圖14 多工況條件下3種特征圖像邊緣點提取結(jié)果

表3 多工況條件下3種特征圖像邊緣點提取誤差計算結(jié)果

由圖14可知,在晴天、陰天、順光、逆光4種工況下,基于S分量與融合圖像提取到的邊緣點較完整且誤差較小,基于紋理圖像提取的邊緣點缺失嚴(yán)重且誤差較大。在冬季晴天和雨雪天氣工況下,3種特征圖像提取的邊緣點均較完整,基于S分量與紋理圖像提取的邊緣點誤差略大于基于融合圖像提取的邊緣點誤差。表3數(shù)據(jù)表明,在多工況條件下,S分量平均縱向偏差為1.94～3.00像素,平均偏差率為0.72%～1.54%,紋理圖像平均縱向偏差為2.21～93.38像素,平均偏差率為0.74%～43.23%,融合圖像平均縱向偏差為0.92～1.80像素,平均偏差率為0.29%～0.71%。S分量、紋理圖像和融合圖像在6種工況下的平均縱向偏差均值分別為2.43、39.71、1.36像素,平均偏差率均值分別為0.99%、18.02%和0.54%,S分量的平均縱向偏差均值與平均偏差率均值均居中,紋理圖像的平均縱向偏差均值與平均偏差率均值均最大,融合圖像的平均縱向偏差均值與平均偏差率均值均最小。融合圖像在6種工況下的平均縱向偏差均值較S分量與紋理圖像的平均縱向偏差均值分別減小44.03%和96.58%,融合圖像的平均偏差率均值較S分量與紋理圖像的平均偏差率均值分別減小了45.45%和97.00%。由此可見,本文提出的基于圖像顏色與多方向紋理特征相結(jié)合的融合圖像較單一特征圖像的邊緣點提取誤差與偏差率更小、提取精度更高,且在陰天工況下,存在車輛干擾時,基于S分量與紋理圖像的提取方法無法對車輛所在區(qū)域進(jìn)行識別,而基于融合圖像的提取方法可有效提取車輛所在區(qū)域邊緣點,實現(xiàn)障礙物的躲避。

圖15為常見擬合方法最小二乘法、隨機采樣一致性法(Random sample consensus,RANSAC)與本文分段三次樣條插值法對邊緣點的擬合效果。由圖15可知,本文采用的分段三次樣條插值法為曲線擬合,較最小二乘法與RANSAC法的直線擬合更貼合非結(jié)構(gòu)化道路實際邊緣曲線。當(dāng)陰天工況下,路面存在車輛時,最小二乘法與RANSAC法無法對車輛所在區(qū)域邊緣進(jìn)行擬合,不利于農(nóng)業(yè)車輛行駛過程中障礙物的躲避,而本文使用的三次樣條插值曲線可實現(xiàn)對車輛所在區(qū)域邊緣的準(zhǔn)確擬合,有助于提高農(nóng)業(yè)車輛行駛過程中的安全性。對6種工況各選取10幅圖像,獲取各邊緣點所在列的實際道路邊緣與算法識別道路邊緣之間的縱向偏差絕對值,使用平均偏差、平均偏差率、偏差率標(biāo)準(zhǔn)差作為評價指標(biāo),對3種擬合方法的擬合效果進(jìn)行分析,具體數(shù)據(jù)見表4與圖16。

圖15 多工況下不同擬合方法道路邊緣擬合效果

圖16 多工況下不同擬合方法的偏差率標(biāo)準(zhǔn)差

表4 多工況下不同擬合方法道路邊緣擬合效果評價指標(biāo)

由表4可知,3種擬合方法中,RANSAC法擬合道路邊緣在6種工況下的平均偏差與平均偏差率均最大,其平均偏差范圍為2.05～4.37像素,平均偏差均值為3.16像素,平均偏差率范圍為1.03%～1.38%,平均偏差率均值為1.21%,雨雪天氣時平均偏差及平均偏差率均最大;最小二乘法擬合道路邊緣在6種工況下的平均偏差與平均偏差率均居中,其平均偏差范圍為1.66～3.25像素,平均偏差均值為2.64像素,平均偏差率范圍為0.84%～1.16%,平均偏差率均值為1.02%,雨雪天氣時平均偏差最大,順光工況下平均偏差率最大;本文分段三次樣條插值法擬合道路邊緣在6種工況下的平均偏差與平均偏差率均最小,其平均偏差范圍為0.53～0.90像素,平均偏差均值為0.66像素,較RANSAC法與最小二乘法分別減小79.11%與75.00%,平均偏差率范圍為0.17%～0.37%,平均偏差率均值為0.26%,較RANSAC法與最小二乘法分別降低78.51%與74.51%,晴天工況下平均偏差與平均偏差率均最大。

由圖16可知,在同種工況條件下,使用分段三次樣條插值法擬合的道路邊緣較最小二乘法與RANSAC法,其偏差率標(biāo)準(zhǔn)差最小。6種工況下,RANSAC法擬合道路邊緣的偏差率平均標(biāo)準(zhǔn)差最大,為0.31%,最小二乘法擬合道路邊緣的偏差率平均標(biāo)準(zhǔn)差居中,為0.23%,本文分段三次樣條插值法擬合道路邊緣的偏差率平均標(biāo)準(zhǔn)差最小,為0.09%,較RANSAC法與最小二乘法分別減小70.97%和60.87%,表明本文分段三次樣條插值法具有更好的穩(wěn)定性。

由圖16可知,本文算法雨雪天氣時偏差率波動幅度最大,其標(biāo)準(zhǔn)差為0.15%,冬季晴天時偏差率波動幅度最小,其標(biāo)準(zhǔn)差為0.01%,順光、陰天、晴天、逆光工況下偏差率波動幅度居中,其標(biāo)準(zhǔn)差分別為0.12%、0.10%、0.09%、0.07%。由此可知,算法在冬季晴天時最穩(wěn)定,在雨雪天氣下的標(biāo)準(zhǔn)差雖為6種工況中的最大值,但仍能滿足農(nóng)業(yè)機械作業(yè)過程中的精度要求。6種工況條件下,算法平均單幅圖像處理耗時分別為93.4、90.0、83.5、93.2、88.9、90.3 ms,單幀圖像平均處理時間為89.9 ms,滿足農(nóng)業(yè)機器人作業(yè)過程中的實時性要求。

4 結(jié)論

(1)針對果園中非結(jié)構(gòu)化道路無明顯邊界且道路邊緣存在陰影、土壤和沙石干擾等問題,提出一種顏色與紋理特征相結(jié)合的非結(jié)構(gòu)化道路識別方法。根據(jù)濾波與梯度統(tǒng)計相結(jié)合的動態(tài)提取方法對HSV顏色空間S分量進(jìn)行ROI選取,并在此基礎(chǔ)上使用多方向紋理濾波器提取紋理特征,綜合利用最大值圖像融合法、基于距離與位置雙重約束的兩級偽特征點剔除方法、分段三次樣條插值法對道路邊緣進(jìn)行擬合以實現(xiàn)非結(jié)構(gòu)化道路識別。

(2)試驗結(jié)果表明,6種工況條件下,融合圖像提取的邊緣點平均縱向偏差均值為1.36像素,平均偏差率均值為0.54%,較單一特征圖像而言,其提取誤差與偏差率更小、提取精度更高。分段三次樣條插值法的平均偏差均值為0.66像素,平均偏差率均值為0.26%,偏差率平均標(biāo)準(zhǔn)差為0.09%,較最小二乘法與RANSAC法而言,擬合精度更高且具有更好的穩(wěn)定性。當(dāng)路面存在車輛時,基于融合圖像的特征點提取方法可有效提取車輛所在區(qū)域邊緣點,三次樣條插值法可實現(xiàn)對車輛所在區(qū)域邊緣的準(zhǔn)確擬合,有利于農(nóng)業(yè)機器人作業(yè)過程中障礙物的躲避,可提高其行駛的安全性。6種工況下,算法單幀圖像平均處理時間為89.9 ms,滿足農(nóng)業(yè)機器人作業(yè)過程中的實時性要求。