基于多層感知器的收獲期木薯莖稈識(shí)別定位研究

李付成,楊 望,楊 冉,楊 堅(jiān),鄭 賢

(廣西大學(xué) 機(jī)械工程學(xué)院,南寧 530004)

0 引言

木薯是世界主糧之一,產(chǎn)量在糧食作物中排名第六,其塊根富含淀粉,有“淀粉之王”的美譽(yù)[1]。隨著國(guó)內(nèi)木薯種植面積的不斷擴(kuò)大,對(duì)其自動(dòng)化收獲也提出了更高要求。現(xiàn)有挖拔式木薯收獲機(jī)械因不能有效確定木薯莖稈位置[2],對(duì)木薯的收獲造成了很大影響,因此準(zhǔn)確確定木薯莖稈位置對(duì)提高木薯的收獲效率具有重要意義。

機(jī)器視覺(jué)技術(shù)因具有應(yīng)用范圍廣和成本低等特點(diǎn)已在精確農(nóng)業(yè)方面廣泛應(yīng)用。國(guó)外對(duì)黃瓜、草莓、番茄[3-4]等農(nóng)產(chǎn)品收獲機(jī)械的研究已經(jīng)比較成熟,并在市場(chǎng)上大量推廣應(yīng)用。國(guó)內(nèi)張瑞和姬長(zhǎng)英[5]等人的團(tuán)隊(duì)采用雙目立體視覺(jué)技術(shù)對(duì)番茄進(jìn)行識(shí)別分類(lèi)研究,當(dāng)攝像機(jī)與目標(biāo)番茄之間的距離為300～400mm時(shí),測(cè)量誤差不超過(guò)4%。王濱等[6]針對(duì)獼猴桃采摘,利用了Kinect傳感器來(lái)獲取深度圖像和RGB圖像,定位誤差在2mm以?xún)?nèi)。張凱良等[7]開(kāi)展了草莓收獲機(jī)器人的研究,野外試驗(yàn)測(cè)定平均誤差為0.5mm,采摘定位過(guò)程平均耗時(shí)0.381s。

本文針對(duì)田間木薯莖稈的識(shí)別定位問(wèn)題,引入機(jī)器視覺(jué)方案,基于多層感知器網(wǎng)絡(luò)進(jìn)行研究,為提升挖拔式木薯收獲機(jī)械的智能化和自動(dòng)化提供一個(gè)新的方向。

1 材料與方法

1.1 試驗(yàn)材料

為在室內(nèi)模擬田間收獲情況,首先收集木薯莖稈、木薯田間干擾物和土壤等試驗(yàn)材料; 對(duì)收集后的樣本進(jìn)行處理,紙盒里逐層鋪放采集的泥土樣本、木薯葉、木薯葉柄和其它干擾物,然后在上面放置截?cái)嗵幚砗蟮哪臼砬o稈,如圖1所示。

圖1 模擬試驗(yàn)材料Fig.1 Simulated test material

1.2 試驗(yàn)方法

采用本文構(gòu)建的圖像采集系統(tǒng),單獨(dú)采集木薯莖稈圖片和木薯葉與細(xì)枝等干擾物圖片各200張,對(duì)采集的圖像進(jìn)行預(yù)處理和提取特征;然后,確定網(wǎng)絡(luò)的最優(yōu)參數(shù),進(jìn)行分類(lèi)器訓(xùn)練; 最后,使用訓(xùn)練好的分類(lèi)器在實(shí)驗(yàn)平臺(tái)上進(jìn)行動(dòng)態(tài)試驗(yàn),各試驗(yàn)100組,測(cè)得識(shí)別成功率和定位誤差。

1.3 試驗(yàn)設(shè)備

圖像采集系統(tǒng)如圖2所示。其中,平移試驗(yàn)平臺(tái)中心位置平均速度可達(dá)0.23m/s,符合挖拔式木薯收獲機(jī)的行進(jìn)速度要求;光源為四通道可調(diào)節(jié)LED光源;相機(jī)為Allied Vision公司的一款灰度工業(yè)相機(jī),型號(hào)為Stingray F-504B,1394b的數(shù)據(jù)接口,分辨率為2452×2056,全幀率可達(dá)8fps;計(jì)算機(jī)為Windows10 64位操作系統(tǒng),CPU: Intel Core I5,GPU:NVIDIA 1030。

1.相機(jī) 2.光源調(diào)節(jié)器 3.光源放置架 4.方形光源 5.模擬試驗(yàn)材料 6.平移試驗(yàn)平臺(tái) 7.主機(jī) 8.顯示器圖2 圖像采集試驗(yàn)平臺(tái)Fig.2 Image Acquisition and Test Platform

1.4 圖像預(yù)處理

圖像采集系統(tǒng)獲取圖像之后,為突出圖像中感興趣區(qū)域,要對(duì)圖像進(jìn)行預(yù)處理,如圖3所示。首先通過(guò)直方圖均衡化[8]處理,提高圖像對(duì)比度,結(jié)果如圖3(b)所示;利用圖像灰度值縮放變換方法[9],提高木薯莖稈區(qū)域灰度值,抑制其他區(qū)域灰度值,以突出目標(biāo)細(xì)節(jié),結(jié)果如圖3(c)所示;基于固定閾值法進(jìn)行圖像分割,并通過(guò)腐蝕膨脹形態(tài)學(xué)操作進(jìn)行孔洞填充和去除細(xì)小干擾物,結(jié)果如圖3(d)所示;最后,利用像素面積法選擇得到感興趣區(qū)域,結(jié)果如圖3(e)所示。

圖3 圖像預(yù)處理Fig.3 Image preprocessing

1.5 特征提取

圖像特征是圖像識(shí)別的基礎(chǔ),將直接影響識(shí)別效果,通常提取的特征需要滿(mǎn)足旋轉(zhuǎn),縮放和平移不變特性。由于相機(jī)是灰度相機(jī),本文主要從形狀和紋理兩個(gè)方面來(lái)選擇特征,提取了圓度、偏心(包括不等軸度、蓬松度、結(jié)構(gòu)因素)和緊密度等形狀特征,以及紋理特征(包括能量、對(duì)比度、相關(guān)性、逆方差)共9維特征。

紋理特征的提取一般采用灰度共生矩陣和灰度-梯度共生矩陣方法[10],其方法簡(jiǎn)單,且計(jì)算速度較快,得到的紋理特征具有較強(qiáng)的魯棒性和適應(yīng)能力。圖像的灰度共生矩陣的值與方向θ(0°,45°,90°,135°)相關(guān)。為了避免角度的影響,以4個(gè)方向的紋理特征的平均值作為標(biāo)準(zhǔn)紋理特征。,可以得到能量(Asm)、對(duì)比度(Contrast)、相關(guān)性(Correlation)和逆方差(Home)4個(gè)參數(shù),計(jì)算方法為

(1)

(2)

(3)

(4)

1.6 多層感知器網(wǎng)絡(luò)

多層感知器(Multilayer Perceptron,MLP)是前饋神經(jīng)網(wǎng)絡(luò),網(wǎng)絡(luò)構(gòu)造簡(jiǎn)單,便于實(shí)現(xiàn),實(shí)時(shí)性好。多層感知器結(jié)構(gòu)如圖4所示。圖4中,L為輸入層,接受輸入并通過(guò)激勵(lì)函數(shù)計(jì)算激勵(lì)值,傳給隱藏層H層;H層將上層傳來(lái)的結(jié)果作為輸入,通過(guò)激勵(lì)函數(shù)計(jì)算激勵(lì)值,傳給輸出層O層。

圖5 累計(jì)貢獻(xiàn)率Fig.5 Cumulative contribution rate

該神經(jīng)網(wǎng)絡(luò)能夠產(chǎn)生更多的輸出,可以進(jìn)行多分類(lèi),還可以對(duì)線(xiàn)性不可分的數(shù)據(jù)進(jìn)行預(yù)測(cè),通過(guò)輸出的y值來(lái)進(jìn)行分類(lèi)。對(duì)應(yīng)的數(shù)學(xué)原理為

(5)

其中,輸入x∈Rm、隱藏層輸出h∈Rn、輸出y∈RK、w(1)∈Rm×n與b(1)∈Rn分別為輸入層到隱藏層的權(quán)值連接矩陣和偏置,w(2)∈Rn×K與b(2)∈RK分別為隱藏層到輸出層的權(quán)值連接矩陣和偏置,φ(1)和φ(2)為激勵(lì)函數(shù)。輸入與輸出之間的數(shù)學(xué)模型為

y=T(x,θ)

(6)

設(shè)定θ=(w(1),b(1),w(2),b(2)),可優(yōu)化目標(biāo)為

(7)

通過(guò)梯度下降法,對(duì)參數(shù)求解,即

(8)

隨著不斷迭代,會(huì)逐步收斂,最終多層感知器的權(quán)重和偏置被確定,即

(9)

2 結(jié)果與分析

2.1 MLP網(wǎng)絡(luò)參數(shù)確定

所選多層感知器網(wǎng)絡(luò)結(jié)構(gòu)共3層,輸入層節(jié)點(diǎn)設(shè)為9個(gè),隱藏層節(jié)點(diǎn)數(shù)H根據(jù)經(jīng)驗(yàn)公式[11]初選范圍為4.3～13.3個(gè),輸出層節(jié)點(diǎn)設(shè)為2個(gè)。

由于本文采集的樣本數(shù)量較小,如果將數(shù)據(jù)直接輸入訓(xùn)練可能會(huì)導(dǎo)致過(guò)度擬合的現(xiàn)象[12]。為解決這一問(wèn)題,在進(jìn)行分類(lèi)器訓(xùn)練之前,使用主成分分析法[13](principal component analysis,PCA)對(duì)樣本數(shù)據(jù)進(jìn)行特征降維處理。對(duì)提取得到的200組特征數(shù)據(jù)進(jìn)行PCA處理,獲得特征的累計(jì)貢獻(xiàn)率,如圖6所示。通常選擇累計(jì)貢獻(xiàn)率大于85%時(shí)的特征數(shù)目,本文初選主成分?jǐn)?shù)目P范圍為4～6個(gè)。最后,利用網(wǎng)絡(luò)搜索結(jié)合交叉驗(yàn)證的方法[14]進(jìn)行參數(shù)隱藏層節(jié)點(diǎn)數(shù)H和主成分?jǐn)?shù)目P最優(yōu)組合的確定。

表1列出了平均識(shí)別成功率較高的10組參數(shù)組合。由表1可知:平均識(shí)別成功率最高的組合為(9,6),且該組合的標(biāo)準(zhǔn)差最小,因此選擇隱藏層節(jié)點(diǎn)數(shù)為9,主成分?jǐn)?shù)目為6。

表1 多層感知器模型不同參數(shù)的試驗(yàn)結(jié)果Table 1 Test results of different parameters of multilayer perceptron model

2.2 不同分類(lèi)器識(shí)別比較

提取了形狀和紋理特征共9維特征,將其進(jìn)行融合作為輸入特征向量,基于MLP網(wǎng)絡(luò)構(gòu)建分類(lèi)器進(jìn)行識(shí)別效果的動(dòng)態(tài)試驗(yàn),并與傳統(tǒng)淺層結(jié)構(gòu)算法的支持向量機(jī)(Support Vector Machine, SVM)模型[15]進(jìn)行對(duì)比。試驗(yàn)以識(shí)別成功率y1和誤判率y2作為試驗(yàn)指標(biāo),則

(10)

式中n1—成功識(shí)別木薯莖稈次數(shù);

n2—將感興趣區(qū)域中的非木薯莖稈區(qū)域判斷為木薯莖稈次數(shù);

N—總試驗(yàn)次數(shù)。

試驗(yàn)結(jié)果如表2所示。由表2可知:MLP分類(lèi)器識(shí)別效果較優(yōu),識(shí)別成功率達(dá)92%,明顯優(yōu)于SVM分類(lèi)器;且誤判率較小,僅有2%。

表2 不同分類(lèi)器識(shí)別比較Table 2 Comparison of different classifiers recognition rate

2.3 定位結(jié)果分析

依據(jù)前面分析,選用較優(yōu)的MLP分類(lèi)器進(jìn)行100組動(dòng)態(tài)定位試驗(yàn)。以木薯莖稈區(qū)域外接矩形的形心作為視覺(jué)測(cè)量坐標(biāo)值,每組試驗(yàn)人工測(cè)量3次木薯莖稈中心坐標(biāo),取其平均值作為真實(shí)坐標(biāo)值,以人工測(cè)量與視覺(jué)測(cè)量的誤差范圍進(jìn)行統(tǒng)計(jì),結(jié)果如表3所示。

表3 MLP定位結(jié)果統(tǒng)計(jì)Table 3 Statistics of positioning results

由表3可知:橫向位置(X)平均誤差為3.20mm,最大位置誤差為18.67mm,最小定位誤差為0.06mm,定位誤差在0～4mm區(qū)間占比為80%;縱向位置(Y)平均誤差為2.53mm,最大定位誤差為8.13mm,最小定位誤差為0.20mm,定位誤差在0-4mm區(qū)間占比為85%。算法執(zhí)行平均耗時(shí)0.26s。由于個(gè)別木薯莖稈的表面過(guò)度歪斜,視覺(jué)測(cè)量以其外接矩形的形心作為中心坐標(biāo)值,與人工測(cè)量相比誤差會(huì)較大,但這些范圍內(nèi)的占比非常小,對(duì)總體不會(huì)產(chǎn)較大的影響。

3 結(jié)論

1)對(duì)木薯莖稈和干擾物的特征進(jìn)行散點(diǎn)圖對(duì)比,選取最具區(qū)分能力的圓度、偏心和緊密度特征,以及紋理特征,通過(guò)試驗(yàn)確定了MLP網(wǎng)絡(luò)的參數(shù):輸入層節(jié)點(diǎn)數(shù)9,隱藏層節(jié)點(diǎn)數(shù)9,輸出層節(jié)點(diǎn)數(shù)2,主成分?jǐn)?shù)目為6。

2)基于MLP網(wǎng)絡(luò)和SVM模型構(gòu)建分類(lèi)器,進(jìn)行識(shí)別效果的試驗(yàn)對(duì)比,并選擇較優(yōu)分類(lèi)器進(jìn)行定位試驗(yàn)。結(jié)果表明:MLP分類(lèi)器識(shí)別效果較好,成功率最高達(dá)92%,誤判率也較小為2%,平均定位誤差3.2mm, 算法平均耗時(shí)0.26s,基本滿(mǎn)足田間環(huán)境下定位精度要求和實(shí)時(shí)性要求。

3)試驗(yàn)結(jié)果表明:提出的研究方案對(duì)收獲期木薯莖稈的識(shí)別定位具有良好效果,有較好的實(shí)際應(yīng)用前景。