基于神經(jīng)網(wǎng)絡的茄子采摘機器人視覺識別方法＊

宋 健

（濰坊學院，山東 濰坊 261061）

基于神經(jīng)網(wǎng)絡的茄子采摘機器人視覺識別方法＊

宋 健

（濰坊學院，山東 濰坊 261061）

針對生長環(huán)境中茄子圖像背景復雜的特點，提出了一種基于BP神經(jīng)網(wǎng)絡的圖像分割方法。通過對茄子果實的分析，選取3×3鄰域像素EXG灰度值作為圖像特征。選取30幅圖像作為訓練樣本，以人工借助Photoshop軟件分割后的圖像作為教師信號，采用改進的BP算法對神經(jīng)網(wǎng)絡的權值進行訓練。經(jīng)過120次循環(huán)后，獲得有效的網(wǎng)絡權值，誤差為0.001。結果表明，利用BP神經(jīng)網(wǎng)絡能夠較好地實現(xiàn)茄子與背景的分離，經(jīng)過數(shù)學形態(tài)法結合中值濾波方法的進一步處理后完全能滿足采摘機器人的要求。

圖像處理；圖像分割；自動閾值；采摘機器人

1 引言

隨著人口的老齡化和農(nóng)業(yè)勞動力的減少，蔬菜和水果收獲采摘機器人成為了世界性的研究熱點。采摘機器人進行作業(yè)時，首先要根據(jù)果實目標的顏色、大小和形狀將成熟果實從葉子和枝條等背景中辨別出來，并確定其空間位置，為機械手提供相應的運動參數(shù)，從而完成采摘作業(yè)。因此，圖像分割是果實目標識別過程中的關鍵步驟。

目前，常用的圖像分割方法有閾值分割法、區(qū)域生長分割法、基于數(shù)學形態(tài)學分割法等。但是，都不同程度的存在不足之處。近年來，國內外學者將神經(jīng)網(wǎng)絡技術引入到圖像分割中，取得了一定的成果。邱道尹等人利用BP神經(jīng)網(wǎng)絡技術識別儲糧中的害蟲，識別率達到了100%。張亞靜提出了一種基于圖像特征和神經(jīng)網(wǎng)絡分類器的蘋果圖像分割算法，算法正確率大于87.6%。齊龍等運用BP神經(jīng)網(wǎng)絡構造分類器分割植物病害圖像，分割正確率達到了94.7%。本文在前面學者研究的基礎上，通過對生長環(huán)境中茄子果實與周圍環(huán)境顏色特征的試驗與統(tǒng)計，應用改進的BP神經(jīng)網(wǎng)絡對EXG灰度圖進行分割。

圖1 EXG灰度圖

2 顏色因子的選擇

為了科學的研究、測定和使用顏色，已經(jīng)建立了十幾種顏色模型，如RGB、HIS、L＊a＊b＊、YUV等。試驗表明，在不同的顏色空間下圖像處理的效果有很大的不同。其中，RGB顏色模型是圖像處理中最基礎、最常用的。因為現(xiàn)有的圖像采集設備最初采集到的顏色信息就是RGB值，顯示設備最終使用的也是RGB值。圖像處理中使用的其他所有的顏色空間都是從RGB顏色空間轉換來的，其處理結果如果需要顯示出來，也要轉換到RGB顏色空間。為了降低圖像處理的難度，提高處理速度，最好的方法是直接利用RGB顏色模型的一個分量進行圖像處理。但是，通過試驗可知效果并不理想。

通過對生長環(huán)境中茄子果實與周圍環(huán)境顏色特征的試驗與統(tǒng)計，對RGB顏色模型3個分量不同線性組合進行比較，顏色因子EXG的灰度圖中茄子果實與周圍環(huán)境灰度差別較大，如圖1所示。因此，選擇顏色因子EXG灰度圖進行圖像處理。

基于顏色因子EXG灰度圖的實現(xiàn)過程如下：

式中，（x，y）為當前像素點的位置信息；EXG（x，y）為變換后的灰度值。

3 BP神經(jīng)網(wǎng)絡分類器的構造

3.1 輸入輸出信號的選擇

神經(jīng)網(wǎng)絡的輸入層為9個神經(jīng)元，輸入信號為3×3鄰域像素EXG灰度值。即選用30幅利用Photoshop軟件分割得到的成熟茄子圖像，計算每個像素點的EXG灰度值作為教師信號。由于茄子圖像的分割屬于二類問題，所以，輸出神經(jīng)元用1和0表示。1表示點（i，j），為茄子果實，0為背景。

3.2 BP網(wǎng)絡的建立

圖像分割選用3層完全結合方式BP神經(jīng)網(wǎng)絡。輸入的特征量為3×3鄰域像素EXG灰度值，因此輸入層的神經(jīng)元個數(shù)設計為9，輸出層的神經(jīng)元個數(shù)為1。

在BP神經(jīng)網(wǎng)絡的設計中，隱層節(jié)點數(shù)對網(wǎng)絡性能的影響較大，而且隱層節(jié)點數(shù)的選取尚無明確的理論指導。隱層節(jié)點太少，會使訓練次數(shù)增加，降低檢索信息的精確性；而隱層節(jié)點過多，又將增大網(wǎng)絡權值的訓練量，降低網(wǎng)絡的可靠性，使得網(wǎng)絡處理非樣本的能力受影響。本課題采用以下經(jīng)驗公式：

式中，N1、N3、為輸入、輸出節(jié)點數(shù)，a為1－10之間的常數(shù)。本課題經(jīng)過多次試驗，取N2＝7，即組成9－7－1結構的BP神經(jīng)網(wǎng)絡，對茄子圖像進行分割。

神經(jīng)元輸入輸出函數(shù)為雙彎曲函數(shù)：

輸出層的神經(jīng)元輸出與教師信號的平方誤差和定義為：

式中，ok表示輸出層神經(jīng)元k的輸出；dk表示給輸出層的教師信號。

3.3 學習算法的快速化

為了實現(xiàn)學習的快速化，引入慣性項?！皯T性”借用了力學中慣性的概念，不僅考慮當前值，而且對過去的影響加以考慮。在t＝n時刻求權值修正量時，增加前一時刻（t＝n－1）的權值修正量，即：

式中，η為學習率；En－1為直到n－1時刻輸出層的平方誤差和；α為慣性項系數(shù)，0＜α＜1。

當前值的修正方向與前一次的權值方向相異，即式（5）等式右側第一項與第2項符號相反時，求和修正量的絕對值變小，可以防止過調節(jié)；相反，修正量方向相同時，相加后修正量變?yōu)檩^大的值，可以達到學習的快速化。本文中取η＝0.05，α＝0.9。

按照此算法進行120次訓練，總誤差降到0.001，得到收斂有效的網(wǎng)絡權值。

4 試驗結果與分析

4.1 圖像分割

將在生長環(huán)境中采集到的茄子圖像提取特征后，用已經(jīng)訓練過的神經(jīng)網(wǎng)絡進行分割，結果如圖2所示。由于圖像是在自然光下拍攝的，在背景中除了較大面積的枝葉、還有少量枯黃的葉子、用于固定植株枝干的白色塑料繩子、遠處的茄子、花朵和沒有任何目標的空洞陰影等。所以，分割后圖像的背景上存在一定的的殘留物和噪聲。不過，茄子的邊界比較完整，經(jīng)過進一步處理可以消除。

圖2 圖像分割結果

4.2 殘留物去除

為了去除成熟茄子果實圖像背景上的殘留物和噪聲，采用數(shù)學形態(tài)學方法結合中值濾波的方法。具體操作時，選擇5×5的結構元素對分割后的圖像先進行開啟運算再進行閉合運算，重復進行二次，去除大的噪聲；然后采用3×3鄰域的中值濾波器進行濾波，圖3為濾波效果圖。

圖3 濾波效果圖

4.3 邊緣檢測

拉普拉斯算子是對二維和函數(shù)進行預算的二階導數(shù)算子，它在邊緣處將產(chǎn)生一個陡峭的零交叉。據(jù)此，對數(shù)字圖像｛f（i，j）｝的每個像素（i，j），取關于x軸方向和y軸方向的二階差分之和，即：

若▽2f（i，j）在（i，j）處發(fā)生零交叉，則f（i，j）為階躍型邊緣點。而對于屋脊型邊緣，則是在邊緣點的二階導數(shù)取極小值。

應用拉普拉斯算子對經(jīng)過濾波去噪處理的圖像進行邊緣檢測，得到的結果如圖4所示。從處理的結果中可以看出，獲取的邊緣雖然寬一些，但是對圖像的噪聲不敏感，并且能得到比較平滑的邊緣效果。

圖4 輪廓提取效果圖

圖5 特征提取效果圖

4.4 果實目標的特征提取

圖像的特征，是指圖像中某種物體所具有的特征。對于果蔬采摘作業(yè)來說，最終需要機器視覺系統(tǒng)提供采摘對象的特征參數(shù)，重心、面積、外接矩形、切斷點等特征。通過對圖像分割得到二值圖像進行邊緣提取和輪廓跟蹤將輪廓標記在了二維數(shù)組中。這樣，可以方便的提取所需要的果實目標特征。圖5為特征提取效果圖。

4.5 討論

對30幅圖像分別采用基于BP神經(jīng)網(wǎng)絡分割方法對生長環(huán)境中茄子果實進行了分割，分割效果較好，分割效率＞86%；平均用時0.54s。該方法屬于自適應算法，具有一定的智能性，適應面廣。但是，耗時相對較多，處理速度需進一步提高。

影響圖像分割效果的主要因素是神經(jīng)網(wǎng)絡權值的可靠性，而影響神經(jīng)網(wǎng)絡權值的主要是教師信號的準確性以及樣本的多樣性和數(shù)量，所以適當增加樣本數(shù)量或提高教師信號精度，可以在一定程度上使圖像分割效果更好。

5 結論

針對采摘機器人的視覺系統(tǒng)的要求，采用基于BP神經(jīng)網(wǎng)絡的分割方法對生長環(huán)境中的茄子圖像進行分割。采用BP神經(jīng)網(wǎng)絡的方法對實拍的彩色茄子圖像進行分割，網(wǎng)絡結構是9－6－1；經(jīng)過120次循環(huán)后，誤差為0.001，得到有效的網(wǎng)絡權值。試驗結果表明，利用BP神經(jīng)網(wǎng)絡能較好地實現(xiàn)成熟茄子果實與背景的分離，經(jīng)過數(shù)學形態(tài)法結合中值濾波方法的進一步處理后完全能滿足采摘機器人的要求。而且，只要改變訓練時所采用的教師信號，即可實現(xiàn)對茄子果梗、萼片等圖像的分割。

［1］宋健，張鐵中，徐麗明，等.果蔬采摘機器人研究進展與展望［J］.農(nóng)業(yè)機械學報，2006，37（5）：158－162.

［2］耿端陽，張鐵中，羅輝，等.我國農(nóng)業(yè)機械發(fā)展趨勢分析［J］.農(nóng)業(yè)機械學報，2004，35（4）：208－210.

［3］應義斌，章文英，蔣亦元，等.機器視覺技術在農(nóng)產(chǎn)品收獲和加工自動化中的應用［J］.農(nóng)業(yè)機械學報，2000，31（3）：112－115.

［4］徐惠榮，葉尊忠，應義斌.基于彩色信息的樹上柑橘識別研究［J］.農(nóng)業(yè)工程學報，2005，21（5）：98－102.

［5］Kondo N，Monta M，F(xiàn)ujiura T.Fruit harvesting robot in Japan［J］.Adv Space Res，1996，18（1／2）：181－184.

［6］Sario Y.Robotics of fruit harvesting：A sate－of-the－art review［J］.Journal of Agricultural Engineering Research，1993，54（4）：265－280.

［7］張瑞合，姬長英，沈明霞，等.計算機視覺技術在番茄收獲中的應用［J］.農(nóng)業(yè)機械學報，2001，32（5）：50－58.

［8］趙杰文，劉木華，楊國彬.基于HIS顏色特征的田間成熟番茄識別技術［J］.農(nóng)業(yè)機械學報，2004，35（5）：122－124.

［9］蔡健榮，趙杰文.自然場景下成熟水果的計算機視覺識別［J］.農(nóng)業(yè)機械學報，2005，36（2）：61－64.

［10］Hayashi S，Ganno K，Ishii Y，et al.Robotic harvesting system for eggplants［J］.JARQ，2002，36（3）：163－168.

［11］Van Henten E J，Van Tuijl B A J，Hemming J，et al.Field test of an autonomous cucumber picking robot［J］.Biosystems Engineering，2003，86（3）：305－313.

（責任編輯：肖恩忠）

Target Identification Method of Eggplants Picking Robot Based on Improved BP Neural Network

SONG Jian
（Weifang University，Weifang 261061，China）

Aim at the complex background of eggplant image in the growing environment，a image segmentation method based on BP neural network was put forward.The EXG gray values of 3×3 neighborhood pixels were obtained as image features through by analyzing the eggplant image.30 eggplant images were taken as training samples and results of manual segmentation images by Photoshop were regarded as teacher signals.The improved BP algorithm was used to train the parameter of the neural network.The effective parameter was achieved after 120 times of training.The result of this experiment showed that the eggplant fruit could be preferably segmented from the background by using BP neural network algorithm and it could totally meet the demands of the picking robots after further processing by way of combining mathematics morphology with median filtering.

image processing，image segmentation，neural network，picking robot.

2011－07－18

山東省自然科學基金項目（Y2008G32）

宋?。?968－），男，山東濰坊人，濰坊學院機電工程學院副教授，博士。研究方向：機器人技術，生物生產(chǎn)自動化。

TP751 文獻標識碼：A 文章編號：1671－4288（2011）06－0090－04