基于機器視覺的水果分揀系統(tǒng)①

董 騰 秦騰飛 張如如 葛廣英 范鑫燁

(聊城大學物理科學與信息工程學院，山東聊城252059 )

基于機器視覺的水果分揀系統(tǒng)①

董 騰 秦騰飛 張如如 葛廣英 范鑫燁

(聊城大學物理科學與信息工程學院，山東聊城252059 )

近年來我國的水果產(chǎn)量增長迅猛，以往人工分揀的形式已經(jīng)很難滿足現(xiàn)代農(nóng)業(yè)生產(chǎn)的需求.為了提高水果的分揀效率，達到現(xiàn)代農(nóng)業(yè)生產(chǎn)的需求，提出以機器視覺代替人工對水果進行分揀.本系統(tǒng)以托盤傳送裝置為水果硬件部分，配合CCD面陣工業(yè)相機獲取圖像并傳送至預(yù)先編寫的圖像處理程序中.在程序中對所獲水果圖像進行預(yù)處理、特征提取.將提取的特征值作為輸入通過神經(jīng)網(wǎng)絡(luò)分類,預(yù)計分揀正確率在98%左右.

機器視覺，神經(jīng)網(wǎng)絡(luò)，水果分揀

我國作為一個傳統(tǒng)的農(nóng)業(yè)大國，每年水果的產(chǎn)量和銷售量相較于之前都有大幅提高[1].但是我國在水果的后期分揀處理方面存在長期大量的依賴人工作業(yè)的現(xiàn)象，這就會導致水果分揀的效率和標準度會因人而異、因地而異、因時而異.長期大量使用人工對水果進行分揀還會出現(xiàn)錯誤率隨工作時間遞增，水果生產(chǎn)成本隨工人數(shù)量遞增等情況，這樣會增加生產(chǎn)成本,導致水果在價格上的競爭力相對偏低.并且近幾年來機器視覺技術(shù)代替人工進行生產(chǎn)工作也越發(fā)的成熟[2，3].綜上所訴，以機器替代人工進行水果的分揀[4]是切實可行的，是可以降低水果生產(chǎn)成本的.

1 系統(tǒng)結(jié)構(gòu)

本系統(tǒng)分為果品傳送和圖像處理兩個結(jié)構(gòu).果品傳送結(jié)構(gòu)選取的是模擬生產(chǎn)線傳送系統(tǒng)，使用PLC對傳送帶進行控制，當系統(tǒng)啟動時傳送結(jié)構(gòu)將待分揀的水果依次傳送到圖像獲取設(shè)備下.圖像處理結(jié)構(gòu)利用的是CCD面陣工業(yè)相機獲取圖像并通過網(wǎng)口將其傳輸至上位機，經(jīng)軟件處理后便可獲得分類信息，分類流程如圖 1.

圖1 分類流程圖 圖2 水果傳輸系統(tǒng)

1.1 系統(tǒng)硬件

系統(tǒng)的硬件部分所要完成的任務(wù)為保證拍攝光源的均勻分布和果品傳送的持續(xù)性.因此系統(tǒng)硬件由水果傳送裝置，光源調(diào)節(jié)裝置和圖像獲取處理設(shè)備組成(圖2).

1.2 水果傳送裝置

該裝置是由步進電機、傳送帶、水果托盤、PLC和人機交互界面組成.其中人機界面用于設(shè)定傳送系統(tǒng)的線速度和拍照延時，并通過PLC控制步進電機以及相機外觸發(fā)器帶動傳送帶及水果托盤，最終完成傳送水果的任務(wù).

1.3 光源調(diào)節(jié)裝置

該裝置的主要組成部分是環(huán)形光源和暗室[5].環(huán)形光源的光強依靠電流的大小控制.通過暗室對外部不均勻光源的隔離以及環(huán)形光源的補光，降低了因外界影響產(chǎn)生的噪聲，同時也可以突出物體的重要特征，因此降低了圖像處理的難度.

1.4 圖像獲取設(shè)備

本系統(tǒng)選用CCD面陣工業(yè)相機作為圖像獲取設(shè)備[6].工業(yè)相機作為機器視覺的重要組成部分，其任務(wù)是獲取清晰地待檢測水果圖像并將其數(shù)字化.在系統(tǒng)中面陣相機與上位PC機使用網(wǎng)口進行通訊，此通訊方式具有千兆的通訊速率不僅能提高圖像傳輸速率，而且其穩(wěn)定的傳輸方式也能降低圖像傳輸中噪聲產(chǎn)生的概率.

圖像獲取設(shè)備選用固定背景的方式連續(xù)獲取圖像[7]，在使用時需要將燈光亮度和相機的光圈與焦距調(diào)節(jié)到合適位置并鎖定焦距，同時也要將工業(yè)相機的外部觸發(fā)拍照延時與傳送帶的速度調(diào)節(jié)匹配.通過調(diào)整后的獲取設(shè)備在使用時可以準確的將采集到的圖像經(jīng)過網(wǎng)口傳送到上位PC機，以備處理.

2 系統(tǒng)軟件

本系統(tǒng)的軟件是由專業(yè)圖像處理軟件MATLAB編寫而成.調(diào)用其內(nèi)置的圖像處理工具箱(IPT)按圖像預(yù)處理、邊緣檢測與特征提取和BP神經(jīng)網(wǎng)絡(luò)水果識別的順序依次進行.

2.1 圖像預(yù)處理

圖像預(yù)處理包括尺寸調(diào)整，灰度處理，圖像去噪(圖3)、圖像增強(圖4)等，主要是為了增強圖像的對比度，提高圖像分割的準確性和圖像識別的準確率.

圖3 去噪后圖像 圖4 增強后圖像

2.1.1 圖像去噪.在MATLAB中圖像是以矩陣的形式存放的.而在圖像獲取過程中產(chǎn)生的色度不均、對比度不強和偽影等現(xiàn)象，可通過調(diào)節(jié)相機曝光時間，光圈大小以及選擇合適光源等硬件方式調(diào)整.因此椒鹽噪聲便成為了影響圖像質(zhì)量的主要因素.中值濾波算法[8]通過濾波器將排序后的中值像素代替原像素的方法有效的抑制了椒鹽噪聲的影響，因此本系統(tǒng)選擇使用中值濾波算法去除圖像噪聲.根據(jù)上述表達可以得到數(shù)學表達式：M是所取鄰域內(nèi)坐標，N是鄰域像素個數(shù)

2.1.2 圖像增強.圖像增強采用反銳化掩膜法[9].利用反銳化掩膜法可以突出圖像的高頻分量，降低圖像的低頻分量，從而使得圖像變得更加的清晰.其算法表達式為

g(x,y)=f(x,y)+C[f(x,y)-f′(x,y)],

其中f(x,y),f′(x,y),C分別為原像素值，低頻分量和增強系數(shù).

2.2 圖像邊緣檢測與特征提取

在本系統(tǒng)中數(shù)字圖像的邊緣檢測使用了閾值分割(圖5)、形態(tài)學處理(圖6)、邊緣檢測(圖7).在特征提取中使用了圖像區(qū)域?qū)傩院瘮?shù)，獲得了圖像的面積、重心、周長、離心率、弧度等特征參數(shù).

2.2.1 圖像的閾值分割.雖然真彩圖像相較于單通道的灰度圖像，所攜帶的信息更加的豐富.但是在對其處理的過程中會增加軟件的處理時間.通過將圖像轉(zhuǎn)換為二值圖像，可在不影響分類結(jié)果的前提前下，大大減少圖像處理過程的復(fù)雜度.由于本系統(tǒng)的硬件傳送裝置使用了黑色的載物托盤，且水果的表面色彩也較為豐富.經(jīng)過去噪和增強后的水果圖像，與背景的對比度已經(jīng)足夠的明顯.因此可以直接進行閾值分割以獲取二值圖像[10].

圖5 閾值圖像 圖6 形態(tài)學處理 圖7 邊緣檢測

2.2.2 形態(tài)學處理.經(jīng)過閾值分割得到的二值圖像在其邊緣會存在著有些微小的空洞，為了不影響圖像特征的獲取就要對圖像進行形態(tài)學的處理.通過對圖像進行膨脹(imdilate)和腐蝕(imerode)操作，圖像中原有的空洞得以消除.因此在下一步的邊緣檢測[11]中只會檢測出圖形的外部邊緣，簡化了大量的操作.

表1 各特征值統(tǒng)計表

2.3BP神經(jīng)網(wǎng)絡(luò)水果分類

神經(jīng)網(wǎng)絡(luò)[12]具有并行結(jié)構(gòu)和并行處理、自適應(yīng)性強、容錯率高等性能.本系統(tǒng)的神經(jīng)網(wǎng)絡(luò)具有三層分別為輸入層，隱藏層和中間層.在本系統(tǒng)的輸入層中使用了細度比例和離心率作為輸入特征，本次實驗只分類了兩種水果所以在輸出層中設(shè)置了兩個輸出端口.在神經(jīng)網(wǎng)絡(luò)的隱藏層中，通過比較每次實驗過程的時間和準確度的曲線圖，最終將隱藏節(jié)點選定位為20個.圖8，圖9為神經(jīng)網(wǎng)絡(luò)運行結(jié)果和水果的識別結(jié)果.

3 總結(jié)

本系統(tǒng)采用了水果生產(chǎn)線模擬平臺，利用MATLAB軟件編程對所采集的水果圖像進行處理，最終實現(xiàn)了水果分類的效果.系統(tǒng)在分揀部分利用了BP神經(jīng)網(wǎng)絡(luò)算法，通過水果圖像特征值的比較來簡化水果分類的時間，也提高了系統(tǒng)的魯棒性對于不同形狀的同種水果的分辨率得到了極大的提高.在系統(tǒng)的實際運用過程中其分辨水果的精確度可以保持在98%左右，也證明了該系統(tǒng)的可行性.

圖8 神經(jīng)網(wǎng)絡(luò)運行結(jié)果 圖9 分類結(jié)果

[1] 何鳳嬌.中國農(nóng)產(chǎn)品的國際競爭力研究[D].大連：東北財經(jīng)大學,2014.

[2] 尹紅敏,葛廣英.基于HALCON的指針式儀表的讀數(shù)[J].現(xiàn)代電子技術(shù),2016,39(17):16-19.

[3] 肖?？。饛V英.基于HALCON的噴碼字符識別技術(shù)的研究與實現(xiàn)[J].現(xiàn)代電子技術(shù),2015,446(15):95-98.

[4] 劉佳男.基于機器視覺的水果表面缺陷識別方法的研究[D].無錫：江南大學,2012.

[5] 朱寶偉.機器視覺中的光源照明設(shè)計[J]. 電子科技,2013,26(3):80-82.

[6] 余達.一種面陣CCD的篩選測試方法[J].全國信息光學與光子器件學術(shù)會議,2012,40(7):154-159.

[7] 龐國瑞,葛廣英.基于改進的自適應(yīng)混合高斯背景模型的車輛檢測[J].聊城大學學報:自然科學版,2012,25(1):37-41.

[8] 鮑華.基于中值查找的快速中值濾波算法[J].四川大學學報，2011,43(2):76-79.

[9] 劉艷莉.基于局部梯度和復(fù)雜梯度的反銳化掩膜法[J].儀器儀表學報,2014,35(7):1539-1545.

[10] 陽樹洪.灰度圖像閾值分割的自適應(yīng)和快速算法研究[D].重慶：重慶大學,2014 .

[11] 肖梅.一種新的邊緣檢測算法研究[J].鄭州大學學報：工學版，2012,33(4):86-88.

[12] 郭慶春.人工神經(jīng)網(wǎng)絡(luò)在大氣污染預(yù)測中的應(yīng)用研究[J]. 工業(yè)儀表與自動化裝置， 2015,17(4):18-22.

Fruit Sorting System Based on Machine Vision

DONG Teng QIN Teng-fei ZHANG Ru-ru GE Guang-ying FAN Xin-ye

(School of Physics Science and Information Technology, Liaocheng University , Liaocheng 252059 , China)

In recent years, China's rapid growth in fruit production. In the past, the form of manual sorting has been difficult to meet the needs of modern agricultural production. In order to improve the sorting efficiency and meet the demand of modern agricultural production, the paper puts forward the method of machine vision instead of manual sorting. The system is based on the pallet transfer device for the hardware part of the fruit, with the CCD plane array camera to get the image and send it to the pre prepared image processing program. In the process of the fruit image preprocessing and feature extraction. The extracted feature values are used as input, and the classification accuracy is about 98%.

machine vision, neural network, fruit sorting

2016-11-20

山東省自然科學基金項目(ZR2015FQ008)資助

葛廣英，E-mail: gyy@lcu.edu.cn.

TP273+.5

A

1672-6634(2017)01-0093-04