基于機(jī)器視覺(jué)的水果分揀系統(tǒng)①

董 騰 秦騰飛 張如如 葛廣英 范鑫燁

(聊城大學(xué)物理科學(xué)與信息工程學(xué)院，山東聊城252059 )

基于機(jī)器視覺(jué)的水果分揀系統(tǒng)①

董 騰 秦騰飛 張如如 葛廣英 范鑫燁

(聊城大學(xué)物理科學(xué)與信息工程學(xué)院，山東聊城252059 )

近年來(lái)我國(guó)的水果產(chǎn)量增長(zhǎng)迅猛，以往人工分揀的形式已經(jīng)很難滿足現(xiàn)代農(nóng)業(yè)生產(chǎn)的需求.為了提高水果的分揀效率，達(dá)到現(xiàn)代農(nóng)業(yè)生產(chǎn)的需求，提出以機(jī)器視覺(jué)代替人工對(duì)水果進(jìn)行分揀.本系統(tǒng)以托盤傳送裝置為水果硬件部分，配合CCD面陣工業(yè)相機(jī)獲取圖像并傳送至預(yù)先編寫的圖像處理程序中.在程序中對(duì)所獲水果圖像進(jìn)行預(yù)處理、特征提取.將提取的特征值作為輸入通過(guò)神經(jīng)網(wǎng)絡(luò)分類,預(yù)計(jì)分揀正確率在98%左右.

機(jī)器視覺(jué)，神經(jīng)網(wǎng)絡(luò)，水果分揀

我國(guó)作為一個(gè)傳統(tǒng)的農(nóng)業(yè)大國(guó)，每年水果的產(chǎn)量和銷售量相較于之前都有大幅提高[1].但是我國(guó)在水果的后期分揀處理方面存在長(zhǎng)期大量的依賴人工作業(yè)的現(xiàn)象，這就會(huì)導(dǎo)致水果分揀的效率和標(biāo)準(zhǔn)度會(huì)因人而異、因地而異、因時(shí)而異.長(zhǎng)期大量使用人工對(duì)水果進(jìn)行分揀還會(huì)出現(xiàn)錯(cuò)誤率隨工作時(shí)間遞增，水果生產(chǎn)成本隨工人數(shù)量遞增等情況，這樣會(huì)增加生產(chǎn)成本,導(dǎo)致水果在價(jià)格上的競(jìng)爭(zhēng)力相對(duì)偏低.并且近幾年來(lái)機(jī)器視覺(jué)技術(shù)代替人工進(jìn)行生產(chǎn)工作也越發(fā)的成熟[2，3].綜上所訴，以機(jī)器替代人工進(jìn)行水果的分揀[4]是切實(shí)可行的，是可以降低水果生產(chǎn)成本的.

1 系統(tǒng)結(jié)構(gòu)

本系統(tǒng)分為果品傳送和圖像處理兩個(gè)結(jié)構(gòu).果品傳送結(jié)構(gòu)選取的是模擬生產(chǎn)線傳送系統(tǒng)，使用PLC對(duì)傳送帶進(jìn)行控制，當(dāng)系統(tǒng)啟動(dòng)時(shí)傳送結(jié)構(gòu)將待分揀的水果依次傳送到圖像獲取設(shè)備下.圖像處理結(jié)構(gòu)利用的是CCD面陣工業(yè)相機(jī)獲取圖像并通過(guò)網(wǎng)口將其傳輸至上位機(jī)，經(jīng)軟件處理后便可獲得分類信息，分類流程如圖 1.

圖1 分類流程圖 圖2 水果傳輸系統(tǒng)

1.1 系統(tǒng)硬件

系統(tǒng)的硬件部分所要完成的任務(wù)為保證拍攝光源的均勻分布和果品傳送的持續(xù)性.因此系統(tǒng)硬件由水果傳送裝置，光源調(diào)節(jié)裝置和圖像獲取處理設(shè)備組成(圖2).

1.2 水果傳送裝置

該裝置是由步進(jìn)電機(jī)、傳送帶、水果托盤、PLC和人機(jī)交互界面組成.其中人機(jī)界面用于設(shè)定傳送系統(tǒng)的線速度和拍照延時(shí)，并通過(guò)PLC控制步進(jìn)電機(jī)以及相機(jī)外觸發(fā)器帶動(dòng)傳送帶及水果托盤，最終完成傳送水果的任務(wù).

1.3 光源調(diào)節(jié)裝置

該裝置的主要組成部分是環(huán)形光源和暗室[5].環(huán)形光源的光強(qiáng)依靠電流的大小控制.通過(guò)暗室對(duì)外部不均勻光源的隔離以及環(huán)形光源的補(bǔ)光，降低了因外界影響產(chǎn)生的噪聲，同時(shí)也可以突出物體的重要特征，因此降低了圖像處理的難度.

1.4 圖像獲取設(shè)備

本系統(tǒng)選用CCD面陣工業(yè)相機(jī)作為圖像獲取設(shè)備[6].工業(yè)相機(jī)作為機(jī)器視覺(jué)的重要組成部分，其任務(wù)是獲取清晰地待檢測(cè)水果圖像并將其數(shù)字化.在系統(tǒng)中面陣相機(jī)與上位PC機(jī)使用網(wǎng)口進(jìn)行通訊，此通訊方式具有千兆的通訊速率不僅能提高圖像傳輸速率，而且其穩(wěn)定的傳輸方式也能降低圖像傳輸中噪聲產(chǎn)生的概率.

圖像獲取設(shè)備選用固定背景的方式連續(xù)獲取圖像[7]，在使用時(shí)需要將燈光亮度和相機(jī)的光圈與焦距調(diào)節(jié)到合適位置并鎖定焦距，同時(shí)也要將工業(yè)相機(jī)的外部觸發(fā)拍照延時(shí)與傳送帶的速度調(diào)節(jié)匹配.通過(guò)調(diào)整后的獲取設(shè)備在使用時(shí)可以準(zhǔn)確的將采集到的圖像經(jīng)過(guò)網(wǎng)口傳送到上位PC機(jī)，以備處理.

2 系統(tǒng)軟件

本系統(tǒng)的軟件是由專業(yè)圖像處理軟件MATLAB編寫而成.調(diào)用其內(nèi)置的圖像處理工具箱(IPT)按圖像預(yù)處理、邊緣檢測(cè)與特征提取和BP神經(jīng)網(wǎng)絡(luò)水果識(shí)別的順序依次進(jìn)行.

2.1 圖像預(yù)處理

圖像預(yù)處理包括尺寸調(diào)整，灰度處理，圖像去噪(圖3)、圖像增強(qiáng)(圖4)等，主要是為了增強(qiáng)圖像的對(duì)比度，提高圖像分割的準(zhǔn)確性和圖像識(shí)別的準(zhǔn)確率.

圖3 去噪后圖像 圖4 增強(qiáng)后圖像

2.1.1 圖像去噪.在MATLAB中圖像是以矩陣的形式存放的.而在圖像獲取過(guò)程中產(chǎn)生的色度不均、對(duì)比度不強(qiáng)和偽影等現(xiàn)象，可通過(guò)調(diào)節(jié)相機(jī)曝光時(shí)間，光圈大小以及選擇合適光源等硬件方式調(diào)整.因此椒鹽噪聲便成為了影響圖像質(zhì)量的主要因素.中值濾波算法[8]通過(guò)濾波器將排序后的中值像素代替原像素的方法有效的抑制了椒鹽噪聲的影響，因此本系統(tǒng)選擇使用中值濾波算法去除圖像噪聲.根據(jù)上述表達(dá)可以得到數(shù)學(xué)表達(dá)式：M是所取鄰域內(nèi)坐標(biāo)，N是鄰域像素個(gè)數(shù)

2.1.2 圖像增強(qiáng).圖像增強(qiáng)采用反銳化掩膜法[9].利用反銳化掩膜法可以突出圖像的高頻分量，降低圖像的低頻分量，從而使得圖像變得更加的清晰.其算法表達(dá)式為

g(x,y)=f(x,y)+C[f(x,y)-f′(x,y)],

其中f(x,y),f′(x,y),C分別為原像素值，低頻分量和增強(qiáng)系數(shù).

2.2 圖像邊緣檢測(cè)與特征提取

在本系統(tǒng)中數(shù)字圖像的邊緣檢測(cè)使用了閾值分割(圖5)、形態(tài)學(xué)處理(圖6)、邊緣檢測(cè)(圖7).在特征提取中使用了圖像區(qū)域?qū)傩院瘮?shù)，獲得了圖像的面積、重心、周長(zhǎng)、離心率、弧度等特征參數(shù).

2.2.1 圖像的閾值分割.雖然真彩圖像相較于單通道的灰度圖像，所攜帶的信息更加的豐富.但是在對(duì)其處理的過(guò)程中會(huì)增加軟件的處理時(shí)間.通過(guò)將圖像轉(zhuǎn)換為二值圖像，可在不影響分類結(jié)果的前提前下，大大減少圖像處理過(guò)程的復(fù)雜度.由于本系統(tǒng)的硬件傳送裝置使用了黑色的載物托盤，且水果的表面色彩也較為豐富.經(jīng)過(guò)去噪和增強(qiáng)后的水果圖像，與背景的對(duì)比度已經(jīng)足夠的明顯.因此可以直接進(jìn)行閾值分割以獲取二值圖像[10].

圖5 閾值圖像 圖6 形態(tài)學(xué)處理 圖7 邊緣檢測(cè)

2.2.2 形態(tài)學(xué)處理.經(jīng)過(guò)閾值分割得到的二值圖像在其邊緣會(huì)存在著有些微小的空洞，為了不影響圖像特征的獲取就要對(duì)圖像進(jìn)行形態(tài)學(xué)的處理.通過(guò)對(duì)圖像進(jìn)行膨脹(imdilate)和腐蝕(imerode)操作，圖像中原有的空洞得以消除.因此在下一步的邊緣檢測(cè)[11]中只會(huì)檢測(cè)出圖形的外部邊緣，簡(jiǎn)化了大量的操作.

表1 各特征值統(tǒng)計(jì)表

2.3BP神經(jīng)網(wǎng)絡(luò)水果分類

神經(jīng)網(wǎng)絡(luò)[12]具有并行結(jié)構(gòu)和并行處理、自適應(yīng)性強(qiáng)、容錯(cuò)率高等性能.本系統(tǒng)的神經(jīng)網(wǎng)絡(luò)具有三層分別為輸入層，隱藏層和中間層.在本系統(tǒng)的輸入層中使用了細(xì)度比例和離心率作為輸入特征，本次實(shí)驗(yàn)只分類了兩種水果所以在輸出層中設(shè)置了兩個(gè)輸出端口.在神經(jīng)網(wǎng)絡(luò)的隱藏層中，通過(guò)比較每次實(shí)驗(yàn)過(guò)程的時(shí)間和準(zhǔn)確度的曲線圖，最終將隱藏節(jié)點(diǎn)選定位為20個(gè).圖8，圖9為神經(jīng)網(wǎng)絡(luò)運(yùn)行結(jié)果和水果的識(shí)別結(jié)果.

3 總結(jié)

本系統(tǒng)采用了水果生產(chǎn)線模擬平臺(tái)，利用MATLAB軟件編程對(duì)所采集的水果圖像進(jìn)行處理，最終實(shí)現(xiàn)了水果分類的效果.系統(tǒng)在分揀部分利用了BP神經(jīng)網(wǎng)絡(luò)算法，通過(guò)水果圖像特征值的比較來(lái)簡(jiǎn)化水果分類的時(shí)間，也提高了系統(tǒng)的魯棒性對(duì)于不同形狀的同種水果的分辨率得到了極大的提高.在系統(tǒng)的實(shí)際運(yùn)用過(guò)程中其分辨水果的精確度可以保持在98%左右，也證明了該系統(tǒng)的可行性.

圖8 神經(jīng)網(wǎng)絡(luò)運(yùn)行結(jié)果 圖9 分類結(jié)果

[1] 何鳳嬌.中國(guó)農(nóng)產(chǎn)品的國(guó)際競(jìng)爭(zhēng)力研究[D].大連：東北財(cái)經(jīng)大學(xué),2014.

[2] 尹紅敏,葛廣英.基于HALCON的指針式儀表的讀數(shù)[J].現(xiàn)代電子技術(shù),2016,39(17):16-19.

[3] 肖海俊，葛廣英.基于HALCON的噴碼字符識(shí)別技術(shù)的研究與實(shí)現(xiàn)[J].現(xiàn)代電子技術(shù),2015,446(15):95-98.

[4] 劉佳男.基于機(jī)器視覺(jué)的水果表面缺陷識(shí)別方法的研究[D].無(wú)錫：江南大學(xué),2012.

[5] 朱寶偉.機(jī)器視覺(jué)中的光源照明設(shè)計(jì)[J]. 電子科技,2013,26(3):80-82.

[6] 余達(dá).一種面陣CCD的篩選測(cè)試方法[J].全國(guó)信息光學(xué)與光子器件學(xué)術(shù)會(huì)議,2012,40(7):154-159.

[7] 龐國(guó)瑞,葛廣英.基于改進(jìn)的自適應(yīng)混合高斯背景模型的車輛檢測(cè)[J].聊城大學(xué)學(xué)報(bào):自然科學(xué)版,2012,25(1):37-41.

[8] 鮑華.基于中值查找的快速中值濾波算法[J].四川大學(xué)學(xué)報(bào)，2011,43(2):76-79.

[9] 劉艷莉.基于局部梯度和復(fù)雜梯度的反銳化掩膜法[J].儀器儀表學(xué)報(bào),2014,35(7):1539-1545.

[10] 陽(yáng)樹(shù)洪.灰度圖像閾值分割的自適應(yīng)和快速算法研究[D].重慶：重慶大學(xué),2014 .

[11] 肖梅.一種新的邊緣檢測(cè)算法研究[J].鄭州大學(xué)學(xué)報(bào)：工學(xué)版，2012,33(4):86-88.

[12] 郭慶春.人工神經(jīng)網(wǎng)絡(luò)在大氣污染預(yù)測(cè)中的應(yīng)用研究[J]. 工業(yè)儀表與自動(dòng)化裝置， 2015,17(4):18-22.

Fruit Sorting System Based on Machine Vision

DONG Teng QIN Teng-fei ZHANG Ru-ru GE Guang-ying FAN Xin-ye

(School of Physics Science and Information Technology, Liaocheng University , Liaocheng 252059 , China)

In recent years, China's rapid growth in fruit production. In the past, the form of manual sorting has been difficult to meet the needs of modern agricultural production. In order to improve the sorting efficiency and meet the demand of modern agricultural production, the paper puts forward the method of machine vision instead of manual sorting. The system is based on the pallet transfer device for the hardware part of the fruit, with the CCD plane array camera to get the image and send it to the pre prepared image processing program. In the process of the fruit image preprocessing and feature extraction. The extracted feature values are used as input, and the classification accuracy is about 98%.

machine vision, neural network, fruit sorting

2016-11-20

山東省自然科學(xué)基金項(xiàng)目(ZR2015FQ008)資助

葛廣英，E-mail: gyy@lcu.edu.cn.

TP273+.5

A

1672-6634(2017)01-0093-04