基于圖像識(shí)別的水果分揀系統(tǒng)

倪云峰 葉健 樊嬌嬌

摘要：為了解決人工水果分揀的缺點(diǎn)，探討了一種基于圖像識(shí)別的水果分揀系統(tǒng)。通過硬件采集系統(tǒng)采集各類不同水果的圖像數(shù)據(jù)，應(yīng)用圖像處理技術(shù)，設(shè)定水果分類的顏色、大小特征的閾值標(biāo)準(zhǔn)，根據(jù)閾值標(biāo)準(zhǔn)對(duì)水果進(jìn)行腐爛檢測(cè)，區(qū)分出腐爛和完好水果;再對(duì)完好水果進(jìn)行種類識(shí)別，并在相同種類下進(jìn)行水果的大小等級(jí)識(shí)別和顏色狀態(tài)判定。結(jié)合水果的大小及顏色，將水果分揀為特等果、優(yōu)等果、次等果、劣等果四大類，以判別水果的外部和內(nèi)部品質(zhì)，最終實(shí)現(xiàn)水果的分揀。在分揀過程中實(shí)時(shí)統(tǒng)計(jì)已分揀水果的數(shù)量，將已識(shí)別的水果圖像進(jìn)行實(shí)時(shí)刪除操作，減少系統(tǒng)內(nèi)存，設(shè)置同步模塊，使圖像處理與自動(dòng)化設(shè)備達(dá)到同步。測(cè)試結(jié)果顯示，該水果分揀系統(tǒng)效率高、成本低，對(duì)水果供應(yīng)鏈中的水果分揀應(yīng)用具有較大意義。

關(guān)鍵詞：圖像識(shí)別;特征選擇;實(shí)時(shí)統(tǒng)計(jì);水果分揀

中圖分類號(hào)： S126;TP391.41 ?文獻(xiàn)標(biāo)志碼： A ?文章編號(hào)：1002-1302（2021）10-0170-06

傳統(tǒng)水果分揀主要采用人工分揀，而人工分揀效率低、易造成水果損壞、準(zhǔn)確率低、人力物力消耗較大，極大增加了分揀成本。為了降低水果分揀成本，亟需探索出一種分揀效率高、準(zhǔn)確率高、人力物力消耗小的自動(dòng)化系統(tǒng)。

關(guān)于農(nóng)產(chǎn)品的品質(zhì)鑒定和分級(jí)研究，主要涉及農(nóng)產(chǎn)品的大小、形狀、顏色、表面損傷與缺陷檢測(cè)等[1-5]。國外對(duì)農(nóng)產(chǎn)品分級(jí)檢測(cè)的研究開始較早。Tao等采用多變識(shí)別技術(shù)實(shí)現(xiàn)對(duì)蘋果和馬鈴薯的顏色識(shí)別，識(shí)別準(zhǔn)確率高但效率較低[6]。Blanc等設(shè)計(jì)的分級(jí)系統(tǒng)，對(duì)葡萄等串狀水果的分級(jí)效率有較為明顯的提高[7]。Baigvand等設(shè)計(jì)了完整的分級(jí)系統(tǒng)，實(shí)現(xiàn)了對(duì)無花果干的等級(jí)劃分[8]。國內(nèi)研究人員對(duì)農(nóng)副產(chǎn)品的品質(zhì)鑒定和分級(jí)檢測(cè)也做了很多研究。葉晉濤等提出了基于 SVM 神經(jīng)網(wǎng)絡(luò)與哈密瓜圖像特征的哈密瓜分級(jí)方法，對(duì)哈密瓜的分級(jí)提出了切實(shí)可靠的方法[9]。魏康麗等利用機(jī)器視覺，實(shí)現(xiàn)了對(duì)蘋果脆片的外觀品質(zhì)鑒定[10]。應(yīng)義斌等采用表面色澤和固酸比作為柑橘成熟度指標(biāo)，實(shí)現(xiàn)了對(duì)柑橘的成熟度檢測(cè)[11]。

針對(duì)一般分類系統(tǒng)存在準(zhǔn)確率低、分辨水果種類單一、系統(tǒng)無法對(duì)分類結(jié)果實(shí)時(shí)計(jì)數(shù)、已經(jīng)分類的圖片無法實(shí)時(shí)刪除導(dǎo)致占用系統(tǒng)內(nèi)存、設(shè)備昂貴、系統(tǒng)處理時(shí)間與自動(dòng)化設(shè)備處理時(shí)間匹配魯棒性低等問題，本研究研發(fā)出一套可對(duì)多種水果進(jìn)行圖像分辨、實(shí)時(shí)計(jì)數(shù)分類結(jié)果、實(shí)時(shí)刪除已分類圖像、設(shè)備成本較低、系統(tǒng)與自動(dòng)化設(shè)備同步性高、魯棒性強(qiáng)的水果分類系統(tǒng)，具有一定的應(yīng)用推廣價(jià)值。

1 基于圖像識(shí)別的水果分揀系統(tǒng)

本水果分揀系統(tǒng)基于圖像識(shí)別，可以實(shí)現(xiàn)各種不同水果的分類。這里以較為常見的蘋果和梨作為研究對(duì)象，實(shí)現(xiàn)了水果大小分類、腐爛水果檢測(cè)、水果顏色檢測(cè)、水果計(jì)數(shù)、腐爛水果發(fā)出警告、圖片文件夾提取、檢測(cè)后刪除等功能。方案設(shè)計(jì)流程如圖1所示。

2 水果圖像的采集

水果圖像采集是基于一定的設(shè)備，采集水果完整的圖像，并將其存儲(chǔ)在計(jì)算機(jī)中。圖像采集系統(tǒng)模擬實(shí)現(xiàn)如圖2所示，包括1臺(tái)電腦，1個(gè)拍攝設(shè)備（相機(jī)），1塊幕布或光照箱，1個(gè)光源保證獲取足夠清晰的水果圖像，以便圖像的后續(xù)處理操作。

關(guān)于圖像的提取，首先需要在電腦平臺(tái)上批量讀取要進(jìn)行系統(tǒng)操作的所有采集到的水果圖像，具體操作如下：找到水果圖像的文件夾路徑;找到該文件下相同格式（本研究為.jpg格式）的圖像文件，這個(gè)圖像文件是一個(gè)結(jié)構(gòu)體，有data、name等成員;定時(shí)提取這些水果圖像以備后續(xù)操作。圖像提取工作完成后，進(jìn)入水果圖像處理和實(shí)現(xiàn)分揀的具體功能，即對(duì)流程所述的其他模塊逐一進(jìn)行操作。

3 水果分揀系統(tǒng)原理介紹

3.1 水果腐爛檢測(cè)

在進(jìn)行水果分揀時(shí)，第一個(gè)實(shí)際步驟是水果的腐爛檢測(cè)。水果的缺陷和腐爛是人們?cè)谫徺I水果時(shí)的第一關(guān)注點(diǎn)。在采摘和運(yùn)輸過程中，腐爛變質(zhì)的水果會(huì)降低或破壞整批水果的質(zhì)量。設(shè)計(jì)系統(tǒng)時(shí)，如果開始判定了某水果屬于腐爛水果，則系統(tǒng)將會(huì)對(duì)操作人員發(fā)出警報(bào)，跳到水果分揀模塊將其歸為腐爛水果，通過移動(dòng)機(jī)床將其歸入腐爛水果收集筐，并進(jìn)行后續(xù)計(jì)數(shù)、刪除圖片等操作;如果判定了此水果非腐爛水果，則進(jìn)行接下來的種類識(shí)別等一系列操作。

本系統(tǒng)利用RGB值轉(zhuǎn)換為HIS模式，得到色度直方圖，通過顏色特征來進(jìn)行評(píng)定。其中蘋果和梨的顏色有較大差異，蘋果以黃、紅色為主，梨以黃色為主，梨及蘋果的腐爛部分以棕色為主。公式如下：

其中，x、y分別為方形區(qū)域中心位置的橫縱坐標(biāo)。T（x，y）為圖像二值化的閾值，m（x，y）為方形區(qū)域計(jì)算出的均值，s（x，y） 為計(jì)方形區(qū)域計(jì)算出的標(biāo)準(zhǔn)方差;k為修正系數(shù)。通過上述公式可以將像素值置為0或者255。

3.2.5 圖像的孔洞填充 由于光線問題，拍攝的圖像可能存在一定的反光或者模糊的情況，為避免輪廓提取等后續(xù)步驟產(chǎn)生誤差，需要對(duì)圖像做孔洞填充。一般采用的方法為先掃描將要填充的像素點(diǎn)（x，y）為中心的3×3的塊，用計(jì)數(shù)器記錄這9個(gè)點(diǎn)中灰度值為255的點(diǎn)的個(gè)數(shù)N。若N≥5，則將點(diǎn)（x，y）的灰度值賦值為255，即像素點(diǎn)（x，y）被認(rèn)為是前景;否則認(rèn)為是背景，將點(diǎn)（x，y）賦值為0。

3.2.6 圖像的邊緣提取 每種水果都有其特定的形狀特征，因此可以通過提取水果的邊緣輪廓對(duì)水果的種類進(jìn)行判斷。邊緣提取的主要思想是利用邊緣增強(qiáng)算子，突出圖像的邊緣，并設(shè)置合適的閾值將邊緣提取出來。但是由于噪聲等因素常使邊緣變寬或者中斷，因此還需要剔除部分變寬的區(qū)域并將間斷點(diǎn)連接。從信號(hào)處理的角度來說，邊緣提取就是提取灰度變換最劇烈的位置，因此也可以按照微分的角度對(duì)信號(hào)做邊緣提取。

3.2.7 圖像的特征提取 每種水果都具有其獨(dú)特的特征，選取合適的特征參數(shù)來表征水果的種類至關(guān)重要。Eccentricity函數(shù)是特征提取的一種方法。Eccentricity指的是與區(qū)域具有相同標(biāo)準(zhǔn)二階中心距的橢圓的離心率，通過計(jì)算研究對(duì)象所在區(qū)域的具有相同標(biāo)準(zhǔn)的二階中心距的大小，可以表征一種圖像的形狀特點(diǎn)。但是由于水果的形狀較為接近，單純的Eccentricity可能無法準(zhǔn)確地將水果進(jìn)行分類。本研究采取顏色與Eccentricity函數(shù)相結(jié)合的方式，大大提高了水果分類的準(zhǔn)確性。

3.3 水果的分揀

經(jīng)過了前述關(guān)于蘋果一些基本特征的判定，對(duì)水果進(jìn)行分揀的流程如圖4所示。分揀功能和前面流程對(duì)應(yīng)主要完成以下方面：第1級(jí)，腐爛水果（水果表面出現(xiàn)腐爛）和完好水果的分揀;第2級(jí)，在完好水果的前提下，對(duì)采集的所有水果進(jìn)行分類，比如梨、蘋果、香蕉等其他所有采集到的水果;第3級(jí)，在對(duì)應(yīng)種類水果的基礎(chǔ)上，依據(jù)上述的大小等級(jí)判別和顏色判定，對(duì)其進(jìn)行分揀，分出特等水果、優(yōu)等水果、次等蘋果、劣等水果。本研究實(shí)行的水果分揀都是基于各水果的相同品種，否則在使用顏色判斷品質(zhì)時(shí)會(huì)不成立。

其中，以蘋果和梨為例，將其大小和顏色各分為3個(gè)等級(jí)。最后再對(duì)分揀出的水果數(shù)量做統(tǒng)計(jì)，統(tǒng)計(jì)出腐爛水果、特等水果、優(yōu)等水果、次等水果、劣等水果以及已分揀水果的數(shù)量。

3.4 圖像的刪除

進(jìn)行完前面的步驟，最后要對(duì)所有進(jìn)行識(shí)別的圖片完成刪除功能，以發(fā)揮持續(xù)檢測(cè)并節(jié)省電腦內(nèi)存的作用。本研究利用delete函數(shù)，直接在時(shí)間函數(shù)下對(duì)已經(jīng)識(shí)別統(tǒng)計(jì)完的圖像進(jìn)行刪除操作。

3.5 同步模塊

由于圖像采集、處理速度與自動(dòng)化設(shè)備在運(yùn)行時(shí)間上的不同步，可能會(huì)出現(xiàn)圖像處理結(jié)果和自動(dòng)化設(shè)備分揀出的結(jié)果不匹配，系統(tǒng)長時(shí)間空轉(zhuǎn)造成設(shè)備故障等問題。因此本系統(tǒng)在圖像處理過程之前設(shè)置了時(shí)間模塊，通過設(shè)置合適的時(shí)間，使所有圖像處理的時(shí)間與自動(dòng)化設(shè)備的時(shí)間匹配，大大提高了系統(tǒng)的魯棒性。

3.6 圖像采集完成的判別

上述操作完成后，需要去判斷采集系統(tǒng)對(duì)水果圖像的采集是否結(jié)束：若否，則重新從第2步開始對(duì)圖像進(jìn)行操作處理，完成一系列水果的分揀;若是，則直接結(jié)束操作。

4 系統(tǒng)測(cè)試

4.1 水果的圖像識(shí)別

圖5為蘋果的Matlab圖像處理過程，包括了原始圖像、增強(qiáng)對(duì)比圖像、二值化圖像、孔洞填充圖像、邊緣提取圖像和特征提取圖像。

4.2 水果的腐爛檢測(cè)

對(duì)輸入的水果圖像進(jìn)行腐爛檢測(cè)時(shí)，主要依據(jù)其表面顏色特征來進(jìn)行評(píng)定。梨、蘋果腐爛部分的顏色以棕色為主。當(dāng)蘋果腐爛時(shí)，蘋果紅色區(qū)域面積會(huì)降低，棕色面積變大。同理，當(dāng)梨腐爛時(shí)會(huì)由嫩黃變?yōu)樽厣?。圖6展示了腐爛水果的HIS模式圖和色度直方圖，直方圖的橫坐標(biāo)為像素點(diǎn)H分量的角度值，縱坐標(biāo)為像素點(diǎn)的數(shù)量。

4.3 水果種類的識(shí)別

本研究只以蘋果和梨為例對(duì)水果進(jìn)行了種類識(shí)別。前面軟件設(shè)計(jì)中提到了利用 RGB 值轉(zhuǎn)換為 HIS 模式，得到色度的直方圖，通過顏色特征來進(jìn)行評(píng)定，其中蘋果和梨的顏色有較大差異，蘋果以黃、紅色為主，梨以黃色為主。圖7、圖8分別展示了水果的HIS模式圖和色度直方圖，直方圖的橫坐標(biāo)為像素點(diǎn)H分量的角度值，縱坐標(biāo)為像素點(diǎn)的數(shù)量。結(jié)合色度直方圖和上述的特征提取方法，可以很容易地辨別出蘋果和梨。

4.4 水果的大小等級(jí)判定

對(duì)大小不同的蘋果或梨做具體判定。不同大小的水果圖像在整體圖像中的像素點(diǎn)數(shù)量也不同，因此本系統(tǒng)以水果像素點(diǎn)的數(shù)量作為判決標(biāo)準(zhǔn)。圖9展示2種大小不同的蘋果，其像素點(diǎn)顯示分別為86 377和65 370，根據(jù)判決參數(shù)，>30 000判斷為大果，25 000～30 000為中果，<25 000為小果，可以較為準(zhǔn)確地對(duì)水果大小進(jìn)行判斷。

4.5 水果的顏色判定

以蘋果為例，對(duì)2種色度不同的蘋果進(jìn)行分析，利用RGB值轉(zhuǎn)換為HIS模式，得到色度的直方圖，通過顏色特征來進(jìn)行評(píng)定。圖10展示了顏色較黃蘋果的HIS模式圖和色度直方圖，通過色度直方圖上像素點(diǎn)與有色區(qū)域像素點(diǎn)的比例，設(shè)置合適的閾值，可以實(shí)現(xiàn)顏色的準(zhǔn)確識(shí)別，與圖7、圖8中的蘋果作比較，實(shí)現(xiàn)顏色的判定。

4.6 水果的分揀顯示

采集到梨、蘋果以及腐爛水果的若干圖像，然后依據(jù)系統(tǒng)設(shè)計(jì)方案和軟件設(shè)計(jì)流程依次實(shí)現(xiàn)水果的分揀，具體見圖11（只選取了部分）。圖11-a左為水果圖像，右為分揀后的評(píng)價(jià)，顯示窗口出現(xiàn)：完好的蘋果，顏色全紅，屬于大果，最終分揀為“這是特等水果”;統(tǒng)計(jì)數(shù)量依次顯示在窗口。圖11-b左為水果圖像，顯示窗口出現(xiàn)：完好的梨，顏色黃中帶綠， 屬于大果，最終分揀為“這是優(yōu)等水果”;統(tǒng)計(jì)數(shù)量依次顯示在窗口。圖11-c為腐爛的水果，顯示發(fā)出：警告！這是個(gè)壞果請(qǐng)?zhí)幚怼?/p>

4.7 誤差分析

在上述所設(shè)計(jì)系統(tǒng)進(jìn)行水果分揀時(shí)，發(fā)現(xiàn)其中有1個(gè)腐爛程度十分小的蘋果在腐爛檢測(cè)模塊沒有判別出來（圖12）。圖12中的蘋果是腐爛水果，但是顯示窗口出現(xiàn)“完好的蘋果”字樣。而其他不同腐爛程度的水果均獲得正確的識(shí)別，并且能夠?qū)崿F(xiàn)水果的種類識(shí)別、顏色判定、大小等級(jí)判別及完成水果的分揀。

5 結(jié)論

本研究探討了一種基于圖像識(shí)別的水果分揀系統(tǒng)。通過硬件采集系統(tǒng)采集的各類不同水果的圖像數(shù)據(jù)，利用Matlab仿真技術(shù)實(shí)現(xiàn)了對(duì)水果的腐爛檢測(cè)、等級(jí)分揀、實(shí)時(shí)計(jì)數(shù)、實(shí)時(shí)清空內(nèi)存等功能。通過測(cè)試結(jié)果來看，實(shí)現(xiàn)效果較好，解決了現(xiàn)實(shí)生活中的水果分揀困難的一些問題。但是由于所采用的一些方法較為簡(jiǎn)單，所以存在一定的精確度問題。如對(duì)腐爛檢測(cè)中，只能識(shí)別腐爛程度較高的水果，腐爛程度較低可能會(huì)出現(xiàn)誤差。在后續(xù)的研究中可以考慮從多角度圖像采集、優(yōu)化特征提取方法、優(yōu)化缺陷檢測(cè)方法等角度出發(fā)，以提高系統(tǒng)的同步性和準(zhǔn)確性。

參考文獻(xiàn)：

[1]Kawamura S，Natsuga M，Takekura K，et al. Development of automatic rice-quality inspection system[J]. Computers and Electronics in Agriculture，2003，40（1/2/3）：115-126.

[2]趙茂程，侯文軍. 我國基于機(jī)器視覺的水果自動(dòng)分級(jí)技術(shù)及研究進(jìn)展[J]. 包裝與食品機(jī)械，2007，25（5）：5-8.

[3]Zhao M C，Hou W J. Researches of machine vision on fruit automatic grading technology and its prospect in China[J]. Packaging and Food Machinery，2007，25（5）：5-8.

[4]Yud-Ren C，Chao K L，Moon S K. Machine vision technology for agricultural applications[J]. Computers and Electronics in Agriculture，2002，36（2/3）：173-191.

[5]費(fèi)琦琪，施 杰，夏敏，等. 基于CNN的冰糖橙分級(jí)系統(tǒng)[J]. 江蘇農(nóng)業(yè)學(xué)報(bào)，2020，36（2）：513-519.

[6]Tao Y，Heinemann P H，Varqhese Z. Machine vision color inspection of potatoes and apples[J]. Transactions of the ASAE，1995，38（5）：1555-1561.

[7]Blanc P. Unit for sorting and packaging products capable of being hung on a hooking member for the purpose of their conveyance，such as bunches of fruits，in particular table grapes or truss tomatoes：US，US6957940[P]. 2005.

[8]Baigvand M，Banakar A，Minaei S，et al. Machine vision system for grading of driedfigs[J]. Computers & Electro nics in Agriculture，2015，119（C）：158-165.

[9]葉晉濤，王運(yùn)祥，楊 杰，等. 馬本學(xué).哈密瓜顏色特征提取及成熟度分級(jí)的研究[J]. 石河子大學(xué)學(xué)報(bào)（自然科學(xué)版），2016，34（1）：106-111.

[10]魏康麗，王振杰，孫 柯，等. 基于計(jì)算機(jī)視覺對(duì)蘋果脆片外觀品質(zhì)分級(jí)[J]. 南京農(nóng)業(yè)大學(xué)學(xué)報(bào)，2017，40（3）：547-555.

[11]應(yīng)義斌，饒秀勤，馬俊福. 柑橘成熟度機(jī)器視覺無損檢測(cè)方法研究[J]. 農(nóng)業(yè)工程學(xué)報(bào)，2004，20（2）：144-147.