機(jī)器視覺(jué)成熟度檢測(cè)的蘋果色選分揀機(jī)設(shè)計(jì)

王麗娟 陳浩然 季石軍 劉志剛

(南通科技職業(yè)學(xué)院機(jī)電與交通工程學(xué)院，江蘇 南通 226007)

引言

隨著我國(guó)社會(huì)經(jīng)濟(jì)的快速發(fā)展以及人民消費(fèi)水平的不斷提高，人們對(duì)水果制品的需求和品質(zhì)都提出了更高的要求，這種現(xiàn)象在我國(guó)近年果制品市場(chǎng)不斷擴(kuò)大的趨勢(shì)上有所體現(xiàn)。根據(jù)聯(lián)合國(guó)及農(nóng)業(yè)組織數(shù)據(jù)，自2019年起我國(guó)的水果產(chǎn)量及種植面積位居世界第1，遠(yuǎn)遠(yuǎn)超過(guò)第2名，同時(shí)我國(guó)的水果消費(fèi)量也位居第1，但我國(guó)的人均水果消費(fèi)量卻很低。根據(jù)大量的市場(chǎng)調(diào)研后發(fā)現(xiàn)，水果的產(chǎn)值是由產(chǎn)后處理以及產(chǎn)后加工創(chuàng)造而來(lái)。如何對(duì)水果進(jìn)行快速以及準(zhǔn)確的分揀在水果的加工過(guò)程中尤為重要。事實(shí)上，我國(guó)大部分的果制品加工廠往往通過(guò)人工分揀來(lái)進(jìn)行水果好壞的分揀以及成熟度的分級(jí)，在實(shí)踐過(guò)程中面臨以下問(wèn)題：人力檢測(cè)費(fèi)時(shí)費(fèi)力，效率低下，無(wú)法滿足規(guī)?；牧魉€生產(chǎn)需求；工人的拿捏觸碰容易損傷水果導(dǎo)致?lián)p耗；工人的主觀性判斷和測(cè)量方法差異難以保證檢測(cè)結(jié)果的一致性和準(zhǔn)確性，分揀的品質(zhì)參差不齊，也難以保障后續(xù)產(chǎn)品的品質(zhì)。

本文所研究的基于機(jī)器視覺(jué)成熟度檢測(cè)的蘋果色選分揀機(jī)，在無(wú)損狀態(tài)下快速準(zhǔn)確識(shí)別水果成熟度的同時(shí)，能夠利用傳輸裝置與分揀裝置完成水果的一次分揀，切實(shí)解決水果經(jīng)營(yíng)企業(yè)、水果后處理企業(yè)在水果成熟度檢測(cè)過(guò)程中所面臨的成熟度檢測(cè)正確率低、人工費(fèi)時(shí)費(fèi)力、水果易磕碰損傷等難題。促進(jìn)我國(guó)的水果采后處理技術(shù)的進(jìn)步，加速我國(guó)農(nóng)業(yè)實(shí)現(xiàn)現(xiàn)代化和智能化。

1 國(guó)內(nèi)外研究現(xiàn)狀

目前果品內(nèi)在品質(zhì)無(wú)損檢測(cè)的方法主要有以下幾大類：基于光學(xué)特性的分析法、基于電化學(xué)特性的分析法、基于聲學(xué)特性的分析法、基于力學(xué)特性的分析法、基于機(jī)器視覺(jué)的分析法和其它成熟度無(wú)損檢測(cè)法[1]。在光譜特性分析方面，Sofu[2]等利用近紅外光譜法分析檢測(cè)鱷梨的成熟度，通過(guò)偏最小二乘回歸模型預(yù)測(cè)鱷梨果肉含油率、干物質(zhì)和水分含量，相對(duì)分析誤差分別為2.00和2.13。在聲學(xué)檢測(cè)方面，Mizrach[3]利用聲學(xué)脈沖響應(yīng)評(píng)估蘋果質(zhì)量，建立PLS模型，波長(zhǎng)數(shù)據(jù)與蘋果硬度相關(guān)系數(shù)為0.83，研究結(jié)果顯示,西瓜成熟度與聲波傳播頻率為二階函數(shù)關(guān)系。在水果的電學(xué)特性上，Murat[4]通過(guò)電學(xué)特性法測(cè)定球狀水果密度分布，用電容來(lái)衡量水果體積，天平稱量其質(zhì)量，計(jì)算出密度，實(shí)驗(yàn)結(jié)果表明，密度為0.94～0.97g·cm-3西瓜成熟度很高而且內(nèi)部沒(méi)有空洞。Tong[5]使用配套有頂空采樣系統(tǒng)的電子鼻檢測(cè)富士蘋果不同時(shí)間采摘的含糖量，證明電子鼻技術(shù)結(jié)合人工神經(jīng)網(wǎng)絡(luò)和多元分析算法能夠?qū)崿F(xiàn)對(duì)蘋果成熟度的有效判別。

國(guó)內(nèi)對(duì)水果的成熟度智能檢測(cè)設(shè)備的研究同樣不在少數(shù)。如，張索非[6]提出了一種根據(jù)檢測(cè)蘋果受到敲擊后所發(fā)出聲音的頻譜特性對(duì)果品品質(zhì)評(píng)價(jià)和分類的無(wú)損檢測(cè)方法。實(shí)驗(yàn)結(jié)果表明，長(zhǎng)時(shí)間存放的蘋果受敲擊發(fā)聲的頻譜峰值逐漸減小，質(zhì)量小的蘋果受敲擊發(fā)聲的發(fā)聲基頻更低。姚永波[7]測(cè)量甜瓜的介電特性，采用主成分分析法提取特征向量(介電參數(shù)和介電損耗)，建立甜瓜糖度遺傳優(yōu)化BP神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)模型，模型預(yù)測(cè)均方根誤差為0.873，能夠滿足甜瓜樣本內(nèi)部糖度數(shù)據(jù)的預(yù)測(cè)。徐賽[8]等提出了一種基于電子鼻技術(shù)的果園荔枝成熟階段檢測(cè)方法，用電子鼻采集樣品數(shù)據(jù)，建立與果實(shí)可溶性固形物的預(yù)測(cè)模型，訓(xùn)練集的回判正確率均為100%。韓東海等用560nm左右波長(zhǎng)的紫外線照射柑橘，發(fā)現(xiàn)柑橘最成熟部位熒光強(qiáng)度達(dá)到峰值。饒秀勤、應(yīng)義斌[10]提出了一種利用HSI模型判斷水果表面顏色的分級(jí)方法，該方法在HSI顏色空間提取H分量面積加權(quán)直方圖的前2個(gè)分量進(jìn)行分析，對(duì)臍橙進(jìn)行分級(jí)處理處理的結(jié)果表明，總的分級(jí)誤差僅為1.18%。周水琴等[11]采用核磁共振成像設(shè)備掃描得到新疆庫(kù)爾勒香梨中部冠狀面圖像，使用MATLAB軟件完成圖像分割和中值濾波，以提取香梨褐變特征。王敏[12]以三星公司的S3C2440作為數(shù)據(jù)處理器，Linux作為操作系統(tǒng)，完成蘋果硬度的便攜式近紅外光譜儀開(kāi)發(fā)。應(yīng)義斌[13]從3種不同視角下采集橄欖內(nèi)果皮圖像，使用判別分析和神經(jīng)網(wǎng)絡(luò)2種分類技術(shù)分別進(jìn)行分類測(cè)試，均獲得良好的分類效果。

成熟度智能檢測(cè)設(shè)備具有將人工智能與現(xiàn)代信息處理技術(shù)相結(jié)合的優(yōu)點(diǎn)，功能多、信息量大，是今后水果成熟度檢測(cè)和內(nèi)在品質(zhì)檢測(cè)的重要檢測(cè)手段，但也存在亟待解決的問(wèn)題。系統(tǒng)造價(jià)高，結(jié)構(gòu)復(fù)雜，難以做到性能與成本的平衡；識(shí)別準(zhǔn)確率的問(wèn)題，在查閱的文獻(xiàn)中發(fā)現(xiàn)，目前的研究文獻(xiàn)中均未給出明確的目標(biāo)識(shí)別準(zhǔn)確率的定義，且不同文獻(xiàn)中準(zhǔn)確率數(shù)據(jù)也不盡相同，所以試驗(yàn)的可重復(fù)性有待商榷；我國(guó)果農(nóng)多為個(gè)體經(jīng)營(yíng)戶，針對(duì)復(fù)雜的監(jiān)測(cè)設(shè)備接受程度不高，普遍適用性問(wèn)題也不可忽視。

2 設(shè)計(jì)介紹與工作原理

2.1 總體設(shè)計(jì)介紹

基于機(jī)器視覺(jué)成熟度檢測(cè)的蘋果色選分揀機(jī)如圖1所示，由裝置主體和傳輸裝置、分揀設(shè)備及機(jī)器視覺(jué)檢測(cè)系統(tǒng)組成。裝置主體和傳輸裝置由支撐立柱、傳輸帶及可前后活動(dòng)的推板結(jié)構(gòu)所構(gòu)成。分揀設(shè)備為分揀槽、分揀口、存儲(chǔ)箱、活動(dòng)板所構(gòu)成。機(jī)器視覺(jué)檢測(cè)系統(tǒng)包括計(jì)算機(jī)和相機(jī)，相機(jī)與計(jì)算機(jī)通信連接。

圖1 色選分揀機(jī)結(jié)構(gòu)示意圖注：1.裝置主體；2.分揀設(shè)備；3.主體前支撐立柱；4.相機(jī);5.主體后支撐立柱；6.推板結(jié)構(gòu)；7.傳輸帶；8.傳輸裝置支撐立柱。

基于機(jī)器視覺(jué)成熟度檢測(cè)的蘋果色選分揀機(jī)的傳輸與檢測(cè)步驟：工作人員在使用裝置時(shí)，可先通過(guò)傳輸帶輸送水果；裝置主體頂部的高清攝像頭對(duì)傳輸帶上的水果進(jìn)行拍照，識(shí)別成熟度；推動(dòng)電機(jī)啟動(dòng)，帶動(dòng)伸縮桿進(jìn)行延伸，同時(shí)也帶動(dòng)正面推動(dòng)板進(jìn)行活動(dòng)，將判定為成熟的水果推出傳輸帶外，使水果掉落至分揀機(jī)構(gòu)的分揀槽；分揀槽呈傾斜狀，不同大小的水果通過(guò)不同大小的分揀口，掉落下方分揀設(shè)備內(nèi)部的存儲(chǔ)箱內(nèi)，較為便捷地依據(jù)成熟度等級(jí)及果型大小對(duì)水果進(jìn)行分揀。

本裝置通過(guò)相機(jī)拍照，對(duì)色度進(jìn)行檢測(cè)，進(jìn)而判別成熟度等級(jí)，并通過(guò)傳輸帶和自動(dòng)分揀機(jī)構(gòu)達(dá)到自動(dòng)化的效果，提高水果成熟度檢測(cè)的準(zhǔn)確性、一致性、高效性及實(shí)現(xiàn)流水線生產(chǎn)需求。

2.2 裝置主體及傳輸裝置的設(shè)計(jì)

裝置主體提供相機(jī)支撐、傳輸通道與推板結(jié)構(gòu)功能。由左右支撐立柱、頂板及推板結(jié)構(gòu)所組成，兩立柱間為傳輸通道，供傳輸帶通過(guò)。傳輸裝置由左右支撐立柱與傳輸帶構(gòu)成，為水果流水線傳輸提供解決途徑。

關(guān)鍵部件推板結(jié)構(gòu)如圖2所示，推板結(jié)構(gòu)經(jīng)由連接板固定在裝置主體的前支撐立柱上，連接板的右側(cè)固定連接推動(dòng)電機(jī)，推動(dòng)電機(jī)固定連接伸縮桿，伸縮桿固定連接支撐板，電機(jī)與計(jì)算機(jī)通信相連。當(dāng)水果被判定為成熟后，啟動(dòng)推動(dòng)電機(jī)，帶動(dòng)伸縮桿進(jìn)行延伸，同時(shí)也帶動(dòng)正面推動(dòng)板進(jìn)行活動(dòng)，將成熟的水果推出傳輸帶外，進(jìn)而掉落分揀設(shè)備內(nèi)。

圖2 推板結(jié)構(gòu)示意圖注：1.連接板；2.推動(dòng)電機(jī)；3.伸縮桿；4.推動(dòng)板。

2.3 機(jī)器視覺(jué)檢測(cè)系統(tǒng)

2.3.1 結(jié)構(gòu)設(shè)計(jì)

機(jī)器視覺(jué)檢測(cè)系統(tǒng)包括計(jì)算機(jī)與相機(jī)，相機(jī)與計(jì)算機(jī)通信連接。相機(jī)安裝固定在裝置主體頂端，對(duì)準(zhǔn)水果設(shè)置，計(jì)算機(jī)為DELL OPTIPLEX 3020，內(nèi)存為4GB，1TB硬盤。相機(jī)選擇Openmv h7 Ca智能攝像頭，500萬(wàn)高清像素。

因研究進(jìn)度，目前僅制作機(jī)器視覺(jué)檢測(cè)系統(tǒng)樣機(jī)，如圖3所示。

圖3 機(jī)器視覺(jué)檢測(cè)系統(tǒng)示意圖

2.3.2 顏色特征的提取

通過(guò)檢測(cè)相機(jī)的拍照，對(duì)水果成熟度進(jìn)行色度檢測(cè)，采用的顏色模型即為RGB顏色模型，以蘋果為例。

確定紅色為蘋果樣本的主色。讀取蘋果樣本的一次照片作為實(shí)驗(yàn)圖像，如圖4(fig.1)；讀取背景照片作為背景圖像，如圖4(fig.2)；刪除實(shí)驗(yàn)圖像中的背景圖像，得到處理圖像如圖4(fig.3)；將處理圖像二值化得到圖4(fig.4)，二值化閾值在0.04～0.15，本研究中二值化閾值以0.1為例；為減小二值化圖像的背景噪音和光干擾，采用中值濾波，以減少干擾，并增強(qiáng)二值化的圖像；采用imfill函數(shù)填補(bǔ)取反后的二值化圖像圖4(fig.4)；采用bwboundaries函數(shù)尋找二值化圖像的圖形邊界；從圖形邊界中取出圖像的內(nèi)部邊界，并保存當(dāng)前的圖像，如圖4(fig.5)所示；將實(shí)驗(yàn)圖像圖4(fig.1)按照RGB模型，提取出所有R通道的顏色信息，保存當(dāng)前圖像為實(shí)驗(yàn)圖像R通道圖像，如圖4(fig.6)；采用find函數(shù)，選擇內(nèi)部邊界圖像圖4(fig.5)的所有背景區(qū)域的像素位置，然后將尋得的地址映射到實(shí)驗(yàn)圖像R通道圖像圖4(fig.6)中，并將其背景填充為黑色；采用reshape函數(shù)重構(gòu)圖內(nèi)部邊界圖像圖4(fig.5)的顏色信息，分別提取出R、G、B通道的顏色強(qiáng)度序列，分別計(jì)算顏色強(qiáng)度均值Rm1、Gm1、Bm1(其中，顏色強(qiáng)度均值Rm1、Gm1、Bm1通過(guò)mean函數(shù)獲得。

圖4 圖像處理過(guò)程圖

獲取顏色強(qiáng)度均值Rm、Gm、Bm后，根據(jù)公式計(jì)算蘋果的平均紅色強(qiáng)度占比，計(jì)算公式：

Ra=Rm/(Rm+Gm+Bm)

(1)

2.3.3 成熟度預(yù)測(cè)模型

基于機(jī)器視覺(jué)的蘋果成熟度無(wú)損檢測(cè)技術(shù)本質(zhì)上就是利用其表面的顏色信息與蘋果成熟度的相關(guān)性，本文通過(guò)描述蘋果果實(shí)的表面顏色信息，預(yù)測(cè)可溶性固形物T。根據(jù)GB/T 10651-2008，如果T>11%，則說(shuō)明該蘋果是成熟的，否則判定為不成熟。

根據(jù)上述的機(jī)器視覺(jué)設(shè)備，提取水果的紅色強(qiáng)度均值Rm，作為輸入集；根據(jù)國(guó)家的農(nóng)業(yè)標(biāo)準(zhǔn)GB/T10651-2008，測(cè)定蘋果的可溶性固形物含量，作為輸出集；采用自適應(yīng)的神經(jīng)網(wǎng)絡(luò)智能算法，訓(xùn)練合適的預(yù)測(cè)模型。

根據(jù)紅色強(qiáng)度占比，對(duì)成熟的蘋果進(jìn)行分級(jí)，標(biāo)準(zhǔn):Ra<0.45不成熟；0.45≤Ra≤0.5三級(jí)成熟；0.5

2.4 分揀裝置的設(shè)計(jì)

分揀裝置結(jié)構(gòu)示意圖如圖5所示，由分揀槽、分揀口、存儲(chǔ)箱、活動(dòng)板及擋板構(gòu)成，其中分揀槽、分揀口及存儲(chǔ)箱均設(shè)置有柔性保護(hù)墊包裹保護(hù)。工作人員在使用裝置時(shí)，經(jīng)傳輸和檢測(cè)機(jī)構(gòu)后被判定為成熟的水果由推板結(jié)構(gòu)推至分揀裝置，進(jìn)而使水果掉落分揀槽內(nèi)部的分揀口，分揀槽呈傾斜狀，不同大小的水果通過(guò)不同大小的分揀口掉落至下方的存儲(chǔ)箱內(nèi)，較為便捷地對(duì)不同大小的水果進(jìn)行分揀。優(yōu)選的，工作人員也可通過(guò)活動(dòng)板將包裝箱放置于存儲(chǔ)箱內(nèi)，節(jié)約打包時(shí)間，提高生產(chǎn)效率。

圖5 分揀裝置示意圖注：1.分揀槽；2.分揀口；3.儲(chǔ)存箱；4.活動(dòng)板；5.活動(dòng)鉸鏈；6.分揀擋板。

3 實(shí)驗(yàn)結(jié)果與分析

本文共收集了250個(gè)蘋果作為實(shí)驗(yàn)樣本，并利用PHS-3C數(shù)顯臺(tái)式酸度計(jì)與陸恒生物CNT數(shù)顯糖度計(jì)測(cè)定了所有樣本的固酸比，即實(shí)驗(yàn)得可溶性固溶物含量，用于驗(yàn)證本研究所涉及的基于機(jī)器視覺(jué)的成熟度檢測(cè)方法的正確性，實(shí)驗(yàn)裝置如圖6、圖7所示。

圖6 PHS-3C數(shù)顯臺(tái)式酸度計(jì)試驗(yàn)設(shè)備及實(shí)驗(yàn)圖

圖7 陸恒生物CNT數(shù)顯糖度計(jì)試驗(yàn)設(shè)備及實(shí)驗(yàn)圖

任選250個(gè)蘋果樣本中的10組圖像作為校驗(yàn)樣本，其余240個(gè)實(shí)驗(yàn)樣本作為訓(xùn)練樣本，選擇隨機(jī)，具有足夠的代表性。對(duì)10個(gè)校驗(yàn)樣本利用前文所創(chuàng)建的成熟度監(jiān)測(cè)模型進(jìn)行成熟度判斷，成熟度預(yù)測(cè)模型處理結(jié)果如表1所示。由表1可知，設(shè)計(jì)的自適應(yīng)神經(jīng)網(wǎng)絡(luò)成熟度預(yù)測(cè)模型具有相當(dāng)高的準(zhǔn)確性，誤差范圍可控制在±0.2%以內(nèi)。

表1 成熟度預(yù)測(cè)模型處理結(jié)果

4 結(jié)論

本文所設(shè)計(jì)的基于機(jī)器視覺(jué)成熟度檢測(cè)的蘋果色選分揀機(jī)通過(guò)傳送帶進(jìn)行輸送達(dá)到自動(dòng)化的效果，體積小，操作簡(jiǎn)單，實(shí)用性強(qiáng)；保護(hù)水果，提升品質(zhì)；價(jià)格低廉，易于推廣。

蘋果的成熟度與外表皮顏色信息具有一定的關(guān)聯(lián)性，可利用機(jī)器視覺(jué)測(cè)定蘋果果實(shí)的表皮顏色信息來(lái)進(jìn)行成熟度判定，提高水果成熟度檢測(cè)的一致性、準(zhǔn)確性與正確率。這種方法不僅可用于蘋果后處理中的分級(jí)，也可用于蘋果采收期的成熟度預(yù)判，防止誤采。

利用機(jī)器視覺(jué)與自適應(yīng)神經(jīng)網(wǎng)絡(luò)來(lái)訓(xùn)練成熟度判定模型，通過(guò)描述蘋果果實(shí)的表面顏色信息，預(yù)測(cè)可溶性固形物T，從而進(jìn)行成熟度判定。判定準(zhǔn)確率較高，由檢測(cè)樣本顯示，誤差范圍可控制在±0.2%以內(nèi)。根據(jù)蘋果紅色強(qiáng)度占比，對(duì)成熟的蘋果進(jìn)行分級(jí)，Ra<0.45不成熟；0.45≤Ra≤0.5三級(jí)成熟；0.5

5 長(zhǎng)遠(yuǎn)構(gòu)思及待開(kāi)發(fā)功能

目前僅制作了機(jī)器視覺(jué)檢測(cè)系統(tǒng)樣機(jī)，后期將對(duì)主體裝置、傳輸裝置及分揀裝置進(jìn)行打樣，以期驗(yàn)證流水化作業(yè)需求。