基于視覺的橘類水果識(shí)別系統(tǒng)設(shè)計(jì)①

*

( 佳木斯大學(xué)a.材料科學(xué)與工程學(xué)院;b.機(jī)械工程學(xué)院，黑龍江 佳木斯 154007；c.蘭州理工大學(xué)材料科學(xué)與工程學(xué)院，甘肅 蘭州 730050)

0 引 言

水果采收作為果園生產(chǎn)全過程中的一個(gè)重要環(huán)節(jié)，具有季節(jié)性強(qiáng)和勞動(dòng)密集型的特點(diǎn)[1]，所用勞動(dòng)力占整個(gè)生產(chǎn)過程所用勞動(dòng)力的35%～45%[2]。目前采摘水果的主要方法是依靠人工攀爬或借助簡單工具，且水果采摘效率較低。由于人工采摘水果自身所存在的勞動(dòng)強(qiáng)度大、效率較低等原因，繼而造成水果采摘成本逐漸提高[3]。使用輔助水果采摘設(shè)備能夠有效提高水果采摘的質(zhì)量和效率，降低人工采摘的勞動(dòng)強(qiáng)度，具有良好的經(jīng)濟(jì)效益。水果識(shí)別技術(shù)作為水果輔助采摘設(shè)備的重要技術(shù)之一，其性能對(duì)于提高輔助水果采摘的效率及準(zhǔn)確率具有很大的影響[4]。因此，對(duì)于輔助水果采摘設(shè)備的研制而言，探究水果識(shí)別技術(shù)具有重要意義。

在果實(shí)識(shí)別技術(shù)方面，陶華偉等[5]通過對(duì)果蔬的顏色和紋理進(jìn)行局部二值化處理，獲得果蔬的顏色和紋理特征，使用最近鄰分類器對(duì)獲取的特征進(jìn)行果蔬識(shí)別，并在室內(nèi)和室外環(huán)境下得到較好的識(shí)別率，單幅圖像的識(shí)別時(shí)間約為1.1s。徐惠榮等[6]針對(duì)柑橘與枝葉在圖像中的顏色差異的特點(diǎn)，結(jié)合動(dòng)態(tài)閾值法實(shí)現(xiàn)柑橘與背景的自動(dòng)分割，在順光且背景反射光不強(qiáng)的條件下，實(shí)現(xiàn)了將柑橘從復(fù)雜背景中分離出來，但在背景有較強(qiáng)反射光的條件下識(shí)別效果較差。在果實(shí)定位技術(shù)方面，高楊[7]使用SR300深度攝像頭作為水果采摘機(jī)器人的近景探測(cè)傳感器，在識(shí)別果實(shí)的同時(shí)，通過攝像頭內(nèi)置的紅外傳感器獲得目標(biāo)的空間坐標(biāo)，從而實(shí)現(xiàn)了先在較遠(yuǎn)距離對(duì)水果識(shí)別定位、再近距離采摘水果的功能，攝像頭對(duì)水果的定位精度達(dá)到3mm。朱新新[8]使用F200深度攝像頭獲得當(dāng)前環(huán)境的點(diǎn)云數(shù)據(jù)，根據(jù)識(shí)別目標(biāo)與攝像頭之間的距離(預(yù)設(shè)閾值)對(duì)點(diǎn)云數(shù)據(jù)進(jìn)行篩選，通過移除前景與背景以獲得目標(biāo)物體的最佳識(shí)別區(qū)域，便于在最佳識(shí)別區(qū)域內(nèi)查找符合柑橘輪廓的目標(biāo)；通過對(duì)五個(gè)不同品種的柑橘進(jìn)行識(shí)別試驗(yàn)，在無遮擋和有遮擋的條件下均有較為理想的識(shí)別率。

基于點(diǎn)云數(shù)據(jù)進(jìn)行果實(shí)的識(shí)別與定位技術(shù)具有對(duì)光線強(qiáng)弱不敏感的特點(diǎn)，但其欠缺對(duì)果實(shí)成熟度的辨識(shí)能力；此外，將深度攝像頭安裝在機(jī)械臂末端，在一定程度上增加了識(shí)別與定位過程的復(fù)雜性；與此同時(shí)，果實(shí)的識(shí)別速度也是提高果實(shí)采摘設(shè)備工作效率的關(guān)鍵因素。針對(duì)此問題，提出了一種基于視覺的橘類水果識(shí)別系統(tǒng)，根據(jù)橘類水果成熟度及其枝葉在顏色特征方面的差異性，分別從識(shí)別與定位的技術(shù)層面進(jìn)行了深入研究，并進(jìn)行了實(shí)驗(yàn)驗(yàn)證，其研究結(jié)果為橘類水果采摘裝置的樣機(jī)研究提供了技術(shù)支撐。

1 基于視覺的橘類水果識(shí)別系統(tǒng)模型

基于視覺的橘類水果識(shí)別系統(tǒng)模型由圖像采集、圖像處理、目標(biāo)識(shí)別和目標(biāo)定位四個(gè)環(huán)節(jié)構(gòu)成，如圖1所示。圖像采集環(huán)節(jié)使用Intel RealSense D415深度相機(jī)在室內(nèi)正常光線下拍攝橘類水果圖像，該圖像中水果數(shù)量隨機(jī)，且存在水果重疊的現(xiàn)象。圖像處理環(huán)節(jié)包括背景移除與成熟度篩選、圖像形態(tài)學(xué)處理兩個(gè)部分，先在RGB顏色空間下實(shí)現(xiàn)背景移除與成熟度篩選，再使用中值濾波和高斯平滑消除圖像噪點(diǎn)和空洞。目標(biāo)識(shí)別環(huán)節(jié)使用霍夫變換識(shí)別目標(biāo)圖像中的橘類水果，獲得水果中心的像素坐標(biāo)。目標(biāo)定位環(huán)節(jié)則根據(jù)目標(biāo)識(shí)別得到的像素坐標(biāo)及相機(jī)參數(shù)，計(jì)算得到目標(biāo)相對(duì)于相機(jī)的空間坐標(biāo)，從而實(shí)現(xiàn)水果的識(shí)別與定位。

圖1 基于視覺的橘類水果識(shí)別系統(tǒng)模型

2 系統(tǒng)設(shè)計(jì)

2.1 橘類水果顏色分析

使用顏色特征對(duì)橘類水果進(jìn)行識(shí)別時(shí)，需要對(duì)橘類水果及枝葉在圖像中的R(紅色)、G(綠色)、B(藍(lán)色)顏色分量進(jìn)行分析，從而實(shí)現(xiàn)成熟橘類水果與背景區(qū)分的目的。由圖2和圖3分析可知，成熟橘類水果與未成熟橘類水果及枝葉在R-G分量和R-B分量上有明顯區(qū)分，成熟水果的R-G分量和R-B分量主要分布在坐標(biāo)軸對(duì)角線的下方，具有明顯的顏色特征；由圖4可知，成熟橘類水果的G-B分量主要分布在枝葉和未成熟水果之間，與樹枝及未成熟水果有一定的區(qū)別。基于以上分析可知，在RGB顏色空間中，成熟橘類水果顏色特征與未成熟水果及樹枝的顏色特征有較大區(qū)別，根據(jù)顏色差異能夠有效地將成熟橘類水果從圖像中提取出來。

圖2 枝上橘類水果圖像R-G顏色分量對(duì)比

圖3 枝上橘類水果圖像R-B顏色分量對(duì)比

圖4 枝上橘類水果圖像G-B顏色分量對(duì)比

圖5 圖像處理前后圖像

2.2 圖像處理

攝像頭采集到的圖像經(jīng)過顏色篩選后，將顏色特征符合成熟橘類水果的像素點(diǎn)保留下來。受光線和顏色篩選范圍的影響，篩選后獲得的橘類水果的邊緣毛刺較多，且圖像中存在較多噪點(diǎn)，因此，需要對(duì)該圖像進(jìn)行處理，以便提高后續(xù)目標(biāo)識(shí)別的精確性。使用中值濾波和高斯平滑對(duì)圖像進(jìn)行平滑濾波處理，處理前后的圖像如圖5所示。

2.3 目標(biāo)識(shí)別與定位

鑒于大部分橘類水果在圖像中的輪廓形狀近似圓形，因此使用圓檢測(cè)的方法實(shí)現(xiàn)橘類水果識(shí)別具有一定的通用性。使用霍夫變換實(shí)現(xiàn)圖像圓檢測(cè)，同時(shí)獲得目標(biāo)的圓心像素坐標(biāo)和半徑。通過設(shè)定閾值的方式對(duì)識(shí)別目標(biāo)進(jìn)行初步篩選，將低于閾值的對(duì)象視為距離較遠(yuǎn)的橘類水果，不進(jìn)行識(shí)別。目標(biāo)定位時(shí)，由Intel RealSense D415深度攝像頭獲取圓心像素坐標(biāo)相對(duì)于攝像頭的空間坐標(biāo)即可。

3 試驗(yàn)研究

3.1 試驗(yàn)平臺(tái)

對(duì)橘類水果識(shí)別系統(tǒng)的識(shí)別效果及識(shí)別準(zhǔn)確率進(jìn)行了試驗(yàn)驗(yàn)證，試驗(yàn)在室內(nèi)正常光線下對(duì)枝葉上的蜜桔進(jìn)行識(shí)別，深度攝像頭安裝于水果采摘試驗(yàn)平臺(tái)的相機(jī)支架上。硬件環(huán)境：Intel RealSense D415深度攝像頭，CPU 2.3GHz，內(nèi)存16GB，水果采摘試驗(yàn)平臺(tái)；軟件環(huán)境：Intel RealSense SDK 2.0，Visual Studio 2015，OpenCV3.3.1。部分實(shí)驗(yàn)圖片如圖6所示。

3.2 試驗(yàn)方案及結(jié)果

基于上述試驗(yàn)平臺(tái)，分別在蜜桔有枝葉遮擋和無枝葉遮擋兩種條件下進(jìn)行試驗(yàn)研究，并在有枝葉遮擋的條件下增加有外部光源補(bǔ)光的試驗(yàn)，統(tǒng)計(jì)上述3種情況下正確識(shí)別到的蜜桔數(shù)量和平均識(shí)別時(shí)間，試驗(yàn)結(jié)果如表1所示。

表1 蜜桔識(shí)別試驗(yàn)結(jié)果

圖6 試驗(yàn)圖片

3.3 結(jié)果分析

經(jīng)過試驗(yàn)驗(yàn)證，該橘類水果識(shí)別系統(tǒng)在室內(nèi)自然光線下對(duì)無遮擋的蜜桔識(shí)別率達(dá)到80%(距離較遠(yuǎn)的蜜桔視為未識(shí)別)，在有枝葉遮擋的條件下有60%的識(shí)別率，在外部光源補(bǔ)光后對(duì)有枝葉遮擋蜜桔的識(shí)別率有一定的提高，平均識(shí)別時(shí)間為86ms，能夠滿足圖像實(shí)時(shí)處理的要求。在對(duì)蜜桔識(shí)別時(shí)，該識(shí)別系統(tǒng)對(duì)成熟度不符合要求的蜜桔表現(xiàn)為不識(shí)別，實(shí)現(xiàn)了對(duì)蜜桔成熟度的判別。同時(shí)，根據(jù)深度攝像頭的特性，將其安裝在采摘裝置的固定位置，而非末端夾持器上，實(shí)現(xiàn)了一次性地獲取目標(biāo)的空間坐標(biāo)，在一定程度上簡化了識(shí)別與定位系統(tǒng)設(shè)計(jì)的復(fù)雜性，提高了果實(shí)采摘的工作效率。但在試驗(yàn)過程中也發(fā)現(xiàn)，光線強(qiáng)弱對(duì)提出的橘類水果識(shí)別系統(tǒng)有一定程度的影響，在后續(xù)研究中可考慮使用其他顏色空間實(shí)現(xiàn)對(duì)橘類水果的過濾，改進(jìn)目標(biāo)識(shí)別原理，并增加外部光源以減少環(huán)境光線對(duì)目標(biāo)識(shí)別精確性的影響。

4 結(jié) 論

設(shè)計(jì)的基于視覺的橘類水果識(shí)別系統(tǒng)，根據(jù)成熟橘類水果在RGB顏色空間中的顏色特征，實(shí)現(xiàn)了水果成熟度的判別；基于霍夫圓檢測(cè)原理進(jìn)行目標(biāo)識(shí)別，獲得目標(biāo)中心點(diǎn)的像素坐標(biāo)；使用深度攝像頭，獲得目標(biāo)中心點(diǎn)與相機(jī)的相對(duì)坐標(biāo)。以蜜桔為研究對(duì)象開展試驗(yàn)研究，在正常光線無遮擋情況下具有良好的識(shí)別率；在正常光線、有枝葉遮擋時(shí)識(shí)別率存在一定程度的降低，且在外部光源補(bǔ)光后識(shí)別率有明顯提升，識(shí)別與定位的速度快，能夠滿足實(shí)時(shí)處理的要求，適應(yīng)性好。試驗(yàn)結(jié)果表明，提出的基于視覺的橘類水果識(shí)別系統(tǒng)能夠?yàn)樗R(shí)別與定位技術(shù)提供技術(shù)支撐和可靠數(shù)據(jù)，為實(shí)現(xiàn)水果智能化采摘樣機(jī)的研制奠定基礎(chǔ)。