基于視覺技術(shù)的蘋果采摘自動(dòng)收集系統(tǒng)設(shè)計(jì)

白 琨，年福東，劉丹萍，桑銘偉

合肥學(xué)院先進(jìn)制造工程學(xué)院，安徽合肥，230601

采摘作業(yè)所用的勞動(dòng)力占整個(gè)生產(chǎn)過程所用的勞動(dòng)力的33%至50%[1]，是重要的生產(chǎn)環(huán)節(jié)，我國果園多采用人工采摘。為改善作業(yè)環(huán)境，幫助果農(nóng)緩解采摘難題，多種形式的采摘器順勢而出。但是大多數(shù)采摘器并不具備對蘋果自動(dòng)識(shí)別、采摘、收集、裝箱的功能。一般收集好的蘋果需要重新整理完成裝箱，費(fèi)時(shí)費(fèi)力。為進(jìn)一步提高經(jīng)濟(jì)效益和降低勞動(dòng)力投入，本文基于計(jì)算機(jī)視覺技術(shù)設(shè)計(jì)了一款采摘器，能自動(dòng)對蘋果進(jìn)行識(shí)別采摘并完成裝箱收集工作。

1 蘋果采摘自動(dòng)收集系統(tǒng)總體架構(gòu)

本文設(shè)計(jì)的蘋果采摘自動(dòng)收集系統(tǒng)主要由視覺識(shí)別模塊和機(jī)械結(jié)構(gòu)模塊兩部分組成。視覺識(shí)別包括蘋果定位和成熟度判斷，機(jī)械結(jié)構(gòu)包括蘋果采摘和自動(dòng)收集。系統(tǒng)總體架構(gòu)如圖1所示。該架構(gòu)中

圖1 蘋果采摘自動(dòng)收集系統(tǒng)總體架構(gòu)圖

第一步是準(zhǔn)確定位蘋果，在攝像頭所涉范圍內(nèi)將蘋果與樹葉等其他物質(zhì)區(qū)分開來，捕捉到蘋果；第二步判斷蘋果成熟與否，決定是否進(jìn)行采摘，若不成熟則重新定位下一個(gè)蘋果，否則進(jìn)入第三步切割分離果柄；最后一步蘋果切落后通過自動(dòng)收集裝置落入果盒。架構(gòu)的前兩步屬于視覺識(shí)別設(shè)計(jì)，后兩步屬于機(jī)構(gòu)結(jié)構(gòu)設(shè)計(jì)。系統(tǒng)機(jī)械結(jié)構(gòu)詳細(xì)工作流程如圖2所示。

圖2 系統(tǒng)機(jī)械結(jié)構(gòu)工作流程圖

物體識(shí)別是計(jì)算機(jī)視覺領(lǐng)域中的一項(xiàng)基礎(chǔ)研究，它的任務(wù)是識(shí)別出圖像中有什么物體，并報(bào)告出這個(gè)物體在圖像表示的場景中的位置和方向[2]。視覺識(shí)別的方法合理與否，直接決定著蘋果采摘機(jī)的性能。在蘋果識(shí)別方案的設(shè)計(jì)中，關(guān)鍵是能夠快速、準(zhǔn)確地識(shí)別出成熟蘋果在果樹枝頭所處的位置，基于計(jì)算機(jī)視覺技術(shù)設(shè)計(jì)了蘋果識(shí)別方案，先采集果樹圖片，進(jìn)行蘋果識(shí)別訓(xùn)練；再根據(jù)訓(xùn)練結(jié)果，使機(jī)器自動(dòng)定位所有蘋果(包括成熟的和未成熟的蘋果)的位置，即在攝像頭的采集范圍內(nèi)，準(zhǔn)確地輸出采集圖片當(dāng)中每一個(gè)蘋果所在區(qū)域的最小矩形包圍框；第三步，對第二步識(shí)別到的每一個(gè)蘋果進(jìn)行成熟度判斷。識(shí)別出成熟蘋果后，系統(tǒng)移動(dòng)使蘋果進(jìn)入采摘筒，通過傳感器判斷蘋果是否到位，到位后進(jìn)行切割果柄分離，通過收集管道進(jìn)入收集盒，通過計(jì)數(shù)傳感器判斷果盒是否需要移位或者是否裝滿。

2 視覺識(shí)別

2.1 蘋果定位模塊設(shè)計(jì)

本文采用的基于深度學(xué)習(xí)的蘋果自動(dòng)定位流程如圖3所示，首先利用大量真實(shí)標(biāo)簽數(shù)據(jù)訓(xùn)練基于深度學(xué)習(xí)的物體檢測算法獲得蘋果定位模型[3]。隨后將待檢測圖片通過訓(xùn)練完成的模型獲得每一個(gè)蘋果的位置。主要包含三個(gè)步驟，即訓(xùn)練數(shù)據(jù)庫的構(gòu)建、自動(dòng)定位蘋果位置的深度模型訓(xùn)練和蘋果定位模型的在線部署。

圖3 基于深度學(xué)習(xí)的蘋果自動(dòng)定位流程圖

2.1.1 訓(xùn)練數(shù)據(jù)庫的構(gòu)建

為了使機(jī)器能夠在果樹上準(zhǔn)確捕捉到蘋果，需要對其進(jìn)行訓(xùn)練，使之學(xué)習(xí)蘋果特征。這需要大量的、多樣化的、質(zhì)量高的訓(xùn)練數(shù)據(jù)，構(gòu)建訓(xùn)練數(shù)據(jù)庫。模擬果園真實(shí)環(huán)境，準(zhǔn)備了150張帶有蘋果的圖片，利用圖像標(biāo)注軟件，在每一張圖片上人工框選出圖片的所有蘋果，每一個(gè)蘋果樣本生成對應(yīng)的坐標(biāo)數(shù)據(jù)，建立數(shù)據(jù)庫。工作流程如圖4所示。

圖4 蘋果定位數(shù)據(jù)庫構(gòu)建示意圖

2.1.2 自動(dòng)定位蘋果位置的深度模型訓(xùn)練

在訓(xùn)練數(shù)據(jù)準(zhǔn)備完成之后，即可利用物體檢測算法訓(xùn)練蘋果定位模型。為了盡可能地平衡檢測準(zhǔn)確率與檢測速度，采用YOLO物體檢測算法[4]訓(xùn)練蘋果檢測定位模型。YOLO的原理如圖5所示，其首先將圖像等分為S×S的網(wǎng)格，然后利用卷積神經(jīng)網(wǎng)絡(luò)預(yù)測帶檢測物體落在每一個(gè)網(wǎng)格的概率，最后對所有可能的物體進(jìn)行融合，選取概率最大的矩形框作為預(yù)測物體的實(shí)際位置。在實(shí)際訓(xùn)練時(shí)，采用官方訓(xùn)練框架darknet[5]。值得注意的是采用監(jiān)督學(xué)習(xí)算法訓(xùn)練深度模型一般而言需要標(biāo)注數(shù)以萬計(jì)、甚至千萬計(jì)的訓(xùn)練數(shù)據(jù)，否則可能會(huì)出現(xiàn)過擬合問題，導(dǎo)致所訓(xùn)練模型的泛化性能較差。為了避免這一問題，采用遷移訓(xùn)練的方式，即首先在公開大規(guī)模圖片數(shù)據(jù)集上訓(xùn)練分類模型，隨后再利用所標(biāo)注的蘋果數(shù)據(jù)進(jìn)行模型的微調(diào)。

圖5 蘋果定位算法(YOLO)原理示意圖

2.1.3 蘋果定位模型的在線部署

由于模型的訓(xùn)練用到專用深度學(xué)習(xí)框架，不利于項(xiàng)目的實(shí)際部署。以O(shè)penCV作為平臺(tái)進(jìn)行蘋果檢測模型的實(shí)際部署。具體做法如下：首先將darknet訓(xùn)練好的模型轉(zhuǎn)換為OpenCV可讀取的形式，隨后利用OpenCV將模型二次封裝，僅預(yù)留兩個(gè)接口：一個(gè)是加載模型，另一個(gè)是輸入一張圖片返回當(dāng)前圖片內(nèi)所有蘋果的最小包圍框的矩形坐標(biāo)。

2.2 蘋果成熟度判斷模塊設(shè)計(jì)

基于顏色模型判斷蘋果成熟度。成功定位出蘋果的坐標(biāo)后，依然達(dá)不到分類收集的一個(gè)目的，對蘋果的識(shí)別不能只限于定位出蘋果這個(gè)物體，還要對其是否成熟有一個(gè)判斷，因此需要給出蘋果成熟與否的分類依據(jù)。針對蘋果在成熟后，其表面的顏色將從青色轉(zhuǎn)變成紅色的這一特點(diǎn)，通過顏色空間分析將捕捉到的圖片中蘋果紅色區(qū)域超過70%是成熟蘋果作為判斷依據(jù)。

首先，將蘋果圖片進(jìn)行顏色空間轉(zhuǎn)換。通過攝像頭采集到的圖片所在色彩空間為RGB顏色空間。RGB顏色空間雖然利于電子屏幕進(jìn)行顯示和人眼進(jìn)行肉眼觀察，但由于其對光照即為敏感(例如，同樣是紅色，在不同的光照條件下，在RGB顏色空間下的數(shù)值將具有巨大差異)，不利于對顏色的屬性進(jìn)行自動(dòng)分析。在圖像處理研究與應(yīng)用領(lǐng)域中，RGB和HSV是兩種極為常見的顏色空間，兩者之間可以相互轉(zhuǎn)化。RGB顏色模型簡單來說就是以R(紅色)、G(綠色)、B(藍(lán)色)三種原色進(jìn)行不斷疊加產(chǎn)生多色的三基色模型[6]，這種模型更加直觀。HSV顏色模型則是把H(色相)，S(飽和度)，V(亮度)當(dāng)作色值來定義顏色的空間，直觀的表達(dá)色彩的明暗、色調(diào)以及鮮艷程度，方便進(jìn)行顏色之間的對比，因此本文將利用HSV顏色空間對蘋果的色彩進(jìn)行分析。

經(jīng)由RGB轉(zhuǎn)化成HSV的公式計(jì)算[7]，在將蘋果圖片由原始RGB轉(zhuǎn)為HSV顏色空間之后，通過對H通道(即色相)的分析來判斷紅色區(qū)域的占比。經(jīng)過大量圖片實(shí)際測試，選取像素為紅色的H取值范圍是：(H>0&&H<16)‖(H>240&&H<360)。若紅色像素占蘋果區(qū)域的比例為大于一定閾值(設(shè)置為70%)則認(rèn)為當(dāng)前蘋果為成熟，否則認(rèn)為蘋果未成熟。

3 機(jī)械結(jié)構(gòu)設(shè)計(jì)

采摘收集裝置[8]如圖6所示。主要分為采摘和收集兩部分。蘋果采摘收集時(shí)主要考慮降低蘋果的損傷度。Lu 等認(rèn)為蘋果損傷程度與下落高度成正比[9]；Menesatti等通過對杏、梨、桃和蘋果碰撞試驗(yàn)得到果實(shí)跌落沖擊損傷的抵抗力和跌落損傷高度臨界值，建立了桃的跌落損傷預(yù)測模型[9]。

圖6中采摘器升降高度h的范圍為2.5～3.7 m，降落點(diǎn)相對于起落點(diǎn)的水平距離l的范圍為0～0.5 m。可以預(yù)測，當(dāng)起落點(diǎn)和降落點(diǎn)在豎直直線上時(shí)，降落點(diǎn)的加速度最大，蘋果受到的沖擊力最大、最容易受到損傷；當(dāng)起落點(diǎn)和降落點(diǎn)的連線與豎直線間的夾角最大(即降落點(diǎn)相對于起落點(diǎn)的水平距離l最大)時(shí)，降落點(diǎn)的加速度最小、受到的損傷最小?？紤]到結(jié)構(gòu)的緊湊性，并不是l越大越好。在滿足損傷可承受力的情況下，l值越小越好，既可以減小結(jié)構(gòu)尺寸，又可以提高設(shè)備的運(yùn)行效率。

蘋果在降落點(diǎn)的切向加速度為:

(1)

圖6 某蘋果采摘器

設(shè)計(jì)l-h兩因素六水平實(shí)驗(yàn)表1?？梢钥闯霎?dāng)以加速度為9.7 m/s作為無損傷標(biāo)準(zhǔn)時(shí)，表中陰影部分顯示l對應(yīng)6個(gè)h水平的調(diào)節(jié)范圍為0.3～0.4 m。經(jīng)擬合計(jì)算，可得l和之間的優(yōu)化模型式(2)，其中a=-429 8，b=-11.62，c=0.402。圖7為l-h擬合曲線圖，可以更直觀地看出擬合后的l和h位置關(guān)系，機(jī)械結(jié)構(gòu)設(shè)計(jì)時(shí)可據(jù)此設(shè)計(jì)安裝降落點(diǎn)調(diào)節(jié)裝置，以達(dá)到合理的損傷控制。

(2)

圖7 l-h擬合曲線圖

表1 l-h因素水平表

4 結(jié) 語

本設(shè)計(jì)利用計(jì)算機(jī)視覺技術(shù)，基于深度學(xué)習(xí)的物體檢測技術(shù)訓(xùn)練蘋果檢測模型，實(shí)現(xiàn)蘋果位置的自動(dòng)定位，建立了判斷蘋果成熟與否的依據(jù)，利用色彩分析算法對蘋果的成熟度進(jìn)行判斷。分析了采摘器升降高度h和降落點(diǎn)相對于起落點(diǎn)的水平距離l對蘋果損傷的影響，得出以下結(jié)論：h越大損傷越大，l越小損傷越大;可以減小設(shè)備收集裝置的尺寸，使結(jié)構(gòu)緊湊，且提高運(yùn)行效率。