菠蘿全向定位自動化采摘系統(tǒng)設(shè)計*

李 明 ， 黎澤龍 ， 王潤濤 ， 劉 瑤 ， 薛 忠

（1.嶺南師范學(xué)院電子與電氣工程學(xué)院，廣東 湛江 524048；2.中國熱帶農(nóng)業(yè)科學(xué)院南亞熱帶作物研究所，廣東 湛江 524091）

菠蘿是熱帶四大水果之一，富含大量人體所需的維生素、礦物質(zhì)、有機(jī)酸、纖維質(zhì)等營養(yǎng)成分。菠蘿收獲后，80%以鮮果的形式進(jìn)入市場，采收時間與采摘方式均是影響鮮果品質(zhì)的關(guān)鍵因素[1-2]?，F(xiàn)階段，全球的菠蘿產(chǎn)地主要以人工采摘配合機(jī)械收集平臺協(xié)同作業(yè)的方式進(jìn)行菠蘿采收，該方式需要大量的人力，勞動力成本占菠蘿生產(chǎn)銷售利潤的近50%[3-4]。由于菠蘿植株堅硬且外表呈刺狀，導(dǎo)致采收環(huán)境惡劣，嚴(yán)重影響人工采摘效率，采摘過程易造成果實(shí)外傷，不利于后續(xù)儲存運(yùn)輸。本文研究的菠蘿全向定位采摘方法可實(shí)現(xiàn)菠蘿全自動無損采摘，較大程度減輕果農(nóng)的采收負(fù)擔(dān)，對促進(jìn)菠蘿產(chǎn)業(yè)發(fā)展具有重要的意義。

1 系統(tǒng)結(jié)構(gòu)設(shè)計

采摘裝置結(jié)構(gòu)如圖1所示，主要包括控制中心、全向定位機(jī)構(gòu)、雙臂采摘機(jī)構(gòu)，控制中心的功能由ARM與DSP實(shí)現(xiàn)，控制中心的殼體前面板設(shè)置屏幕和鍵盤，可以實(shí)現(xiàn)和用戶的交互。全向定位機(jī)構(gòu)用于獲取采摘目標(biāo)的深度數(shù)據(jù)，按照控制中心指令移動至最佳采樣點(diǎn)，并在雙臂采摘機(jī)構(gòu)完成視野內(nèi)采摘任務(wù)后，自動改變采摘裝置角度；雙臂采摘機(jī)構(gòu)用于移動機(jī)械終端至采摘定位點(diǎn)，夾取采摘目標(biāo)，切斷果梗，實(shí)現(xiàn)對菠蘿果實(shí)的無損采摘并放回原點(diǎn)收集；采摘裝置的每個執(zhí)行終端均配設(shè)電機(jī)，整個過程無需人工參與，完全自動化運(yùn)行。

圖1 菠蘿自動化采摘裝置示意圖

2 系統(tǒng)控制流程

系統(tǒng)啟動，控制中心初始化各終端原點(diǎn)位置，攝像頭接收指令后將菠蘿圖像的深度數(shù)據(jù)發(fā)送至控制中心，對圖像數(shù)據(jù)進(jìn)行處理運(yùn)算。針對當(dāng)前的視野范圍標(biāo)定采摘目標(biāo)，判斷采摘目標(biāo)個數(shù)n是否為0，如果n=0，控制中心發(fā)送控制信號驅(qū)動電機(jī)帶動旋轉(zhuǎn)底座順時針轉(zhuǎn)動30°，并用旋轉(zhuǎn)后的位置更新原點(diǎn)位置；如果n>0，控制中心對各個采摘目標(biāo)按照深度進(jìn)行排序，并存入a[n]。

估計目標(biāo)果實(shí)a[i]的最佳采樣空間位置（xi,yi,zi），將其作為攝像頭的目標(biāo)采樣點(diǎn)。控制中心驅(qū)動電機(jī)帶動升降桿調(diào)整縱向高度，使采樣點(diǎn)趨近yi，驅(qū)動旋轉(zhuǎn)桿帶動攝像頭調(diào)整角度，減小與目標(biāo)采樣點(diǎn)的誤差距離（xiΔ,yiΔ,ziΔ），對當(dāng)前采樣點(diǎn)的圖像進(jìn)行深度數(shù)據(jù)運(yùn)算，得出捕獲手的2個夾取鉗中心點(diǎn)移動的目標(biāo)位置，即捕獲定位點(diǎn)（xib,yib,zib），切割手的2個切割鉗中心點(diǎn)移動的目標(biāo)位置，即切割定位點(diǎn)（xiq,yiq,ziq）。肩關(guān)節(jié)轉(zhuǎn)動，使捕獲定位點(diǎn)趨近（xib,yib,zib）。

捕獲支臂的主軸移動減?。▁ibΔ,yibΔ,zibΔ），旋轉(zhuǎn)軸轉(zhuǎn)動調(diào)整夾取角度。捕獲手執(zhí)行夾取任務(wù)并固定目標(biāo)果實(shí)，傳感器實(shí)時監(jiān)測修正切割定位點(diǎn)（xiq,yiq,ziq）。切割支臂調(diào)整切割角度，切割手執(zhí)行切割?？刂浦行陌l(fā)送控制信號驅(qū)動捕獲機(jī)構(gòu)各電機(jī)，恢復(fù)原點(diǎn)位置，釋放目標(biāo)果實(shí)a[i]，完成對目標(biāo)a[i]的采摘；如果i≤n，則循環(huán)采摘下一個目標(biāo)果實(shí)，直至i>n，整個裝置旋轉(zhuǎn)至下一角度進(jìn)行采摘；當(dāng)裝置周圍360°均無采摘目標(biāo)時，結(jié)束整個菠蘿采摘裝置所在地面位置的采摘，可將采摘裝置移動至下一地面位置進(jìn)行采摘。具體的系統(tǒng)作業(yè)流程如圖2所示。

圖2 系統(tǒng)流程圖

3 菠蘿定位算法

3.1 菠蘿圖像預(yù)處理

由于光照等因素影響，獲取的菠蘿圖像存在較大差異，導(dǎo)致數(shù)據(jù)不均衡，為了擴(kuò)充菠蘿圖像的數(shù)據(jù)集，增強(qiáng)菠蘿圖像特征提取效果，達(dá)到泛化模型的目的。本文基于Python對菠蘿圖像進(jìn)行離線數(shù)據(jù)增強(qiáng)處理，通過對原始菠蘿圖像進(jìn)行裁剪、旋轉(zhuǎn)、鏡像、加噪聲等預(yù)處理，擴(kuò)增數(shù)據(jù)集樣本，增強(qiáng)效果圖如圖3所示。采用離線增強(qiáng)方法，擴(kuò)增后得到8 000張菠蘿數(shù)據(jù)集圖像，編寫Python程序?qū)Σぬ}數(shù)據(jù)集按照8∶1∶1的比例進(jìn)行隨機(jī)劃分，劃分為訓(xùn)練集、驗證集、測試集。

圖3 菠蘿圖像預(yù)處理

3.2 定位算法模型

本文采用YOLOv5深度學(xué)習(xí)算法進(jìn)行菠蘿果實(shí)的識別定位，YOLOv5網(wǎng)絡(luò)結(jié)構(gòu)由四個部分組成，分別是輸入端、Backbone、Neck以及Prediction[5-8]。其中，輸入端包括Mosaic數(shù)據(jù)增強(qiáng)和自適應(yīng)錨框計算；Backbone骨干網(wǎng)絡(luò)中加入了CSP和Focus結(jié)構(gòu)，F(xiàn)ocus結(jié)構(gòu)通過切片操作來擴(kuò)充輸入通道，對上部分進(jìn)行傳統(tǒng)的殘差塊堆疊，而下部分幾乎不計算，類似一個殘差邊與上部分計算后的結(jié)果進(jìn)行拼接，通過對兩部分的跨級拼接與通道整合，增強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力。

在菠蘿目標(biāo)識別過程中，引入?yún)f(xié)同注意力機(jī)制對特征提取進(jìn)行優(yōu)化，進(jìn)而提升模型檢測性能。在模型中添加通道注意力可有效提升模型的性能，通常輕量級網(wǎng)絡(luò)的注意力機(jī)制大多數(shù)都采用SE模塊和CBAM模塊[9]。SE模塊只考慮通道間的信息，忽略了位置信息，盡管引入CSAM模塊在降低通道數(shù)的方向上采用卷積來提取位置的注意力信息，但是卷積只能提取局部關(guān)系，在長距離關(guān)系提取能力上較差[10-11]。為此，本文引入?yún)f(xié)同注意力機(jī)制（Coordinate Attention,CA）模塊對菠蘿果實(shí)進(jìn)行識別。

通過與YOLOv5識別基礎(chǔ)網(wǎng)絡(luò)進(jìn)行對比試驗，驗證引入CA注意力模塊對YOLOv5識別模型性能的影響，協(xié)同注意力改進(jìn)對比分析表如表1所示。

表1 協(xié)同注意力改進(jìn)對比分析表

結(jié)果表明：增加CA模塊對參數(shù)量略有增加，mAP同時增大，檢測速度提升。提高了動態(tài)情況下菠蘿目標(biāo)識別的實(shí)時響應(yīng)效率，識別效果如圖4所示。自然環(huán)境下，引入CA的YOLOv5s算法動態(tài)識別每幅耗時40 ms，識別精度為99.2%，能夠滿足自動化實(shí)時定位需求。

圖4 YOLOv5基礎(chǔ)網(wǎng)絡(luò)結(jié)構(gòu)圖

4 系統(tǒng)測試

為驗證系統(tǒng)采摘的可靠性與穩(wěn)定性，于徐聞縣“菠蘿的?！边M(jìn)行大田試驗，時間選擇6月份夏菠蘿成熟期。菠蘿采摘裝置安裝于自行走車載云臺，采摘裝置完成當(dāng)前位置的采摘任務(wù)后會發(fā)出信號，指引車載云臺前進(jìn)至下一采摘點(diǎn)，采摘試驗結(jié)果如表2所示。

表2 采摘試驗結(jié)果

分析表中晴天與陰天的采摘結(jié)果，晴天時光線強(qiáng)，攝像頭采集的圖像比較清晰，識別精度高。陰天時雖然受光線影響會出現(xiàn)誤判，但誤判數(shù)比例較小。大田試驗表明：菠蘿全向定位自動化采摘系統(tǒng)可實(shí)現(xiàn)全自動化菠蘿采摘，單個果實(shí)平均采摘耗時約22 s，采摘精度高于93.5%。

5 結(jié)論

本文提供了一種深度視覺的菠蘿全向定位自動化采摘方法，主要結(jié)論如下：1）采用改進(jìn)的YOLOv5算法可在保證實(shí)時性的前提下實(shí)現(xiàn)菠蘿果實(shí)的準(zhǔn)確定位，識別精度高達(dá)99.2%；2）采摘裝置能夠?qū)崿F(xiàn)菠蘿果實(shí)全角度識別定位、固定夾取、果梗切割，裝置的各個部分能夠協(xié)調(diào)銜接，整個過程無需人工參與；3）大田采摘試驗結(jié)果驗證了采摘裝置的可行性，晴天條件下采摘精度達(dá)100%，陰天條件下采摘精度高于93.5%。