智能駕乘式高架草莓采摘車的設計與試驗

侯廣宇,雷小潔,袁子喻,甄軍全,劉繼展,謝學軍

(1. 江蘇大學 現代農業(yè)裝備與技術教育部重點實驗室,江蘇 鎮(zhèn)江 212013;2.常州工學院 經濟與管理學院,江蘇 常州 213032)

0 引言

當前,設施溫室草莓種植占據90%,其中的高架草莓生產由于光照和通風條件好、清潔、省力等優(yōu)勢不斷擴大[1-2]。然而,目前高架草莓采摘作業(yè)仍完全依賴人工,勞動力占用極多且生產效率低;同時,草莓采收后因二次運輸、再包裝造成額外損傷以及兼顧采摘與車輛操控引起勞動強度增加成為當前草莓生產的主要實際問題。

采摘車是輔助人工實現果蔬舒適高效采摘、運送的現場裝備,發(fā)達國家先后推出了多種草莓采摘車。在壟栽方面, PBZ LLC[3]開發(fā)了一種“人趴式”草莓采摘車,由人趴扶在采摘車上進行作業(yè),但不適用于高架環(huán)境。在高架方面,日本采用“手推軌道車”的作業(yè)方式,在進行采摘作業(yè)的同時需人為操控采摘車在高架軌道上行走,使人的大部分精力浪費于操控駕駛上,效率低下。沈農草莓團隊使用“人坐腳蹬車”方式在棚下駕乘實現草莓采摘,但仍需人助力行走,不適宜長時間勞作,采摘效率低。在其它類型的采摘車方面,廣西大學任曉智[4]設計了智能芒果高空采摘車,山東理工大學劉廣新[5]設計了冬棗輔助采摘車,沈陽航空航天大學陳章恒[6]設計了菠蘿采摘車,而這些采摘車需要莓農在采摘的同時控制車輛運動狀態(tài)且需要采收后對草莓進行二次運輸和包裝。

針對現有研究的不足,筆者擬開發(fā)一種面對高架環(huán)境的駕乘式草莓采摘車,在達到高采摘效率目標的同時兼具乘坐舒適及隨采隨包裝的能力。

1 高架草莓采摘車設計目標

本研究設計的總目標是通過乘坐高架草莓采摘車降低勞動力強度和用工量,提升采摘效率。具體目標包括:

1)采摘行為辨識的智能操控:通過捕捉莓農采摘動作自主控制草莓采摘車運動狀態(tài),莓農可將全部精力放于采摘上,解放手腳,提高采摘效率。

2)滿足現場初加工隨采隨包裝的要求:可實現同步機載采摘—稱重—語音提示—打標簽—包裝的連續(xù)性工作,有效減少草莓因重復搬運再包裝造成的損傷且兼具休閑娛樂功能。

3)保證莓農長時間勞作的舒適性:基于人機工程學理論,通過在空間范圍內對莓農采摘時的身體方位進行合理規(guī)劃,有效減少莓農因長時間勞作造成的不適。

2 設計方案

2.1 整體方案

草莓采摘車主要由相機、伸縮云臺、單向輪、車體外殼、車體內架、曲面門、內部控制系統(tǒng)、草莓稱重裝置、彈性輔助啟停裝置、彈性輔助加速裝置、乘坐椅、底盤部件及輪轂電機等部件組成,如圖1所示。

1.相機 2.伸縮云臺 3.車體外殼 4.彈性輔助加速裝置 5.彈性輔助啟停裝置 6.單向輪 7.內部控制系統(tǒng) 8.底盤部件 9.輪轂電機 10.乘坐椅 11.曲面門 12. 車體內架 13. 草莓稱重裝置圖1 草莓采摘車整體結構圖Fig.1 Overall structure of strawberry picking truck

1)草莓采摘車采用輪式結構在高架環(huán)境中行走作業(yè),從而有效解決及狹小空間通行問題。

2)通過設計智能操控系統(tǒng)實現人手行為識別和草莓采摘車啟停控制,以達到采摘作業(yè)時對草莓采摘車的智能操控。

3)為滿足現場隨采隨包裝的要求,配備草莓稱重裝置,草莓包裝盒可直接放于稱重傳感器上,實現稱重-語音提示-打標簽-包裝連續(xù)作業(yè)。

4)采摘空間基于人機工程理論進行設計,莓農乘坐草莓采摘車時腳部可輕松觸發(fā)彈性輔助啟停裝置,身體各個部位不受內架空間限制,且左右方向采摘不會因大幅扭身產生不舒適,乘坐更舒適。

2.2 智能操控系統(tǒng)設計

2.2.1 人手行為識別系統(tǒng)

為使人全部精力應用于采摘,減少注意力在草莓采摘和操控駕駛之間頻繁切換,開發(fā)了人手行為識別系統(tǒng)。該系統(tǒng)主要對視場內采摘姿態(tài)進行識別,當人手伸出車體開始采摘動作時,相機對該動作進行識別,確定為采摘動作之后,控制采摘車停止前進;而當采摘結束后,控制采摘車繼續(xù)勻速前進,直到下一個動作循環(huán)。

2.2.1.1 人手行為識別系統(tǒng)主要結構

人手行為識別系統(tǒng)硬件部分由三維深度傳感器、云臺伸縮桿及jetson nano上位機系統(tǒng)構成。其中,三維深度傳感器采用RealsenseD435,有效深度探測距離為(0.1m,10m),水平視場角度范圍為65.5°,豎直視場角度范圍為91.2°;上位機系統(tǒng)采用jetson nano開發(fā)板,通過USB3.0接口進行兩者連接。

人手行為識別系統(tǒng)軟件部分基于Ubuntu18.04系統(tǒng)、python語言、Visual Studio Code軟件框架,使用labelme軟件對圖像標注,使網絡擁有更強的泛化性能。其中,在相機視場下莓農的手離開車體即為有采摘意圖。搭建深度學習pytorch框架,通過yolov4-tiny輕量級模型對莓農在采摘車上有采摘意圖和無采摘意圖進行識別。yolov4-tiny可以同時完成有無采摘意圖的分類與回歸,避免過擬合,經過下采樣和上采樣的數據相互融合,能夠有效分割識別出采摘意圖信息(即手離開車體),實現分類識別。

2.2.1.2 通信系統(tǒng)設計

jetson nano包含40位GPIO口,引入GPIO庫,通過import serial引入USART通訊方式。其中,port="/dev/ttyTHS1",波特率為115200,bytesize采用serial.EIGHTBITS,parity采用serial,stopbits采用serial.STOPBITS_ONE方式。if str(predicted_class)=="Picking" and float(score) >0.9,serial_port.write("1 ".encode()),即在識別到采摘意圖而且識別得分高于0.9時發(fā)送字符串1,實現上到下的信號輸出。

2.2.1.3 相機布置方案

相機空間布置方法如圖2所示。相機高度可通過伸縮云臺依據莓農乘坐高度進行調節(jié),具體關系為

h′=i+0.75h

(1)

其中,h為莓農身高(cm);i為草莓采摘車底盤距地面高度(cm);根據座椅高度z確定乘坐高度h′(cm)。

伸縮云臺高度l區(qū)間為(125cm,160cm),向下傾斜角度為

β=θ1/2=32.7°

(2)

其中,β為向下傾斜角度(°);θ為相機豎直視場范圍(°)。

圖3所示為相機視場布置實際場景,可保證視場內對人體姿態(tài)-采摘行為-左右單行高架信息進行獲取。

圖3 實際相機視場布置Fig.3 Actual camera field of view layout

2.2.2 手腳輔助式控制系統(tǒng)

為保證采摘過程中草莓采摘車能夠自動啟停,設計了手腳輔助式控制系統(tǒng)。在接收人手識別系統(tǒng)發(fā)送的字符串信號和人腳部觸發(fā)信號后,將其轉化為控制命令。該系統(tǒng)采用隱藏式內部結構,控制系統(tǒng)安置在底盤下方位置以保證與莓農腳部不產生接觸,同時采用“一層供電、二層控制”的雙層設計。

控制系統(tǒng)硬件部分主要由接近開關、STM32F104開發(fā)板、伺服電機驅動器、輪轂電機、光耦離合及各種轉壓模塊組成,如圖4所示。

圖4 手腳控制系統(tǒng)硬件框圖Fig.4 Control system hardware block diagram

STM32F104開發(fā)板包含多個信號輸入口和信號輸出口,信號輸入口接收jetson nano發(fā)送的字符串。STM32F104開發(fā)板和伺服電機驅動器連接,伺服電機驅動器對輪轂電機進行控制。4路方向接近開關對草莓采摘車相對高架的空間位置進行感應,感應信號通過光耦離合發(fā)給STM32F104開發(fā)板,實現草莓采摘車的方向調整。剎車和加速接近開關通過彈性輔助機械剎車裝置和彈性輔助機械加速裝置觸發(fā)。各接近開關的信號電壓由光耦離合轉換模塊轉為3.3V,將命令信號傳給STM32F104開發(fā)板,實現手腳控制草莓采摘車的運動狀態(tài)。

2.3 現場稱重-包裝系統(tǒng)設計

2.3.1 采摘工作流程

現場初加工系統(tǒng)能在盒子裝滿草莓時進行自動語音提示,協助人工采摘,其工作流程如圖5所示。該方案可減少草莓搬運再包裝流程及草莓損傷,大幅降低勞動強度。

圖5 工作流程Fig.5 Workflow

2.3.2 現場稱重-包裝系統(tǒng)

在乘坐草莓采摘車進行采摘作業(yè)時,莓農可將采摘完的草莓直接放包裝盒中稱重。針對市場上一種大小為11cm×8cm×6cm的草莓包裝盒,系統(tǒng)通過感應草莓+草莓包裝盒質量自動語音提示,以實現稱重—語音提示—打標簽—包裝的連續(xù)作業(yè)模式。

圖6中,草莓包裝盒和稱重傳感器連接支撐裝置,內部裝有稱重傳感器,莓農可將采摘后的草莓放置于該支撐裝置上方的草莓包裝盒中進行稱重。稱重傳感器基于力-電效應,將草莓包裝盒的質量轉換成與被稱物體質量成一定函數關系的電信號;該電信號經過稱重傳感器信號輸入口和AD轉換電路后,轉換成數字信號送入到核心處理器中;核心處理器根據設置的輸入量(即質量大小)進行判斷、分析。同時,語音模塊實時接收信號,當達到設置重量0.5kg時,自動進行語音提示。

1.草莓包裝盒 2.草莓包裝盒和傳感器連接支撐裝置 3.稱重傳感器 4.稱重傳感器信號輸入口 5.AD轉換模塊 6.核心處理器 7.供電口 8.語音模塊 9.OLED顯示器圖6 現場稱重-包裝系統(tǒng)Fig.6 On-site Weighing-Packaging System

2.4 基于人機工程的舒適乘坐空間設計

為充分考慮到草莓采摘車的乘坐舒適性,保證身體姿態(tài)為坐姿時腿部不受內架空間限制,且采摘時不會因左右大幅扭身產生不適,基于人機工程學理論對采摘車乘坐空間進行設計。

2021年4月3日,在常州一號農場高架草莓園進行實地測量,測量的參數主要包括栽培槽寬度、過道寬度、高架高度等,如表1所示。實地測量高架過道寬度最窄為646mm,栽培槽寬度在229～235mm之間,高架高度在905～942mm之間。

表1 設施高架調研參數

草莓采摘車要求單人乘坐,內部乘車空間大于莓農最大活動空間,而車體寬度小于高架過道最窄長度,同時留有最大乘坐空間?；谡{研數據,將車寬定為600mm;為滿足車體高度高于高架高度,將車高定為900mm。同時,乘坐椅要預留一定空間,將草莓采摘車整體長度定為1200mm,草莓駕乘采摘車整體高度×寬度×長度為900mm×600mm×1200mm。

對40個人在乘坐椅舒適坐姿高度下(35cm)抽樣調查,發(fā)現人在乘坐時腿伸出距離、腿部高度和身高有關,數據如表2所示。

根據表2數據得出分布規(guī)律圖,其中身高和累計數目之間呈正態(tài)分布規(guī)律。正態(tài)分布峰值為身高174cm,腿部伸出平均長度為66.7cm。因乘坐椅上會占據一定乘坐面積,故將乘坐椅邊緣到彈性輔助啟停裝置的水平距離定為55cm,該范圍內可輕松腳踏油門剎車模塊。

表2 數組人體舒適坐姿狀態(tài)下的數據

2.4.1 車體內架空間設計

車體內架結構分為上下兩部分,如圖7所示。

其中,上部分對車體和草莓稱重裝置起到固定支撐作用;下部分是整車承力架,與底盤固定;側邊有一對車體側面支撐點,用于防止車體晃動。

根據表2數據,人體在舒適坐姿下腿抬起高度最大為45cm,為保證腿部活動空間充裕,將下部分高度定為55cm。車架上部分留有上下間距H′為25cm的空間,用于存放空草莓包裝盒子。針對上述規(guī)格草莓包裝盒,上部空間可同時存放15個草莓包裝盒。

該設計可充分減少傳統(tǒng)采摘過程中需要更換包裝盒損失的時間,采下的草莓可直接出售。同時,有效減少草莓損傷,保證連續(xù)、高效采摘。

2.4.2 左右舒適采摘空間設計

據實際考察結果,采摘時左右扭身程度對采摘舒適度影響較大。為使乘坐草莓采摘車采摘更加輕松,設計了旋轉式乘坐椅和旋轉角度限位機構。

在該機構中,乘坐椅可隨采摘者身體扭動而旋轉;同時,在最大舒適采摘位設置限位機構,使莓農不會因上身大幅度扭轉造成與下半身之間不協調,從而帶來不適。

設計旋轉角度限位機構,使乘坐椅保持在最大旋轉角度范圍內。在確定最大旋轉角度時,主要以乘坐椅旋轉角度為標準。如圖8所示,在保持身體豎直面和腿的側面為90°的角度旋轉時,圓圈部位為最大舒適采摘位。正常坐姿下,雙腿和車體邊緣距離決定乘坐椅旋轉角度大小,車內空間大小由高架寬度決定,雙腿和車體邊緣距離由車內空間、旋轉椅尺寸、莓農本身各種參數決定。

根據以上參數,確定乘坐椅旋轉角度大小。建立數學模型為

(3)

其中,k為車體中心距離車體邊緣距離(cm);c為乘坐椅長度(cm);b為乘坐椅寬度(cm);a為人體正常坐姿下腿部前端到乘坐椅邊緣距離(cm);γ為乘坐比例系數。

γ∈(0.7,0.95)c

(4)

乘坐比例系數由莓農自身乘坐舒適度決定,通過該模型可以根據莓農乘坐舒適度設置乘坐椅旋轉角的大小。

3 試驗與結果分析

3.1 試驗材料

為驗證智能草莓采摘車實際工作性能,在實驗室按照與實際高架1:1的比例搭建仿真高架,兩側高架全長6m,高架間距離為80cm,單側高架草莓模型密度為9個/m,草莓顏色介于紅色和綠色之間。其中,單行里紅色草莓平均5個/m,紅綠草莓2個/m,綠色草莓2個/m,30個41cm×27cm×19cm白色泡沫箱作為草莓承載架,仿真高架寬度為27cm,地面為光滑水泥地面。

3.2 試驗方法

規(guī)定車體中心距離車體邊緣距離k為車寬的1/2(即30cm),乘坐椅寬度b為33cm,長度c為33cm。人體正常坐姿下腿部前端到凳子邊緣距離和身高由采摘人自身決定。分別在構建的仿真高架環(huán)境和實際高架環(huán)境中進行試驗,試驗分為草莓采摘車識別運動控制試驗和現場初加工采摘系統(tǒng)采摘效率試驗。

2)試驗二:分析采摘效率大小,設置兩組對比試驗。第1組乘坐搭載現場初加工采摘系統(tǒng)的草莓采摘車進行生產性人工采摘,設置采摘車速度為0.7m/s;第2組采用傳統(tǒng)采摘方式,由采摘人邊行走邊拿筐采摘。兩組試驗均需要對采摘后的草莓進行稱重計量-分盒包裝-打標簽,記錄兩組各采摘5kg草莓所用時間和草莓損傷情況。

3.3 試驗結果分析

3.3.1 采摘車識別控制結果與分析

試驗數據如表3所示。

表3 試驗數據

草莓采摘車在高架中可以實現對整車的智能控制,具有可行性。試驗結果表明:

1)3組人身高位于165cm-178cm之間,根據模型確定了草莓采摘車旋轉乘坐椅旋轉角度,其在正常坐姿和扭身采摘情況下感受皆為舒適。

2)草莓采摘車以0.7m/s的速度前進,6m的距離采摘時間為49.7s,4m的距離采摘時間為34.23s,2m的距離采摘時間為15.23s,部分采摘時間被采摘動作識別準確率所影響。

綜合試驗結果可知:草莓采摘車動作識別控制平均準確率為85%以上,表明草莓采摘車能夠達到實際采摘作業(yè)要求,且更適合長距離全生產性采摘作業(yè)。

3.3.2 現場初加工采摘試驗結果與分析

試驗數據如表4所示。

表4 試驗數據

草莓采摘車在高架中可以實時進行草莓稱重與包裝,是可行的方案。試驗結果表明:

1)乘坐草莓采摘車生產性采摘5kg成熟草莓共前進8m,而人行走采摘共前進12.5m,說明乘坐草莓采摘車采凈草莓率更高。因為人邊行走邊拿筐采摘的方式會因一次采摘量有限,導致一部分時間浪費于草莓運輸途中,而草莓采摘車很好地解決了這一問題。

2)乘坐草莓采摘車作業(yè)對草莓的損傷率低于常規(guī)采摘方式。由于人行走采摘需要對每一次采完的草莓進行稱重,而且要在達到5kg左右時對草莓進行分選包裝,容易造成草莓二次損傷;而乘坐草莓采摘車的草莓只需經歷采摘-包裝一次損傷,大大降低了草莓損傷率。同時,草莓采摘車配備了無損高效采摘系統(tǒng)配備語音提示功能,讓采摘者能夠隨時知道采摘量,以便進行打標簽工作,大大節(jié)省了采摘時間,且勞動強度較低,感覺更為舒適。

綜合試驗結果可知:草莓采摘車能夠達到實際作業(yè)生產要求,可以減輕莓農的作業(yè)疲勞程度,解放勞動力,取代了傳統(tǒng)的行走采摘模式。

4 結論

1)針對高架環(huán)境下人工采摘草莓勞動強度大、效率低的問題,設計了一種面對生產作業(yè)的駕乘式草莓采摘車。通過在仿真高架和實際高架環(huán)境中的試驗可知:相比于傳統(tǒng)采摘模式,采摘車能夠在滿足實際作業(yè)生產要求的前提下有效減少莓農因長時間勞作造成的不適,解放手腳,提高采摘效率。

2)智慧休閑農業(yè)在不斷發(fā)展,未來可將駕乘式草莓采摘車率先在江蘇省內進行推廣,相信會給高架草莓采摘旅游業(yè)發(fā)展帶來巨大效益,并有機會向全國推廣普及,發(fā)展前景廣闊。