基于VR的農(nóng)田環(huán)境監(jiān)測(cè)機(jī)器人研制

趙 靜,閆春雨,曹佃龍,姚 杰,賈 鵬,蘭玉彬

(山東理工大學(xué) a.農(nóng)業(yè)工程與食品科學(xué)學(xué)院;b.國際精準(zhǔn)農(nóng)業(yè)航空應(yīng)用技術(shù)研究中心,山東 淄博 255000)

0 引言

農(nóng)田環(huán)境信息的及時(shí)采集與分析,是實(shí)施精準(zhǔn)施肥、精準(zhǔn)灌溉等農(nóng)田管理決策的重要依據(jù)。針對(duì)農(nóng)田管理所需的多種環(huán)境氣象信息(風(fēng)向、風(fēng)速、溫度、濕度、光照強(qiáng)度、二氧化碳濃度、土壤及作物生長狀況等),如何高效地對(duì)各項(xiàng)環(huán)境參數(shù)進(jìn)行監(jiān)測(cè),是保證農(nóng)作物健康生長的前提。目前,農(nóng)田環(huán)境監(jiān)測(cè)存在地形復(fù)雜多樣、需監(jiān)測(cè)農(nóng)田面積大、數(shù)據(jù)量大和設(shè)置的監(jiān)測(cè)點(diǎn)多等問題。因此,利用設(shè)置固定監(jiān)測(cè)點(diǎn)監(jiān)測(cè)農(nóng)田信息是國內(nèi)眾多學(xué)者研究的熱點(diǎn)。張騰飛等[1]設(shè)計(jì)了一種基于ZigBee技術(shù)的農(nóng)作物環(huán)境信息采集系統(tǒng),設(shè)置固定監(jiān)測(cè)點(diǎn),通過采用ZigBee無線通信技術(shù)采集光照、土壤溫濕度、空氣溫濕度等信息,經(jīng)過網(wǎng)關(guān)傳輸?shù)缴衔粰C(jī)進(jìn)行數(shù)據(jù)的處理。王箏等[2]在溫室大棚中部署多個(gè)不同傳感器節(jié)點(diǎn),使用LoRa無線技術(shù)匯聚后發(fā)送給服務(wù)器,然后傳給控制端進(jìn)行控制,抗干擾能力強(qiáng)、功耗低、可遠(yuǎn)距離傳輸。張光玉等[3]設(shè)計(jì)了以物聯(lián)網(wǎng)為基礎(chǔ)采集環(huán)境信息的系統(tǒng),在監(jiān)測(cè)區(qū)域設(shè)置多個(gè)傳感器節(jié)點(diǎn),相鄰節(jié)點(diǎn)組成簇,每個(gè)簇的簇首節(jié)點(diǎn)將簇中采集的所有數(shù)據(jù)經(jīng)過數(shù)據(jù)融合、壓縮等方式發(fā)送給匯聚節(jié)點(diǎn);然后,再通過互聯(lián)網(wǎng)和衛(wèi)星,將數(shù)據(jù)最終發(fā)送給任務(wù)管理節(jié)點(diǎn)進(jìn)行管理。以上基于物聯(lián)網(wǎng)和設(shè)施農(nóng)業(yè)的當(dāng)環(huán)境信息采集,基本上都是通過搭建多處監(jiān)測(cè)點(diǎn)來監(jiān)測(cè)農(nóng)田環(huán)境信息,投入成本較高,且監(jiān)測(cè)點(diǎn)固定不可變,監(jiān)測(cè)設(shè)備不可移動(dòng)。

虛擬現(xiàn)實(shí)技術(shù)是新生代的信息交互技術(shù),近年來不斷發(fā)展和完善,迅速在各個(gè)領(lǐng)域和行業(yè)都得到了廣泛應(yīng)用,能夠增強(qiáng)人們對(duì)視覺的良好體驗(yàn)。薛彩龍研究了基于VR技術(shù)的井下可視化監(jiān)測(cè)系統(tǒng),構(gòu)建多個(gè)傳感器組成的不同監(jiān)測(cè)分站,將采集到的速度、壓力等數(shù)據(jù)展現(xiàn)在已經(jīng)完成三維建模的煤礦井下排水系統(tǒng)及其結(jié)構(gòu)分布圖中[4]。魏焱設(shè)計(jì)了基于VR的變電站智能巡檢場(chǎng)景,對(duì)變電站進(jìn)行精細(xì)化三維建模,利用虛擬現(xiàn)實(shí)技術(shù),將各種數(shù)據(jù)信息以三維建模為載體進(jìn)行了綜合展現(xiàn)[5]。邵欣欣等設(shè)計(jì)了基于虛擬現(xiàn)實(shí)和物聯(lián)網(wǎng)的水環(huán)境檢測(cè)系統(tǒng),采用MQTTQ協(xié)議棧和線程池等技術(shù), 根據(jù)傳感器采集到的水量和水質(zhì)及污染物等信息,在虛擬現(xiàn)實(shí)環(huán)境中實(shí)時(shí)展示水環(huán)境的現(xiàn)狀,并通過傳感器對(duì)實(shí)時(shí)獲取的數(shù)據(jù)和實(shí)際水量調(diào)度方案進(jìn)行一致性監(jiān)測(cè)[6]。

針對(duì)地面定點(diǎn)監(jiān)測(cè)存在無法更換監(jiān)測(cè)區(qū)域、監(jiān)測(cè)設(shè)備不可移動(dòng)和數(shù)據(jù)顯示形式單一等不足等問題,設(shè)計(jì)了一種基于VR技術(shù)的農(nóng)田環(huán)境監(jiān)測(cè)機(jī)器人。該機(jī)器人將VR技術(shù)與農(nóng)業(yè)結(jié)合,一方面能夠促進(jìn)我國農(nóng)業(yè)的發(fā)展和擴(kuò)大VR技術(shù)的應(yīng)用領(lǐng)域,另一方面可以實(shí)現(xiàn)實(shí)時(shí)監(jiān)測(cè)多項(xiàng)農(nóng)田數(shù)據(jù)。該機(jī)器人能夠?qū)⑺@取的農(nóng)田環(huán)境信息經(jīng)過可視化處理,傳輸至辦公室中的虛擬控制室,利用機(jī)器人采集傳輸?shù)霓r(nóng)田環(huán)境影像獲得沉浸式體驗(yàn),為精準(zhǔn)農(nóng)業(yè)和無人農(nóng)場(chǎng)的實(shí)施提供了一條新的思路,具有一定的參考價(jià)值。

1 總體方案設(shè)計(jì)

動(dòng)態(tài)監(jiān)測(cè)農(nóng)田環(huán)境信息具有自由選擇監(jiān)測(cè)地點(diǎn)、機(jī)動(dòng)性良好和自主監(jiān)測(cè)等優(yōu)點(diǎn),能夠快速高效地分析采集的數(shù)據(jù),為農(nóng)田進(jìn)行精準(zhǔn)施肥、施水、除蟲、除草提供數(shù)據(jù)?；赩R的監(jiān)測(cè)機(jī)器人主要由行走機(jī)構(gòu)、硬件控制系統(tǒng)及VR可視化系統(tǒng)組成,如圖1所示。行走機(jī)構(gòu)設(shè)計(jì)包含底盤設(shè)計(jì)與電機(jī)選型,硬件控制設(shè)計(jì)包含控制模塊設(shè)計(jì)、數(shù)據(jù)采集模塊設(shè)計(jì)、數(shù)據(jù)與控制指令傳輸模塊設(shè)計(jì),VR可視化環(huán)境設(shè)計(jì)包含PC端三維虛擬環(huán)境建模、視頻流傳輸設(shè)計(jì)、服務(wù)器設(shè)計(jì)等。通過VR設(shè)備能夠在自主搭建的三維虛擬控制室看到可視化處理后的數(shù)據(jù)及機(jī)器人攝像頭捕捉的實(shí)時(shí)畫面,動(dòng)態(tài)還原了農(nóng)田環(huán)境,使用戶獲得沉浸式體驗(yàn),利用VR手柄還可遠(yuǎn)程控制機(jī)器人行走。

圖1 總體方案設(shè)計(jì)Fig.1 Overall design

2 關(guān)鍵模塊設(shè)計(jì)

2.1 行走機(jī)構(gòu)設(shè)計(jì)

行走機(jī)構(gòu)設(shè)計(jì)包含了底盤及驅(qū)動(dòng)設(shè)計(jì),因不同的農(nóng)作物農(nóng)藝要求各異,故依據(jù)主要大田作物的農(nóng)藝參數(shù),確定了具有一定適應(yīng)性和通用性的車體外形尺寸,能夠滿足多種類型傳感器的搭載,同時(shí)避免作業(yè)時(shí)損傷農(nóng)作物。利用Maya軟件按照1:1比例對(duì)機(jī)器人底盤進(jìn)行建模,底盤模型如圖2所示。

圖2 Maya軟件建模的底盤Fig.2 Maya Softw are modeling chassis

履帶式行走機(jī)構(gòu)具有支撐面積大、對(duì)地壓強(qiáng)小、抓地能力強(qiáng)及牽引附著性好等優(yōu)點(diǎn)[7]。為了更好地適應(yīng)田間復(fù)雜地形,機(jī)器人采用金屬履帶式底盤。底盤采用浮動(dòng)結(jié)構(gòu),具有減震、地面仿形功能。兩側(cè)金屬履帶分別由兩個(gè)無刷電機(jī)獨(dú)立驅(qū)動(dòng),履帶差速轉(zhuǎn)向。底盤采用金屬材料制作,增大底盤的質(zhì)量以降低整車重心,可減少機(jī)器人行走時(shí)振動(dòng)對(duì)傳感器的影響。機(jī)器人底盤如圖3所示。使用12V30W的直流電機(jī)驅(qū)動(dòng),配備12V30000mA的鋰電池供電。

圖3 機(jī)器人底盤Fig.3 Robot chassis

2.2 硬件控制系統(tǒng)設(shè)計(jì)

基于VR的無人農(nóng)場(chǎng)環(huán)境監(jiān)測(cè)機(jī)器人的硬件控制系統(tǒng)包含數(shù)據(jù)采集模塊、控制模塊及數(shù)據(jù)與控制通信傳輸3個(gè)模塊。農(nóng)田環(huán)境信息數(shù)據(jù)與圖像視頻信息通過數(shù)據(jù)模塊進(jìn)行采集,數(shù)據(jù)傳輸模塊進(jìn)行數(shù)據(jù)和控制指令的傳輸,控制模塊對(duì)機(jī)器人的行走進(jìn)行控制。

2.2.1 控制模塊

采用預(yù)置64位Linux系統(tǒng)的樹莓派3B(Paspberry Pi 3B)(以下簡稱樹莓派)作為機(jī)器人主控中心。樹莓派是一個(gè)只有信用卡大小的、用來學(xué)習(xí)計(jì)算機(jī)編程教育的卡片式電腦,內(nèi)置40個(gè)獨(dú)立的GPIO引腳,可外接各類傳感器模塊,讀取并傳送傳感器獲得的數(shù)據(jù)。樹莓派及接口介紹如圖4所示。

1.DSI顯示接口 2.LED系統(tǒng)指示燈 3.四核1.4GHz 64位ARMA53處理器 4.40pin GPIO接口 5.4xUSB 2.0接口 6.以太網(wǎng)接口 7.音頻輸出端口 8.攝像頭接口 9.HDMI接口 10.電源接口圖4 樹莓派及接口介紹Fig.4 Raspberry pie and interface introduction

機(jī)器人行進(jìn)控制系統(tǒng)采用Arduino 開發(fā)板作為主控模塊,可同時(shí)輸出多個(gè)PWM(脈沖寬度調(diào)制)方波給電機(jī)驅(qū)動(dòng)以實(shí)現(xiàn)調(diào)速,使機(jī)器人的行走便于控制。Arduino開發(fā)板的USB串口接口與樹莓派連接,實(shí)時(shí)接收樹莓派發(fā)送的串口數(shù)據(jù),通過Arduino開發(fā)板中的程序?qū)刂茢?shù)據(jù)進(jìn)行判斷,從而輸出高低電平信號(hào)控制電機(jī)工作。

2.2.2 數(shù)據(jù)采集模塊

所采集的數(shù)據(jù)分為兩部分:一部分是由樹莓派控制的機(jī)器人相機(jī)所拍攝的行進(jìn)方向視頻數(shù)據(jù)及兩側(cè)作物的RGB圖像數(shù)據(jù);另一部分是由Arduino開發(fā)板控制的多種傳感器所采集的農(nóng)田環(huán)境數(shù)據(jù)。Arduino開發(fā)板連接的傳感器有GPS模塊、SHT11溫濕度傳感器、MG811二氧化碳濃度傳感器及GY-302光照強(qiáng)度傳感器等,與Arduino開發(fā)板通過串口、I2C等多種通信方式連接。

2.2.3 數(shù)據(jù)與控制通信傳輸

5G通信技術(shù)不僅繼承了2G、3G、4G無線通信技術(shù)本身的優(yōu)點(diǎn),而且具有更高的傳輸速度、更強(qiáng)的兼容性和更好的安全性[8]。使用5G通信技術(shù)能夠使數(shù)據(jù)傳輸更加快速、安全,但目前5G通信技術(shù)還未完全進(jìn)入商用階段。本機(jī)器人采用4G通信技術(shù)與TCP Socket通信協(xié)議進(jìn)行數(shù)據(jù)和控制指令的傳輸。搭載樹莓派的機(jī)器人與安裝UE4軟件的本地電腦分別為客戶端1和客戶端2,云端服務(wù)器為服務(wù)器端。具體傳輸過程為:客戶端1中的樹莓派通過TCP Socket協(xié)議將采集匯總后的數(shù)據(jù)包發(fā)給云端服務(wù)器,并接收控制機(jī)器人行走的控制命令;客戶端2通過TCP Socket協(xié)議接收服務(wù)器上的數(shù)據(jù)包,并發(fā)送控制機(jī)器人的控制命令。傳輸控制系統(tǒng)示意如圖5所示。

圖5 傳輸控制系統(tǒng)示意圖Fig.5 Schematic diagram of transmission control system

3 VR可視化系統(tǒng)開發(fā)

3.1 PC端開發(fā)環(huán)境配置

PC端硬件配置:Intel Xeon E5-1650 v4 @3.60GHz處理器、內(nèi)存為32G,顯卡為英偉達(dá)GTX 1070Ti、8G顯存。HTC Vive VR套件如圖6所示。軟件平臺(tái)為:64位Windows 7旗艦版操作系統(tǒng)、UE4軟件、Steam VR插件、Open VR 應(yīng)用程序編程接口。通過UE4軟件的Web Brower插件對(duì)服務(wù)器的信息進(jìn)行訪問,使用Virtual desktop軟件對(duì)訪問回來的數(shù)據(jù)進(jìn)行可視化處理,VR效果便可真實(shí)地顯示在VR眼鏡中。

圖6 HTC Vive VR套件Fig.6 HTC Vive VR suite

3.2 服務(wù)器搭建

服務(wù)器采用騰訊云計(jì)算標(biāo)準(zhǔn)Web型服務(wù)器,基于云硬盤的云服器可以即時(shí)修改硬件配置及擴(kuò)容磁盤。服務(wù)器帶寬采用3Mbps/s的帶寬來傳輸和接收數(shù)據(jù)流,達(dá)到了數(shù)據(jù)傳輸控制的基本需求,可以自由切換Windows與Linux系統(tǒng),支持綁定各種網(wǎng)絡(luò)環(huán)境,便于樹莓派或本地電腦對(duì)服務(wù)器端的數(shù)據(jù)傳輸。樹莓派為客戶端1,本地電腦端為客戶端2,客戶端1和客戶端2都是通過TCP Socket協(xié)議來實(shí)現(xiàn)與服務(wù)器端相互交流和數(shù)據(jù)傳輸。服務(wù)器與客戶端的Socket通信模型如圖7所示。

3.3 視頻流傳輸系統(tǒng)

視頻流傳輸系統(tǒng)主要包括800萬像素的高清攝像頭、樹莓派開發(fā)板、TCP Socket通信協(xié)議和基于OpenCV的計(jì)算機(jī)視覺庫。OpenCV是一個(gè)開源的計(jì)算機(jī)視覺庫,利用OpenCV能夠?qū)崿F(xiàn)視頻圖像的捕獲。攝像頭將獲取的圖像傳輸給樹莓派,樹莓派對(duì)圖像進(jìn)行壓縮處理上傳到服務(wù)器,服務(wù)器通過使用Python語言按照預(yù)設(shè)的分辨率和幀數(shù)進(jìn)行打包編碼;客戶端2使用TCP Socket通信協(xié)議對(duì)服務(wù)器進(jìn)行訪問,最終顯示在虛擬控制室的屏幕中。此外,樹莓派可獲取服務(wù)器傳回來的控制指令,控制機(jī)器人的行進(jìn)與云臺(tái)相機(jī)的轉(zhuǎn)動(dòng)。圖8為視頻流傳輸系統(tǒng)。

3.4 VR系統(tǒng)模塊開發(fā)

使用Maya軟件進(jìn)行虛擬控制室的建模,包括田間作物、地塊模型及顯示屏幕等。將模型導(dǎo)入U(xiǎn)E4軟件,進(jìn)行貼圖和渲染等操作完成VR視覺效果場(chǎng)景搭建。VR場(chǎng)景效果通過VR眼鏡進(jìn)行展示,三維虛擬控制室效果如圖9所示。數(shù)據(jù)可視化是一種運(yùn)用圖像處理技術(shù)與計(jì)算機(jī)圖形學(xué),把數(shù)據(jù)轉(zhuǎn)換為圖像或圖形顯示在屏幕上并進(jìn)行交互處理的技術(shù)[9]。數(shù)據(jù)可視化技術(shù)提供了很多種形式的數(shù)據(jù)表示方法,如將數(shù)據(jù)以不同顏色、不同形狀的圖表、圖形動(dòng)態(tài)顯示,再如動(dòng)態(tài)變化的條形圖、風(fēng)力風(fēng)速圖、陰天雨天動(dòng)態(tài)圖等,實(shí)現(xiàn)人與數(shù)據(jù)直接進(jìn)行交互,有助于農(nóng)場(chǎng)決策者更全面直觀的觀察和分析。使用虛幻引擎中的藍(lán)圖可視化腳本系統(tǒng)與C++語言進(jìn)行編程,便可將從服務(wù)器獲得的數(shù)據(jù)進(jìn)行可視化處理,顯示在三維虛擬控制室的屏幕中。同時(shí),VR手柄控制機(jī)器人行走也是通過藍(lán)圖可視化腳本系統(tǒng)與C++語言編程完成,包含手柄控制程序、自動(dòng)尋路及方向控制程序、接口通信程序等。Ureal Engine 4手柄部分控制程序如圖10所示。

圖10 Ureal Engine 4手柄部分控制程序Fig.10 Ureal Engine 4 Handle Part Control Program

UE4虛擬控制室—運(yùn)動(dòng)控制器組件加載源代碼:

void ABP_MotionController_C_pf563933975::PostLoadSubobjects(FObjectInstancingGraph*OuterInstanceGraph)

{ Super::PostLoadSubobjects(OuterInstanceGraph);

if(bpv__Scene__pf)

{bpv__Scene__pf->CreationMethod = EComponentCreationMethod::Native;}

……

if(bpv__SteamVRChaperone__pf)

{bpv__SteamVRChaperone__pf->CreationMethod = EComponentCreationMethod::Native;}}

4 機(jī)器人性能測(cè)試

機(jī)器人軟硬件系統(tǒng)集成搭建完成后,實(shí)物如圖11所示。

圖11 機(jī)器人實(shí)物模型Fig.11 Robot physical model

機(jī)器人的測(cè)試地點(diǎn)位于山東理工大學(xué)圖書館南側(cè),具體測(cè)試內(nèi)容為機(jī)器人直線行走、停車、轉(zhuǎn)向等遠(yuǎn)程控制的實(shí)時(shí)性和靈敏性,采集的環(huán)境數(shù)據(jù)回傳的實(shí)時(shí)性及視頻回傳的流暢性。行進(jìn)過程中,遠(yuǎn)程控制機(jī)器人在20個(gè)不同的位置進(jìn)行20次數(shù)據(jù)采集,并實(shí)時(shí)回傳各項(xiàng)環(huán)境監(jiān)測(cè)數(shù)據(jù)。

機(jī)器人采集的數(shù)據(jù)均可實(shí)時(shí)回傳至控制室后臺(tái)數(shù)據(jù)庫,在控制室顯示屏上可實(shí)時(shí)顯示采集的各項(xiàng)環(huán)境數(shù)據(jù),數(shù)據(jù)及視頻實(shí)時(shí)傳輸流暢沒有卡頓。試驗(yàn)測(cè)試的每條取樣信息包括所采集各項(xiàng)環(huán)境時(shí)間、經(jīng)緯度、監(jiān)測(cè)數(shù)據(jù)種類及具體數(shù)據(jù)。采集的各項(xiàng)環(huán)境信息數(shù)據(jù)如表1所示。

表1 數(shù)據(jù)采集結(jié)果Table 1 Data acquisition results

測(cè)試結(jié)果表明:機(jī)器人視頻畫面?zhèn)鬏斄鲿?可以實(shí)時(shí)遠(yuǎn)程控制其前進(jìn)、后退、加速、減速等命令,在控制室電腦顯示屏上實(shí)時(shí)可視化顯示機(jī)器人采集到的環(huán)境數(shù)據(jù)及視頻,可視化數(shù)據(jù)顯示結(jié)果如圖12所示。

5 結(jié)論

農(nóng)田環(huán)境監(jiān)測(cè)機(jī)器人將虛擬現(xiàn)實(shí)、三維建模、實(shí)時(shí)通訊、智能傳感與圖形顯示等多種技術(shù)集成應(yīng)用,能夠遠(yuǎn)程實(shí)時(shí)監(jiān)測(cè)、實(shí)時(shí)控制及虛擬體驗(yàn),實(shí)現(xiàn)在線回傳多種農(nóng)田環(huán)境信息及作物影像,完成對(duì)農(nóng)田環(huán)境信息的高效采集。采用4G通信技術(shù)與TCP Socket通信協(xié)議能夠進(jìn)行數(shù)據(jù)和控制指令的傳輸,利用VR虛擬現(xiàn)實(shí)技術(shù)對(duì)采集到的數(shù)據(jù)信息進(jìn)行可視化的顯示及存儲(chǔ)。