基于物聯(lián)網(wǎng)與深度學(xué)習(xí)技術(shù)的農(nóng)作物生長狀況遠(yuǎn)程動態(tài)監(jiān)測系統(tǒng)

任治洲，謝 云，晁志恒，吳駿一

（南京理工大學(xué)紫金學(xué)院 電子工程與光電技術(shù)學(xué)院，江蘇 南京 210046）

0 引 言

中國作為傳統(tǒng)的農(nóng)業(yè)生產(chǎn)大國，農(nóng)耕歷史悠久。傳統(tǒng)農(nóng)耕方式是農(nóng)作物在自然環(huán)境下自然生長，通過農(nóng)戶長時(shí)間總結(jié)耕作經(jīng)驗(yàn)進(jìn)行農(nóng)作物管理。為實(shí)現(xiàn)農(nóng)作物高產(chǎn)、量產(chǎn)，越來越多的優(yōu)質(zhì)植株得以培育，種類多樣的優(yōu)質(zhì)化肥投放使用。雖然這些方式會有增產(chǎn)效果，但對于人口大國而言，這些措施遠(yuǎn)遠(yuǎn)不足以從本質(zhì)上改變農(nóng)耕效率和提高糧食產(chǎn)量。農(nóng)業(yè)大棚成為了科學(xué)養(yǎng)殖農(nóng)作物的解決方案。

為科學(xué)調(diào)控農(nóng)作物生長環(huán)境，減少因惡劣環(huán)境及農(nóng)作物病蟲害等不利因素對農(nóng)作物生長形成負(fù)面影響，研究人員做了很多努力。其中，比較具有代表性的是有線網(wǎng)絡(luò)監(jiān)測、基于無線ZigBee傳感網(wǎng)絡(luò)監(jiān)測等。這些傳感器接收農(nóng)田環(huán)境數(shù)據(jù)信息后，將數(shù)據(jù)轉(zhuǎn)化為模擬信號，傳送至微處理器。并通過無線模組和4G模組將數(shù)據(jù)實(shí)時(shí)上傳反饋。為實(shí)現(xiàn)多節(jié)點(diǎn)監(jiān)測需要利用大量傳感器模塊，在面積較大的養(yǎng)殖地域這一方案難以實(shí)現(xiàn)。

為滿足利用較少傳感器模塊實(shí)現(xiàn)廣域動態(tài)監(jiān)測農(nóng)作物生長環(huán)境與病害的功能，本文結(jié)合物聯(lián)網(wǎng)、深度學(xué)習(xí)、機(jī)器視覺等技術(shù)，設(shè)計(jì)了一套具有廣域動態(tài)監(jiān)測農(nóng)作物環(huán)境、識別農(nóng)作物病害以及遠(yuǎn)程云端交互功能的農(nóng)作物生長狀況監(jiān)測系統(tǒng)。

1 整體設(shè)計(jì)

農(nóng)作物生長狀況遠(yuǎn)程動態(tài)監(jiān)測系統(tǒng)主要分為識別監(jiān)測系統(tǒng)、無線通信系統(tǒng)、數(shù)據(jù)交互系統(tǒng)、移動小車系統(tǒng)等，識別監(jiān)測系統(tǒng)又細(xì)分為農(nóng)作物病害識別系統(tǒng)、農(nóng)作物環(huán)境監(jiān)測系統(tǒng)。移動小車搭載識別監(jiān)測系統(tǒng)，自動建圖巡航采集并標(biāo)記節(jié)點(diǎn)位置數(shù)據(jù)后上傳至主控微處理器。主控微處理器將數(shù)據(jù)處理整合后發(fā)送至無線通信平臺，之后再將數(shù)據(jù)上傳至云服務(wù)器，實(shí)現(xiàn)手機(jī)端與云空間的數(shù)據(jù)交互。系統(tǒng)整體框架如圖1所示。

圖1 系統(tǒng)整體框架

2 農(nóng)作物病害識別系統(tǒng)設(shè)計(jì)

農(nóng)作物病害識別系統(tǒng)硬件主要包括攝像頭模塊和二自由度舵機(jī)云臺。攝像頭利用長焦鏡頭自動對焦農(nóng)作物葉片，采取隨機(jī)節(jié)點(diǎn)停車自動掃描葉片的方式，識別葉片所患病害并反饋至主控微處理器。主控儲存節(jié)點(diǎn)數(shù)據(jù)（包括節(jié)點(diǎn)位置與監(jiān)測時(shí)間）與農(nóng)作物所受病害情況。下位機(jī)主控芯片為STM32F103RCT6，攝像頭采用NXP-OpenArt-mini。主控控制舵機(jī)云臺180°掃描節(jié)點(diǎn)，攝像頭搭載已訓(xùn)練好的深度學(xué)習(xí)模型識別植物蟲害，并通過串口將數(shù)據(jù)傳輸至下位機(jī)主控。農(nóng)作物病害識別系統(tǒng)硬件框架如圖2所示。

圖2 農(nóng)作物病害識別系統(tǒng)硬件框架

2.1 硬件設(shè)計(jì)

2.1.1 攝像頭

攝像頭選用適合機(jī)器視覺應(yīng)用的恩智浦OpenArt-mini，其與OpenMV相比，在神經(jīng)網(wǎng)絡(luò)模型的部署和訓(xùn)練方面更有優(yōu)勢。OpenArt攝像頭采用MIMXRT1064芯片，該芯片主頻高達(dá)600 MHz，具備1 MB片內(nèi)SRAM、4 MB片內(nèi)FLASH和32 MB外置SDRAM，配備高速SPI總線與OpenMV機(jī)器視覺庫，擁有RT-Thread操作系統(tǒng)內(nèi)核、驅(qū)動和開發(fā)環(huán)境。

2.1.2 二自由度舵機(jī)云臺

本文基于二自由度云臺搭載攝像頭進(jìn)行掃描，采用MG996舵機(jī)。利用比例控制，轉(zhuǎn)動角度以脈沖占空比決定，使用舵機(jī)帶動連接軸控制平臺傾角，該方式響應(yīng)速度快、力矩大、使用方便。搭載OpenArt攝像頭可實(shí)現(xiàn)水平方向180°平掃和垂直方向60°掃描，能夠識別較廣闊范圍內(nèi)的圖像信息。

2.1.3 下位機(jī)核心主控

下位機(jī)核心主控采用STM32F103RCT6芯片，該單片機(jī)包含32位高速時(shí)鐘、存儲器、內(nèi)置溫度傳感器、Cortex-M3內(nèi)核等。作為高速嵌入式存儲器，其擁有一路PWM定時(shí)器、三路通用16位定時(shí)器、2個(gè)12位ADC通道以及2個(gè)IC數(shù)據(jù)接口與API數(shù)據(jù)傳輸接口。單片機(jī)功耗低，工作電壓為2.0～3.6 V。

2.2 軟件設(shè)計(jì)

2.2.1 舵機(jī)云臺控制

舵機(jī)云臺由下位機(jī)主控STM32F103RCT6進(jìn)行控制。編程時(shí)，首先由自定義函數(shù)initPWM（ ）初始化定時(shí)器，開啟TIM時(shí)鐘設(shè)置分頻；初始化PWM輸出通道；通過setAngle（ ）函數(shù)改變占空比控制舵機(jī)旋轉(zhuǎn)角度；借助已知角度與占空比之間的關(guān)系：servo_temp=angle×200/180+50監(jiān)測小車是否到達(dá)固定節(jié)點(diǎn)，到達(dá)后，中斷開啟一次循環(huán)，定時(shí)遞增、遞減占空比，完成水平方向180°平掃后歸正。軟件流程如圖3所示。

圖3 軟件流程

2.2.2 識別植物病害的神經(jīng)網(wǎng)絡(luò)模型搭建

（1）數(shù)據(jù)集構(gòu)建

數(shù)據(jù)采集與分類以葡萄葉片為研究對象，收集了葡萄葉片褐斑病、輪斑病、黑腐病、正常等4種葡萄葉片圖像樣本，每類葡萄葉片圖像樣本量各100 張，共計(jì)400 張葡萄葉片圖片。對收集的原始病害圖像按病害種類進(jìn)行分類，制作病害標(biāo)簽，建立分類后的3種病害圖像和正常圖像樣本集，如圖4所示。

圖4 葡萄葉片病害分類數(shù)據(jù)集樣例

對400張圖像進(jìn)行數(shù)據(jù)增廣處理。利用對比度變化、引入高斯噪聲、尺度變換等進(jìn)行處理，將樣本量擴(kuò)增10倍。

3 模型訓(xùn)練

利用Inception V1訓(xùn)練農(nóng)作物病害識別模型，并選用谷歌提出的用于提取圖像特征的深度卷積神經(jīng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)深度有22層，每個(gè)模塊包含1×1、3×3、5×5的卷積層和池化層。使用ReLu作為激活函數(shù)，Inception V1原始網(wǎng)絡(luò)結(jié)構(gòu)圖與降低特征圖厚度后的Inception V1網(wǎng)絡(luò)結(jié)構(gòu)如圖5、圖6所示。

圖5 原始Inception V1網(wǎng)絡(luò)結(jié)構(gòu)

圖6 降低特征圖厚度的Inception V1網(wǎng)絡(luò)結(jié)構(gòu)

本項(xiàng)目利用Edgeimpulse平臺部署Tensorflow lite，并將模型裝載到NXP-OpenArt攝像頭中。

4 移動小車系統(tǒng)

移動小車系統(tǒng)分為上位機(jī)和下位機(jī)，使用Jetson Nano B01開發(fā)板搭載Ubuntu 18.04系統(tǒng)，運(yùn)用ROS系統(tǒng)Meldic實(shí)現(xiàn)地圖的創(chuàng)建算法，以及導(dǎo)航、避障、信息采集等功能。下位機(jī)以STM32F103RCT6為主控芯片，對電機(jī)和車舵機(jī)進(jìn)行直接控制。上位機(jī)在實(shí)現(xiàn)導(dǎo)航算法的同時(shí)，會將舵機(jī)和電機(jī)的數(shù)據(jù)通過串口發(fā)送到下位機(jī)進(jìn)行控制并執(zhí)行。

小車系統(tǒng)搭載激光雷達(dá)和RGBD相機(jī)實(shí)現(xiàn)數(shù)據(jù)融合建圖，增強(qiáng)了系統(tǒng)魯棒性和對農(nóng)業(yè)大棚環(huán)境的適應(yīng)性。建圖時(shí)加入了回環(huán)檢測，當(dāng)機(jī)器人路徑構(gòu)成回路時(shí)會對之前建立的地圖進(jìn)行校正。為獲取更精確的數(shù)據(jù)，本文利用編碼器里程計(jì)和視覺里程計(jì)融合數(shù)據(jù)進(jìn)行定位校準(zhǔn)。通過使用電機(jī)自帶的霍爾編碼器，實(shí)時(shí)采集小車的位移數(shù)據(jù)，再由下位機(jī)將距離信息通過串口發(fā)送到上位機(jī)，配合角度傳感器構(gòu)建編碼器里程計(jì)，以此校準(zhǔn)激光雷達(dá)里程計(jì)的定位?；谌S點(diǎn)云地圖導(dǎo)航，對農(nóng)業(yè)大棚環(huán)境所建立的地圖進(jìn)行路徑規(guī)劃，設(shè)置定點(diǎn)巡邏，在一定區(qū)域范圍內(nèi)導(dǎo)航。環(huán)境監(jiān)測系統(tǒng)由移動小車搭載，實(shí)現(xiàn)定點(diǎn)巡邏與動態(tài)測量，硬件結(jié)構(gòu)如圖7所示。

圖7 硬件結(jié)構(gòu)

5 農(nóng)作物生長環(huán)境監(jiān)測系統(tǒng)

農(nóng)作物生長環(huán)境也是農(nóng)作物是否能健康生長的重要指標(biāo)，所以需設(shè)置由移動小車搭載的動態(tài)高精度傳感器。其中，高精度傳感器包括SHT20高精度空氣溫濕度傳感器、BH1750FVI光照傳感器、MG811高精度二氧化碳傳感器、土壤濕度傳感器等，實(shí)時(shí)動態(tài)獲取農(nóng)作物生長環(huán)境的信息，并借助nRF24L01發(fā)送至無線通信系統(tǒng)。傳感器性能指標(biāo)如下：

（1）MG811 高精度二氧化碳傳感器：工作溫度為-20～50 ℃，自帶溫度補(bǔ)償功能，濃度監(jiān)測范圍為0～10 000 ppm（室內(nèi)常規(guī)CO濃度范圍為400～700 ppm）。

（2）SHT20 空氣溫濕度傳感器：測量濕度范圍為20%RH～90%RH，測量溫度范圍為0～50 ℃，測量精度為±2 ℃，具有長期穩(wěn)定性。

（3）土壤濕度傳感器：采用LM393比較器芯片，工作穩(wěn)定性強(qiáng)。探針表面采用鍍鎳處理，可有效防止探針生銹。

（4）BH1750FVI光照傳感器：采用ROHM-BH1750FVI芯片，借助IC通信。光照監(jiān)測范圍為0～65 535 Lux，內(nèi)部自帶電平轉(zhuǎn)換功能。

（5）HC-05 藍(lán)牙模塊：工作頻段為2.4 GHz、傳輸速率為2 Mb/s，工作溫度范圍為-25～75 ℃，工作濕度為10%RH～90%RH，傳輸距離為10 m。

6 無線通信系統(tǒng)與遠(yuǎn)程云端交互

6.1 無線通信系統(tǒng)

無線通信系統(tǒng)由WiFi接收系統(tǒng)和4G遠(yuǎn)程通信系統(tǒng)構(gòu)成，主控采用STM32F103系列單片機(jī)，接收系統(tǒng)采用nRF24L01無線通信模組，用于接收移動小車上搭載的nRF24L01無線通信模組發(fā)出的節(jié)點(diǎn)信息數(shù)據(jù)，數(shù)據(jù)通過串口傳輸至STM32F103主控，主控將數(shù)據(jù)整合后通過4G模組傳輸至云端。通信系統(tǒng)如圖8所示。

圖8 通信系統(tǒng)

6.1.1 nRF24L01傳輸模塊

nRF24L01是由NORDIC公司推出的工作在2.4～2.5 GHz的ISM頻段單片無線收發(fā)芯片，在接收模式下可接收6路不同通道的數(shù)據(jù)。nRF24L01傳輸模塊原理如圖9所示。

圖9 nRF24L01傳輸模塊電路

6.1.2 4G傳輸模塊

ATK-M751是正點(diǎn)原子開發(fā)的一款高性能全網(wǎng)通4G DTU產(chǎn)品，具有高速率、低延遲和無線數(shù)據(jù)數(shù)傳功能，支持TCP/UDP/HTTP等協(xié)議，可連接多種云服務(wù)器，支持上位機(jī)配置參數(shù)，同時(shí)也支持RS 232和RS 485通信協(xié)議。4G傳輸模塊原理如圖10所示。

圖10 4G傳輸模塊電路

6.2 遠(yuǎn)程云端交互

云服務(wù)器采用騰訊云平臺，客戶端采用騰訊連連微信小程序，用于實(shí)現(xiàn)節(jié)點(diǎn)數(shù)據(jù)的讀取與交互。

7 仿真及測試

用戶可以移動手機(jī)端登錄騰訊連連微信小程序，從交互界面查看數(shù)據(jù)。手機(jī)端界面如圖11所示。

圖11 騰訊連連交互界面

OpenART-mini攝像頭進(jìn)行葡萄葉片病害的實(shí)際狀況測試，識別情況如圖12所示。

圖12 攝像頭實(shí)物測試情況

借助EDGE impulse深度學(xué)習(xí)平臺，對待測農(nóng)作物葉片進(jìn)行特征提取，搭建訓(xùn)練模型，訓(xùn)練迭代20次后得到模型特征情況及準(zhǔn)確率，如圖13、圖14所示。

圖13 特征瀏覽器

圖14 模型特征情況

8 結(jié) 語

隨著科學(xué)農(nóng)業(yè)栽培技術(shù)與自動化控制技術(shù)的發(fā)展，農(nóng)作物栽培大多采用大棚種植。而農(nóng)場管理需要動用大規(guī)模人力資源。為優(yōu)化農(nóng)作物生長環(huán)境，實(shí)時(shí)動態(tài)監(jiān)測農(nóng)作物生長狀況，采用上述方案遠(yuǎn)程監(jiān)測農(nóng)作物病害狀況，實(shí)時(shí)采集農(nóng)作物生長環(huán)境信息，實(shí)時(shí)提供反饋與預(yù)警。

基于物聯(lián)網(wǎng)與深度學(xué)習(xí)技術(shù)的農(nóng)作物生長狀況遠(yuǎn)程動態(tài)監(jiān)測系統(tǒng)一定程度上使農(nóng)業(yè)耕作更加科學(xué)化，并促進(jìn)了農(nóng)作物高產(chǎn)、量產(chǎn)，具有一定的實(shí)際應(yīng)用價(jià)值。