黃成龍,柯宇曦,華向東,楊俊雅,孫夢雨,楊萬能
邊緣計算在智慧農業(yè)中的應用現(xiàn)狀與展望
黃成龍1,柯宇曦1,華向東1,楊俊雅1,孫夢雨1,楊萬能2
(1. 華中農業(yè)大學工學院,武漢 430070;2. 華中農業(yè)大學作物遺傳改良國家重點實驗室,武漢 430070)
互聯(lián)網技術快速發(fā)展使得數(shù)據(jù)量劇增,云計算的數(shù)據(jù)集中處理模式存在實時性不足、能耗過高以及數(shù)據(jù)安全等一系列問題。邊緣計算是在靠近數(shù)據(jù)源端執(zhí)行計算的分散處理模式,與云計算相比具有低延遲、低成本、安全性高、個性化設計等優(yōu)勢。隨著智慧農業(yè)迅速發(fā)展,結合深度學習的農業(yè)應用屢見不鮮,如作物病害檢測、生長環(huán)境監(jiān)測、作物自動采摘、無人農場管理等,邊緣計算可以為農業(yè)多場景、復雜任務提供高效、可靠的新型數(shù)據(jù)處理方案。該研究概述了邊緣計算的發(fā)展,計算架構及主要優(yōu)勢;介紹了邊緣計算在農業(yè)中的應用背景,結合文獻量分析,歸納了邊緣計算在農業(yè)上的主要應用場景及相關智能農業(yè)裝備,調研了現(xiàn)有常用邊緣計算設備及性能參數(shù),總結了適合邊緣計算的主流深度學習算法及模型壓縮方法。研究表明邊緣計算在智慧農業(yè)中的應用有效促進了農業(yè)的數(shù)字化、智能化,未來在多場景、多功能邊緣計算智能農業(yè)裝備開發(fā)等領域將面臨重大挑戰(zhàn)和機遇。
物聯(lián)網;邊緣計算;云計算;智慧農業(yè);深度學習;模型壓縮;模型部署
近年來,隨著互聯(lián)網技術的快速發(fā)展,遠程高性能服務器集中解決計算與存儲問題的云計算模式推動著萬物互聯(lián)和人工智能的飛速發(fā)展與廣泛應用,極大改善了社會生活和工業(yè)生產方式[1]。在物聯(lián)網與云技術的蓬勃發(fā)展下,一系列農業(yè)場景與云計算結合,實現(xiàn)數(shù)字化、自動化,有力推動了智慧農業(yè)的發(fā)展[2]。思科全球云指數(shù)報告指出,2016年全球云數(shù)據(jù)中心數(shù)據(jù)量為6.0 ZB(1 ZB等于10億TB),到2021年,這一數(shù)字暴漲3倍,達到了19.5 ZB,云數(shù)據(jù)中心流量占總數(shù)據(jù)流量的95%[3]。在數(shù)據(jù)量急劇上升的萬物互聯(lián)時代,云計算的集中處理存在以下不足:1)實時性不足,隨著物聯(lián)網飛速發(fā)展,眾多終端設備產生的數(shù)據(jù)量劇增,使得網絡帶寬面臨巨大負擔,導致數(shù)據(jù)傳輸延遲時間大大增加,難以滿足人們日常工作生活需求[4]。2)能耗過高,云服務器數(shù)據(jù)激增,能耗大大增加,僅以中國數(shù)據(jù)中心來看,每年用電量以超過10%的速度增長,至2021年年耗電已超過1 000億kW·h[5]。3)數(shù)據(jù)安全問題,大數(shù)據(jù)時代下社會生活、工業(yè)生產等隱私數(shù)據(jù)直接上傳云數(shù)據(jù)中心會帶來一系列安全隱患,受隱私協(xié)議霸王條款、廠商技術漏洞和黑客攻擊等問題影響,隨時存在數(shù)據(jù)泄露與丟失的風險[6]。
為解決云計算實時性不足、能耗過高、及數(shù)據(jù)安全問題,邊緣計算采用在靠近數(shù)據(jù)源端執(zhí)行計算的分散處理模式,以此來降低云計算數(shù)據(jù)中心的計算負載,從而實現(xiàn)降低能耗以及減少網絡帶寬的壓力[7]。2016年11月30日,邊緣計算產業(yè)聯(lián)盟在北京成立,由華為、英特爾公司、中國信息通信研究院、軟通動力等單位組成,在邊緣計算產業(yè)峰會上,正式發(fā)布《邊緣計算參考架構2.0》[8]。其中邊緣計算定義為:在靠近數(shù)據(jù)源的一側,采用網絡、計算、存儲的分布式平臺,就近提供邊緣智能服務。邊緣計算可以為不同行業(yè)提供經濟、可行、創(chuàng)新的解決方案:1)智慧水務,基于邊緣計算的智慧供水系統(tǒng),實現(xiàn)故障自診斷、可預測性維護,據(jù)華為云智能邊緣平臺報告指出結合邊緣計算的智慧水務系統(tǒng)故障時間和維護人力減少60%;2)智慧照明,基于邊緣計算的智慧照明系統(tǒng),實現(xiàn)路燈的遠程、實時、自適應控制,與傳統(tǒng)照明系統(tǒng)相比能耗降低80%,運維成本降低90%;3)智能樓宇,基于邊緣計算的智慧樓宇,實現(xiàn)樓宇多系統(tǒng)協(xié)同控制和智能化運營,比較供暖、通風和空調系統(tǒng)耗能,相比傳統(tǒng)運行方式節(jié)省了36.75%以上的能源[8-9]。綜上所述,邊緣計算滿足行業(yè)在敏捷聯(lián)接、實時業(yè)務、智能決策、數(shù)據(jù)安全等方面的關鍵需求,是行業(yè)數(shù)字化升級不可或缺的要素。
隨著中國老齡化加劇、城市化發(fā)展和氣候變化,傳統(tǒng)農業(yè)發(fā)展面臨巨大挑戰(zhàn),智慧農業(yè)作為農業(yè)生產的高級階段[10],通過人工智能、物聯(lián)網、云計算等現(xiàn)代信息技術與傳統(tǒng)農業(yè)相結合,實現(xiàn)農業(yè)無人化、自動化、智能化生產和管理。隨著智慧農業(yè)的快速發(fā)展,越來越多智能農業(yè)終端被應用,通過實時現(xiàn)場數(shù)據(jù)收集、數(shù)據(jù)分析和執(zhí)行機構控制,提高農業(yè)生產的質量和數(shù)量[11]。環(huán)境傳感器,可以獲取環(huán)境濕度、溫度、光照、二氧化碳含量,及土壤水分pH值,實現(xiàn)動植物生長環(huán)境信息的動態(tài)監(jiān)測[12]。動植物生長監(jiān)測傳感器,可以獲取動植物的光譜、圖像、聲音、電磁等信息,實現(xiàn)動態(tài)生長、病害、產量等關鍵性狀的動態(tài)解析[13]。智能裝備傳感器,可以獲取如拖拉機、收獲機、農業(yè)機器人、無人機、和末端執(zhí)行器的作業(yè)狀態(tài)信息,實現(xiàn)農業(yè)裝備的智能監(jiān)測和控制[14]。基于各種傳感器收集的多維度農業(yè)信息,構建大數(shù)據(jù)分析模型,可以為動物養(yǎng)殖、植物生產裝備作業(yè)提供智能管理決策,如智能灌溉、變量施肥、精準飼養(yǎng)、疾病診斷等,從而降低農業(yè)生產、運營成本[15]。智慧農業(yè)按照“感知-決策-執(zhí)行”內在邏輯,可以分為農業(yè)智能感知,數(shù)據(jù)分析與決策,智能裝備執(zhí)行3個重要部分,其中數(shù)據(jù)分析與決策離不開云計算、邊緣計算平臺的支撐。
邊緣計算作為一種新型計算模式,將其應用在智慧農業(yè)上,實現(xiàn)在數(shù)據(jù)采集邊緣端完成數(shù)據(jù)處理和決策,可以有效克服云計算存在的瓶頸,顯著提高數(shù)據(jù)安全性、處理實時性,同時降低能耗、成本。本文介紹了邊緣計算的架構、優(yōu)勢,綜述了智慧農業(yè)發(fā)展現(xiàn)狀,以及邊緣計算在農業(yè)應用上的文獻發(fā)表情況;分析了邊緣計算常用的核心設備,以及主流的邊緣計算人工智能算法;討論了邊緣計算主要智能農業(yè)裝備以及農業(yè)應用場景;總結了現(xiàn)階段邊緣計算在智慧農業(yè)應用上存在的問題,并對未來發(fā)展進行了展望。
邊緣計算的架構如圖1所示,其在終端與云端之間引入邊緣計算端,代替云端處理部分數(shù)據(jù)[16]。終端為用戶數(shù)據(jù)采集端,通過智能手機、工業(yè)相機等設備收集原始數(shù)據(jù)上傳至云端或邊緣計算端進行計算與存儲。云端由多個高性能服務器與存儲設備構成,可以從終端獲取訓練數(shù)據(jù)完成復雜模型的訓練和優(yōu)化,并將訓練好的模型部署在邊緣計算端,實現(xiàn)對邊緣設備的有效調度以及針對特定任務的數(shù)據(jù)處理[17]。邊緣計算端,可以快速響應終端請求并將處理結果反饋至終端,為用戶提供更好的實時服務。
在網絡邊緣處理數(shù)據(jù)可以降低網絡負載和通信延遲,降低移動節(jié)點的能源消耗,解決實時響應和帶寬限制等問題。作為人工智能的重要分支,深度學習憑借大量神經網絡層數(shù)可以解決眾多復雜問題,然而其巨大計算量導致硬件算力需求較高,而傳統(tǒng)的深度學習服務器存在體積大、移動性差,成本高的不足,很難進行大規(guī)模應用[18]。邊緣計算設備包括現(xiàn)場可編程邏輯門陣列[19](Field-Programmable Gate Array,F(xiàn)PGA),數(shù)字信號處理器[20](Digital Signal Processor,DSP),片上系統(tǒng)[21](System-on-a-Chip,SOC),樹莓派[22](Raspberry Pi),Nvidia Jetson[23]和智能移動終端等,均具有較強的本地運算能力,可以部署深度學習人工智能模型,實現(xiàn)采集數(shù)據(jù)的快速準確解析。施耐德電氣公司對邊緣計算部署的成本效益做出了分析,將邊緣計算處理器與存儲設備整合在1個機柜中,其工作處理能力相當于13個機柜的云服務器的處理能力,尺寸縮減的同時提高了性能,邊緣計算數(shù)據(jù)中心相比于云計算數(shù)據(jù)中心的投資成本節(jié)省42%[24]。邊緣計算顯著降低了人工智能算法部署的硬件成本,提高了嵌入式開發(fā)的可行性,使得一系列人工智能應用成為了可能。
圖1 邊緣計算架構
邊緣計算具有低成本、低能耗、低延時、數(shù)據(jù)安全的優(yōu)勢,已廣泛應用工業(yè)生產、社會生活的智能嵌入式產品開發(fā)。王梓儒[25]分別在消費級ARM平臺即樹莓派3B+,高性能嵌入式GPU Nvidia Jetson TX2以及Android智能手機上部署了深度目標檢測網絡,給出了3種不同平臺的邊緣計算部署方案。張釗[26]通過在Nvidia Jetson TX2上部署改進后的YOLOV4-tiny算法,設計了基于邊緣計算的視頻監(jiān)控系統(tǒng),并對煤層氣井站視頻數(shù)據(jù)進行實時監(jiān)測,平均檢測精度達到92.15%,單張圖片檢測時長為0.102 s。Ma等[27]以華為atlas 200芯片作為智能處理芯片,采用參數(shù)量化的模型壓縮方法部署殘差網絡與特征金字塔融合網絡,設計了電網結冰智能監(jiān)測裝置計算模塊,單幀檢測速度達170 ms。Kim等[28]通過在Nvidia Jetson NANO上部署YOLOV3-tiny目標檢測模型,構建了基于邊緣計算的對象運動與跟蹤系統(tǒng),通過分層次利用幀差計算、目標檢測等輕任務,自適應地釋放不必要的待機對象運動和運動跟蹤模型,可以節(jié)省高達78.5%的GPU內存占用。
綜上所述,相較于云計算,邊緣計算存在以下優(yōu)勢:
1)低延遲,在靠近數(shù)據(jù)端進行數(shù)據(jù)處理,避免了向云數(shù)據(jù)中心請求響應,可以降低網絡延遲,實現(xiàn)更快速、更高效的數(shù)據(jù)分析和處理,研究表明,與云端相比,基于邊緣計算的分支神經網絡模型的推理延遲平均降低36%[29]。
2)低成本,網絡邊緣產生的大量數(shù)據(jù)無需全部上傳云端,減輕了網絡帶寬的壓力,同時降低了數(shù)據(jù)傳輸帶來的巨大能耗。施耐德電氣公司對邊緣計算數(shù)據(jù)中心的成本效益分析中提到,相同算力條件下,邊緣數(shù)據(jù)中心維護成本相較云數(shù)據(jù)中心每平方米節(jié)省1 600美元,節(jié)省成本42%[24],因此在本地設備上的數(shù)據(jù)管理成本大大低于云和數(shù)據(jù)中心網絡。
3)安全性高,避免數(shù)據(jù)直接傳輸云端帶來的隱私泄露風險,重要數(shù)據(jù)可以直接在邊緣計算端進行加密處理或者保存。邊緣計算端更貼近數(shù)據(jù)采集設備,訪問攻擊的難度大幅提升,提高了數(shù)據(jù)安全性。
4)個性化設計,通過將邊緣計算和人工智能結合,可以持續(xù)分析客戶數(shù)據(jù)及行為,提供實時交互,為智能設備提供自我修復、自我優(yōu)化的實時處理,實現(xiàn)即時個性化。
農業(yè)是社會和國民經濟的基礎,及時獲取可靠的農業(yè)信息,如作物生長和產量,對于制定糧食安全、減貧和可持續(xù)發(fā)展的相關政策和計劃至關重要[30]。隨著大數(shù)據(jù)、物聯(lián)網、云計算、人工智能等現(xiàn)代信息技術在農業(yè)上的應用,第三次農業(yè)革命-農業(yè)智能革命已經到來[31]。智慧農業(yè)是以信息和知識為核心要素,通過將物聯(lián)網、大數(shù)據(jù)、人工智能、云計算等先進信息技術與農業(yè)深度融合,實現(xiàn)農業(yè)信息感知、智能控制、精準決策、高效作業(yè)的全新的農業(yè)生產管理方式,是農業(yè)發(fā)展從信息化到智能化的高級階段[32]。農業(yè)物聯(lián)網通過傳感器和軟件通過移動平臺或者電腦平臺對農業(yè)生產進行控制,使得傳統(tǒng)農業(yè)具有“智慧”,2020年7 500萬物聯(lián)網設備用于農業(yè)領域為智慧農業(yè)提供了大量智能感知和控制終端[33]。農業(yè)人工智能,通過研究圖像識別、智能控制、動植物生長模型和專家系統(tǒng)等智能算法,實現(xiàn)對農業(yè)大數(shù)據(jù)的智能分析處理、并作出有效決策,使農業(yè)生產過程更加智能化、成本效益更高[34]。為實現(xiàn)農業(yè)物聯(lián)網數(shù)據(jù)分析和處理,亟需能部署深度學習人工智能算法的高效、可靠、低成本計算平臺。
雖然云計算基礎架構可以為分布式農業(yè)物聯(lián)網傳感器、人工智能算法提供集中的強大算力基礎,但是多個網絡層上傳感器異構數(shù)據(jù)的傳輸、和集中的數(shù)據(jù)處理將帶來巨大網絡帶寬負擔、能源消耗、信息安全風險[35]。邊緣計算通過終端實時處理減少網絡負載和信息安全風險,可以有效彌補云計算的不足,為智慧農業(yè)提供了新的計算架構[36]。Alharbi等[37]在智能農業(yè)環(huán)境下,采用混合整數(shù)線性規(guī)劃進行了數(shù)學建模,對結合邊緣計算的集成架構模式與傳統(tǒng)的實現(xiàn)方法進行了分析和比較,證明結合邊緣計算的新型架構模式降低總能耗36%,碳排放量43%,可以將網絡流量減少86%,從而減少網絡擁塞,具有良好的應用前景。此外,邊緣計算較云計算而言有著低延遲、低帶寬成本、移動性支持和高可擴展性等優(yōu)勢,可以為農業(yè)應用提供成本低、實時性高、適用性強的解決方案[38],為智慧農業(yè)發(fā)展提供新的技術支撐。
本文對2018—2021年國內外關于邊緣計算在農業(yè)應用的相關文獻進行統(tǒng)計分析,結果如圖2所示。其中國外文獻以Web of science為來源,國內文獻以CNKI為來源,以邊緣計算,農業(yè)為關鍵詞進行篩選。邊緣計算概念是2016年底提出,2018年已經有學者開始將邊緣計算應用于農業(yè)領域,2018—2019年為探索階段僅有少量相關文獻的。隨著數(shù)據(jù)量激增,云計算出現(xiàn)網絡延遲,能耗大,數(shù)據(jù)安全等一系列問題,大量國內外研究者開始關注邊緣計算在農業(yè)中的應用,2020年相比前一年國內文獻數(shù)量提高約3倍。2021年得益于系列邊緣計算產業(yè)聯(lián)盟成員的關注及投入,眾多高算力邊緣設備持續(xù)推出,邊緣計算在農業(yè)中應用的相關研究持續(xù)增長,且首次出現(xiàn)中文文獻發(fā)表量超過外文文獻[39]。綜上所述,目前邊緣計算在農業(yè)上的應用處于快速發(fā)展階段,可以預測未來將為越來越多的農業(yè)場景提供新的解決方案。
圖2 邊緣計算農業(yè)應用國內外文獻量
現(xiàn)階段,邊緣計算的農業(yè)應用通常與人工智能算法結合,旨在實現(xiàn)動植物生長動態(tài)監(jiān)測、環(huán)境實時檢測、和農業(yè)裝備作業(yè)智能決策。根據(jù)現(xiàn)有文獻報道,邊緣計算在農業(yè)中應用的場景如表1所示,主要分為環(huán)境監(jiān)測與病蟲害識別、作物生長及產量預測、農業(yè)偵察與路徑規(guī)劃等方面。此外,表中對不同邊緣計算農業(yè)應用場景下,測量目標、采用的邊緣計算設備、網絡模型、檢測速度與精度指標,進行了歸納總結。
1)環(huán)境監(jiān)測與病蟲害識別
病蟲害識別與環(huán)境檢測是目前邊緣計算最常見農業(yè)應用場景。劉蘇偉[40]基于邊緣計算與深度學習構建了玉米葉片病害識別系統(tǒng),通過采集玉米葉片圖像,對葉斑病、葉枯病、銹病以及健康葉片進行識別,選用ResNet18模型測試精確率達85.4%,當終端和邊緣設備連接并傳輸數(shù)據(jù)時,最大速度達5.58 MB/s。牛愷銳等[41]基于深度學習框架構建了一個特征提取網絡,并部署在海思Hi3559A芯片上,實現(xiàn)小麥、水稻病蟲害識別,模型準確率分別為92%、97%,識別速度達20.0幀/s且功耗小于5 W,該邊緣計算嵌入式終端相較于傳統(tǒng)服務器具有低成本、低功耗、輕量化等優(yōu)勢。李鳳迪[42]構建了基于深度學習的松材線蟲病樹檢測方法,選用樹莓派 4B作為邊緣計算平臺部署訓練好的MobileNetv2-SSDLite模型并集成在大疆M600無人機上,實現(xiàn)松材線蟲病樹的在線監(jiān)測,識別速度達到5幀/s。孫志朋[43]通過在樹莓派部署卷積神經網絡對水稻害蟲圖像進行識別,準確率可達到89%,利用邊緣設備完成了害蟲在線識別計數(shù)、水稻生長環(huán)境監(jiān)測,減少了云端計算壓力。Guillén等[44]基于深度學習搭建了農業(yè)低溫預測邊緣計算平臺,以Nvidia Jetson AGX Xavier為邊緣設備部署LSTM (Long Short-Term Memory)模型實現(xiàn)溫度預測,推理時間為0.3 s,預測值的平均誤差小于0.8 ℃,設備耗電量小于0.08 kW·h。綜上所述,通過邊緣設備部署人工智能算法,可以實現(xiàn)高精度、實時性的環(huán)境監(jiān)測和病蟲害識別,為農業(yè)人工智能應用提供了新的技術途徑。
2)作物生長及產量預測
作物生長及產量預測是邊緣計算在農業(yè)上的應用領域之一,通過邊緣設備上部署機器學習預測模型,可以大大減少預測環(huán)節(jié)所用時間。Park等[45]將邊緣計算技術融入智能農場中,分析環(huán)境和生長數(shù)據(jù)獲取關鍵參數(shù),以此來預測作物生長及最終產量,通過在樹莓派上部署LSTM模型對櫻桃番茄的產量進行預測,得到預測值均方誤差為0.045,預測精度較高。Coviello等[46]通過智能手機對葡萄產量進行測算,使用設計的計數(shù)網絡GBCNet在兩個原始數(shù)據(jù)集 CR1和CR2 上進行測試,檢測的平均百分比誤差在0.85%~11.73%,手機拍攝和處理單張圖片時間小于1 s,具有較好的便攜性和較高的預測效率。綜上所述,與服務器端數(shù)據(jù)采集、上傳、分析及模型預測的步驟相比,邊緣計算設備可以直接實現(xiàn)現(xiàn)場數(shù)據(jù)采集與模型預測,且具有較高的預測精度和效率,可為精準農業(yè)發(fā)展助力。
3)農業(yè)偵察與無人機路徑規(guī)劃
農業(yè)偵察與無人機路徑規(guī)劃,是農業(yè)裝備智能作業(yè)的重要內容。與所有數(shù)據(jù)傳輸?shù)皆撇煌?,通過邊緣節(jié)點與無人機等傳感器連接提供了近數(shù)據(jù)端、低延時、低成本的智能數(shù)據(jù)處理與決策方案。Yang等[47]結合邊緣計算提出了一種無人機自適應作物偵察機制,將EDANet模型部署在Nvidia Jetson TX2上,結合無人機在多個角度對水稻進行偵察,可以將稻田偵察速度提高36%,準確率達99.25%。Chen等[48]結合邊緣計算建立了無人機害蟲智能識別系統(tǒng),在Nvidia Jetson TX2上部署基于YOLOv3-tiny的無人機果園乳頭狀錐蟲智能識別模型,實現(xiàn)害蟲快速準確定位,并規(guī)劃出最優(yōu)無人機農藥噴灑路徑,與傳統(tǒng)路徑相比縮短19%,且減少了87%的水消耗量,節(jié)省了53%的工作時間;此外還可以將害蟲位置和產生情況傳輸?shù)皆贫艘员阌涗浐头治鲎魑锷L情況。由此可知,通過嵌入式邊緣計算設備和無人機結合,可以部署復雜的人工智能模型,實現(xiàn)高精度農業(yè)偵察和最優(yōu)路徑規(guī)劃。
表1 邊緣計算在農業(yè)中的應用場景
根據(jù)文獻報道目前基于邊緣計算的智能農業(yè)裝備如圖3所示,主要分為智能農業(yè)無人機[66]、智能農業(yè)機器人[67]以及農業(yè)智能移動終端[68]。邊緣設備與無人機結合常用于執(zhí)行雜草、蟲害檢測、路徑規(guī)劃和農藥自動噴灑等任務;與地面農業(yè)機器人結合實現(xiàn)農作物實時檢測,可完成作物采摘、除草、實時環(huán)境監(jiān)測等任務;結合智能移動端開發(fā)的應用程序為用戶提供了更加快捷方便的農業(yè)圖像采集和數(shù)據(jù)處理方案。
1)智能農業(yè)無人機,作為一種新型的信息獲取載體,無人機因其操作靈活、適應性高,廣泛應用于各種農業(yè)場景,尤其是在農藥噴灑、作物蟲害監(jiān)測、地形勘測等方面[69]。通過在無人機上部署邊緣計算核心設備,在空中作業(yè)的過程中,對采集到的圖像進行實時處理,自動進行路徑規(guī)劃、作物病害識別,完成除草、農藥噴灑、地圖繪制等作業(yè),減少后續(xù)數(shù)據(jù)傳輸、遠程處理等步驟,提高工作效率。如Ukaegbu等[70]基于無人機和樹莓派3B,開展飛行作業(yè)過程中雜草檢測與除草劑自動噴灑研究,實現(xiàn)0.5 m的飛行高度下雜草檢測時間小于1 s,精度大于98%;Camargo等[55]在邊緣設備Nvidia Jetson AGX Xavier上部署ResNet-18 DCNN(Dynamic Convolution Neural Network,動態(tài)卷積神經網絡)模型實現(xiàn)雜草與作物智能檢測,總體準確率為94%,檢測速度達到2.2 幀/s,實現(xiàn)雜草地圖的在線繪制;Partel等[62]開發(fā)了一種智能除草噴霧器,以Nvidia Jetson TX2作為邊緣計算端部署YOLOV3-tiny模型完成目標雜草識別,平均檢測精度達90%,速度達到22幀/s。綜上所述,結合邊緣計算端與無人機設備可以在飛行過程中執(zhí)行數(shù)據(jù)分析任務,減少了數(shù)據(jù)交互帶來的時間成本,使得自主路徑規(guī)劃作業(yè)成為可能,提高了工作效率。
圖3 基于邊緣計算的智能農業(yè)裝備[68]
2)智能農業(yè)機器人,隨著人工智能技術飛速發(fā)展,智能農業(yè)機器人在內部嵌入邊緣計算平臺,可以直接在邊緣側實現(xiàn)對圖像信息的分析和決策,可以完成智能播種、種植、耕作、采摘、收割、分選等一系列工作[71]。部署人工智能算法的農業(yè)機器人,相較于傳統(tǒng)控制作業(yè)方式更加高效智能,可以應用于復雜的農業(yè)作業(yè)場景,如棉花打頂、智能除草、精準灌溉等。Nilay等[49]結合FPGA設備設計的水果采摘機器人,對采集到的圖像信息進行處理,目標水果識別精度為95.8%,識別速度達30 幀 /s,實現(xiàn)了目標水果的自動采集;Wang等[54]結合邊緣計算設計育苗機器人,通過在邊緣設備Nvidia Jetson TX2上部署YOLOV4-tiny模型實現(xiàn)了盆花的實時檢測與定位,平均檢測準確率89.72%,檢測速度達到16 幀/s,完成了盆栽的自動化管理;Chechliński等[50]設計的自主除草機器人,采用樹莓派3B作為邊緣計算設備以超過10 幀/s的檢測速度實現(xiàn)了雜草實時檢測。因此,將智能農業(yè)機器人與邊緣計算技術結合,突破了傳統(tǒng)農業(yè)機器人在復雜任務、復雜環(huán)境下作業(yè)的瓶頸,是智慧農業(yè)的重要發(fā)展方向。
3)農業(yè)智能移動終端,隨著智能移動終端的快速發(fā)展,其算力和存儲性能不斷提高,使得復雜深度學習模型部署成為了可能[72]?;谥悄芤苿咏K端設計人工智能應用程序,可實現(xiàn)便攜式、高精度的農業(yè)信息采集與分析。如Liu等[56]在移動智能手機上部署GoogLeNet模型,實現(xiàn)21種葡萄分類識別,準確率達99.91%;Buzzy等[60]將YOLOV3-tiny部署在智能手機端,實現(xiàn)了植物葉片的檢測與計數(shù),檢測時間小于0.1 s;Ai等[59]將邊緣計算與深度學習結合,以卷積神經網絡為基礎構建了Inception-ResNet-v2模型,并部署在手機端,應用于植物病蟲害的識別和檢測,總體識別準確率為86.1%。綜上所述,智能移動終端,具有拍照、聲音采集等通用傳感器,基于通用的Android開發(fā)平臺設計移動端人工智能應用程序,可以為智慧農業(yè)提供便攜式、低成本智能檢測方案。
隨著邊緣計算的快速發(fā)展,越來越多的計算設備為邊緣AI (Artificial Intelligence)應用程序和嵌入式設備而設計,農業(yè)中常用的邊緣計算核心設備如圖4所示,主要包括樹莓派、英偉達小型計算平臺、FPGA、和手機處理器等,該類設備具有體積小、結構緊湊、功耗低、算力高等優(yōu)勢[73]。常用的邊緣計算設備算力、功耗等性能參數(shù)如表2所示。樹莓派3B自2016年發(fā)布以來,因其高便攜性、低功耗受到了科研工作者的廣泛關注,到2019年樹莓派4B發(fā)布,計算能力相較于樹莓派3B有顯著提升,較高性價比以及較小的體積使其常作為邊緣計算核心設備集成于各類智慧農業(yè)平臺中[74]。此外,Xilinx PYNQ-Z2、海思Hi3559等FPGA、SOC芯片的計算能力相較于樹莓派提升了近百倍,可以加載更加復雜的模型,并提高模型推理速度[75]。近年來,Nvidia Jetson推出的一系列邊緣計算設備如NANO、TX2、AGX等,其算力為0.5~10 T不等,可為不同農業(yè)應用場景提供最佳性價比的檢測方案[76]。
圖4 邊緣計算核心設備圖
樹莓派以較低成本與高便攜性受到了許多研究者們的青睞。Kundu等[77]提出了Custom-Net模型用于檢測珍珠粟疾病,并將模型部署在樹莓派3B上實現(xiàn)了98.78%的分類準確率。Mishra等[61]采用樹莓派3B并結合由專用CNN(Convolutional Neural Network)硬件塊組成的Intel Movidius神經計算棒作為邊緣設備,部署訓練好的深度CNN模型,實現(xiàn)玉米葉片的病害識別,準確率達88.46%;Tarek等[63]將MobileNetV3部署在樹莓派4B上,實現(xiàn)番茄疾病的快速準確診斷,檢測精度達98.99%,檢測效率為每張圖250~350ms;Emebo等[64]構建了一個番茄葉片病害分類模型,部署在手持式設備的樹莓派上,模型平均精度達99.01%;Tufail等[65]提出了一種基于紋理、形狀和顏色特征組合的支持向量機分類器,并將該算法部署在樹莓派4B上進行實時監(jiān)測,分類準確率達96%,檢測效率為6幀/s;Meng等[51]開發(fā)了一種水下無人機,配備360°全景攝像頭作為圖像采集端,并在樹莓派3B上部署深度學習魚類識別模型,模型準確率達87%。
Nvidia Jetson系列開發(fā)板以寬泛、出色的算力在眾多邊緣設備中脫穎而出,且廠商提供了豐富的軟硬件支持服務,因此以其作為邊緣計算設備的文獻報道最多。Seo等[52]以Nvidia Jetson NANO作為邊緣計算端,基于YOLOV4-tiny設計了復雜場景下生豬識別和定位算法,檢測精度達97.66%,檢測速度為34.38 幀/s,實現(xiàn)養(yǎng)豬場生豬智能監(jiān)測;Deng等[53]針對無人機對雜草識別及精準噴藥問題,構建雜草識別輕量級的網絡架構,并將其部署在Nvidia Jetson TX2上,實現(xiàn)4.5幀/s的檢測速度和80.9%的檢測準確度。
表2 常用邊緣計算設備及參數(shù)
注:每秒浮點運算次數(shù)(Floating-point Operations Per Second, FLOPS),1GFLOPS等于每秒十億(109)次的浮點運算,1TFLOPS等于每秒一萬億(1012)次的浮點運算。
Note: FLOPS is the floating-point operations per second, 1GFLOPS means one billion (= 109) floating-point operations per second, and 1TFLOPS means one trillion (= 1012) floating-point operations per second.
除此之外,F(xiàn)PGA、DSP以及手機處理器也具有極強的算力,可用于邊緣端數(shù)據(jù)處理[78]。He等[57]提出了一種基于深度學習的油菜害蟲檢測方法,在移動智能手機上部署SSD w/Inception模型,實現(xiàn)油菜害蟲實時診斷,平均檢測精度達77.14%;Ahmed等[58]基于深度學習開發(fā)了一種植物葉片疾病自動診斷移動式平臺,在Android移動端對14種作物常見的38種疾病進行分類,總體分類準確率達到94%。Liu等[79]開發(fā)了一款基于Android的便攜式植物表型分析應用程序,實現(xiàn)15個整株性狀、25個葉片性狀和5個莖稈性狀的便攜式、實時檢測。綜上所述,面對不同的農業(yè)應用場景,用戶可以選擇合適算力的邊緣計算設備,為農業(yè)生產提供具有成本效益的解決方案。
深度學習作為一種智能數(shù)據(jù)處理方法,廣泛應用于智慧農業(yè)研究與生產實踐,然而大多數(shù)深度學習方法對計算設備的算力和內存需求較高[80]。雖然云計算可以提供較高算力和內存支撐,但會導致高延遲和巨大的網絡帶寬壓力[81]。而基于邊緣計算的深度學習模型部署,為人工智能應用提供了一種近數(shù)據(jù)端、低延時、低成本的檢測方案[82]。與云服務器不同,受邊緣計算設備算力限制,部署于邊緣端的模型運算速度與模型大小密切相關[83]。根據(jù)現(xiàn)有文獻,目前邊緣計算在農業(yè)中應用的深度學習算法主要采用輕量化深度學習網絡,包括SSD(Single Shot Multibox Detector),YOLO(You Only Look Once)等算法,如表3所示。表中各算法檢測單張圖片的時間均采用本地樹莓派4B為邊緣設備進行推理得到。將SSD-Mobilenet與SSD-VGG16對比,模型參數(shù)量更小,雖然精度有所降低,但是單張圖片檢測時間由19.1 s減少至3.73 s;同理,YOLOV4-tiny在YOLOV4的基礎上進一步降低參數(shù)量,在僅降低 mAP(mean Average Precision)23.43%的情況下檢測速度提高約7倍。YOLOV5-lite、YOLO-fastest、YOLOX-NANO雖然將網絡參數(shù)量降至10 MB以內,在樹莓派4B上單張圖片檢測時間仍然較高,這說明了現(xiàn)有的輕量化網絡依然無法滿足低算力邊緣計算設備的要求。因此在保證滿足模型精度要求的情況下實現(xiàn)對模型進行一步壓縮優(yōu)化也是邊緣計算研究的重點之一,常見模型壓縮方法主要包括網絡剪枝、知識蒸餾、參數(shù)量化、結構優(yōu)化。
表3 邊緣計算在農業(yè)中應用的主流深度學習算法
注:表中各算法的單張檢測時間為采用樹莓派4B進行推理測速得到。以上各模型均在pytorch環(huán)境下測試,torch版本為1.5.0,torchvision版本為0.6.0,opencv版本為3.4.6。
Note: The detection time for each algorithm in the table is measured with Raspberry Pi 4B. All the above models are tested in pytorch environment, with torch 1.5.0, torchvision 0.6.0 and opencv 3.4.6.
1)網絡剪枝,通常網絡模型參數(shù)過多有些權重接近0,或者神經元的輸出為0,可以將這些多余的參數(shù)從網絡中移除。具體步驟為預訓練一個比較龐大的模型,評估每個權重和神經元的重要性,按照參數(shù)重要性排序,刪除不重要的參數(shù),將縮小的模型用訓練數(shù)據(jù)重新微調一次,可以減小損失,如果模型縮小之后仍然沒達到要求則重新評估權重和神經元迭代操作[84]。
2)知識蒸餾,基本思想是可以先訓練一個規(guī)模大的初始網絡,再訓練一個小的子網絡去學習大的初始網絡的行為。使用初始網絡的輸出來訓練而不直接使用標注數(shù)據(jù),是因為初始網絡可以提供更多的信息,輸入一個樣本后初始網絡會輸出各種類別的概率值,這比單純的標簽信息要更豐富[85]。
3)參數(shù)量化,如果說網絡剪枝是通過減少權重的數(shù)量來壓縮模型,那么量化則是通過減少權重的大小來壓縮模型。量化通常是將大集合值映射到小集合值的過程,這意味著輸出包含的可能值范圍比輸入小,理想情況下在該過程中不會丟失太多信息[86]。參數(shù)量化會使用更少的空間的來存儲一個參數(shù),然后使用聚類中心來代替整個類的值,這樣可以減少參數(shù)的儲存[87]。
4)結構優(yōu)化,通過調整網絡結構使得其只需要較少的參數(shù),常見方法為低秩近似與切除分離卷積。深層神經網絡通常存在大量重復參數(shù),不同層或通道之間存在許多相似性或冗余性,低秩近似的目標是使用較少濾波器的線性組合來近似一個層的大量冗余濾波器,以這種方式壓縮層減少了網絡的內存占用以及卷積運算的計算復雜性,實現(xiàn)加速。切除分離卷積方法則是將計算進行拆分,共用部分參數(shù),最終實現(xiàn)參數(shù)規(guī)??s小[88]。
邊緣計算具有高實時、低成本、低能耗的優(yōu)勢,為深度學習人工智能算法部署提供新的技術途徑,其在農業(yè)中的應用正處于快速發(fā)展階段,為多場景智慧農業(yè)發(fā)展提供具有成本效益的智能解決方案?,F(xiàn)有邊緣計算設備主要包括樹莓派、英偉達小型計算平臺、現(xiàn)場可編程邏輯門陣列、和移動智能終端,受算力限制部署的人工智能算法主要是輕量化深度學習網絡,且模型壓縮是加速邊緣計算的重要途徑。結合邊緣計算的智能農業(yè)裝備主要包括智能農業(yè)無人機、智能農業(yè)機器人以及農業(yè)智能移動終端,旨在實現(xiàn)動植物生長動態(tài)監(jiān)測、環(huán)境實時檢測、和農業(yè)裝備作業(yè)智能決策。就目前文獻分析,邊緣計算的農業(yè)應用主要包括環(huán)境監(jiān)測與病蟲害識別、作物生長及產量預測、農業(yè)偵察與路徑規(guī)劃等方面,有效提升了工作效率。邊緣計算為農業(yè)領域的各種復雜問題提供了高精度、實時性、低成本的解決方案,推動邊緣計算在農業(yè)中的應用將進一步促進農業(yè)數(shù)字化、智能化,為智慧農業(yè)發(fā)展提供助力。隨著邊緣計算在農業(yè)中的深入應用,未來將面臨重大的挑戰(zhàn)與機遇。
1)多場景、多功能邊緣計算智能農業(yè)裝備亟待開發(fā)
隨著人口老齡化加劇和城市化發(fā)展,越來越多的農業(yè)生產環(huán)節(jié),需要智能農業(yè)裝備來替代傳統(tǒng)人工,而邊緣計算將為農業(yè)裝備提供高精度、低時延、低成本人工智能計算平臺?,F(xiàn)有的邊緣計算智能農業(yè)裝備主要應用于作物病蟲害識別與動態(tài)生長監(jiān)測,未來在動物飼養(yǎng)管控,如疾病診斷、生長狀態(tài)監(jiān)測、智能飼喂;作物種植管控,如多功能表型檢測、精準除草、變量施肥、智能采摘等領域亟待開發(fā)相關智能農業(yè)裝備。
2)輕量化、高精度的邊緣計算人工智能算法亟待發(fā)展
隨著人工智能高速發(fā)展,深度學習在眾多領域得到了廣泛應用,而近年來摩爾定律的逐步放緩,使得邊緣計算設備很難依靠硬件升級滿足復雜模型的需求,如何將人工智能模型前端化、輕量化,如何保證高精度的前提下盡可能壓縮模型提升效率,成為亟待解決的問題。因此,為實現(xiàn)邊緣計算農業(yè)應用大規(guī)模落地,發(fā)展輕量化、高精度的邊緣計算專用人工智能算法,實現(xiàn)模型精度與速度的平衡,是開發(fā)智能農業(yè)裝備的重要前提。
3)云-邊緣協(xié)同、多機協(xié)作智能管控方法亟待研究
隨著邊緣計算節(jié)點數(shù)量增加,對異構、分散的邊緣計算資源管理是未來將面臨的主要挑戰(zhàn)。隨著各種智能農業(yè)裝備的研發(fā)與應用,以云平臺為中心創(chuàng)建云邊協(xié)同、多機協(xié)作智能工作模式,對邊緣智能農業(yè)裝備進行統(tǒng)一管理,從數(shù)據(jù)、模型、應用、安全等方面實現(xiàn)云端與邊緣設備之間的協(xié)同;制定相關的標準規(guī)范和通訊協(xié)議實現(xiàn)異構邊緣設備之間交流,按照指定任務開展多機互助協(xié)作;建立統(tǒng)一的數(shù)據(jù)命名和標注規(guī)范,開展云邊數(shù)據(jù)協(xié)同分析,進一步提升數(shù)據(jù)處理效率。
[1] Armbrust M, Fox A, Griffith R, et al. A view of cloud computing[J]. Communications of the ACM, 2010, 53(4): 50-58.
[2] 李瑾,郭美榮,高亮亮. 農業(yè)物聯(lián)網技術應用及創(chuàng)新發(fā)展策略[J]. 農業(yè)工程學報,2015,31(增刊2):200-209.
Li Jin, Guo Meirong, Gao Liangliang. Application and innovation strategy of agricultural Internet of Things[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(Suppl.2): 200-209. (in Chinese with English abstract)
[3] Cisco. 2022 Global Hybrid Cloud Trends Report[R]. USA. S&P Market Intelligence, 2022.
[4] Ashton K. That ‘internet of things’ thing[J]. RFID Journal, 2009, 22(7): 97-114.
[5] Zhang Y, Liu J. Prediction of overall energy consumption of data centers in different locations[J]. Sensors, 2022, 22(10): 3704.
[6] Zhu Y, Zhang Y, Wang J, et al. From data-driven to intelligent-driven: Technology evolution of network security in big data era[C]//2019 IEEE 43rd Annual Computer Software and Applications Conference (COMPSAC). IEEE, 2019, 2: 103-109.
[7] Fan Z, Yang W, Tian K. An edge computing service model based on information-centric networking[C]//2019 IEEE 25th International Conference on Parallel and Distributed Systems (ICPADS). IEEE, 2019: 498-505.
[8] 邊緣計算產業(yè)聯(lián)盟. 邊緣計算參考架構2. 0(中)[J]. 自動化博覽,2018,35(2):54-56.
[9] Zheng Z , Xie D , Pu J , et al. MELODY: Adaptive task definition of COP prediction with metadata for HVAC control and electricity saving[C]//e-Energy '20: The Eleventh ACM International Conference on Future Energy Systems. ACM, 2020
[10] 趙春江.智慧農業(yè)發(fā)展現(xiàn)狀及戰(zhàn)略目標研究[J].智慧農業(yè),2019,1(1):1-7.
Zhao Chunjiang. State-of-the-art and recommended developmental strategic objectivs of smart agriculture[J]. Smart Agriculture, 2019, 1(1): 1-7. (in Chinese with English abstract)
[11] Chen Y. Discussing on relation between agricultural internet of things and agriculture complex large system intelligent control[J]. Agriculture Network Information, 2012, 2: 8-12.
[12] Lavanya G, Rani C, GaneshKumar P. An automated low cost IoT based fertilizer intimation system for smart agriculture[J]. Sustainable Computing: Informatics and Systems, 2020, 28: 100300.
[13] Chen X, Shi Q, Yang L, et al. ThriftyEdge: Resource-efficient edge computing for intelligent IoT applications[J]. IEEE Network, 2018, 32(1): 61-65.
[14] Jaiganesh S, Gunaseelan K, Ellappan V. IOT agriculture to improve food and farming technology[C]//2017 Conference on Emerging Devices and Smart Systems (ICEDSS). IEEE, 2017: 260-266.
[15] Henriksen A, Selmer-Olsen A R. Automatic methods for determining nitrate and nitrite in water and soil extracts[J]. Analyst, 1970, 95(1130): 514-518.
[16] Garcia Lopez P, Montresor A, Epema D, et al. Edge-centric computing: Vision and challenges[J]. ACM SIGCOMM Computer Communication Review, 2015, 45(5): 37-42.
[17] Shi W, Dustdar S. The promise of edge computing[J]. Computer, 2016, 49(5): 78-81.
[18] Chen J, Ran X. Deep learning with edge computing: A review[J]. Proceedings of the IEEE, 2019, 107(8): 1655-1674.
[19] Colbert I, Daly J, Kreutz-Delgado K, et al. A competitive edge: Can FPGAs beat GPUs at DCNN inference acceleration in resource-limited edge computing applications?[J/OL]. (2021-03-09) [2022-5-23].https://arxiv.org/abs/2102. 00294.
[20] 陳天華,盧思翰. 基于DSP的小型農用無人機導航控制系統(tǒng)設計[J]. 農業(yè)工程學報,2012,28(21):164-169.
Chen Tianhua, Lu Sihan. Autonomous navigation control system of agricultural mini-unmaned aerial vehicles based on DSP[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2012, 28(21): 164-169. (in Chinese with English abstract)
[21] 孟曉麗,牛煥娜,賈東梨,等. 基于儲能Soc日前計劃的微電網實時能量優(yōu)化調度方法[J]. 農業(yè)工程學報,2016,32(8): 155-161.
Meng Xiaoli, Niu Huanna, Jia Dongli, et al. Real-time energy optimal dispatch for microgrid based on day-ahead scheduling of charge state[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(8): 155-161. (in Chinese with English abstract)
[22] Jolles J W. Broad-scale applications of the Raspberry Pi: A review and guide for biologists[J]. Methods in Ecology and Evolution, 2021, 12(9): 1562-1579.
[23] Wang X, Zhang W, Wu X, et al. Real-time vehicle type classification with deep convolutional neural networks[J]. Journal of Real-Time Image Processing, 2019, 16(1): 5-14.
[24] Avelar V. Cost benefit analysis of edge micro data center deployments[J]. Schneider Electric, 2017, 223: 1-8.
[25] 王梓儒. 深度目標檢測模型的邊緣計算方案研究[D]. 北京:北京交通大學,2020.
Wang Ziru. Research on Edge Caculation Scheme of Object Detection Model[D]. Beijing: Beijing Jiaotong University, 2020. (in Chinese with English abstract)
[26] 張釗. 面向邊緣計算的目標檢測算法研究與應用[D]. 大連:大連理工大學,2021.
Zhang Zhao. Research and Application of Target Detection Algorithm for Edge Computing[D]. Dalian: Dalian University of Technology, 2021. (in Chinese with English abstract)
[27] Ma F, Wang B, Li M, et al. Edge intelligent perception method for power grid icing condition based on multi-scale feature fusion target detection and model quantization[J]. Frontiers in Energy Research, 2021,9: 591-602.
[28] Kim J, Lee J, Kim T. AdaMM: Adaptive object movement and motion tracking in hierarchical edge computing system[J]. Sensors, 2021, 21(12): 4089.
[29] 樊琦,李卓,陳昕. 基于邊緣計算的分支神經網絡模型推斷延遲優(yōu)化[J]. 計算機應用,2020,40(2):342-346.
Fan Qi, Li Zhuo, Chen Xin. Inference delay optimization of branchy neural network model based on edge computing[J]. Journal of Computer Applications, 2020, 40(2): 342-346. (in Chinese with English abstract)
[30] Oteros-Rozas E, Ruiz-Almeida A, Aguado M, et al. A social–ecological analysis of the global agrifood system[J]. Proceedings of the National Academy of Sciences, 2019, 116(52): 26465-26473.
[31] 聶鵬程,張慧,耿洪良,等. 農業(yè)物聯(lián)網技術現(xiàn)狀與發(fā)展趨勢[J]. 浙江大學學報(農業(yè)與生命科學版),2021,47(2):135-146.
Nie Pengcheng, Zhang Hui, Geng Hongliang, et al. Current situation and development trend of agricultural Internet of Things technology[J]. Journal of Zhejiang University (Agriculture and Life Sciences), 2021, 47(2): 135-146. (in Chinese with English abstract)
[32] 曹冰雪,李瑾,馮獻,等. 我國智慧農業(yè)的發(fā)展現(xiàn)狀、路徑與對策建議[J]. 農業(yè)現(xiàn)代化研究,2021,42(5):785-794.
Cao Bingxue, Li Jin, Feng Xian, et al. Development status, path, and countermeasures of smart agriculture in China[J]. Research of Agricultural Modernization, 2021, 42(5): 785-794. (in Chinese with English abstract)
[33] 葛文杰,趙春江. 農業(yè)物聯(lián)網研究與應用現(xiàn)狀及發(fā)展對策研究[J]. 農業(yè)機械學報,2014,45(7):222-230.
Ge Wenjie, Zhao Chunjiang. State-of-the-art and developing trategies of agricultural internet of things[J]. Transactions of the Chinese Society for Agricultural Machinery, 2014, 45(7): 222-230. (in Chinese with English abstract)
[34] 鄭紀業(yè),阮懷軍,封文杰,等. 農業(yè)物聯(lián)網體系結構與應用領域研究進展[J]. 中國農業(yè)科學,2017,50(4):657-668.
Zheng Jiye, Ruan Huaijun, Feng Wenjie, et al. Agricultural lOT architecture and application model research[J]. Scientia Agricultura Sinica, 2017, 50(4): 657-668. (in Chinese with English abstract)
[35] Buyya R, Yeo C S, Venugopal S, et al. Cloud computing and emerging IT platforms: Vision, hype, and reality for delivering computing as the 5th utility[J]. Future Generation Computer Systems, 2009, 25(6): 599-616.
[36] Varghese B, Wang N, Barbhuiya S, et al. Challenges and opportunities in edge computing[C]//IEEE International Conference on Smart Cloud. Piscataway. NewYork: IEEE, 2016: 20-26.
[37] Alharbi H A, Elgorashi T E H, Elmirghani J M H. Energy efficient virtual machines placement over cloud-fog network architecture[J]. IEEE Access, 2020, 8: 94697-94718.
[38] 葉惠卿. 基于邊緣計算的農業(yè)物聯(lián)網系統(tǒng)的研究[J]. 無線互聯(lián)科技,2019,16(10):30-32.
Ye Huiqing. Research on agricultural lnternet of Things system based on edge computing[J]. Wireless Internet Technology, 2019, 16(10): 30-32. (in Chinese with English abstract)
[39] Zheng B G. Study on the agricultural internet of things key technology of the intelligent control of sunlight greenhouse complex system[C]//Advanced Materials Research. Trans Tech Publications Ltd, 2013, 756: 2369-2373.
[40] 劉蘇偉. 基于邊緣計算的玉米病害識別深度學習應用研究[D]. 哈爾濱:東北農業(yè)大學,2020.
Liu Suwei. The Study on Deep Learning of Maize Disease Recognition Based on Edge Computing[D]. Harbin: Northeast Agricultural University, 2020. (in Chinese with English abstract)
[41] 牛愷銳,張正華,包飛霞,等. 基于邊緣計算的作物病蟲害監(jiān)測嵌入式系統(tǒng)設計[J]. 計算機與網絡,2021,47(14):61-65.
Niu Kairui, Zhang Zhenghua, Bao Feixia, et al. Design on Embedded System for Crop Diseases and Pests Monitoring Based on Edge Computing[J]. Computer & Network, 2021, 47(14): 61-65. (in Chinese with English abstract)
[42] 李鳳迪. 基于深度學習和無人機遙感的松材線蟲病樹監(jiān)測系統(tǒng)研究[D]. 泰安:山東農業(yè)大學,2020.
Li Fengdi. A Study on Monitoring System of Pine Nematode Tree Based on Deep Learning and UAV Remote Sensing[D]. Taian: Shandong Agricultural University, 2020. (in Chinese with English abstract)
[43] 孫志朋. 基于物聯(lián)網技術的水稻生長環(huán)境監(jiān)測系統(tǒng)及關鍵技術研究[D]. 長春:吉林大學,2021.
Sun Zhipeng. Research on Monitoring System and Key Technologies Ofrice growth Environment Based on Internet of Things[D]. Changchun: Jilin University, 2021. (in Chinese with English abstract)
[44] Guillén M A, Llanes A, Imbernón B, et al. Performance evaluation of edge-computing platforms for the prediction of low temperatures in agriculture using deep learning[J]. The Journal of Supercomputing, 2021, 77(1): 818-840.
[45] Park J, Choi J H, Lee Y J, et al. A layered features analysis in smart farm environments[C]//Proceedings of the International Conference on Big Data and Internet of Thing. 2017: 169-173.
[46] Coviello L, Cristoforetti M, Jurman G, et al. GBCNet: In-field grape berries counting for yield estimation by dilated CNNs[J]. Applied Sciences, 2020, 10(14): 4870.
[47] Yang M D, Boubin J G, Tsai H P, et al. Adaptive autonomous UAV scouting for rice lodging assessment using edge computing with deep learning EDANet[J]. Computers and Electronics in Agriculture, 2020, 179: 105817
[48] Chen C J, Huang Y Y, Li Y S, et al. Identification of fruit tree pests with deep learning on embedded drone to achieve accurate pesticide spraying[J]. IEEE Access, 2021, 9: 21986-21997.
[49] Nilay K, Mandal S, Agarwal Y, et al. A proposal of FPGA-based low cost and power efficient autonomous fruit harvester[C]//2020 6th International Conference on Control, Automation and Robotics (ICCAR). IEEE, 2020: 324-329.
[50] Chechliński ?, Siemi?tkowska B, Majewski M. A system for weeds and crops identification-reaching over 10 FPS on raspberry pi with the usage of MobileNets, DenseNet and custom modifications[J]. Sensors, 2019, 19(17): 3787.
[51] Meng L, Hirayama T, Oyanagi S. Underwater-drone with panoramic camera for automatic fish recognition based on deep learning[J]. Ieee Access, 2018, 6: 17880-17886.
[52] Seo J, Ahn H, Kim D, et al. Embedded pig det-fast and accurate pig detection for embedded board implementations[J]. Applied Sciences, 2020, 10(8): 2878.
[53] Deng J, Zhong Z, Huang H, et al. Lightweight semantic segmentation network for real-time weed mapping using unmanned aerial vehicles[J]. Applied Sciences, 2020, 10(20): 7132.
[54] Wang J, Gao Z, Zhang Y, et al. Real-time detection and location of potted flowers based on a ZED camera and a YOLO V4-Tiny deep learning algorithm[J]. Horticulturae, 2021, 8(1): 21.
[55] Camargo T D, Schirrmann M, Landwehr N, et al. Optimized deep learning model as a basis for fast UAV mapping of weed species in winter wheat crops[J]. Remote Sensing, 2021, 13(9): 1-19.
[56] Liu Y, Su J, Shen L, et al. Development of a mobile application for identification of grapevine (Vitis vinifera L. ) cultivars via deep learning[J]. International Journal of Agricultural and Biological Engineering, 2021, 14(5): 172-179.
[57] He Y, Zeng H, Fan Y, et al. Application of deep learning in integrated pest management: A real-time system for detection and diagnosis of oilseed rape pests[J]. Mobile Information Systems, 2019, 2019: 1-14.
[58] Ahmed A A, Reddy G H. A mobile-based system for detecting plant leaf diseases using deep learning[J]. AgriEngineering, 2021, 3(3): 478-493.
[59] Ai Y, Sun C, Tie J, et al. Research on recognition model of crop diseases and insect pests based on deep learning in harsh environments[J]. IEEE Access, 2020, 8: 171686-171693.
[60] Buzzy M, Thesma V, Davoodi M, et al. Real-time plant leaf counting using deep object detection networks[J]. Sensors, 2020, 20(23): 6896.
[61] Mishra S, Sachan R, Rajpal D. Deep convolutional neural network based detection system for real-time corn plant disease recognition[J]. Procedia Computer Science, 2020, 167: 2003-2010.
[62] Partel V, Kakarla S C, Ampatzidis Y. Development and evaluation of a low-cost and smart technology for precision weed management utilizing artificial intelligence[J]. Computers and Electronics in Agriculture, 2019, 157: 339-350.
[63] Tarek H, Aly H, Eisa S, et al. Optimized deep learning algorithms for tomato leaf disease detection with hardware deployment[J]. Electronics, 2022, 11(1): 140.
[64] Emebo O, Fori B, Victor G, et al. Development of tomato septoria leaf spot and tomato mosaic diseases detection device using raspberry Pi and deep convolutional neural networks[C]//Journal of Physics: Conference Series. IOP Publishing, 2019, 1299(1): 012118.
[65] Tufail M, Iqbal J, Tiwana M I, et al. Identification of tobacco crop based on machine learning for a precision agricultural sprayer[J]. IEEE Access, 2021, 9: 23814-23825.
[66] Xu W C, Chen K, Zhang M, et al. Life lifting scheme for plant protection UAV based on solar[J]. Journal of Agricultural Science and Technology (Beijing), 2018, 20(11): 62-68.
[67] Wang R, Sun B Y. Development status and expectation of agricultural robot[J]. Bulletin of Chinese Academy of Sciences, 2015, 30(6): 803-809.
[68] Alzarliani W D, Arsyad M, Salam M, et al. Effect of App utilization on the agricultural efficiency of rural communities[C]//IOP Conference Series: Earth and Environmental Science. IOP Publishing, 2019, 235(1): 012101.
[69] Yue J, Lei T, Li C, et al. The application of unmanned aerial vehicle remote sensing in quickly monitoring crop pests[J]. Intelligent Automation & Soft Computing, 2012, 18(8): 1043-1052.
[70] Ukaegbu U F, Tartibu L K, Okwu M O, et al. Development of a light-weight unmanned aerial vehicle for precision agriculture[J]. Sensors, 2021, 21(13): 4417.
[71] Kun B, Xin Z, Ruifeng H. The trend of application and development of robot technology in agriculture[J]. China Agricultural Science Bulletin, 2011, 27(4): 469-473.
[72] Laamrani A, Pardo Lara R, Berg A A, et al. Using a mobile device “app” and proximal remote sensing technologies to assess soil cover fractions on agricultural fields[J]. Sensors, 2018, 18(3): 708.
[73] Filho C P, Marques Jr E, Chang V, et al. A systematic literature review on distributed machine learning in edge computing[J]. Sensors, 2022, 22(7): 2665.
[74] Huang Z, Yang S, Zhou M C, et al. Making accurate object detection at the edge: Review and new approach[J]. Artificial Intelligence Review, 2021: 1-30.
[75] Sheng Q, Sheng H, Gao P, et al. Real-time detection of cook assistant overalls based on embedded reasoning[J]. Sensors, 2021, 21(23): 8069.
[76] Su M, Tan J, Lin C Y, et al. Constructing a mobility and acceleration computing platform with NVIDIA Jetson TK1[C]//2015 IEEE 17th International Conference on High Performance Computing and Communications, 2015 IEEE 7th International Symposium on Cyberspace Safety and Security, and 2015 IEEE 12th International Conference on Embedded Software and Systems. IEEE, 2015: 1854-1858.
[77] Kundu N, Rani G, Dhaka V S, et al. IoT and interpretable machine learning based framework for disease prediction in pearl millet[J]. Sensors, 2021, 21(16): 5386.
[78] Fontaine J, Shahid A, Elsas R, et al. Multi-band sub-GHz technology recognition on NVIDIA’s Jetson Nano[C]//2020 IEEE 92nd Vehicular Technology Conference (VTC2020-Fall). IEEE, 2020: 1-7.
[79] Liu L, Yu L, Wu D, et al. PocketMaize: An android-smartphone application for maize plant phenotyping[J]. Frontiers in Plant Science, 2021, 12: 770217.
[80] Schmidhuber J. Deep learning in neural networks: An overview[J]. Neural Networks, 2015, 61: 85-117.
[81] Singh D, Banyal R K, Sharma A K. Cloud computing research issues, challenges, and future directions[C]//Emerging Trends in Expert Applications and Security. Singapore, Springer, 2019: 617-623.
[82] Wang Q, Jin G, Li Q, et al. Industrial edge computing: Vision and challenges[J]. Information and Control, 2021, 50(3): 257-274.
[83] Islam A, Debnath A, Ghose M, et al. A survey on task offloading in multi-access edge computing[J]. Journal of Systems Architecture, 2021, 118: 102225.
[84] 林景棟,吳欣怡,柴毅,等. 卷積神經網絡結構優(yōu)化綜述[J].自動化學報,2020,46(1):24-37.
Lin Jingdong, Wu Xinyi, Chai Yi, et al. Structure optimization of convolutional neural networks: A survey[J]. Acta Automatica Sinica, 2020, 46(1): 24-37. (in Chinese with English abstract)
[85] Gou J, Yu B, Maybank S J, et al. Knowledge distillation: A survey[J]. International Journal of Computer Vision, 2021, 129(6): 1789-1819.
[86] 彭紅星,徐慧明,劉華鼐. 基于改進ShuffleNet V2的輕量化農作物害蟲識別模型[J]. 農業(yè)工程學報,2022,38(11):161-170.
Peng Hongxing, Xu Huiming, Liu Huanai. Light weight agricultural crops pest identification model using improved ShuffleNet V2[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(11): 161-170. (in Chinese with English abstract)
[87] 李江昀,趙義凱,薛卓爾,等. 深度神經網絡模型壓縮綜述[J]. 工程科學學報,2019,41(10):1229-1239.
Li Jiangyun, Zhao Yikai, Xue Zhuoer, et al. A survey of model compression for deep neural networks[J]. Chinese Journal of Engineering, 2019, 41(10): 1229-1239. (in Chinese with English abstract)
[88] Ji R, Lin S, Chao F, Wu Y, et al. Deep neural network compression and acceleration: A review[J]. Journal of Computer Research and Development, 2018, 55(9): 1871-1888.
Application status and prospect of edge computing in smart agriculture
Huang Chenglong1, Ke Yuxi1, Hua Xiangdong1, Yang Junya1, Sun Mengyu1, Yang Wanneng2
(1.,,430070,; 2.,,430070,)
A large amount of data has been produced with the rapid development of internet technology. The commonly-used centralized processing has posed rigorous challenges to real-time performance, low energy consumption, and data security. Alternatively, edge computing combined with Artificial Intelligence (AI) can be used to reduce the cost and energy consumption for real-time detection of complex data processing in various industries. Nowadays, agricultural applications combined with deep learning have been widely reported, such as crop disease detection, growth monitoring, yield prediction, and automated management. Edge computing can also be expected to provide more efficient solutions with the rapid development of smart agriculture. In this review, the history, concept, and architecture of edge computing were firstly introduced to evaluate the performance in intelligent agriculture. Specifically, the statistical analysis of the literature volume was carried out until May 2022, including the most reported disease identification and environmental monitoring. Secondly, the main devices of edge computing were summarized, including the Raspberry Pi, FPGA devices, NVIDIA Jetson, and smartphones. The performances of edge computing devices were also compared under different scenarios. Besides, the commonly-used deep learning was selected to promote efficiency and accuracy using the Raspberry pie 4B. Some model acceleration methods were also introduced, including network pruning, knowledge distillation, parameter quantification, and structure optimization. Then, the AI agricultural equipment with edge computing was divided into unmanned aerial vehicle (UAV), ground robots, and portable devices. Three scenarios were considered in the agriculture application, such as environmental monitoring and pest identification, crop growth and yield prediction, and variable operation of intelligent agricultural equipment. Finally, the prospects and key issues were proposed for the edge computing applied in agriculture. Several suggestions were also drawn during this time. Specifically, the edge computing application should be developed with high efficiency and accuracy. The model compression and acceleration can be the key research direction in the model deployment of deep learning. Edge computing devices can greatly contribute to smart agriculture. The cost-saving AI agricultural equipment with edge computing can also be expected to develop for much more application scenarios. The communication protocols and standards between edge devices should be established to realize the cooperative operation of multiple machines. In conclusion, edge computing was still in the initial and rapid development stage in smart agriculture. Edge computing can also provide vital opportunities and challenges for the development of smart agriculture, due to the better real-time, lower cost, and energy consumption, compared with the current cloud computing.
internet of things; edge computing; cloud computing; smart agriculture; deep learning; model compression; model deployment
10.11975/j.issn.1002-6819.2022.16.025
S126
A
1002-6819(2022)-16-0224-11
黃成龍,柯宇曦,華向東,等. 邊緣計算在智慧農業(yè)中的應用現(xiàn)狀與展望[J]. 農業(yè)工程學報,2022,38(16):224-234.doi:10.11975/j.issn.1002-6819.2022.16.025 http://www.tcsae.org
Huang Chenglong, Ke Yuxi, Hua Xiangdong, et al. Application status and prospect of edge computing in smart agriculture[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(16): 224-234. (in Chinese with English abstract) doi:10.11975/j.issn.1002-6819.2022.16.025 http://www.tcsae.org
2022-05-12
2022-08-11
國家自然科學基金項目(32270431,U21A20205);中央高?;究蒲袠I(yè)務費項目(2662022YJ018)
黃成龍,博士,副教授,研究方向為農業(yè)技術與裝備/植物表型。Email:hcl@mail.hzau.edu.cn