基于圖像識別技術(shù)的北京市設(shè)施溫室動態(tài)監(jiān)測研究

肖 帥， 郭 嘉， 蘆天罡， 唐 朝， 張輝鑫， 劉胤池， 趙志強， 李 響

（1.北京市農(nóng)產(chǎn)品質(zhì)量安全中心，北京 100020； 2.北京市數(shù)字農(nóng)業(yè)農(nóng)村促進中心，北京 100021；3.北京市昌平區(qū)農(nóng)業(yè)農(nóng)村事務(wù)中心，北京 102200）

0 引言

近幾年來，隨著大數(shù)據(jù)、云計算和人工智能等技術(shù)的發(fā)展，圖像識別技術(shù)逐漸登上新興科技的舞臺，許多新的技術(shù)方法與農(nóng)業(yè)種植實際相融合，為圖像識別技術(shù)的應(yīng)用奠定了基礎(chǔ)。在農(nóng)業(yè)領(lǐng)域中，大范圍、實時、高效地獲取農(nóng)情信息是現(xiàn)代化農(nóng)業(yè)生產(chǎn)和管理的一個重要環(huán)節(jié)，傳統(tǒng)依靠人工采集和有線測量的數(shù)據(jù)獲取方式在實時性、精準性和便捷性等方面均無法滿足精準農(nóng)業(yè)的要求。將圖像識別技術(shù)應(yīng)用于農(nóng)業(yè)中，實時監(jiān)測大棚室內(nèi)環(huán)境、作物長勢、作物品質(zhì)等農(nóng)業(yè)生產(chǎn)中的各個環(huán)節(jié)都有著至關(guān)重要的作用。

本項目基于北京市通州區(qū)、昌平區(qū)、大興區(qū)和順義區(qū)等已實施“數(shù)字菜田項目”采集的5 000 個設(shè)施溫室實時環(huán)境數(shù)據(jù)和圖像數(shù)據(jù)等，開展基于圖像識別技術(shù)的設(shè)施生產(chǎn)狀態(tài)和作物品種識別研究，構(gòu)建設(shè)施溫室生產(chǎn)狀態(tài)識別模型和作物品種識別模型，并結(jié)合北京市設(shè)施農(nóng)業(yè)臺賬信息管理系統(tǒng)設(shè)施基礎(chǔ)數(shù)據(jù)，最終集成到北京市種植業(yè)綜合管理平臺，為全市設(shè)施溫室動態(tài)自動監(jiān)管提供技術(shù)支撐，滿足政府“誰在種、在哪種、種什么、怎么種、產(chǎn)多少”的產(chǎn)業(yè)監(jiān)管需求。

1 技術(shù)路線

項目基于“數(shù)字菜田項目”獲取到的設(shè)施圖像數(shù)據(jù)，依托人工智能圖像識別技術(shù)，開展了設(shè)施溫室生產(chǎn)狀態(tài)、作物品種識別模型的研究及平臺搭建工作，建立了模型服務(wù)平臺，并與北京市種植業(yè)綜合管理平臺進行了數(shù)據(jù)對接，主要工作路線如圖1 所示。

圖1 工作路線Fig.1 Work roadmap

模型構(gòu)建主要包括設(shè)施溫室生產(chǎn)狀態(tài)識別模型和設(shè)施溫室作物品種識別模型。設(shè)施溫室生產(chǎn)狀態(tài)識別模型主要包括基于圖像分類的設(shè)施溫室生產(chǎn)狀態(tài)識別模型和稀缺樣本標注環(huán)境下設(shè)施“大棚房”自動識別模型。設(shè)施溫室作物品種識別模型主要包括基于可解釋深度學(xué)習(xí)模型的果菜/葉菜分類識別、基于深度學(xué)習(xí)的設(shè)施溫室作物品種識別模型[1]。

面向設(shè)施溫室環(huán)境下的狀態(tài)與作物高效識別，以管理平臺所采集的眾多溫室、作物的圖像為基準，通過圖像預(yù)處理實現(xiàn)數(shù)據(jù)清洗、擴增和標注。利用圖像分類算法識別設(shè)施溫室生產(chǎn)狀態(tài)，進而結(jié)合圖像分割與目標檢測，利用圖像內(nèi)土壤與便道比例關(guān)系及違禁物品檢測精準判別大棚房。針對存在作物種植的圖像樣本，依據(jù)不同作物大類形態(tài)與生育特征，進行一級作物分類及具體作物分類。所有步驟均利用增量數(shù)據(jù)驅(qū)動模型動態(tài)迭代升級?？偧夹g(shù)路線如圖2 所示。

圖2 總技術(shù)路線Fig.2 Overall technical roadmap

2 研究內(nèi)容

以圖像識別技術(shù)為核心，面向北京市設(shè)施溫室動態(tài)監(jiān)測需求，構(gòu)建了研究內(nèi)容。

2.1 構(gòu)建設(shè)施溫室生產(chǎn)狀態(tài)識別模型

以設(shè)施溫室為主要研究對象，綜合運用圖像分類、目標檢測和圖像分割等新一代視覺技術(shù)賦能，面向種植、休耕、撂荒和大棚房等不同農(nóng)業(yè)生產(chǎn)狀態(tài)主要開展了以下研究，設(shè)施溫室生產(chǎn)狀態(tài)識別模型流程如圖3所示。

圖3 設(shè)施溫室生產(chǎn)狀態(tài)識別模型流程Fig.3 Production status recognition model process for facility greenhouses

2.1.1 高質(zhì)量設(shè)施溫室圖像數(shù)據(jù)集構(gòu)建

高質(zhì)量的設(shè)施溫室圖像數(shù)據(jù)集，是設(shè)施溫室自動化監(jiān)測的基礎(chǔ)[2]。本項目從物聯(lián)網(wǎng)中臺獲取了近4 萬張溫室設(shè)施、溫室生產(chǎn)狀態(tài)和作物品種圖片，由于大棚房圖片較少，因此根據(jù)國家規(guī)定從違禁物品和便道比例兩個方面進行大棚房預(yù)警，最終人工篩選違禁物品和便道圖像1 793 張，其中違禁物品118 張，便道圖像1 675 張。在此基礎(chǔ)上綜合應(yīng)用人工識別和圖像分類技術(shù)，針對設(shè)施農(nóng)業(yè)生產(chǎn)狀態(tài)的監(jiān)測需求，經(jīng)過數(shù)據(jù)清洗、數(shù)據(jù)標注、數(shù)據(jù)擴增及構(gòu)建自動化異常圖像檢測模型，形成了2 萬多張包含種植、休耕、撂荒和大棚房不同生產(chǎn)狀態(tài)的高質(zhì)量數(shù)據(jù)集，其中包括異常圖像3 751 張、損壞圖像3 100 張、正常圖像11 711 張、休耕圖像3 172 張、撂荒圖像4 254 張、種植圖像4 285張、違禁物品圖像1 180 張及土壤-便道圖像1 675 張。為自動化篩選異常數(shù)據(jù)以節(jié)省人力資源，構(gòu)建了異常圖像檢測模型，又在樣本集基礎(chǔ)上，構(gòu)建3 種主流異常圖像檢測模型進行試驗對比。最終結(jié)果為MobileNet V2 最好，準確率98.15%。

2.1.2 基于圖像分類的設(shè)施溫室生產(chǎn)狀態(tài)識別模型

為了加強對設(shè)施溫室生產(chǎn)狀態(tài)管理，解決溫室大棚房出現(xiàn)撂荒、閑置等問題，采集了設(shè)施溫室不同狀態(tài)下的圖片，分別運用4 種不同的分類模型對設(shè)施溫室的生產(chǎn)狀態(tài)進行識別，以此為依據(jù)實現(xiàn)對設(shè)施溫室生產(chǎn)狀態(tài)智能化管理。項目分別使用MobileNetV2、ResNet50、VGG-16 和ViT 對設(shè)施溫室的生產(chǎn)狀態(tài)進行工況識別，驗證幾種分類網(wǎng)絡(luò)對設(shè)施溫室生產(chǎn)狀態(tài)的分類性能。為了更加直觀表現(xiàn)不同模型下設(shè)施溫室生產(chǎn)狀態(tài)圖像分類的準確性和提取模型性能更多的信息，本項目采用了混淆矩陣。最終結(jié)果為工況識別使用MobileNet 分類模型最好，準確率98.43%，能夠精準識別撂荒、休耕和種植3 種生產(chǎn)狀態(tài)，為溫室狀態(tài)監(jiān)管服務(wù)提供基礎(chǔ)。

2.1.3 稀缺樣本標注環(huán)境下設(shè)施大棚房自動識別

溫室大棚房屬于違法違規(guī)建設(shè)，其定義標準復(fù)雜，正因如此，很難通過溫室所安裝的攝像頭采集到足夠滿足大棚房標準樣本用于訓(xùn)練。本項目綜合應(yīng)用目標檢測和圖像分割技術(shù)，針對大棚房的相關(guān)政策，分別構(gòu)建了溫室違禁物品檢測模型和溫室便道比例識別模型，可用于種植規(guī)范識別或者撂荒發(fā)生預(yù)警，如圖4所示[3]。

圖4 違禁物品識別及土壤-便道識別Fig.4 Identification of prohibited items and identification of "soil access road"

以北京市規(guī)劃和國土資源管理委員會發(fā)布的《大棚類設(shè)施農(nóng)業(yè)項目違法違規(guī)用地整改標準》為基準，在缺少真實環(huán)境圖像樣本的背景下，結(jié)合MSCOCO 等公開數(shù)據(jù)集制定違禁物品黑名單，分別采用DeepLabv3 語義分割技術(shù)通過土壤-便道比例識別溫室違建、采用YOLO 目標檢測技術(shù)識別違規(guī)物品，綜合判定大棚房，實現(xiàn)覆蓋大棚房認定標準高效自動識別方法。基于3 000 余張圖片，使用7 種主流模型進行試驗對比。最終結(jié)果為使用YOLOX 和Unet 模型最好，準確率>90%。經(jīng)過分析后得出土壤-便道比例閾值35.71%，超出35.71%則有大棚房風(fēng)險。

2.2 構(gòu)建設(shè)施溫室作物品種識別模型

以設(shè)施溫室作物為主要研究對象，綜合運用數(shù)據(jù)清洗、圖像擴展、圖像自動化標注和圖像分類等新一代人工智能技術(shù)賦能，針對10 種常見作物（番茄、芹菜、黃瓜、草莓、茄子、辣椒、油菜、韭菜、紅薯葉和苦瓜）開展研究，設(shè)施溫室作物品種識別模型流程如圖5 所示。

2.2.1 面向海量數(shù)據(jù)標簽自學(xué)習(xí)的圖像半自動預(yù)處理

針對所采集數(shù)據(jù)圖像標注中耗費大量人力現(xiàn)象、提升數(shù)據(jù)集泛化支撐能力，采用圖像模糊度評價、EISeg 標注平臺和多類型變換技術(shù)，開展數(shù)據(jù)清洗、半自動化標注和數(shù)據(jù)擴增研究，將圖片從4 萬余張擴充到30 萬余張，為后續(xù)研究構(gòu)建體量大、樣本豐富、代表性強的訓(xùn)練數(shù)據(jù)集。

2.2.2 基于可解釋深度學(xué)習(xí)模型的果菜/葉菜分類識別

本項目中涉及分類的作物種類多，而果菜和葉菜等作物大類具有全生育期明顯的植株生理性狀差異（如高度、覆蓋度等）。為了更好地利用模型準確識別出具體作物，構(gòu)建獨立的深度學(xué)習(xí)模型提前判別果菜/葉菜一級作物，實現(xiàn)作物“粗分類”是本項目的關(guān)鍵問題，為后續(xù)具體作物識別模型縮小分類判定范圍從而“減負”。針對作物果菜/葉菜種類的“粗分類”問題，以大類作物的生理形態(tài)特征為驅(qū)動，對比最新網(wǎng)絡(luò)框架模型的分類精度，結(jié)合特征可視化技術(shù)，直觀展示分類結(jié)果所關(guān)聯(lián)的FeatureMap 圖像特征區(qū)域熱力分布，更好地解釋模型的運行機制，通過高精度大類作物分類為后續(xù)具體作物識別縮小范圍實現(xiàn)“減負”。利用果菜和葉菜一級作物20 萬余張圖片，對比MoblieNet、Resnet 50、VGG 和ViT 共4 種 主 流CNN架構(gòu)分類網(wǎng)絡(luò)，其中ViT 模型效果最好，準確率99.71%，并且通過輕量化壓縮模型，便于邊緣部署[4]。

2.2.3 基于深度學(xué)習(xí)的設(shè)施溫室作物品種識別模型

針對設(shè)施農(nóng)業(yè)10 類常見作物品種高效分類的問題，采用先進的EfficientNetV2 深度學(xué)習(xí)分類網(wǎng)絡(luò)進行作物品種識別。對北京市設(shè)施監(jiān)控云平臺收集作物圖片進行均衡化擴充與圖像增強，然后根據(jù)數(shù)據(jù)量訓(xùn)練相應(yīng)地合適規(guī)模大小的EfficientNet 網(wǎng)絡(luò)，為后續(xù)根據(jù)不同的作物品種采用不同的農(nóng)事管理策略提供基礎(chǔ)。利用10 種作物的20 萬余張圖片，使用EfficientNetV2 模型進行識別，針對10 類常見設(shè)施溫室作物，每類作物的識別率均達到85%以上，總體準確率89.43%。

2.3 建立設(shè)施溫室動態(tài)監(jiān)測模塊

系統(tǒng)開發(fā)采用“模型訓(xùn)練-模型部署-平臺對接”的方式。將設(shè)施溫室生產(chǎn)狀態(tài)識別模型和設(shè)施溫室作物品種識別模型與北京市種植業(yè)綜合管理平臺的物聯(lián)網(wǎng)中臺集成，構(gòu)建設(shè)施溫室動態(tài)監(jiān)測模塊，充分利用北京市種植業(yè)各類數(shù)據(jù)，實現(xiàn)了設(shè)施作物生產(chǎn)動態(tài)監(jiān)測服務(wù)，設(shè)施溫室生產(chǎn)狀態(tài)識別模型應(yīng)用效果和設(shè)施溫室作物品種識別模型應(yīng)用效果如圖6 和圖7 所示。

3 創(chuàng)新點

（1）面向海量數(shù)據(jù)的標簽自學(xué)習(xí)下的圖像半自動預(yù)處理技術(shù)應(yīng)用。項目通過對原始圖像進行預(yù)處理，實現(xiàn)擴展訓(xùn)練數(shù)據(jù)體量，進而提升模型泛化能力，進一步結(jié)合半自動打標機制，在保證標準準確率的同時，有效減輕人工標注壓力。

（2）稀缺樣本標注環(huán)境下設(shè)施大棚房的自動識別技術(shù)創(chuàng)新。項目突破了原有對大棚房直接識別的固化思路，提出了采用圖像語義分割與目標檢測相結(jié)合的綜合大棚房判定方法，創(chuàng)造性地提出土壤-便道相對比例法識別違建，構(gòu)建違規(guī)物品黑名單，實現(xiàn)違規(guī)物品的動態(tài)檢測。

（3）基于可解釋深度學(xué)習(xí)模型的果菜/葉菜分類識別技術(shù)創(chuàng)新。本項目的創(chuàng)新性在于采用“粗分類+特征識別”形式組合構(gòu)成分類模型，避免過度依賴數(shù)據(jù)樣本和訓(xùn)練模型的單一深度學(xué)習(xí)模型，提高預(yù)測結(jié)果準確率，避免直接端對端的黑箱學(xué)習(xí)過程，解析網(wǎng)絡(luò)層提取特征，并進行本地化的遷移學(xué)習(xí)或模型改進[5]。

4 效益及應(yīng)用前景

4.1 效益分析

4.1.1 經(jīng)濟效益

（1）通過對種植環(huán)境的監(jiān)測、品種分析，可輔助生產(chǎn)和管理技術(shù)指導(dǎo)等科學(xué)生產(chǎn)管理和標準化種植，有助于建立穩(wěn)定和適宜的生長環(huán)境，減少因環(huán)境不適和管理不善導(dǎo)致的減產(chǎn)和品質(zhì)下降，提升了蔬菜產(chǎn)出規(guī)模，保障了產(chǎn)品長勢良好、大小均勻、外觀一致度高，提高了設(shè)施種植的品質(zhì)等級。

（2）基于種植數(shù)據(jù)與市場需求數(shù)據(jù)等綜合大數(shù)據(jù)的分析，指導(dǎo)優(yōu)化種植結(jié)構(gòu)，合理排產(chǎn)，實現(xiàn)種植產(chǎn)出與市場需求的合理匹配，解決蔬菜上市扎堆、大量蔬菜滯銷的問題，保障蔬菜銷售價格，減少了因銷售不暢所帶來的損失。

4.1.2 社會效益

項目利用圖像識別技術(shù)，構(gòu)建設(shè)施溫室生產(chǎn)狀態(tài)識別模型、作物品種識別模型，可以智能識別生產(chǎn)設(shè)施狀態(tài)（大棚房問題、撂荒、閑置和種植等），生產(chǎn)作物的信息，可以進行設(shè)施監(jiān)管的異常報警，隨時摸清生產(chǎn)空間資源底牌，實時掌握生產(chǎn)空間資源的變化、資源利用等動態(tài)數(shù)據(jù)，為全市設(shè)施農(nóng)業(yè)監(jiān)管及補貼發(fā)放提供動態(tài)化、透明化的數(shù)據(jù)支撐，有助于推動以獎補帶動北京市設(shè)施農(nóng)業(yè)產(chǎn)業(yè)振興和鄉(xiāng)村振興的成效，對全市農(nóng)業(yè)供給側(cè)改革工作推進具有重要意義[6]。

4.2 應(yīng)用前景分析

4.2.1 智能硬件升級，提升智能化服務(wù)技術(shù)水平

項目構(gòu)建的設(shè)施溫室生產(chǎn)狀況識別模型和作物品種識別模型可以通過邊緣部署等手段嵌入到硬件設(shè)備中，實現(xiàn)對硬件設(shè)備的升級改造，擴展傳統(tǒng)設(shè)備的功能，提高智能化服務(wù)效能。

《北京市加快推進數(shù)字農(nóng)業(yè)農(nóng)村發(fā)展行動計劃（2022—2025）》提出，到2025 年，信息技術(shù)在設(shè)施生產(chǎn)中的應(yīng)用率達到80%。可見，信息化與農(nóng)業(yè)生產(chǎn)的有效融合應(yīng)用是未來的主要趨勢，信息技術(shù)在農(nóng)業(yè)領(lǐng)域的市場需求大[7]。

4.2.2 軟件平臺部署，強化設(shè)施農(nóng)業(yè)數(shù)字化監(jiān)管

項目將物聯(lián)網(wǎng)技術(shù)、圖像識別技術(shù)等農(nóng)業(yè)智能化技術(shù)應(yīng)用于農(nóng)情信息的識別與設(shè)施動態(tài)監(jiān)測、研究，建立設(shè)施溫室生產(chǎn)狀況識別模型和作物品種識別模型，部署到軟件平臺中，著力發(fā)揮先進軟件技術(shù)對農(nóng)業(yè)生產(chǎn)空間資源變化、資源利用等動態(tài)數(shù)據(jù)的監(jiān)控，強化設(shè)施農(nóng)業(yè)數(shù)字化監(jiān)管?！侗本┦小笆奈濉睍r期鄉(xiāng)村振興戰(zhàn)略實施規(guī)劃》提出，到2025 年，蔬菜產(chǎn)量達到220 萬t，自給率提升至20%以上?？梢?，設(shè)施作物的市場需求量較大，對作物進行數(shù)字化監(jiān)管有利于作物的科學(xué)種植，以提高產(chǎn)量[8-10]。

4.2.3 大田場景遷移，保障糧食安全屏障

項目構(gòu)建了針對設(shè)施農(nóng)業(yè)動態(tài)監(jiān)管與服務(wù)的技術(shù)路徑，包括“圖像采集-模型構(gòu)建-模型量化-平臺對接”。應(yīng)用前景較為廣泛，其技術(shù)路徑不僅僅局限于設(shè)施溫室，還可以推廣到其他的場景中去。未來，可以將設(shè)施溫室的智能化監(jiān)管與服務(wù)的技術(shù)手段遷移到大田中去，結(jié)合大田實際采集圖像及構(gòu)建大田作物生長參數(shù)識別模型，以穩(wěn)定大田作物產(chǎn)量，提高大田作物質(zhì)量。

5 結(jié)束語

本項目通過構(gòu)建設(shè)施溫室生產(chǎn)狀態(tài)識別模型和設(shè)施溫室作物品種識別模型，不僅能精準掌握北京市設(shè)施蔬菜種植情況和產(chǎn)能情況，還能進一步整合現(xiàn)有北京市農(nóng)業(yè)產(chǎn)業(yè)資源，匯集全市農(nóng)業(yè)生產(chǎn)園區(qū)生產(chǎn)種植全過程的數(shù)據(jù)，實現(xiàn)精準且高效的集中監(jiān)管、遠程指揮和決策支持，從而以科技手段助力北京市設(shè)施蔬菜發(fā)展，推進農(nóng)業(yè)產(chǎn)業(yè)振興、鄉(xiāng)村振興。