機(jī)器視覺在棉花智能打頂領(lǐng)域的應(yīng)用研究進(jìn)展*

劉海濤，伊麗麗，蘭玉彬, 2，韓鑫，崔立華

(1. 山東理工大學(xué)農(nóng)業(yè)工程與食品科學(xué)學(xué)院，山東淄博，255000； 2. 山東省農(nóng)業(yè)航空智能裝備工程技術(shù)研究中心，山東淄博，255000； 3. 山東綠風(fēng)農(nóng)業(yè)集團(tuán)有限公司，山東濱州，256600)

0 引言

棉花是我國重要的經(jīng)濟(jì)作物，其種植生產(chǎn)在國民經(jīng)濟(jì)發(fā)展和個人生活中具有不可替代的作用。但是，近10年來我國棉花種植面積不斷減少，其中棉花生產(chǎn)主要依靠人工，機(jī)械化水平低是原因之一。因此提升我國棉花機(jī)械化生產(chǎn)水平刻不容緩，而打頂作業(yè)正是需要機(jī)械替人的關(guān)鍵環(huán)節(jié)[1-3]。

棉花打頂能夠抑制頂芽生長，打破棉花頂端優(yōu)勢，改變養(yǎng)分的輸送方向，促進(jìn)棉株結(jié)鈴結(jié)桃，提高棉花的產(chǎn)量和品質(zhì)。但目前的機(jī)械化打頂仍存在準(zhǔn)確率低、漏刀、過切等現(xiàn)象，嚴(yán)重影響棉花產(chǎn)量[4]。因此提高棉株在復(fù)雜田間背景下的識別定位精度，進(jìn)而提升打頂質(zhì)量就顯得很有必要。近年來隨著機(jī)器視覺技術(shù)在農(nóng)業(yè)領(lǐng)域的快速發(fā)展，利用機(jī)器視覺技術(shù)的非破壞性、精度高、智能化程度高、信息量大、靈活等特點解決棉株識別定位精度低的問題變得越來越可行。本文對國內(nèi)外文獻(xiàn)進(jìn)行了總結(jié)，歸納了機(jī)器視覺在棉花打頂領(lǐng)域相關(guān)的應(yīng)用研究，對現(xiàn)有技術(shù)方法存在的問題和不足進(jìn)行了分析，并提出了一些具有實際價值的建議，為后續(xù)的研究工作提出了看法。

1 機(jī)器視覺技術(shù)

機(jī)器視覺技術(shù)是指利用計算機(jī)模擬人的視覺功能，提取圖像信息并加以理解分析，廣泛應(yīng)用于工業(yè)、農(nóng)業(yè)、醫(yī)學(xué)等領(lǐng)域。機(jī)器視覺系統(tǒng)由照明光源、鏡頭、攝像機(jī)、圖像采集卡、計算機(jī)、執(zhí)行機(jī)構(gòu)等組成，如圖1所示。利用CCD攝像機(jī)以圖像形式采集作物生長狀態(tài)，通過一系列圖像處理操作對其進(jìn)行分析，進(jìn)而控制驅(qū)動執(zhí)行機(jī)構(gòu)完成相關(guān)操作[5-7]。

圖1 機(jī)器視覺系統(tǒng)簡圖

由于不同植物或是同種植物不同部位之間在顏色、形態(tài)、紋理等方面存在著較大的差異，要實現(xiàn)對其特征的正確識別分類，需要利用圖像分割、特征檢測、邊緣檢測、圖像變換等技術(shù)對采集的視覺信息進(jìn)行針對性處理[8]，因此機(jī)器視覺技術(shù)與圖像處理、模式識別、人工智能等領(lǐng)域密切相關(guān)。

2 棉株的識別定位技術(shù)

2.1 國外研究概述

由于國外主要使用化學(xué)打頂方式，對棉花頂葉進(jìn)行藥劑控制，因此在棉株識別定位方面的研究內(nèi)容很少。但使用機(jī)器視覺技術(shù)在雜草和其他植物識別方面的研究起步早，成果顯著。

1995年Chaisattapagon[9]使用了基于顏色、形狀、紋理三種不同特征的分析方法，利用機(jī)器視覺系統(tǒng)在溫室環(huán)境下對小麥田中的闊葉雜草進(jìn)行了識別研究。1998年Burks等[10]利用顏色共生矩陣方法進(jìn)行統(tǒng)計紋理分析，研究表明僅使用色調(diào)和飽和度統(tǒng)計就可以將5種雜草從土壤背景中識別分類, 其準(zhǔn)確率高達(dá)93%。2002年Astrand等[11]為了解決甜菜種植過程中的雜草問題，使用兩套視覺系統(tǒng)進(jìn)行機(jī)械化除草，并且針對當(dāng)時技術(shù)對甜菜地塊種植行識別以及雜草識別方面存在的問題，提出了一種新的行識別算法和一種新的植物識別算法，結(jié)果表明利用視覺系統(tǒng)對甜菜和雜草的單株識別是可行的。

隨著人工神經(jīng)網(wǎng)絡(luò)等模式識別方法的不斷發(fā)展，其研究也越來越多的應(yīng)用到了雜草等植物識別中。2002年Cho等[12]研制了一種利用(Charge Coupled Device)CCD相機(jī)對蘿卜和雜草進(jìn)行識別的機(jī)器視覺系統(tǒng)，通過分析彩色圖像的二值圖像形態(tài)特征，使用判別分析方法和人工神經(jīng)網(wǎng)絡(luò)分別對其進(jìn)行識別，研究發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)能更有效的區(qū)分兩者。2016年Mads等[13]利用卷積神經(jīng)網(wǎng)絡(luò)來分類識別22種早期生長階段的雜草和作物，并搜集了不同環(huán)境條件下總計 10 413 張彩色圖片，經(jīng)過訓(xùn)練測試，最終該網(wǎng)絡(luò)分類的平均準(zhǔn)確率達(dá)到了86.2%。2018年Dias等[14]針對蘋果花識別困難問題，提出了一種基于深度學(xué)習(xí)的花卉識別算法，該算法對比現(xiàn)有的三種檢測方法召回率和準(zhǔn)確率均超過90%，優(yōu)勢明顯且泛化性能好。

總體上，早期的科研人員利用植物的顏色、紋理、形狀等傳統(tǒng)的圖像特征進(jìn)行分析識別，雖然識別效果好，但圖像處理過程繁瑣，大部分試驗在室內(nèi)或溫室等環(huán)境良好的條件下進(jìn)行，并未考慮真實田間環(huán)境以及雜草識別的實時性。后期則趨向于利用神經(jīng)網(wǎng)絡(luò)來提取特征信息進(jìn)行識別，由此積累了大量的試驗數(shù)據(jù)和經(jīng)驗，為國內(nèi)科研人員在棉株識別定位方面的研究提供了一定思路。

2.2 國內(nèi)研究概述

與國外相比，國內(nèi)科研人員對于棉株識別定位的研究內(nèi)容豐富、方法多樣，并取得了一定成果。2006年石河子大學(xué)的胡斌等研制了3MD-12型棉花打頂機(jī)，該型打頂機(jī)基本滿足棉花打頂作業(yè)的農(nóng)藝要求，而且也填補(bǔ)了國內(nèi)機(jī)械化打頂?shù)目瞻?，開創(chuàng)了國內(nèi)高校對棉花打頂機(jī)的設(shè)計研究。雖然機(jī)械打頂節(jié)省了人力，但漏打、過打問題突出，刀軸高度不能根據(jù)棉株的個體差異實時做出調(diào)整，從而造成打頂精度低，損傷棉桃[15]。因此對單株棉花的精準(zhǔn)識別定位研究變得越來越迫切。

國內(nèi)對棉株的識別定位技術(shù)研究可以總結(jié)為5類：機(jī)器視覺技術(shù)、超聲波測距技術(shù)、激光三角測距技術(shù)、紅外線技術(shù)以及仿形板技術(shù)，它們在棉株識別定位方面的優(yōu)缺點如表1所示。李霞等[16]針對 3MD-12 型打頂機(jī)對棉株高度識別精準(zhǔn)不足問題，采用標(biāo)定的UC4000-30GM型超聲波傳感器對棉株高度進(jìn)行測量研究。試驗結(jié)果表明采用超聲波測距時，回波聲強(qiáng)與被測物體距離遠(yuǎn)近有關(guān)，并且要充分考慮傳播介質(zhì)的特性對聲速帶來的負(fù)面影響，利用溫度補(bǔ)償?shù)姆椒ㄐ拚曀伲瑴p少棉株測量過程中產(chǎn)生的誤差。周海燕等[17]對比了激光、超聲波兩種定位方法在棉株高度測量時的應(yīng)用表現(xiàn)，結(jié)果表明相較于超聲波傳感器，激光傳感器在測量棉株高度方面誤差小，更有優(yōu)勢。閆毅敏等[18]利用STC90C51單片機(jī)控制紅外測距傳感器和超聲波傳感器分別在室內(nèi)外環(huán)境下對棉株頂尖高度進(jìn)行測量。結(jié)果表明紅外測距傳感器在室外有太陽光直射條件的測量精度高于室內(nèi)無太陽光直射的環(huán)境，并且超聲波測距傳感器在聲速為340 m/s(15 ℃)條件下測量精度優(yōu)于經(jīng)過溫度補(bǔ)償后的聲速測量精度。姚強(qiáng)強(qiáng)等[19]設(shè)計了接觸式單體仿形裝置，并對裝置中仿形板的質(zhì)量，仿形板到水平切割器的距離以及切割器的最大行程這三個影響棉花仿形效果的主要參數(shù)進(jìn)行了優(yōu)化調(diào)整，經(jīng)過田間試驗，打頂率達(dá)到了88.64%。

表1 棉株識別定位技術(shù)比較Tab. 1 Comparison of cotton identification and positioning technology

3 基于雙目立體視覺的棉株識別定位技術(shù)

雙目立體視覺技術(shù)是計算機(jī)視覺領(lǐng)域的重要分支，通過直接模擬人類視覺系統(tǒng)感知外界信息，它主要通過攝像機(jī)標(biāo)定、特征提取、圖像匹配、三維重建等步驟實現(xiàn)，一般由不同位置的兩臺或一臺運(yùn)動攝像機(jī)所拍攝的場景進(jìn)行空間坐標(biāo)定位[20-21]。當(dāng)前以機(jī)械方式對棉花進(jìn)行打頂作業(yè)時，在三維空間中對棉株的識別以及位置信息獲取就顯得尤為重要。

瞿端陽等[22]采用一對現(xiàn)代V2019攝像頭構(gòu)建了雙目立體視覺系統(tǒng)，通過對攝像頭的標(biāo)定獲得了相機(jī)內(nèi)外部參數(shù)信息。實驗過程中將拍攝的圖像進(jìn)行分割，去除不相干背景信息，獲得棉株圖像。并利用棉株頂點進(jìn)行特征點立體匹配，經(jīng)過最小二乘計算方法和誤差校正最終算得棉株的深度信息且棉株定位誤差在0.43～30.57 mm之間，結(jié)果表明機(jī)器視覺技術(shù)能夠用于棉株識別定位。韓大龍[23]建立了動態(tài)立體視覺系統(tǒng)(圖2)和靜態(tài)視覺系統(tǒng)分別用于棉株定位以及棉株頂尖檢測識別，并設(shè)計了基于Adaboost算法的多層級聯(lián)棉株頂尖檢測系統(tǒng)，對頂葉的檢測率達(dá)到了83.41%，檢測速度達(dá)到了3幀/s。馮康[24]搭建了成熟的棉花視覺系統(tǒng)(圖3)，并利用棉花形心進(jìn)行特征匹配以獲得其在三維空間中的深度信息，為避免誤匹配，同時再利用極線約束、唯一性約束、次序約束的匹配算法減少誤差，提高匹配效率，從而最終實現(xiàn)空間定位，實驗結(jié)果表明：該方法定位準(zhǔn)確率達(dá)到了88%以上。樊海鳳[25]詳細(xì)總結(jié)了現(xiàn)有立體匹配方法的優(yōu)點，提出了基于棉花分割信息的區(qū)域匹配方法，并根據(jù)工況特殊性，對算法進(jìn)行了改進(jìn)。在室內(nèi)通過構(gòu)建平行雙目立體視覺系統(tǒng)進(jìn)行試驗，結(jié)果表明該方法是一種誤匹配率低、計算量小、實時性好的匹配方法。

圖2 立體視覺執(zhí)行機(jī)構(gòu)

圖3 機(jī)器視覺執(zhí)行機(jī)構(gòu)

4 基于神經(jīng)網(wǎng)絡(luò)的棉株株頂識別技術(shù)

4.1 基于BP神經(jīng)網(wǎng)絡(luò)的棉株株頂識別

BP(Back Propagation)神經(jīng)網(wǎng)絡(luò)于1986年由Rumelhart[26]及其研究小組發(fā)表在Nature雜志的論文《Learning representations by back-propagating errors》上提出，BP神經(jīng)網(wǎng)絡(luò)是目前最廣泛應(yīng)用的神經(jīng)網(wǎng)絡(luò)模型之一。BP算法的學(xué)習(xí)過程包含兩部分，分別為正向傳播與反向傳播。它計算正向傳播的輸出層結(jié)果與期望結(jié)果之間的誤差，通過反向傳播不斷更新網(wǎng)絡(luò)中的權(quán)值與偏差，使其誤差平方和最小[27]。

劉俊奇[28]基于棉株頂尖的形態(tài)特征，利用BP神經(jīng)網(wǎng)絡(luò)對參數(shù)進(jìn)行了設(shè)計，開發(fā)了適合棉花打頂機(jī)高度自動識別的棉花頂尖圖像識別系統(tǒng)，通過Visual C++開發(fā)工具實現(xiàn)了對圖像預(yù)處理以及棉花頂尖圖像識別的算法研究。經(jīng)過測試和實驗，結(jié)果表明利用神經(jīng)網(wǎng)絡(luò)技術(shù)來實現(xiàn)棉花頂尖識別是可行。這是國內(nèi)首次利用神經(jīng)網(wǎng)絡(luò)對棉花頂葉圖像進(jìn)行識別的研究，為以后的探究奠定了基礎(chǔ)。

瞿端陽等研究了基于顏色特征的棉株頂葉識別方法，采用MATLABR2011a軟件對采集的棉株頂葉圖像進(jìn)行分割處理，如圖4所示，通過提取頂葉圖像RGB3個通道分量的均值(Mean)、方差(Variance)、標(biāo)準(zhǔn)差(Standard Deviation)共9個特征作為棉株頂葉與其他葉片區(qū)別的特征，然后利用BP神經(jīng)網(wǎng)絡(luò)對棉株進(jìn)行識別。結(jié)果表明利用棉株頂葉的顏色特征，使用BP神經(jīng)網(wǎng)絡(luò)進(jìn)行識別定位，可以很好的區(qū)分出棉株頂葉和其他葉片，準(zhǔn)確率達(dá)到了85.7%。

(a) 原始圖像

4.2 基于卷積神經(jīng)網(wǎng)絡(luò)的棉株株頂識別

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)，是一種最常見的深度學(xué)習(xí)架構(gòu)，受生物自然視覺認(rèn)知機(jī)構(gòu)啟發(fā)而來。它主要包括卷積層(Convolutional Layer)和池化層(Pooling Layer)，由于具有局部連接性和權(quán)值共享等特點，使其在大規(guī)模圖像特征提取方面相較于傳統(tǒng)手工設(shè)計的圖像特征提取算法優(yōu)勢明顯[29-30]。兩種特征提取方式優(yōu)缺點總結(jié)，如表2所示。1998年Lecun等[31]提出LeNet-5模型，這是世界上第一個正式的卷積神經(jīng)網(wǎng)絡(luò)模型，確立了CNN的現(xiàn)代結(jié)構(gòu)。2012年Alex Krizhevshy提出了經(jīng)典AlexNet模型，該網(wǎng)絡(luò)模型在當(dāng)年的ImageNet比賽中一舉奪魁，開啟了深度學(xué)習(xí)時代。VGG模型由牛津大學(xué)在2014年提出，該模型結(jié)構(gòu)簡潔，規(guī)律明顯，它在AlxeNet的基礎(chǔ)上，通過加深網(wǎng)絡(luò)，進(jìn)一步提高性能。VGG模型探索了卷積神經(jīng)網(wǎng)絡(luò)的深度與性能之間的關(guān)系，成功構(gòu)筑了VGG16和VGG19等經(jīng)典神經(jīng)網(wǎng)絡(luò)。證明了更深的網(wǎng)絡(luò)，有助于提高分類準(zhǔn)確度[32-33]。而后的GoogleNet、ResNet等深度從數(shù)十層到數(shù)百層的網(wǎng)絡(luò)提出，進(jìn)一步提升了對圖像的識別精度。從而為未來在棉株株頂識別領(lǐng)域進(jìn)一步的研究提供了算法基礎(chǔ)和探索方向。

表2 圖像不同特征提取方法優(yōu)缺點總結(jié)Tab. 2 Summary of advantages and disadvantages of different image feature extraction methods

沈曉晨[34]采用了目標(biāo)檢測網(wǎng)絡(luò)中YOLO模型的柵格思想，將棉株株頂圖像劃分為5×5個網(wǎng)格,如圖5所示。并選擇VGG16網(wǎng)絡(luò)模型，把網(wǎng)格作為輸入圖像進(jìn)行訓(xùn)練。通過1 000次迭代訓(xùn)練，模型在訓(xùn)練集中對棉株株頂識別率為91.2%，在測試集中識別率為83.4%。但由于受到CPU、GPU等硬件條件的限制，很難實現(xiàn)實時在線的定位識別。該測試結(jié)果表明，未來隨著硬件性能的提升能夠?qū)崿F(xiàn)在田間對棉株株頂?shù)膶崟r定位識別，深度學(xué)習(xí)思想能夠成為未來的探索方向。

圖5 柵格化輸入圖像

李尚平等[35]采用改進(jìn)的YOLOv3網(wǎng)絡(luò)(圖6)，建立了對甘蔗莖節(jié)智能識別卷積神經(jīng)網(wǎng)絡(luò)模型，通過切種裝置內(nèi)部的攝像頭對甘蔗表面進(jìn)行連續(xù)、動態(tài)的數(shù)據(jù)采集，對輸入識別系統(tǒng)的圖像特征進(jìn)行實時定位與識別，標(biāo)記出莖節(jié)位置，再經(jīng)過數(shù)據(jù)處理將實時的莖節(jié)信息傳遞給多刀數(shù)控切割臺進(jìn)行實時切割。試驗結(jié)果表明基于改進(jìn)YOLOv3的卷積神經(jīng)網(wǎng)絡(luò)模型的莖節(jié)識別平均精確度為90.38%，平均識別時間達(dá)到了28.7 ms。滿足連續(xù)、實時識別定位蔗種莖節(jié)的要求。該裝置的研制成功對于未來在棉花打頂機(jī)的研發(fā)具有積極的借鑒意義。Zhang等[36]為了有效識別和定位麥田中的雜草，開發(fā)了基于無人機(jī)成像的深度學(xué)習(xí)雜草檢測方法，相較于YOLOv3，利用更適合在移動端部署的YOLOv3-Tiny網(wǎng)絡(luò)模型檢測出圖像中的雜草像素坐標(biāo)并將其轉(zhuǎn)化成地面真實位置從而標(biāo)記在處方圖上，為后續(xù)噴施除草劑作業(yè)提供支持。該研究也為棉花打頂提供了一種利用無人機(jī)識別頂葉的新思路。

圖6 改進(jìn)的YOLOv3網(wǎng)絡(luò)正向傳播過程

5 存在問題

棉株株頂?shù)木珳?zhǔn)識別對于棉花打頂意義重大，通過對國內(nèi)外相關(guān)文獻(xiàn)的分析總結(jié)，結(jié)合機(jī)器視覺技術(shù)在農(nóng)業(yè)領(lǐng)域的應(yīng)用特點，發(fā)現(xiàn)機(jī)器視覺技術(shù)在棉花打頂方面依舊存在一些問題有待進(jìn)一步改進(jìn)。

1) 棉株株頂識別實時性有待提高。受到計算機(jī)硬件和相關(guān)執(zhí)行機(jī)構(gòu)響應(yīng)速度的制約，現(xiàn)階段的棉花打頂機(jī)很難對棉花頂葉實時識別打頂，即“邊識別邊打頂”。在保證識別精度的情況下，難以滿足實時性的要求。因此一方面需要提高數(shù)據(jù)的處理速度，包括使用運(yùn)算更快的處理器或是使用遠(yuǎn)程服務(wù)器進(jìn)行云端識別。另一方面，從農(nóng)藝角度出發(fā)，要選育出易被識別的棉花品種，避免棉花頂部雜亂無序的生長，使得棉株頂葉圖像難以被攝像機(jī)采集，進(jìn)而不能被及時處理，造成錯識別、漏識別。

2) 棉株株頂圖像識別算法有待優(yōu)化。一方面隨著人工智能發(fā)展，算法的革新帶來的優(yōu)勢是顯而易見的，從早期的BP神經(jīng)網(wǎng)絡(luò)到后來的VGG16網(wǎng)絡(luò)，算法的革新帶來了更好的識別效果。因此在以后的研究中可以采用目標(biāo)檢測方法，利用像YOLO這種端到端的網(wǎng)絡(luò)將目標(biāo)檢測問題轉(zhuǎn)化為回歸問題。此外，對算法改進(jìn)優(yōu)化，減少模型冗余，使其善于處理棉株頂葉圖像信息，提升識別精度。

3) 棉田復(fù)雜作業(yè)環(huán)境帶來的干擾?，F(xiàn)階段大多數(shù)研究處于科研人員設(shè)定的理想環(huán)境下，忽略了真實棉田條件下不同時間段內(nèi)光照、溫度、風(fēng)速等因素給棉株株頂圖像采集與識別帶來的干擾。因此需要對這些影響因素做進(jìn)一步的探索和試驗，從而對裝備或是算法做出針對性的調(diào)整。

6 研究展望

1) 利用機(jī)器視覺開展棉株頂葉生長期分類研究。由于不同棉株頂葉生長期存在差異，在同一時間段內(nèi)打頂可能會造成某些棉株發(fā)生早打頂或晚打頂現(xiàn)象，過早或過晚打頂都會給棉花后續(xù)生長和產(chǎn)量帶來負(fù)面影響。因此對棉株頂葉的不同生長期進(jìn)行的分類識別，從而實現(xiàn)更精細(xì)的打頂作業(yè)。

2) 利用機(jī)器視覺開展棉株物理打頂技術(shù)研究。由于現(xiàn)有棉花打頂機(jī)仍存在仿形精度低，蕾鈴損傷高等問題，通過機(jī)器視覺技術(shù)識別定位棉株頂葉位置的同時輔以傳感器，控制割刀移動的距離與角度，改進(jìn)其不足，提升打頂質(zhì)量。

3) 利用機(jī)器視覺開展棉株化學(xué)打頂技術(shù)研究。近年來采取人工與化控相結(jié)合的打頂方式越來越普遍，噴施化學(xué)打頂劑一方面減少人工、降低成本，另一方面對棉花進(jìn)行二次打頂，抑制幼芽生長，徹底消除棉花頂端優(yōu)勢。但是大范圍噴施化學(xué)打頂劑不僅污染環(huán)境，還造成藥液浪費(fèi)，因此利用機(jī)器視覺技術(shù)對棉株進(jìn)行識別實現(xiàn)精準(zhǔn)噴施，達(dá)到綠色環(huán)保的作業(yè)要求。

4) 利用機(jī)器視覺開展棉株打頂與病蟲害防控協(xié)同作業(yè)技術(shù)研究。充分發(fā)揮機(jī)器視覺技術(shù)的優(yōu)勢，在識別定位棉株頂葉的同時，對其葉面病蟲害進(jìn)行檢測評估。一方面及時發(fā)現(xiàn)棉花葉面初期病害信息，提前防治、減少損失。另一方面一機(jī)多用，在實現(xiàn)打頂作業(yè)同時，節(jié)省人工檢測成本。

7 結(jié)束語

針對現(xiàn)有棉花機(jī)械化打頂存在的定位不清晰、漏刀、過切等現(xiàn)象，隨著計算機(jī)硬件的推陳出新，以及深度學(xué)習(xí)等內(nèi)容的不斷成熟，相信利用其智能化程度高、識別精度好、靈活等特點能夠?qū)崿F(xiàn)棉株頂芽的精準(zhǔn)識別，進(jìn)而提升棉花機(jī)械化打頂質(zhì)量、增加棉花產(chǎn)量。因此不斷克服目前相關(guān)技術(shù)難點和環(huán)境局限性，相信機(jī)器視覺技術(shù)能夠改善我國棉花田間管理的水平。