美國白蛾幼蟲網(wǎng)幕圖像識別算法及其視覺伺服系統(tǒng)研究*

魏晨，國樹金，荊茂焱，朱鴻瑞，趙穎

(聊城大學(xué)機(jī)械與汽車工程學(xué)院，山東聊城，252000)

0 引言

美國白蛾又名美國燈蛾，是一種世界性檢疫害蟲[1]。美國白蛾繁殖力強(qiáng)，危害300多種植物，對園林樹木造成嚴(yán)重的危害[2]。美國白蛾生長期分為卵、幼蟲、蛹、成蟲四個階段[3]，其在幼蟲期危害樹木最為嚴(yán)重，幼蟲聚集葉片上吐絲結(jié)網(wǎng)，形成網(wǎng)幕，取食寄主的葉肉[4]。美國白蛾整個幼蟲期間取食量極大，造成植物長勢衰弱，甚至整株死亡[5]。目前防治方法主要是人工大面積噴灑化學(xué)藥劑，該方法環(huán)境污染嚴(yán)重且對人體健康不利[6]。

目前，國內(nèi)外專家學(xué)者在精準(zhǔn)對靶噴藥方面做了許多研究。2022年蔣順勇等[7]提出了一種精確的農(nóng)藥噴灑裝置。結(jié)合機(jī)器視覺和噴嘴對靶的原理，各類植保無人機(jī)也得到了大規(guī)模的應(yīng)用[8]。目前國內(nèi)外在利用精準(zhǔn)對靶噴藥技術(shù)實(shí)現(xiàn)防治美國白蛾的研究相對較少。通過機(jī)器視覺技術(shù)獲取靶標(biāo)位置信息，使用自動化設(shè)備實(shí)現(xiàn)精準(zhǔn)對靶噴藥，可有效解決上述不足[9]。

1 系統(tǒng)工作基礎(chǔ)與工作流程

1.1 工作場景介紹

因噴藥對象植株巨大，因此將噴藥機(jī)器人設(shè)置在可升降的小車上，在小車驅(qū)動下沿植株做圓周運(yùn)動，并在圓周的定點(diǎn)位置實(shí)施噴藥。在每一定點(diǎn)位置處，升降裝置根據(jù)植株具體高度升高到一定位置，手眼協(xié)調(diào)式執(zhí)行機(jī)構(gòu)在噴藥支架上首先做深度調(diào)節(jié)，到達(dá)合適深度距離時(shí)，開始按照既定路徑做局部運(yùn)動，覆蓋一定的樹冠面積，然后手眼機(jī)構(gòu)復(fù)位，通過升降裝置的進(jìn)一步升高，重復(fù)上述作業(yè)使噴藥范圍覆蓋到樹頂。

1.2 空間四自由度智能噴藥機(jī)器人機(jī)械本體介紹

算法基于空間四自由度噴藥機(jī)器人，如圖1所示。機(jī)器人主要由行走機(jī)構(gòu)、噴藥系統(tǒng)、四自由度空間移動系統(tǒng)及框架結(jié)構(gòu)組成，圖為室內(nèi)仿真試驗(yàn)設(shè)計(jì)故省略了升降部分。

圖1 噴藥機(jī)器人結(jié)構(gòu)示意圖

噴藥系統(tǒng)由攝像頭噴頭和深度傳感器組成，其中攝像頭和深度傳感器安裝在一個平面上，噴頭與之相隔180°安裝?？臻g四自由度移動機(jī)構(gòu)由上下移動機(jī)構(gòu)、左右移動機(jī)構(gòu)、前后(深度)移動機(jī)構(gòu)和相機(jī)噴頭旋轉(zhuǎn)運(yùn)動機(jī)構(gòu)組成。初始位置時(shí)攝像頭在前，噴頭在后，當(dāng)檢測到進(jìn)入最佳噴藥位置時(shí)，步進(jìn)電機(jī)帶動旋轉(zhuǎn)機(jī)構(gòu)旋轉(zhuǎn)180°使得噴頭在前，攝像頭在后，噴頭占據(jù)原攝像頭位置，開始噴藥。

1.3 系統(tǒng)工作流程說明

系統(tǒng)工作流程如下：(1)流程開始：機(jī)器復(fù)位，手眼執(zhí)行機(jī)構(gòu)回復(fù)在最下端開始位置，通過深度傳感器讀數(shù)調(diào)整與目標(biāo)物的距離后，執(zhí)行機(jī)構(gòu)開始按照既定路線運(yùn)動。(2)攝像頭獲取圖像：執(zhí)行機(jī)構(gòu)開始運(yùn)動后，攝像頭自動開啟，拍下圖片存入存儲器中。(3)閾值處理：對圖像進(jìn)行基于色差的改進(jìn)閾值處理，并判斷圖像是否為合格的圖像，圖像不合格時(shí)，執(zhí)行機(jī)構(gòu)按既定路線到下一位置，繼續(xù)采集圖像。(4)卷積處理：當(dāng)圖像判定為合格時(shí)，送入卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行精確處理，并標(biāo)出輪廓框，為對靶噴藥做準(zhǔn)備。(5)最佳噴藥位置判斷：判斷是否進(jìn)入最佳噴藥位置，是則執(zhí)行機(jī)構(gòu)停止運(yùn)動，旋轉(zhuǎn)機(jī)構(gòu)旋轉(zhuǎn)180°，開始噴藥，不是則按既定路線運(yùn)動到下一位置，重復(fù)過程(3)。(6)本次噴藥完成后，旋轉(zhuǎn)機(jī)構(gòu)回旋180°，攝像頭回復(fù)原始位置，執(zhí)行機(jī)構(gòu)按既定路線運(yùn)動到下一位置，重復(fù)過程(3)。(7)重復(fù)上述過程直至人工結(jié)束本次行程。系統(tǒng)工作流程如圖2所示。

圖2 美國白蛾幼蟲網(wǎng)幕自動化識別算法流程圖

2 圖像采集及預(yù)處理

2.1 圖像采集

識別所需圖片為2018年5月中上旬使用佳能600D數(shù)碼相機(jī)采集于聊城市市內(nèi)道旁樹，采集1 327幅圖片作為識別樣本庫，RGB格式，圖片分辨率960 ppi×720 ppi。因樣本庫過大，本文選取樣本庫中4幅圖片作為代表以此說明識別過程，樣本圖片如圖3所示。

(a) 原始圖像1 (b) 原始圖像2

2.2 圖像預(yù)處理

2.2.1 圖像通道的確定

由于美國白蛾幼蟲網(wǎng)幕緊密分布在枝葉之中，本身具有一定的透光性，使用單一顏色通道很難將其識別，本例在G-B、R-B、G-R三個單通道的圖像上提取多個葉片、網(wǎng)幕及枝干的像素求平均值，提取結(jié)果如表1所示。

表1 像素值結(jié)果Tab. 1 Pixel value result dpi

比較結(jié)果發(fā)現(xiàn)在G-R的單通道圖像中，網(wǎng)幕與其余干擾的色差值最大，故選用G-R通道作為預(yù)處理的通道。

2.2.2 圖像的閾值化處理及優(yōu)化

使用最大類間方差來確定G-R單通道的自適應(yīng)閾值，其過程描述如下[10]。

1) 記錄圖像原始的G-R值。

2) 將此值按照升序順序排列，放入數(shù)組a[i]中(0

3) 按照式(1)計(jì)算閾值。

T=μ1Dmax+μ2Dmid

(1)

式中：T——閾值；

m——差值小于中值的像素?cái)?shù)；

n——所有像素?cái)?shù)。

按照式(2)對圖像進(jìn)行閾值處理。得到二值化圖像，結(jié)果如圖4所示。

(2)

(a) 二值化圖像1 (b) 二值化圖像2

二值化圖像中仍含有大量白色噪音點(diǎn)，為了后期計(jì)算合格率的便利，這里再利用輪廓面積信息優(yōu)化二值圖像。提取圖像中每一部分白色區(qū)域的外輪廓信息，提取每一部分的面積，將其放入一個數(shù)組中。設(shè)定一個閾值，并新建一個與原圖像大小相同的黑色三通道圖像，當(dāng)某一部分面積大于閾值時(shí)，將該輪廓在黑色三通道圖像上的相同位置描繪出來，并用(255, 255, 255)進(jìn)行泛洪填充；當(dāng)輪廓面積小于閾值時(shí)，用(0, 0, 0)進(jìn)行泛洪填充，如圖5所示。經(jīng)試驗(yàn)，面積閾值定為面積數(shù)組中的第10位的值。

(a) 優(yōu)化后的二值圖像1 (b) 優(yōu)化后的二值圖像2

從圖5可以看出，優(yōu)化后的圖像中白色噪音點(diǎn)明顯減少，且每個輪廓內(nèi)部不再具有空缺的黑色部分，為合格候選框的提取提供了便利。

2.3 圖片合格率的計(jì)算以及合格圖片判斷方法

將處理好的二值化圖像提取出白色區(qū)域所占的像素點(diǎn)與全部的像素點(diǎn)做比，會產(chǎn)生一個比率，該比率即為判斷圖像是否合格的合格率。

設(shè)定一個閾值，當(dāng)圖像的合格率大于該閾值時(shí)，圖像即為合格圖像，否則即為不合格的圖像。經(jīng)過試驗(yàn)，閾值設(shè)為10%，可以很好的選擇出合格的網(wǎng)幕圖片，進(jìn)行下一步處理。不合格的圖片則直接跳過，繼續(xù)采集下一幀。

3 改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)

圖像的閾值化處理實(shí)時(shí)性高，但美國白蛾幼蟲網(wǎng)幕分布較為復(fù)雜，圖片中存在干擾信息多，單一使用該方法目標(biāo)物的識別準(zhǔn)確率較低，不能滿足精準(zhǔn)噴藥的要求，針對這一問題，研究引入了卷積神經(jīng)網(wǎng)絡(luò)。

3.1 卷積神經(jīng)網(wǎng)絡(luò)建立

確定深度神經(jīng)網(wǎng)絡(luò)整體架構(gòu)：網(wǎng)絡(luò)第一層是卷積層，從截?cái)嗟恼龖B(tài)分布中輸出隨機(jī)值為卷積核的權(quán)重賦初始值。卷積后得到的特征圖用Relu函數(shù)激活，減少計(jì)算量。網(wǎng)絡(luò)的第二層是池化層，對池化窗口中的數(shù)值取最大值[11]。為了防止數(shù)據(jù)過擬合，對池化后得到特征圖進(jìn)行局部響應(yīng)標(biāo)準(zhǔn)化處理(Local Response Normalization，LRN)。網(wǎng)絡(luò)的第三層是卷積層，該層的設(shè)置與第一層相同。網(wǎng)絡(luò)的第四層是池化層，池化前，用LRN函數(shù)對特征圖進(jìn)行處理[12]。網(wǎng)絡(luò)前四層的整體作用是通過特征圖來提取出各種不同的圖像特征信息[13]。網(wǎng)絡(luò)的第五層和第六層是全連接層，這兩層輸出數(shù)據(jù)前用Relu函數(shù)進(jìn)行激活[14]。試驗(yàn)表明，兩層全連接層可以近似于其他任何形式函數(shù)的作用。網(wǎng)絡(luò)的最后一層也是全連接層，使用Softmax函數(shù)激活，輸出有幼蟲網(wǎng)幕和無幼蟲網(wǎng)幕的概率[15]。利用建立的數(shù)據(jù)集訓(xùn)練CNN模型，每次訓(xùn)練完一次后，將預(yù)測值與正確值相比較求取誤差，在網(wǎng)絡(luò)中反向傳播該誤差，逐層求導(dǎo)，更新權(quán)重，再多次訓(xùn)練，不斷減小誤差，直至達(dá)到精度要求[16]。

3.2 不重合遍歷滑動窗口法實(shí)現(xiàn)輪廓提取

由于美國白蛾幼蟲網(wǎng)幕分布無規(guī)律，全圖像范圍內(nèi)直接識別輸出結(jié)果差別較大不易控制，故采用了候選框和卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的不重合遍歷滑動窗口法。

首先確定一個合適的滑動窗口尺寸，窗口以其寬和高為x軸和y軸方向上的步長在整幅圖像上滑動以提取候選框，候選框中的區(qū)域互不重疊；對每一候選框進(jìn)行CNN處理，輸出該候選框內(nèi)存在美國白蛾幼蟲網(wǎng)幕的概率(grade)，設(shè)置兩個閾值E和Q，當(dāng)grade>E時(shí)，認(rèn)為該候選框優(yōu)秀，其中絕大部分區(qū)域是目標(biāo)區(qū)域；當(dāng)Q

3.3 定位過程與結(jié)果

設(shè)定概率高于90%為優(yōu)秀，低于10%的為不合格，中間為合格，經(jīng)過CNN模型多次篩選后得到多個優(yōu)秀候選框。對所有優(yōu)秀候選框進(jìn)行融合處理：設(shè)置一個與原始圖像同等大小的純黑圖像，將所有優(yōu)秀候選框的大小復(fù)制在該圖像上并設(shè)置其為白色，如圖6所示。

(a) 融合結(jié)果1 (b) 融合結(jié)果2

最后提取該白色輪廓框并將其繪制在原圖像上，如圖7所示，即可得到最終的處理結(jié)果。

該算法在不同的場景中，均可得到較為理想的結(jié)果，單幅圖片識別率、誤判率及處理時(shí)間如表2所示。其中識別率指被識別出的網(wǎng)幕面積與全部網(wǎng)幕面積的比值，誤判率指被劃定在目標(biāo)區(qū)域中但不是網(wǎng)幕的面積與全部網(wǎng)幕面積的比值。可以看出識別率在95%以上，處理時(shí)間均小于200 ms。與單一使用圖像的閾值化處理方法(文獻(xiàn)[10])相比，該算法極大提高了目標(biāo)的識別率。與單一使用改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)方法相比，該算法在完整處理一幅圖片的時(shí)間上雖有一點(diǎn)增加，但執(zhí)行機(jī)構(gòu)在行進(jìn)過程中，實(shí)時(shí)采集的大多數(shù)圖片都僅需要圖像的閾值化處理這一步就已經(jīng)提前被剔除了，能夠進(jìn)入卷積神經(jīng)網(wǎng)絡(luò)的都是帶有目標(biāo)的圖片，因此系統(tǒng)整體的實(shí)時(shí)性實(shí)際得到了提高，同時(shí)進(jìn)一步保證了卷積神經(jīng)網(wǎng)絡(luò)的準(zhǔn)確率。由于美國白蛾幼蟲網(wǎng)幕的分布極不規(guī)則，且呈現(xiàn)半透明狀態(tài)，因此識別過程中極易受到干擾，很難像識別有規(guī)則形狀和顏色的目標(biāo)物(例如水果蔬菜等)那樣達(dá)到極高的識別率，經(jīng)試驗(yàn)95%以上的識別率能夠滿足工作需要。算法存在一定的誤判率，但由于網(wǎng)幕輪廓本身存在不規(guī)則性，噴藥操作會以一定的覆蓋面無差別的噴射過去，因此該誤判率不影響正常工作的進(jìn)行。

(a) 定位結(jié)果1 (b) 定位結(jié)果2

表2 單幅圖片識別結(jié)果分析Tab. 2 Single image recognition results analysis

4 視覺伺服系統(tǒng)

基于美國白蛾幼蟲網(wǎng)幕識別結(jié)果，研究了一種智能噴藥機(jī)器人視覺伺服系統(tǒng)模型[17]，搭建了系統(tǒng)控制平臺，并提出了一種噴藥路徑規(guī)劃方法和最佳噴藥位置識別算法。

4.1 視覺伺服系統(tǒng)構(gòu)建

視覺伺服控制系統(tǒng)模型，如圖8所示。由圖像采集模塊、超聲波測距模塊、控制器等構(gòu)成信息獲取與處理系統(tǒng)，實(shí)時(shí)獲取噴藥目標(biāo)的位置并判斷是否達(dá)到最佳噴藥位置。由多個電機(jī)控制器和步進(jìn)電機(jī)構(gòu)成運(yùn)動控制系統(tǒng)，用于控制空間四自由度噴藥機(jī)器人執(zhí)行機(jī)構(gòu)按照規(guī)劃路徑運(yùn)動。壓力流量控制系統(tǒng)用以控制作業(yè)過程中保持一定的噴藥壓力和流量。三者相互配合協(xié)同作業(yè)，共同完成噴藥任務(wù)。

圖8 視覺伺服系統(tǒng)模型

對于噴藥深度的控制，由于美國白蛾幼蟲網(wǎng)幕往往分布于枝葉表面且連續(xù)分布，因此可以假設(shè)執(zhí)行機(jī)構(gòu)運(yùn)動過程中網(wǎng)幕與其之間的距離是固定的。經(jīng)試驗(yàn)，取深度值為1.5 m，此時(shí)鏡頭畸變較小，有效噴藥覆蓋面積較大，噴藥效果比較穩(wěn)定，執(zhí)行機(jī)構(gòu)運(yùn)動過程中與目標(biāo)物保持這一距離不變。

4.2 執(zhí)行機(jī)構(gòu)路徑規(guī)劃和最佳噴藥位置判斷

考慮到重力導(dǎo)致液滴下垂等情況，噴藥覆蓋面的真實(shí)形狀不規(guī)則，取其內(nèi)接正四邊形為有效噴藥區(qū)域，且假設(shè)在工作過程中該面積保持不變。噴藥范圍與攝像頭視野范圍關(guān)系如圖9所示，其中外框?yàn)閿z像頭視野區(qū)域(其實(shí)際高度為b)，內(nèi)框?yàn)橛行娝巺^(qū)域，通過控制噴藥壓強(qiáng)，使得噴藥范圍略小于視野區(qū)域。在此基礎(chǔ)之上設(shè)計(jì)行走路徑以控制執(zhí)行機(jī)構(gòu)的運(yùn)動，如圖10所示。其中，h表示每個掃描行之間的距離，由噴藥范圍的高度b決定，為避免漏噴選擇一定重合度，h=0.8b。

圖9 執(zhí)行機(jī)構(gòu)局部運(yùn)動軌跡示意圖

以執(zhí)行機(jī)構(gòu)向左或向上運(yùn)動為例，標(biāo)記噴藥區(qū)域中右側(cè)和下側(cè)各1/4邊長區(qū)域，命名為區(qū)域A、B，如圖9斜線區(qū)域所示，設(shè)變量Right、Down初值為零，用來標(biāo)記A、B是否有未噴藥的目標(biāo)。執(zhí)行結(jié)構(gòu)向左運(yùn)動時(shí)，滑動窗口定位的可疑目標(biāo)將首先出現(xiàn)在視野的最左端，隨著機(jī)構(gòu)的運(yùn)動，當(dāng)目標(biāo)物進(jìn)入A區(qū)域時(shí)，將Right設(shè)置為true，執(zhí)行結(jié)構(gòu)向上運(yùn)動時(shí)，若可疑目標(biāo)進(jìn)入B區(qū)域時(shí)，將Down設(shè)置為true。若Right、Down中有一個為true，則判定目標(biāo)進(jìn)入最佳噴藥位置，系統(tǒng)停止運(yùn)動，開始噴藥。

圖10 噴藥區(qū)域與攝像頭視野區(qū)域示意圖

5 試驗(yàn)結(jié)果與分析

由于實(shí)際的樹木往往植株巨大枝葉復(fù)雜，試驗(yàn)結(jié)果很難進(jìn)行精確測量，因此，研究定制了仿真法國梧桐樹，仿真樹高1.5 m，樹冠寬1.5 m，模擬網(wǎng)幕使用絲綿拉伸形成。試驗(yàn)選用格強(qiáng)子彈噴頭，噴頭的孔徑為1 mm，推薦工作壓力在0.35 MPa(3.5 kg)到2.5 MPa(25 kg)之間，噴藥系統(tǒng)上裝有壓力傳感器和流量傳感器，試驗(yàn)樣機(jī)與仿真樹如圖11所示。試驗(yàn)使用大恒工業(yè)攝像機(jī)DH-HV3151UC-ML，M1214-MP2定焦鏡頭，分辨率1 280 ppi×1 024 ppi，15 fps幀率，深度傳感器采用HC-SR04超聲波模塊。

(a) 試驗(yàn)樣機(jī)

調(diào)整模擬網(wǎng)幕實(shí)際大小使網(wǎng)幕面積與視野面積比例不斷變化進(jìn)行噴藥試驗(yàn)，結(jié)果顯示算法完整處理一幀圖像所需時(shí)間不超過200 ms，滿足實(shí)際工作要求。試驗(yàn)階段無漏噴，有一定過噴，過噴率P的計(jì)算公式如式(3)所示。

(3)

式中：WA——網(wǎng)幕面積；

VA——視野面積；

PA——實(shí)際噴藥面積。

VA值一定，WA/VA表現(xiàn)為不同值時(shí)的過噴率如表3所示。

表3 不同網(wǎng)幕面積下的過噴率Tab. 3 Overspray rate under different screen area

由表3可知，網(wǎng)幕面積較小時(shí)，過噴率較大，當(dāng)WA/VA為1時(shí)，過噴率最小，網(wǎng)幕面積進(jìn)一步增大時(shí)，過噴率略有一點(diǎn)增大，但總體變化較平穩(wěn)。

在實(shí)際工作中噴藥經(jīng)常會受到風(fēng)力的影響，因此補(bǔ)充了風(fēng)速試驗(yàn)：設(shè)定高壓水泵提供1.5 MPa壓力，噴頭有效噴藥距離為1.5 m，利用小型無級變速風(fēng)扇模擬自然環(huán)境下的風(fēng)速，橫向正面吹動噴霧。用?，擜7356分體式測風(fēng)儀(測量誤差±1%)測量目標(biāo)處的風(fēng)速。經(jīng)多次試驗(yàn)噴藥系統(tǒng)的漂移率和覆蓋率見表4。表中漂移率指液滴受風(fēng)后中心偏移的距離與噴藥直徑的比率，目標(biāo)覆蓋率指受風(fēng)后目標(biāo)物上噴藥剩余覆蓋面與無風(fēng)時(shí)理想噴藥覆蓋面的比率。

表4 不同風(fēng)速下的漂移率與覆蓋率Tab. 4 Drift rate and coverage under different wind speeds

經(jīng)分析可看出，噴藥系統(tǒng)的漂移率和覆蓋率與風(fēng)的大小密切相關(guān)，風(fēng)速較小時(shí)漂移率低覆蓋率高，反之較低。當(dāng)風(fēng)速大于2.1 m/s時(shí)，覆蓋率只有75%，故建議噴藥工作在風(fēng)速較小的氣候環(huán)境下進(jìn)行。

6 結(jié)論

本文以美國白蛾幼蟲網(wǎng)幕為靶標(biāo)，提出一種基于圖像閾值化和卷積神經(jīng)網(wǎng)絡(luò)相結(jié)合的美國白蛾幼蟲網(wǎng)幕自動化識別算法。首先使用最大類間方差法對圖像進(jìn)行預(yù)處理，對圖像中是否有可疑目標(biāo)進(jìn)行初判。將存在可疑目標(biāo)的合格圖像喂入卷積神經(jīng)網(wǎng)絡(luò)并結(jié)合不重合滑動窗口法對圖像的框架進(jìn)行識別。對美國白蛾幼蟲網(wǎng)幕噴藥機(jī)器人的工作場景和機(jī)器人本體進(jìn)行了介紹。規(guī)劃了機(jī)器人噴藥執(zhí)行機(jī)構(gòu)的運(yùn)動路徑，對最佳噴藥位置的判定方法進(jìn)行了研究。

通過基于色差的閾值分割方法與改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)(CNN)相結(jié)合的網(wǎng)幕圖像快速識別算法識別結(jié)果證明，單幅圖像的識別時(shí)間在200 ms左右，網(wǎng)幕識別的準(zhǔn)確率在95%以上，滿足實(shí)際工作要求。該識別方法既減少了識別時(shí)間，又提高了圖像識別的準(zhǔn)確率。識別時(shí)間的減少也使執(zhí)行機(jī)構(gòu)的運(yùn)行更加連貫，機(jī)器執(zhí)行過程中無漏噴現(xiàn)象。