基于深度學習的多特征融合雜草識別仿真

王子曼,楊學全

(河北農(nóng)業(yè)大學信息科學與技術學院,河北 保定 071000)

1 引言

雜草的肆意生長,大大影響了農(nóng)作物的產(chǎn)量和質量,最常用的辦法就是人工除草或者噴灑除草劑,但這會產(chǎn)生過多的成本費用,同時會污染環(huán)境(水土資源),著實不可取?，F(xiàn)已逐漸嘗試使用機器人去除農(nóng)作物間雜草,降低人工成本和污染問題。在除草過程中,需要對雜草進行識別,但是常規(guī)識別方法,大多采用顏色、形態(tài)等單一特征作為識別對象,在實際的農(nóng)業(yè)生產(chǎn)過程中,葉片遮擋、光照強度以及土壤特征等都會影響識別結果,降低識別精度。

文獻[1]利用圖像分塊與重構對菠菜地中的雜草進行識別。首先,以超綠模型灰度化處理菠菜的原始圖像,通過圖像分類技術獲得大小不同的圖像塊,提取其中菠菜與雜草的顏色和紋理特征;然后,利用支持向量機分類圖像塊,對完成分類的圖像進行識別即可。該方法有效避免了由于葉片重疊造成的誤識別,但是對于與菠菜相似的雜草識別效果并不理想;文獻[2]通過深度卷積神經(jīng)網(wǎng)絡和顏色遷移對自然光照條件下的雜草進行識別。采集不同光照條件下的農(nóng)作物與雜草圖片,利用Reinhard算法遷移顏色圖片,降低光照條件對識別效果的影響;通過圖像分割算法對雜草圖片進行灰度化處理,再進行特征提取和分類;最后,利用卷積神經(jīng)網(wǎng)絡實現(xiàn)雜草識別。該方法同樣無法對與農(nóng)作物相似的雜草獲取理想的識別效果。

為此,本文提出基于深度學習的多特征融合雜草識別算法,本文方法的主要研究內(nèi)容及其創(chuàng)新點如下:

1)通過背景分割獲取雜草和農(nóng)作物圖像,劃分植株葉片,去除干擾部分;

2)針對規(guī)則紋理和隨機紋理,選擇灰度共生矩陣(GLCM)和局部二進制模式(LBP)對特征進行分析與處理,并將兩種紋理特征進行融合,可以獲取更完整、全面的雜草圖像紋理特征;

3)充分考慮模型深度對識別效果的影響,構建雜草識別模型,并在模型最底層引入sigmoid函數(shù)做回歸計算,避免模型陷入局部最優(yōu)解,提升識別結果的精準性;

4)仿真驗證了本文方法具有較高的識別精度,不論背景和光照如何變化,都能將雜草葉片與農(nóng)作物葉片區(qū)分開,實現(xiàn)準確識別。

2 雜草圖像獲取及特征提取

2.1 圖像獲取

利用MS4100高分辨率光譜照相機,采集某塊試驗田內(nèi)的農(nóng)作物和雜草圖像。為了保證圖像的清晰度,將照相機與地面保持垂直,與樣本的垂直高度[3]保持在50cm左右,獲取完整的樣本圖像。

本文獲取的農(nóng)作物圖像為玉米幼苗,雜草圖像為隨機生長的刺兒菜、苣荬菜和灰菜三種。包括農(nóng)作物與雜草在內(nèi),獲取的圖像總數(shù)量為280幅,其中,包含了單株植物各40幅,共160幅,植物圖像共120幅。為了使圖像具有理想的清晰度,提高雜草識別的精度,將280幅圖像按照640×640的像素進行批量剪裁,去除掉多余的信息,僅保留目標植物即可。

2.2 圖像分割

2.2.1 基于K-means聚類算法的背景分割

通過照相機獲取的圖像中包含了土壤和綠色植物,常常受光照變化影響較大,識別精度較差。因此,本文以綠色植物和土壤顏色相差較大為特征,采用K-means聚類算法對圖像背景進行分割。

K-means聚類算法將數(shù)據(jù)集劃分成為若干個不同的類別,保證類內(nèi)數(shù)據(jù)緊密相連,各個類別之間獨立存在。在Lab顏色空間內(nèi)引入原始圖像,利用K-means聚類算法進行分割處理。本文首先要分割的目標是綠色植物與土壤,因此將分類類別k設定為2。鑒于綠色植物具有較高的綠色分量,在Lab顏色空間[4,5]內(nèi)直接對a分量進行聚類即可,完成植物類別目標的選取工作。經(jīng)過上述分割處理得到的圖像如圖1所示。

圖1 農(nóng)作物和雜草圖像

其中,圖1(a)為獲取到的原始圖像,通過觀察圖像可以很明顯地看出,葉片之間相互遮擋、伴有光照不均的情況;圖1(b)是土壤經(jīng)過聚類處理后的效果圖;圖1(c)是綠色植物經(jīng)過聚類處理后的效果圖[6],觀察圖像可以看出,處理后的圖像葉片分割較為連續(xù),但是圖像中有孔洞的存在,因此需要對圖像作進一步處理。

2.2.2 基于形態(tài)學的綠色植物葉片分割

實現(xiàn)背景分割后,接下來要進行綠色植物葉片的分割。綠色植物的葉片尺寸大于莖干的尺寸,綜合考慮之下,本文選擇形態(tài)學來實現(xiàn),過程如下所示:

首先,對上一節(jié)圖1(c)中的植物目標進行二值化處理,得到如圖1(d)所示的圖像;然后利用形態(tài)學消除孔洞的影響[7],得到如圖1(e)所示的圖像。圖像中依然存在部分非葉片的小面積點,通過設置面積閾值過濾掉這些小面積點即可,最終處理完成的圖像如圖1(f)所示。

2.3 特征提取

部分雜草在顏色與形態(tài)上與玉米幼苗存在一定的相似性,因此本文從顏色、形態(tài)、紋理三個角度出發(fā),將雜草的多特征進行融合,以便后續(xù)的精準識別。

2.3.1 顏色特征分析

顏色特征可以深層次描述雜草圖像的像素特征,經(jīng)過尺度變化、平移和旋轉后,依然保持不變。本文分析的三種雜草均為綠色,但是三種雜草RGB圖像中的R、G、B顏色分量卻不盡相同,顏色矩[8]可以提取到圖像的顏色分布特征。

將原始RGB顏色空間轉換得到HSV顏色空間,二者同時作為分析圖像顏色特征的依據(jù)。鑒于HSV中的V所代表的信息與顏色無關,所以只提取R、G、B、H、S五個分量的一階、二階、三階共計15個顏色矩特征,計算公式如式(1)～(3)所示

(1)

(2)

(3)

式中,Mi1、Mi2、Mi3分別表示顏色特征的一階、二階、三階矩,N代表的是雜草圖像中包含的像素數(shù)量,Pij表示在RGB圖像中,第i個顏色通道分量中出現(xiàn)灰度值為j的像素的頻率。

2.3.2 形態(tài)特征分析

形態(tài)特征可以將雜草的各項形狀參數(shù)準確地描述出來,并以適合人類視覺感知系統(tǒng)的方式展現(xiàn)。鑒于雜草種類之間的形態(tài)差別,利用7個Hu不變矩特征和4個幾何特征來對其進行提取[9]。幾何特征具體分析如下:

1)圓形度計算公式如式(4)所示

(4)

其中,Formfactor代表的是圓形度;area表示目標的總面積,也就是雜草圖像的像素總數(shù);perimeter代表目標的周長,即雜草最外輪廓的長度值。

2)細長比計算公式如式(5)所示

(5)

其中,Eiongatedness代表的是細長比,thiclcness表示目標最小外接矩寬的值。

3)凹凸度計算公式如式(6)所示

(6)

其中,Convexity代表的是凹凸度,convex＿perimeter表示目標最小凸多邊形的周長。

4)固靠度計算公式如式(7)所示

(7)

其中,Solidity代表的是固靠度,convex＿area表示目標最小凸多邊形的面積。

2.3.3 紋理特征分析

紋理特征可以在空間分布區(qū)域內(nèi)將雜草圖像像素準確地描述出來,并且精準反映雜草類別間的結構周期性變化情況。紋理特征分為規(guī)則紋理和隨機紋理兩種,然而傳統(tǒng)方法通常僅對單一紋理特征進行分析,不能獲取完整的特征信息,影響識別效果。針對傳統(tǒng)方法存在的問題,本文選擇灰度共生矩陣(GLCM)和局部二進制模式(LBP),將兩種紋理特征進行融合,更深層次地挖掘到雜草圖像的紋理特征[10]。

1)灰度共生矩陣

在計算之前需要對GLCM進行歸一化處理

(8)

其中,Pφ,d(i,j)代表的是經(jīng)過歸一化處理后的GLCM,GGLCM(i,j)表示原GLCM值。

(9)

(10)

(11)

(12)

2)LBP特征

LBP在特征提取方面具有實現(xiàn)簡單、計算量小、灰度和旋轉不變形等特性。將(xc,yc)定義為局部區(qū)域中心點坐標,以(xc,yc)為中心,分別計算LBP局部區(qū)域的規(guī)則紋理和隨機紋理

(13)

(14)

式中,gc表示中心點所在區(qū)域的灰度值,gp(p=0,1,…,7)表示與中心點附近等距分布的點互相對應的點。

3 基于深度學習的雜草識別模型

深度信念網(wǎng)絡(DBN)是通過將若干個限制玻爾茲曼機(RBM)組合在一起而形成的結構模型,所以二者之間具有相似的結構。在DBN網(wǎng)絡結構中,最重要的兩個參數(shù)要屬模型深度和隱含層的節(jié)點數(shù),基于此,本文針對二者參數(shù)的選擇方法著重進行研究。根據(jù)上文提取到的雜草圖像特征信息,DBN網(wǎng)絡結構在這里起到的作用是分類器,據(jù)此可構建雜草識別模型。本文主要對三種雜草進行研究,因此DBN模型結構較為簡單,設定輸入向量維度為101維,獲取到的圖像共280幅,因此可形成280個101維樣本空間。

傳統(tǒng)方法沒有充分考慮DBN網(wǎng)絡模型深度對識別結果的影響,導致識別結果不夠精準,針對該問題,本文在進行雜草識別模型構建時,分析模型深度對識別效果的影響:如果模型深度過大,則會導致算法陷入局部最優(yōu)解,無法實現(xiàn)準確分類;而過小的模型深度,又會導致算法計算不完全[11,12]。依據(jù)分析結果,將DBN網(wǎng)絡結構用[輸入層節(jié)點數(shù),隱含層節(jié)點數(shù),輸出層節(jié)點數(shù)]的形式進行表達。由于向量維度為101維,所以輸入層內(nèi)的節(jié)點數(shù)量設置為101;模型最底層代表的是雜草的種類數(shù)量,按照上文描述將其設置為3。為了得到最終精準的識別結果,在模型最底層引入sigmoid函數(shù)做回歸計算,輸出結果即為最終的識別結果[13-15]。

sigmoid函數(shù)計算公式如式(15)所示

(15)

其中,e代表的是一個自然常數(shù),為固定值,e=2.718281828459045;x代表的是函數(shù)系數(shù)值。

4 仿真研究

為了驗證本文方法在實際應用中是否能取得理想的雜草識別效果,與引言中提到的圖像分塊與重構和深度卷積神經(jīng)網(wǎng)絡展開對比仿真。仿真中所用到的圖像均來自于kaggle官網(wǎng),本文選取了其中的800幅圖像,600幅作為訓練集圖像,剩余200幅為測試集圖像。

4.1 損失函數(shù)變化情況

首先,將800幅圖像輸入到DBN模型中進行網(wǎng)絡訓練,對訓練過程中產(chǎn)生的總損失函數(shù)變化信息進行采集并記錄,最終對網(wǎng)絡的擬合程度進行綜合評價。圖2為經(jīng)過100輪的訓練后損失函數(shù)數(shù)值的變化情況。

圖2 100輪訓練后損失函數(shù)變化情況

通過觀察圖2中數(shù)據(jù)的變化曲線可以看出,經(jīng)過25輪的訓練,Loss值下降的幅度非常大,這是由于DBN網(wǎng)絡模型中參數(shù)的更新速度加快。而到50輪訓練時,Loss值雖說在下降,但是幅度卻變小。在50-80輪的訓練過程中,Loss值下降幅度又稍微變大,在80-100輪訓練中,Loss值逐漸趨勢平穩(wěn),到了100輪,Loss值幾乎不再變化,網(wǎng)絡逐漸趨于平穩(wěn),由此可以說明本文方法具有理想的穩(wěn)定性。

4.2 識別結果對比

將200張測試集圖像輸入到DBN網(wǎng)絡模型中進行識別效果的檢驗。為了評價算法識別性能,將評價結果劃分為三級等級標準,分別是:可實現(xiàn)分類準確,對植物的定位非常精準,可分割出植物主體的95%以上,評價為優(yōu)秀;可以準確分類,但是卻無法實現(xiàn)完全分割,且輪廓邊緣不連續(xù),評價為合格;分類誤差較大,分割不完全且具有較大的偏差,評價為不合格。

將本文方法與圖像分塊與重構和深度卷積神經(jīng)網(wǎng)絡的識別效果進行對比,對比結果如圖3所示。圖中,黑色框內(nèi)為算法識別到的雜草圖像,白色框內(nèi)為識別到的玉米幼苗圖像。

圖3 三種方法識別結果對比

通過觀察圖3可以看出,三種方法都可以識別出雜草,但是本文方法的識別精度最高。觀察圖3(a)三幅圖像,其它兩種方法對雜草的葉片分割都存在不完全的情況,但是本文方法卻可以實現(xiàn)精準分割,將雜草完整地識別出來;圖3(b)受光照不均的影響,其它兩種方法出現(xiàn)了過分割的情況,將較小的農(nóng)作物葉片誤判斷為雜草,而本文方法依然可以實現(xiàn)有效識別,準確地分割出雜草與農(nóng)作物。這是由于強光的照射,使得土壤和綠色植物的自身特征發(fā)生了細微變化,其它兩種方法難以識別,而本文方法通過對顏色特征、紋理特征的多特征融合識別,實現(xiàn)農(nóng)作物與雜草的準確分割;圖3(c)中農(nóng)作物葉片遮擋了部分雜草區(qū)域,其它兩種方法都將雜草與農(nóng)作物識別為一個整體,而本文方法準確地將雜草與農(nóng)作物分割開來,實現(xiàn)精準識別。這是因為本文方法在進行雜草識別模型構建時,不僅分析了模型深度對識別效果的影響,而且在模型最底層引入sigmoid函數(shù)進行回歸計算,提升了輸出結果的準確性,即提升了識別結果的精準性。

綜上所述,即使環(huán)境不斷發(fā)生變化,本文方法都是將雜草與農(nóng)作物準確地分割開來,實現(xiàn)精準識別,最終評價結果為優(yōu)秀。

5 結論

由于傳統(tǒng)方法在對雜草識別時存在較大的誤差,因此,在深度學習的基礎上,通過對雜草圖像多特征融合,實現(xiàn)了準確識別。首先,獲取雜草及農(nóng)作物圖像,利用K-means算法將雜草從復雜的背景中分割開來,再用形態(tài)學將雜草的葉片與土壤分割開;然后,將雜草的顏色、紋理和形態(tài)作為多特征進行融合,實現(xiàn)特征提取;最后,利用深度信念網(wǎng)絡實現(xiàn)對雜草的識別。通過將傳統(tǒng)方法與本文方法展開對比實驗,結果表明,本文方法具有較好的識別效果,不管光照條件、背景如何變化,都能將雜草與農(nóng)作物準確地分割開,實現(xiàn)雜草圖像的精準識別。