基于輕量卷積結(jié)合特征信息融合的玉米幼苗與雜草識別

孟慶寬 張 漫 楊曉霞 劉 易 張振儀

(1.天津職業(yè)技術(shù)師范大學(xué)自動化與電氣工程學(xué)院， 天津 300222； 2.天津市信息傳感與智能控制重點(diǎn)實(shí)驗(yàn)室， 天津 300222；3.中國農(nóng)業(yè)大學(xué)現(xiàn)代精細(xì)農(nóng)業(yè)系統(tǒng)集成研究教育部重點(diǎn)實(shí)驗(yàn)室， 北京 100083)

0 引言

雜草與作物爭奪水分、養(yǎng)分和光照，阻礙了作物正常生長，對農(nóng)業(yè)生產(chǎn)造成不利影響[1-3]。雜草控制是農(nóng)業(yè)生產(chǎn)中的一個(gè)重要環(huán)節(jié)，對提高作物產(chǎn)量與品質(zhì)起著重要作用。化學(xué)除草是當(dāng)前廣泛采用的一種除草方式，具有實(shí)施成本低、適合大面積作業(yè)等特點(diǎn)。然而，粗放式大規(guī)模藥劑噴灑將產(chǎn)生環(huán)境污染和食品農(nóng)藥殘留等一系列問題[4-6]。隨著精準(zhǔn)農(nóng)業(yè)技術(shù)的發(fā)展，自動化機(jī)械除草逐漸成為雜草防控領(lǐng)域的研究熱點(diǎn)。在自動化機(jī)械除草作業(yè)過程中，實(shí)時(shí)、準(zhǔn)確地對作物與雜草進(jìn)行檢測識別是實(shí)現(xiàn)精準(zhǔn)高效除草的關(guān)鍵。

目前，國內(nèi)外學(xué)者進(jìn)行作物與雜草識別的方法主要包括全球衛(wèi)星導(dǎo)航定位、接近式傳感器和機(jī)器視覺技術(shù)[7-9]。由于機(jī)器視覺具有信息完整豐富、非接觸測量、價(jià)格成本低等優(yōu)點(diǎn)，在田間作物與雜草識別中得到廣泛應(yīng)用。傳統(tǒng)的作物與雜草檢測方法通過提取作物與雜草的顏色、紋理、形狀、高度等特征信息，將一種或多種特征的組合輸入到特征分類器，實(shí)現(xiàn)分類檢測[10-14]。此類方法需要人工進(jìn)行特征選取標(biāo)定，選取特征依賴于設(shè)計(jì)者的經(jīng)驗(yàn)，而且由于光照變化、背景噪聲、目標(biāo)形態(tài)多樣性等因素的影響，難以設(shè)計(jì)出適應(yīng)性好、穩(wěn)定性高的特征提取模型。

隨著深度學(xué)習(xí)技術(shù)的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)在機(jī)器視覺領(lǐng)域逐漸得到廣泛應(yīng)用，并取得良好效果[15-18]。卷積神經(jīng)網(wǎng)絡(luò)利用一系列線性和非線性變換對輸入圖像進(jìn)行層層抽象，由淺入深提取圖像不同層次特征，將不同層次特征進(jìn)行組合，形成表征能力強(qiáng)、魯棒性好、歧義性少的高層次特征，實(shí)現(xiàn)對圖像本質(zhì)特征的有效表達(dá)。在作物與雜草識別領(lǐng)域，文獻(xiàn)[19]通過超像素分割法對獲取的大豆與雜草圖像進(jìn)行預(yù)處理，基于Caffe框架訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)了作物與雜草的有效檢測。文獻(xiàn)[20]提出了基于卷積神經(jīng)網(wǎng)絡(luò)提取多尺度分層特征的玉米雜草識別方法，通過將多尺度分層特征與超像素分割相結(jié)合，提高了目標(biāo)識別的準(zhǔn)確性。文獻(xiàn)[21]在多層卷積神經(jīng)網(wǎng)絡(luò)中引入二進(jìn)制哈希層構(gòu)建雜草識別模型，并利用提取到的全連接層特征碼和哈希特征碼進(jìn)行分類，相比于無哈希層的普通模型，該模型的準(zhǔn)確率和收斂速度都有所提高。文獻(xiàn)[22]對AlexNet模型進(jìn)行改進(jìn)，構(gòu)建了一種空洞卷積與全局池化相結(jié)合的卷積神經(jīng)網(wǎng)絡(luò)模型，使用更寬的網(wǎng)絡(luò)結(jié)構(gòu)，增加了特征圖的多尺度融合，對不同作物幼苗與雜草具有較強(qiáng)的識別能力。文獻(xiàn)[23]提出一種基于Faster R-CNN模型的作物檢測方法，利用ResetNet101網(wǎng)絡(luò)代替原始的VGG16網(wǎng)絡(luò)，提高了作物檢測精度。上述研究普遍采用多層深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行特征提取，通過增加網(wǎng)絡(luò)的深度與寬度實(shí)現(xiàn)更高的準(zhǔn)確率，但導(dǎo)致識別模型復(fù)雜度升高、檢測速度降低。

為提高作物與雜草檢測實(shí)時(shí)性，并降低識別模型的參數(shù)規(guī)模，本文在現(xiàn)有SSD模型的基礎(chǔ)上進(jìn)行優(yōu)化，提出基于輕量卷積神經(jīng)網(wǎng)絡(luò)結(jié)合特征層信息融合機(jī)制的改進(jìn)SSD目標(biāo)檢測框架。首先，采用深度可分離卷積結(jié)合SENet模塊構(gòu)建輕量型特征提取單元，通過密集化連接構(gòu)成輕量前置網(wǎng)絡(luò)，以減少網(wǎng)絡(luò)模型參數(shù)計(jì)算量，提高圖像特征提取速度和精度；然后，引入不同分類特征層信息融合機(jī)制，將擴(kuò)展網(wǎng)絡(luò)中深層語義信息與淺層細(xì)節(jié)信息進(jìn)行融合，豐富預(yù)測回歸位置框和分類任務(wù)輸入的多尺度特征圖，增強(qiáng)識別模型對小尺寸目標(biāo)以及作物與雜草葉片相互遮擋情況的檢測準(zhǔn)確性。

1 玉米與雜草識別模型

SSD算法的本質(zhì)是選擇不同尺度和長寬比的先驗(yàn)框均勻地對圖像不同位置進(jìn)行密集抽樣，利用卷積神經(jīng)網(wǎng)絡(luò)提取特征后直接進(jìn)行分類回歸并通過非極大值抑制操作得到檢測結(jié)果，整個(gè)過程只需要一步，具有良好的實(shí)時(shí)性[24-25]。同時(shí)，由于采用不同尺寸的特征圖進(jìn)行預(yù)測，使目標(biāo)檢測精度得到較大提升。

SSD檢測模型由前置基礎(chǔ)網(wǎng)絡(luò)和擴(kuò)展網(wǎng)絡(luò)組成，前置基礎(chǔ)網(wǎng)絡(luò)用于圖像特征提取，擴(kuò)展網(wǎng)絡(luò)由多尺度特征圖構(gòu)成，負(fù)責(zé)目標(biāo)分類檢測。在特征圖的每個(gè)單元位置設(shè)置多個(gè)不同尺度和長寬比的先驗(yàn)框，輸出各類別在該位置的置信度評分與物體真實(shí)位置相對于先驗(yàn)框的轉(zhuǎn)換值，如果檢測目標(biāo)共有C個(gè)類別，SSD需預(yù)測C+1個(gè)置信度，第1個(gè)置信度指的是不含目標(biāo)或者屬于背景的評分。物體真實(shí)位置相對于先驗(yàn)框的轉(zhuǎn)換值包括4個(gè)量，分別為位置偏移量Δx、Δy和長寬比例量Δw、Δh。

1.1 輕量化前置基礎(chǔ)網(wǎng)絡(luò)設(shè)計(jì)

SSD算法的前置基礎(chǔ)網(wǎng)絡(luò)主要用于對輸入圖像重要特征進(jìn)行提取，為后續(xù)網(wǎng)絡(luò)層提供信息輸入。為實(shí)現(xiàn)復(fù)雜應(yīng)用場景下特征提取的低延遲與高準(zhǔn)確性，本文將深度可分離卷積與SENet網(wǎng)絡(luò)結(jié)構(gòu)相結(jié)合設(shè)計(jì)了輕量特征提取基本單元，通過密集化連接構(gòu)成輕量化前置基礎(chǔ)網(wǎng)絡(luò)，在保證識別精度的基礎(chǔ)上，降低網(wǎng)絡(luò)參數(shù)數(shù)量，提高網(wǎng)絡(luò)運(yùn)行速度。

1.1.1輕量化特征提取單元設(shè)計(jì)

深度可分離卷積是一種可分解的卷積結(jié)構(gòu)，能夠?qū)?biāo)準(zhǔn)化卷積分解為深度卷積(Depwise convolution)和逐點(diǎn)卷積(Pointwise convolution)[26]。運(yùn)算時(shí)先通過深度卷積操作對每一個(gè)輸入特征通道進(jìn)行卷積，然后利用逐點(diǎn)卷積對深度卷積的輸出進(jìn)行組合，這種將卷積分解的過程可以有效降低網(wǎng)絡(luò)模型參數(shù)規(guī)模與計(jì)算量。深度可分離卷積與標(biāo)準(zhǔn)卷積的計(jì)算量比例公式定義為

(1)

式中K——深度可分離卷積的卷積核尺寸

M——輸入特征圖數(shù)量

O——輸出特征圖數(shù)量

一般情況下，網(wǎng)絡(luò)結(jié)構(gòu)中O?K2，因此深度可分離卷積的計(jì)算量約為標(biāo)準(zhǔn)卷積的1/K2。深度可分離卷積通過對特征通道進(jìn)行分組計(jì)算，使網(wǎng)絡(luò)模型輕量化，具有更快的計(jì)算速度，但在進(jìn)行圖像特征提取時(shí)沒有對特征通道的相關(guān)性加以利用，造成通道間信息相互獨(dú)立，準(zhǔn)確率低于常規(guī)卷積網(wǎng)絡(luò)。

不同特征通道對特征圖的重要程度不一樣，如果通過學(xué)習(xí)的方式使每個(gè)通道獲取一個(gè)權(quán)重，根據(jù)權(quán)重強(qiáng)化重要通道特征，抑制非重要通道特征，則可以提高網(wǎng)絡(luò)模型的準(zhǔn)確率。SENet網(wǎng)絡(luò)模塊即基于上述思路設(shè)計(jì)而成，SENet模塊由Squeeze、Exiciation、Reweight 3部分構(gòu)成，顯式地構(gòu)建了特征通道間的相關(guān)性[27]。Sequeeze利用全局平均池化法(Global average pooling)將空間維度上每個(gè)二維通道特征圖壓縮為一個(gè)實(shí)數(shù)，使其具有全局感受野，在輸出維度上與輸入通道數(shù)相同；Exiciation建模特征通道間的相關(guān)性，為每個(gè)特征通道生成權(quán)重；Reweight將生成的權(quán)重與先前對應(yīng)通道特征相乘，在通道維度上對原始特征重新標(biāo)定。

為使前置基礎(chǔ)網(wǎng)絡(luò)在快速提取特征的同時(shí)也具有較高的準(zhǔn)確性，本文將深度可分離卷積與SENet模塊相結(jié)合，構(gòu)成輕量化特征提取基本單元，其結(jié)構(gòu)如圖1所示。首先對輸入信息的每個(gè)通道采用尺寸為3×3的卷積核進(jìn)行深度卷積，獲取每個(gè)通道空間特征；然后利用1×1逐點(diǎn)卷積對深度卷積的輸出進(jìn)行組合，得到一系列新的特征輸出。為加快訓(xùn)練過程和解決梯度消失問題，在深度卷積與逐點(diǎn)卷積之后分別進(jìn)行了批量歸一化處理(Batch normalization, BN)和ReLU非線性激活操作。SENet作為輸出特征的旁路單元，經(jīng)過全局平均池化、2個(gè)全連接層(Full connection, FC)、修正線性單元(Rectified linear unit, ReLU)和Sigmoid歸一化等一系列操作，得到各特征通道權(quán)重，然后將權(quán)重與原特征信息對應(yīng)通道的每個(gè)元素相乘，完成通道信息強(qiáng)度重標(biāo)定。圖1中，X為輸入特征圖，X′為輸出特征圖，W、H、C分別為特征圖長度、寬度和通道數(shù)，r為壓縮系數(shù)用來降低計(jì)算量，Scale為通道權(quán)重設(shè)定。

圖1 輕量化特征提取單元Fig.1 Feature extraction unit based on light weight convolution

1.1.2特征提取單元密集化連接

將輕量化特征提取單元作為前置網(wǎng)絡(luò)的基本組成元素，為最大化網(wǎng)絡(luò)中所有單元的信息流，將網(wǎng)絡(luò)中的每一個(gè)單元以前饋方式與其他單元進(jìn)行連接，即每個(gè)單元的輸入為前面所有單元的輸出并集，而這個(gè)單元的輸出又作為后面所有單元的輸入。這種單元間的密集化連接，能夠增加每個(gè)單元輸入多樣性，最大程度實(shí)現(xiàn)特征重復(fù)利用，使得網(wǎng)絡(luò)參數(shù)更少且計(jì)算效率更高。卷積神經(jīng)網(wǎng)絡(luò)經(jīng)過下采樣降低特征圖尺寸，輕量特征提取單元間的密集連接需要特征圖尺寸保持一致，為此密集連接網(wǎng)絡(luò)由密集塊(Dense block)和連接塊(Connection block)構(gòu)成。密集塊包含若干個(gè)輕量特征提取單元，每個(gè)單元輸出特征圖的尺寸相同，各單元之間采用密集連接方式進(jìn)行信息傳遞；連接塊用于連接相鄰的2個(gè)密集塊，由一個(gè)1×1卷積核與2×2池化層(Pooling)構(gòu)成，起到降低特征圖尺寸與壓縮模型的作用。圖2為密集連接輕量前置基礎(chǔ)網(wǎng)絡(luò)示意圖，密集塊中的彩色模塊代表輕量化特征提取單元，C1、C2表示特征通道數(shù)量，圖中包含了3個(gè)密集塊，每個(gè)密集塊包括一定數(shù)量的輕量化特征提取單元，在實(shí)際應(yīng)用中可根據(jù)需要進(jìn)行調(diào)整。

圖2 基于密集連接的輕量前置基礎(chǔ)網(wǎng)絡(luò)示意圖Fig.2 Diagram of light weight base network based on dense connection

1.2 多層級特征圖信息融合

卷積神經(jīng)網(wǎng)絡(luò)中，淺層特征圖分辨率較高、感受野較小，紋理細(xì)節(jié)信息豐富，但語義信息表征能力弱；深層次特征圖分辨率較低，感受野較大，語義信息豐富，但紋理細(xì)節(jié)信息表征能力不足。標(biāo)準(zhǔn)SSD模型采用多尺度特征圖以回歸的方式預(yù)測物體類別和位置偏差，通過具有較大感受野的深層特征圖預(yù)測大物體，具有較小感受野的淺層特征圖預(yù)測小物體，由于淺層特征圖缺乏全局語義信息，導(dǎo)致SSD對小尺寸目標(biāo)的檢測效果不佳。為提高SSD對小尺寸物體的檢測能力，本文引入逆卷積運(yùn)算將SSD模型深層語義信息與淺層細(xì)節(jié)信息進(jìn)行融合，融合后的特征圖具有足夠的分辨率和更強(qiáng)的語義信息。

逆卷積相當(dāng)于卷積在神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的正向和反向傳播中做相反運(yùn)算，這里的相反是指矩陣的轉(zhuǎn)置，因此逆卷積也稱為轉(zhuǎn)置卷積[28]。逆卷積能夠?qū)μ卣鲌D進(jìn)行上采樣(Up sampling)，從而提升特征圖尺度，使具有不同尺度的2個(gè)或者多個(gè)特征圖連接在一起。SSD模型中深層特征圖與淺層特征圖具有不同的分辨率和通道數(shù)，進(jìn)行特征信息融合前先利用逆卷積對深層特征圖進(jìn)行上采樣提高分辨率，使其與淺層特征圖保持一致；然后采用1×1卷積將深層特征圖通道數(shù)轉(zhuǎn)換到與淺層特征圖相同的維數(shù)；最后將兩者特征圖在對應(yīng)通道上進(jìn)行加法運(yùn)算，實(shí)現(xiàn)特征融合。融合后的特征圖可以重復(fù)上述操作繼續(xù)與淺層特征圖進(jìn)行融合，本文所設(shè)計(jì)的特征融合結(jié)構(gòu)可以表示為

Sij=Xi+δc{Tc(Yj)} (i≠j;i,j∈Fs)

(2)

式中Sij——融合后的特征圖

Xi——淺層特征圖

Yj——深層特征圖或前一次融合的特征圖

Tc——逆卷積變換

δc——通道變換

Fs——特征圖集合

特征融合后的網(wǎng)絡(luò)結(jié)構(gòu)中，淺層高分辨率特征圖將具備更豐富的語義信息與更強(qiáng)的擬合能力，可以有效提高對小尺寸物體的檢測能力。

標(biāo)準(zhǔn)SSD模型用于目標(biāo)類別判定和位置回歸時(shí)多尺度卷積層共有6層，前3層尺寸較大，感受野較小，全局語義信息缺乏，屬于淺層特征圖，可以從后面更深層特征圖中獲取高級語義信息進(jìn)行融合；后面3層尺寸較小，感受野較大，語義信息豐富程度較高，屬于深層特征圖，進(jìn)行特征融合后在小目標(biāo)檢測效果上提升程度有限，為避免過多的引入逆卷積增加計(jì)算量，不對這3個(gè)層進(jìn)行特征融合處理。圖3為基于特征融合的SSD網(wǎng)絡(luò)結(jié)構(gòu)模型。

圖3 基于特征融合的SSD網(wǎng)絡(luò)結(jié)構(gòu)模型Fig.3 SSD network model based on feature fusion

2 模型訓(xùn)練損失函數(shù)

本文訓(xùn)練過程中采用多任務(wù)損失函數(shù)完成目標(biāo)種類置信度判別和位置回歸，損失函數(shù)定義為位置損失(Localization loss)與類別置信度損失(Confidence loss)的加權(quán)和，定義式為

(3)

式中Nnum——與標(biāo)注框相匹配的先驗(yàn)框數(shù)量

x——標(biāo)注框與先驗(yàn)框是否匹配，x∈{0,1}，x=1表示匹配，x=0表示不匹配

c——目標(biāo)類別置信度，c∈[0,1]

l——預(yù)測邊界框位置參數(shù)

g——標(biāo)注邊界框位置參數(shù)

λ——權(quán)重因子，通常設(shè)置為1

Lconf——物體類別置信度損失函數(shù)，利用Softmax多分類誤差函數(shù)計(jì)算類別置信度損失

Lloc——物體位置損失函數(shù)，為預(yù)測框與標(biāo)注框參數(shù)之間損失

3 作物與雜草識別試驗(yàn)

3.1 試驗(yàn)平臺

試驗(yàn)硬件平臺采用Dell XPS8930型臺式計(jì)算機(jī)，CPU型號為Intel Core i7 8700，16 GB內(nèi)存，NVIDA GTX1070顯卡，統(tǒng)一計(jì)算設(shè)備架構(gòu)為CUDA 10.0，深度神經(jīng)網(wǎng)絡(luò)加速庫選擇CUDNN V10.0，操作系統(tǒng)為Windows 10，利用Python語言基于TensorFlow深度學(xué)習(xí)框架對本文算法模型進(jìn)行程序設(shè)計(jì)與性能驗(yàn)證。

3.2 圖像采集

選擇自然環(huán)境下玉米及其常見伴生雜草為試驗(yàn)對象，利用改進(jìn)SSD深度學(xué)習(xí)模型進(jìn)行目標(biāo)識別和定位，通過試驗(yàn)結(jié)果對本文識別檢測模型進(jìn)行性能分析評估。圖像樣本數(shù)據(jù)采集于天津市寧河農(nóng)場，選用BasleracA2440-20gc型相機(jī)進(jìn)行拍攝，圖像分辨率為480像素×720像素。采集圖像包括3～6葉期玉米幼苗和刺菜、藜、打碗花、田旋花等雜草。為提高樣本圖像的豐富程度，本文在不同種植地塊、不同光照強(qiáng)度、不同生長階段共采集2 000幅圖像，以期數(shù)據(jù)集能較好地反映自然環(huán)境下玉米及伴生雜草的真實(shí)特點(diǎn)。

采用分層抽樣法對經(jīng)過數(shù)據(jù)增廣處理的玉米與雜草圖像(4 000幅)，按照8∶1∶1比例劃分為訓(xùn)練集、驗(yàn)證集和測試集?；诜謱映闃臃ㄟM(jìn)行數(shù)據(jù)劃分，可以使訓(xùn)練集、驗(yàn)證集和測試集中各檢測對象類別在本集合中所占比例與總體數(shù)據(jù)中各檢測對象類別所占比例保持一致，避免因樣本類別分配不均衡而造成檢測模型泛化誤差較大。

3.3 評價(jià)指標(biāo)

采用端到端的學(xué)習(xí)方式基于訓(xùn)練集樣本數(shù)據(jù)構(gòu)建深度學(xué)習(xí)模型。將測試集數(shù)據(jù)輸入到訓(xùn)練好的網(wǎng)絡(luò)模型，對作物與雜草的種類和位置進(jìn)行預(yù)測，如果目標(biāo)類別和位置預(yù)測正確，則認(rèn)為檢測成功，否則認(rèn)為檢測失敗。將檢測結(jié)果進(jìn)行整理記錄，為模型性能評價(jià)提供數(shù)據(jù)支撐。檢測模型預(yù)測得到的目標(biāo)對象置信度大于設(shè)定置信度閾值則標(biāo)定為正樣本P，小于設(shè)定置信度閾值標(biāo)定為負(fù)樣本N，預(yù)測邊界框與真實(shí)標(biāo)注框的交集與并集的比值(Intersection over union，IOU)大于設(shè)置閾值認(rèn)為檢測正確，檢測結(jié)果設(shè)為T，否則認(rèn)為檢測結(jié)果錯(cuò)誤設(shè)為F。

分別將基于VGG16網(wǎng)絡(luò)的標(biāo)準(zhǔn)SSD模型與本文提出的深度學(xué)習(xí)檢測模型進(jìn)行分析對比，選擇平均精度均值(Mean average precision, MAP)、檢測速度、網(wǎng)絡(luò)參數(shù)規(guī)模作為性能量度指標(biāo)，以驗(yàn)證本文方法的有效性。平均精度均值為多類別平均精度的平均值，是多類別目標(biāo)檢測算法中常用的精度衡量指標(biāo)，即在給定IOU閾值下計(jì)算所有類別平均精度(Average precision，AP)然后求平均，作為這個(gè)IOU閾值下的檢測精度指標(biāo)。平均精度與精準(zhǔn)率(Precision)、召回率(Recall)有關(guān)，在本文應(yīng)用場景中，精準(zhǔn)率P表示在測試集樣本中網(wǎng)絡(luò)模型正確檢測出的玉米和雜草目標(biāo)與預(yù)測為玉米和雜草目標(biāo)的比值，召回率R表示在測試集樣本中所有的玉米與雜草目標(biāo)被正確預(yù)測的比例。精準(zhǔn)率與召回率計(jì)算式為

(4)

(5)

式中TP——正確檢測出的目標(biāo)對象數(shù)量

FP——錯(cuò)誤檢測的目標(biāo)對象數(shù)量

FN——未檢測出的目標(biāo)對象數(shù)量

P——精準(zhǔn)率，%

R——召回率，%

通過對精準(zhǔn)率與召回率曲線進(jìn)行積分計(jì)算得到P-R曲線與坐標(biāo)軸構(gòu)成的面積即為平均精度，模型檢測效果越好，平均精度越高，計(jì)算式為

(6)

式中Ap——平均精度

3.4 參數(shù)設(shè)置

本文使用隨機(jī)梯度下降法將檢測模型基于NVIDA GTX1070顯卡進(jìn)行訓(xùn)練，為降低系統(tǒng)硬件在深度學(xué)習(xí)模型構(gòu)建和特征提取時(shí)的壓力，訓(xùn)練集圖像進(jìn)一步縮放至300像素×300像素。根據(jù)現(xiàn)有硬件設(shè)備可承載的運(yùn)算能力，設(shè)置圖像批處理數(shù)量為8，學(xué)習(xí)動量為0.9，權(quán)值衰減為0.000 5，衰減率為0.9，每經(jīng)過5 000次迭代衰減一次，每間隔10 000次迭代進(jìn)行一次模型保存，以避免長時(shí)間訓(xùn)練過程中出現(xiàn)斷電、宕機(jī)、異常退出等情況導(dǎo)致訓(xùn)練模型出現(xiàn)損失。

4 試驗(yàn)結(jié)果分析

4.1 不同檢測模型性能對比分析

基于測試集樣本數(shù)據(jù)分別對本文提出的輕量型SSD推理模型與基于VGG16特征提取網(wǎng)絡(luò)的標(biāo)準(zhǔn)SSD模型進(jìn)行性能測試，IOU設(shè)定為0.5，表1為2種算法模型性能參數(shù)對比結(jié)果。由表1可以看出，本文深度學(xué)習(xí)推理模型對玉米及其伴生雜草的平均精度均值比標(biāo)準(zhǔn)模型高2.66個(gè)百分點(diǎn)，由于對前置特征提取網(wǎng)絡(luò)進(jìn)行輕量化設(shè)計(jì)使得目標(biāo)檢測速度比標(biāo)準(zhǔn)模型高33.86%，網(wǎng)絡(luò)參數(shù)降低66.21%左右，具有實(shí)時(shí)性高、參數(shù)規(guī)模小的特點(diǎn)，適合應(yīng)用于硬件系統(tǒng)資源有限且對檢測速度具有較高要求的農(nóng)業(yè)移動設(shè)備。

表1 標(biāo)準(zhǔn)SSD模型與本文模型作物與雜草檢測結(jié)果比較Tab.1 Comparison of detection results between improved SSD and original SSD

圖4為2種模型的P-R對比曲線，曲線上的一個(gè)點(diǎn)代表某一置信度閾值下，模型將大于該閾值的結(jié)果判定為正樣本，小于該閾值的結(jié)果判定為負(fù)樣本，此時(shí)按照式(4)、(5)計(jì)算的結(jié)果即為對應(yīng)的召回率與精準(zhǔn)率。由圖4可以看出，隨著召回率的增加2個(gè)模型的精準(zhǔn)率整體呈下降趨勢，當(dāng)召回率在0～40%區(qū)間時(shí)，本文模型精準(zhǔn)率與標(biāo)準(zhǔn)SSD模型精準(zhǔn)率近似相同；當(dāng)召回率在40%～100%區(qū)間時(shí)本文模型精準(zhǔn)率高于標(biāo)準(zhǔn)SSD模型，說明在這個(gè)區(qū)間內(nèi)本文模型錯(cuò)誤檢測出的目標(biāo)數(shù)量低于標(biāo)準(zhǔn)SSD模型。同時(shí)，本文模型P-R曲線與坐標(biāo)軸合圍形成的面積大于標(biāo)準(zhǔn)SSD模型，表明本文模型檢測效果更佳。

圖4 不同檢測模型P-R曲線Fig.4 P-R curves of different detection models

4.2 不同環(huán)境條件下作物與雜草對比檢測試驗(yàn)

為驗(yàn)證不同農(nóng)田環(huán)境下目標(biāo)推理檢測模型的有效性以及適應(yīng)性，本文選擇不同光照條件、不同土壤背景、不同生長階段的玉米幼苗及雜草，利用本文模型和標(biāo)準(zhǔn)SSD模型進(jìn)行對比檢測試驗(yàn)，為區(qū)別2種檢測模型效果，本文方法在回歸邊框左上角的目標(biāo)名稱和置信度區(qū)域加入背景顏色，試驗(yàn)結(jié)果如圖5～9所示。從試驗(yàn)圖像可以看出，不同環(huán)境條件下本文方法均可以正確檢測出作物與雜草對象，但標(biāo)準(zhǔn)SSD模型存在漏檢和類別預(yù)測錯(cuò)誤的情況(圖7a、圖9a)。此外，本文算法對于大多數(shù)目標(biāo)對象的預(yù)測置信度高于標(biāo)準(zhǔn)SSD模型，預(yù)測邊框能夠準(zhǔn)確覆蓋目標(biāo)對象投影區(qū)域，沒有出現(xiàn)邊框過大包含較多背景或者邊框過小導(dǎo)致部分目標(biāo)區(qū)域沒有被包括的情況。試驗(yàn)表明在復(fù)雜環(huán)境下本文算法對檢測目標(biāo)具有更強(qiáng)的特征提取能力和更準(zhǔn)確的位置預(yù)測性能。

圖5 晴天棕色土壤4葉期玉米識別檢測Fig.5 Identification results of maize with four leaves under brown soil back ground on sunny day

圖6 陰天灰色土壤6葉期玉米識別檢測Fig.6 Identification results of maize with six leaves under gray soil back ground on cloudy day

圖7 高密度雜草(藜)環(huán)境識別檢測Fig.7 Identification results under high density weed condition

圖8 成株期田旋花識別檢測Fig.8 Identification results of convolvulus in maturation period

圖9 幼苗期打碗花識別檢測Fig.9 Identification results of bowl flower in seedling period

4.3 葉片交疊與小尺寸目標(biāo)檢測對比試驗(yàn)

自然農(nóng)業(yè)環(huán)境中，作物與雜草葉片分散生長，植株位置具有隨機(jī)性，當(dāng)生長位置距離較近時(shí)會出現(xiàn)葉片交疊遮擋的情況，要對不同類別對象進(jìn)行準(zhǔn)確識別定位是目前作物與雜草檢測研究中的一個(gè)難點(diǎn)。此外，雜草生長階段具有多樣性，存在萌芽期、幼苗期、成株期共存的情況，對于小尺寸萌芽期雜草準(zhǔn)確識別是提高自動化除草作業(yè)質(zhì)量的一個(gè)重要保證。實(shí)際上葉片交疊與小尺寸目標(biāo)均會減少檢測對象的有效識別面積，兩者對于識別模型特征提取所產(chǎn)生的困難具有相似性。圖10、11為2種檢測模型對于葉片交疊情況的識別效果，可以看出本文模型能夠準(zhǔn)確檢測定位出作物和雜草信息，而標(biāo)準(zhǔn)SSD模型則存在將2株作物預(yù)測為1株以及雜草沒有被檢測到的情況。圖12為小尺寸雜草檢測對比結(jié)果，與本文模型相比，標(biāo)準(zhǔn)SSD模型存在2個(gè)萌芽期雜草沒有識別出的情況。通過試驗(yàn)結(jié)果可以得出，相比于標(biāo)準(zhǔn)SSD模型，本文模型采用不同分類特征層信息融合機(jī)制使淺層特征圖的高級語義信息豐富程度增加，具有更強(qiáng)的多尺度識別能力，對小尺寸目標(biāo)和葉片交疊情況下的作物與雜草檢測具有良好的泛化能力和魯棒性。

圖10 玉米葉片交疊檢測對比Fig.10 Identification results of maize with leaves overlapping

圖11 玉米與雜草葉片交疊檢測對比Fig.11 Identification results of maize and weed with leaves overlapping

圖12 小尺寸雜草(刺菜)識別檢測對比Fig.12 Identification results of weed in germination period

5 結(jié)論

(1)利用深度可分離卷積與SENet模塊相結(jié)合設(shè)計(jì)了輕量化特征提取單元，通過對各特征提取單元以前饋方式進(jìn)行密集化網(wǎng)絡(luò)連接，構(gòu)成輕量前置網(wǎng)絡(luò)，有效降低了深度學(xué)習(xí)檢測模型復(fù)雜程度，并提高了特征提取精度，與標(biāo)準(zhǔn)SSD模型相比，檢測精度提高了2.66個(gè)百分點(diǎn)，檢測速度提高了33.86%，參數(shù)規(guī)模降低了66.21%。

(2)引入逆卷積運(yùn)算將SSD模型深層語義信息與淺層細(xì)節(jié)信息進(jìn)行融合，融合后的高分辨率淺層特征圖具有豐富的語義信息與更強(qiáng)的擬合能力，有效提高了對小尺寸作物雜草以及葉片交疊情況的檢測能力。