基于ResNet網(wǎng)絡(luò)的小蠢蟲識(shí)別研究*

華月珊 王佳新 戎潔慶 華國(guó)棟 李 莉

（1.廣州市辰景生態(tài)技術(shù)服務(wù)有限責(zé)任公司，廣東 廣州 510520；2. 廣東省林業(yè)調(diào)查規(guī)劃院，廣東 廣州 510520；3. 河北工程大學(xué) 信息與電氣工程學(xué)院，河北 邯鄲 056038)

小蠢科是林業(yè)保護(hù)重點(diǎn)防治的蛀干蟲害之一，對(duì)林木具有極強(qiáng)破壞性。傳統(tǒng)識(shí)別方法主要依賴專家進(jìn)行人工鑒別，耗時(shí)耗力且無法進(jìn)行大面積實(shí)時(shí)精準(zhǔn)防控。衛(wèi)星遙感影像監(jiān)測(cè)林業(yè)病蟲害的方法[1-2]主要是利用了林木受到蟲害侵襲后，其外貌樹冠形態(tài)將會(huì)產(chǎn)生變化，導(dǎo)致植物的反射率發(fā)生改變。植物反射率的變化會(huì)導(dǎo)致光譜特性的變化，通過遙感衛(wèi)星能有效捕捉到光譜值的異常。由于這種方法需要蟲害大面積發(fā)生后才能捕捉到蟲害發(fā)生的信息，及時(shí)性不足，且這種方法難以判斷蟲害的類型?，F(xiàn)階段林業(yè)保護(hù)急需智能蟲害識(shí)別模型。隨著深度學(xué)習(xí)的快速發(fā)展，基于卷積神經(jīng)網(wǎng)絡(luò)(Covolutional Neural Networks, CNN)的目標(biāo)檢測(cè)任務(wù)得到了巨大的提升，能有效解決生活場(chǎng)景中的多數(shù)目標(biāo)識(shí)別[3-4]。本研究針對(duì)汕尾海豐縣黃羌松林場(chǎng)區(qū)害蟲防治現(xiàn)狀，對(duì)害蟲識(shí)別方法展開研究，重點(diǎn)分析了基于神經(jīng)網(wǎng)絡(luò)的目標(biāo)檢測(cè)模型，構(gòu)建了基于深度感知神經(jīng)網(wǎng)絡(luò)的林業(yè)蟲害監(jiān)控系統(tǒng)（圖1）。

圖1 蟲害監(jiān)控系統(tǒng)Fig.1 Pest control system

1 數(shù)據(jù)采集與方法

1.1 圖像數(shù)據(jù)采集

圖像采集主要分為誘捕器采集點(diǎn)設(shè)置與無人機(jī)采集兩種。其中誘捕器采集點(diǎn)設(shè)置方法，主要通過在目標(biāo)松林中按高斯隨機(jī)方式進(jìn)行架設(shè)點(diǎn)設(shè)置，在誘捕器頂部安裝小型攝像頭，下部放置盛放酒精的玻璃器皿，攝像頭每10 min 采集一張害蟲圖像。無人機(jī)采集方式主要通過無人機(jī)林中巡航方式進(jìn)行采集，利用具有路徑規(guī)劃與避檢測(cè)障功能無人機(jī)在林中巡航，配合樹干異常結(jié)構(gòu)，在問題樹干附近懸停釋放引誘劑，從而采集蟲害并進(jìn)行識(shí)別。兩種圖像采集方式具體形式如圖2 所示。系統(tǒng)中的圖像預(yù)處理、圖像處理與結(jié)果后處理是本文重點(diǎn)關(guān)注部分，論文分別使用了數(shù)據(jù)增強(qiáng)方法，深度神經(jīng)網(wǎng)絡(luò)與軟性非極大值抑制對(duì)這3 部分進(jìn)行了優(yōu)化。該系統(tǒng)能及時(shí)對(duì)蟲害的產(chǎn)生做出預(yù)警，并快速檢測(cè)識(shí)別出蟲害種類，為防治方案的制定提供數(shù)據(jù)支持，減少林木資源的損失，達(dá)到早發(fā)現(xiàn)、早控制的目的。

圖2 圖像采集方式Fig.2 The collection methods of image

1.2 彩色圖像檢測(cè)識(shí)別林業(yè)害蟲技術(shù)方法

本論文以小蠢科目為研究對(duì)象，提出了一種基于深度感知神經(jīng)網(wǎng)絡(luò)的林業(yè)害蟲檢測(cè)識(shí)別算法。

1.2.1 數(shù)據(jù)增強(qiáng)方法 深度學(xué)習(xí)的優(yōu)點(diǎn)在于其能自動(dòng)發(fā)掘數(shù)據(jù)中的特征，而不需要手工設(shè)計(jì)繁瑣的特征表示，訓(xùn)練樣本越多，模型性能將越好。然而，目前已公開的林業(yè)害蟲數(shù)據(jù)較少，并且在規(guī)模和多樣性上存在明顯缺點(diǎn)，難以很好地訓(xùn)練目標(biāo)檢測(cè)等網(wǎng)絡(luò)模型。針對(duì)林業(yè)害蟲數(shù)據(jù)集小與多樣性缺乏的問題，本文通過數(shù)據(jù)增強(qiáng)技術(shù)構(gòu)建了新型的大規(guī)模害蟲檢測(cè)數(shù)據(jù)集作為后續(xù)任務(wù)研究的數(shù)據(jù)基準(zhǔn)。

數(shù)據(jù)增強(qiáng)可以有效減少網(wǎng)絡(luò)的過擬合現(xiàn)象，對(duì)訓(xùn)練圖片進(jìn)行變換可以得到泛化能力更強(qiáng)的網(wǎng)絡(luò)，更好的適應(yīng)多變的林業(yè)場(chǎng)景。數(shù)據(jù)增強(qiáng)操作主要包括：隨機(jī)反射變換、隨機(jī)縮放變換、隨機(jī)翻轉(zhuǎn)變換、隨機(jī)平移變換、隨機(jī)多尺度變換、隨機(jī)顏色換、噪聲引入。除此之外，本文創(chuàng)新性地采用了混類算法進(jìn)行數(shù)據(jù)增強(qiáng)，使用混類算法獲得的部分樣本如圖3 所示。首先，假設(shè)x1是一張樣本圖片，y1表示該樣本對(duì)應(yīng)的標(biāo)簽，x2為另一張樣本圖片，y2表示該樣本對(duì)應(yīng)的標(biāo)簽，λ混合系數(shù)是服從參數(shù)為α、β的貝塔分布(Beta Distribution, BD)計(jì)算獲得，具體表達(dá)式為：

圖3 混類算法獲得的部分樣本Fig.3 Partial samples obtained by mixed class algorithm

1.2.2 深度感知神經(jīng)網(wǎng)絡(luò) 深度感知神經(jīng)網(wǎng)絡(luò)是一種主要通過反饋方式學(xué)習(xí)數(shù)據(jù)分布的結(jié)構(gòu)，適用于處理復(fù)雜數(shù)據(jù)。在計(jì)算機(jī)視覺技術(shù)中，深度感知神經(jīng)網(wǎng)絡(luò)通常被用于二維圖像數(shù)據(jù)的特征提取與識(shí)別，主要包含卷積層、池化層、歸一化層與全連接層[5]。本文在林業(yè)保護(hù)的背景下，針對(duì)林業(yè)害蟲識(shí)別問題展開研究。林業(yè)害蟲識(shí)別具有識(shí)別目標(biāo)小，形狀怪異等特點(diǎn)，因此，本文在一階段目標(biāo)檢測(cè)網(wǎng)絡(luò)基礎(chǔ)上，引入金字塔結(jié)構(gòu)與形變結(jié)構(gòu)，提出了面向林業(yè)害蟲識(shí)別的深度感知神經(jīng)網(wǎng)絡(luò)模型，很好地解決了小目標(biāo)多形變性害蟲的識(shí)別，其具體結(jié)構(gòu)如圖4 所示。

圖4 林業(yè)害蟲識(shí)別算法總體框架Fig.4 General framework of forest pest identification algorithm

1.3 數(shù)據(jù)處理

1.3.1 特征金字塔結(jié)構(gòu) 在目標(biāo)檢測(cè)任務(wù)中，特別是在林業(yè)害蟲識(shí)別任務(wù)上，面臨著一個(gè)目標(biāo)尺度跨越較大的問題，即同一語(yǔ)義場(chǎng)景中包含的物體是跨類別、跨尺度的。為了解決這一問題，主要采用了特征金字塔結(jié)構(gòu)構(gòu)建目標(biāo)識(shí)別網(wǎng)絡(luò)。

本文采用特征金字塔結(jié)構(gòu)建立了多層級(jí)預(yù)測(cè)結(jié)構(gòu)，與單一特征輸出不同，多層級(jí)特征金字塔為多輸出結(jié)構(gòu)，具體比較如5 所示。在自底向上提取特征的同時(shí)，在每一層級(jí)做出預(yù)測(cè)。自底向上的特征提取過程主要采用經(jīng)過大型數(shù)據(jù)集預(yù)訓(xùn)練后的網(wǎng)絡(luò)進(jìn)行提取，本文采用了ResNet50作為骨干網(wǎng)絡(luò)。在做出預(yù)測(cè)的過程中，每個(gè)高層級(jí)特征圖將采用最近鄰插值上采樣到與下一層級(jí)特征圖一樣的尺寸，然后將獲得的特征圖與當(dāng)前層相加獲得特征圖相融合，得到特征圖{M2,M3,M4,M5}，有效利用了高層信息的語(yǔ)義特征，并通過底層的高分辨率輔助算法對(duì)目標(biāo)進(jìn)行定位。最后，使用附加卷積核處理融合后的特征圖，從而消除因特征融合產(chǎn)生的混疊效應(yīng)，最終輸出{P2,P3,P4,P5}。

圖5 特征提取預(yù)測(cè)結(jié)構(gòu)Fig.5 Feature extraction and prediction structure

1.3.2 形變結(jié)構(gòu) 在林業(yè)害蟲識(shí)別任務(wù)中的另一大挑戰(zhàn)是如何處理害蟲的形狀變換。傳統(tǒng)卷積核因其固定的內(nèi)在結(jié)構(gòu)，導(dǎo)致其無法很好地處理出現(xiàn)在野外中的害蟲形狀變化。主要的解決辦法是進(jìn)行數(shù)據(jù)增強(qiáng)，通過對(duì)數(shù)據(jù)集進(jìn)行多樣性轉(zhuǎn)換，使得數(shù)據(jù)集盡可能多的包含林業(yè)害蟲可能出現(xiàn)的變化情況[6]。然而此方法前提是害蟲的變化情況是已知的，對(duì)于未知的蟲害變化，并不能很好的適應(yīng)，從而無法很好的完成林業(yè)害蟲的識(shí)別。為此，本文在識(shí)別網(wǎng)絡(luò)中引入一層形變卷積，使網(wǎng)絡(luò)以自適應(yīng)的變形方式適應(yīng)輸入的蟲害目標(biāo)，有效增強(qiáng)整體網(wǎng)絡(luò)模型的形變適應(yīng)能力。

形變卷積的操作是通過對(duì)每個(gè)位置pn增加對(duì)應(yīng)的偏移量。因此，經(jīng)過形變卷積的偏移修正后的特征值可以表示成下式：

圖6 形變卷積實(shí)現(xiàn)過程Fig.6 The realization process of deformation convolution

1.3.3 軟性非極大值抑制 現(xiàn)有目標(biāo)檢測(cè)方法主要使用基于密集錨點(diǎn)的方法進(jìn)行候選框的預(yù)設(shè)，然而密集錨點(diǎn)的設(shè)置是的檢測(cè)后得高分的邊框數(shù)量較多，同一位置的檢測(cè)結(jié)果存在冗余情況，所以需要多冗余邊框進(jìn)行去除操作。傳統(tǒng)目標(biāo)檢測(cè)方法的后處理技術(shù)主要使用了非極大值抑制(Non-Maximum Suppression, NMS)[7]，經(jīng)過非極大值抑制后可以使得每個(gè)對(duì)應(yīng)位置保留分?jǐn)?shù)最高的檢測(cè)結(jié)果，剩余框與被選中邊框有明顯重疊的框被抑制，但該方法存在過渡濾除問題。如圖7 所示[8]，如果一個(gè)物體超過預(yù)設(shè)的重疊度(Intersection over Union, IoU)[9]，可能會(huì)導(dǎo)致無法檢測(cè)到目標(biāo)檢測(cè)物體。即當(dāng)目標(biāo)檢測(cè)框過度接近時(shí)，分?jǐn)?shù)更低的綠色檢測(cè)框?qū)?huì)因?yàn)榕c紅色檢測(cè)框重疊面積過大而被濾掉。

圖7 非極大值抑制誤差Fig.7 Non-maximum suppression error diagram

2 結(jié)果與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)集

本文采用的訓(xùn)練數(shù)據(jù)集來自百度，是一個(gè)已經(jīng)進(jìn)行標(biāo)記的小蠢科害蟲數(shù)據(jù)集。包括林業(yè)蛀干小蠢科6 種蟲害，分別為松十二齒小蠢lps sexdentatus Boerner，紅脂大小蠢Dendroctonus valens LeConte，松六齒小蠢lps acuminatus，華山松大小蠢Dendroctonus armandi，鞘翅目長(zhǎng)小蠢Platypus parallelus coleoptera，松芽枝竊蠢Ernobius mollis Linnaeus。采集害蟲樣本形態(tài)各異，主要呈現(xiàn)黑色與褐色，并將害蟲分置于大小一致的透明圓形培養(yǎng)皿中，每張樣本為六種害蟲的隨機(jī)組合。數(shù)據(jù)集共有2 183張害蟲樣本，根據(jù)8:1:1 的比例劃分?jǐn)?shù)據(jù)集，可以得到訓(xùn)練集約為1 600 張，驗(yàn)證集約為200 張，測(cè)試集約為200 張，部分示例如圖8 所示。

圖8 數(shù)據(jù)集部分樣本示例Fig.8 Sample of data set

2.2 網(wǎng)絡(luò)訓(xùn)練細(xì)節(jié)

實(shí)驗(yàn)采用python3.7 版本開發(fā)語(yǔ)言，深度學(xué)習(xí)框架為paddlepaddle，訓(xùn)練網(wǎng)絡(luò)使用的計(jì)算機(jī)GPU為Tesla V100。由于前層卷積提取的多為圖像的邊緣、輪廓、紋理等基本特征，具有一定的通用性。因此，本文使用經(jīng)過ImageNet 充分預(yù)訓(xùn)練的目標(biāo)檢測(cè)框架為基礎(chǔ)網(wǎng)絡(luò)[11]，將學(xué)習(xí)到的參數(shù)遷移到林業(yè)害蟲識(shí)別網(wǎng)絡(luò)中，有效地加速訓(xùn)練損失下降，更容易尋找到最優(yōu)空間。實(shí)驗(yàn)采用的反向傳播優(yōu)化算法為動(dòng)量[10]優(yōu)化算法。深度感知神經(jīng)網(wǎng)絡(luò)的各項(xiàng)參數(shù)為：學(xué)習(xí)率設(shè)置為0.001，迭代的次數(shù)為54 000 次，批量歸一化的大小為10，重疊閾值為0.45，momentum 設(shè)置為0.9。網(wǎng)絡(luò)搜索空間越大，優(yōu)化難度越高。因此，本文采用逐層精調(diào)，減少網(wǎng)絡(luò)搜索空間的方式對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，具體為將整體網(wǎng)絡(luò)分成特征提取模塊以及預(yù)測(cè)模塊，逐步訓(xùn)練并凍結(jié)不同模塊后分別進(jìn)行精調(diào)。

為了驗(yàn)證論文所提方法的有效性，算法將在林業(yè)害蟲數(shù)據(jù)集與收集的蟲害圖像上進(jìn)行方法的評(píng)估。本文所提算法的定量分析如表1 所示，從表中所有數(shù)據(jù)集可看出本文所提算法在林業(yè)害蟲的特殊任務(wù)中已經(jīng)取得了與通用目標(biāo)檢測(cè)相似準(zhǔn)確度。同時(shí)，驗(yàn)證了軟性非極大值抑制對(duì)目標(biāo)檢測(cè)的結(jié)果有一定的提升。本文同時(shí)提供了算法在林業(yè)害蟲數(shù)據(jù)集上的定性分析，如圖9 所示。測(cè)試結(jié)果1 和測(cè)試結(jié)果2 都準(zhǔn)確定位所有害蟲，并準(zhǔn)確識(shí)別害蟲種類華山松大小蠢（armandi1 只)、松六齒小蠢（acuminatus1 只)、紅脂大小蠢（leconte3 只)、松芽枝竊蠢（linnaeus1 只)、松十二齒小蠢（boerner1 只)。測(cè)試結(jié)果三僅出現(xiàn)一個(gè)漏檢。從圖中不同大小擺放位置姿態(tài)的害蟲識(shí)別結(jié)果可證明論文所提算法能有效應(yīng)對(duì)小目標(biāo)以及形態(tài)各異的害蟲。

圖9 林業(yè)害蟲檢測(cè)可視化圖Fig.9 Visualization of forest pest detection

表1 林業(yè)害蟲檢測(cè)算法定量Tab.1 Quantitative table of forest pest detection algorithm

3 結(jié)論與討論

林業(yè)與人類發(fā)展密切相關(guān)，不僅蘊(yùn)含巨大的生態(tài)效益，而且具備重要的經(jīng)濟(jì)效益。在國(guó)家促進(jìn)人與自然和諧發(fā)展，大力發(fā)展森林小鎮(zhèn)的背景下，本文針對(duì)現(xiàn)有蟲害預(yù)警防治現(xiàn)狀，研究了關(guān)于小蠢科害蟲的檢測(cè)模型，引入特征金字塔結(jié)構(gòu)、形變卷積結(jié)構(gòu)和軟性非極大值抑制構(gòu)建了面向林業(yè)害蟲的深度感知模型。通過在林業(yè)害蟲數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn)，模型準(zhǔn)確率達(dá)到了96.32%，表明該模型具有較好的準(zhǔn)確性。同時(shí)，本文的網(wǎng)絡(luò)模型結(jié)構(gòu)具有很好的泛化性，能有效應(yīng)對(duì)不同的復(fù)雜環(huán)境，實(shí)現(xiàn)蟲害的及時(shí)預(yù)警。