基于深度學(xué)習(xí)的誘捕器內(nèi)紅脂大小蠹檢測模型

孫 鈺 張冬月 袁明帥 任利利 劉文萍 王建新

(1.北京林業(yè)大學(xué)信息學(xué)院， 北京 100083; 2.北京林業(yè)大學(xué)林學(xué)院， 北京 100083)

0 引言

紅脂大小蠹為小蠹科、大小蠹屬的一種昆蟲，是危害松科植物的蛀干害蟲[1]。1998年山西省首次發(fā)現(xiàn)該蟲后[2]，危害面積迅速擴大。2004年紅脂大小蠹擴散到陜西省、河北省、河南省多地，發(fā)生面積超過5×105hm2,枯死松樹達600多萬株[3]。2005年擴散到北京市門頭溝區(qū)[4]。近年在遼寧省凌源市和建平縣、內(nèi)蒙古寧城縣和喀喇沁旗發(fā)現(xiàn)該蟲。

準確及時的蟲情監(jiān)測預(yù)警可指導(dǎo)早期防治，避免重大經(jīng)濟和生態(tài)損失。紅脂大小蠹成蟲遷移能力強、揚飛期長，對其數(shù)量和種群的動態(tài)監(jiān)測是該蟲防治工作的重要環(huán)節(jié)。在紅脂大小蠹成蟲揚飛期，工作人員根據(jù)松林分布情況懸掛誘捕器，并定期對林間誘捕器中的紅脂大小蠹進行人工識別和計數(shù)，存在勞動強度大、費用高、效率低、主觀性強等問題。

圖1 數(shù)據(jù)采集與標注Fig.1 Data acquisition and label

隨著計算機技術(shù)的不斷發(fā)展，基于計算機視覺、圖像處理及模式識別的害蟲自動識別技術(shù)得到了廣泛研究。目前國內(nèi)外的害蟲識別研究工作主要為以下兩個方向：①基于計算機視覺的害蟲特征提取。識別方法多采用害蟲圖像的全局特征，如顏色特征[5-10]、形態(tài)特征[5-6,8-14]、紋理特征[5-6,9,12]等。由于基于全局特征的描述能力具有局限性，近年出現(xiàn)了許多局部特征與全局特征相結(jié)合的特征表達方式[12-13]。隨后，F(xiàn)ENG等[15]提出了使用文字描述的語義相關(guān)視覺(Semantically related visual，SRV)屬性描述蛾類翅膀特征，謝成軍等[16]提出了稀疏編碼與空間金字塔模型相結(jié)合的圖像表示方式。②選擇和優(yōu)化基于機器學(xué)習(xí)的分類模型。使用的分類器主要有支持向量機(Support vector machine，SVM)[6-9,17-20]分類器、人工神經(jīng)網(wǎng)絡(luò)[7,11,21]、K-nearest neighbor[22]算法、主成分分析(Principal component analysis，PCA)[23]方法。

上述方法雖然取得了一定的進展，但仍無法滿足林業(yè)害蟲全自動監(jiān)測的需求。上述特征本質(zhì)上仍由人工預(yù)先設(shè)定，具有局限性。

相比傳統(tǒng)方法，深度學(xué)習(xí)模型是直接由數(shù)據(jù)驅(qū)動的特征及其表達關(guān)系的自我學(xué)習(xí)[24]。研究人員已開始探索使用深度學(xué)習(xí)進行害蟲識別和檢測。DING等[25]使用深度學(xué)習(xí)對粘板誘捕器上的蘋果蛾進行計數(shù)，但僅將深度卷積神經(jīng)網(wǎng)絡(luò)作為滑動窗口方法的分類器，導(dǎo)致可檢測目標尺寸單一且運算量巨大。楊國國等[24]使用基于AlexNet[26]網(wǎng)絡(luò)識別自然背景中的茶園害蟲，盡管AlexNet分類的平均準確率達91.5%，但依賴交互式圖像分割算法人工定位害蟲位置，導(dǎo)致無法實現(xiàn)自動統(tǒng)計害蟲數(shù)量。近年來，深度學(xué)習(xí)在目標檢測領(lǐng)域表現(xiàn)突出，可以同時實現(xiàn)目標的定位與識別。當前比較成功的深度學(xué)習(xí)目標檢測網(wǎng)絡(luò)包括Faster R-CNN[27]、SSD[28]、RetinaNet[29]、Mask R-CNN[30]等,但模型都是針對PASCOL VOC[31]、COCO[32]等通用大數(shù)據(jù)集設(shè)計，目標的類內(nèi)變化小且類間差異大。

為實現(xiàn)紅脂大小蠹蟲情自動監(jiān)測，本文在傳統(tǒng)信息素誘捕器中集成攝像頭，使用K-means[33]算法改進基于深度學(xué)習(xí)的Faster R-CNN目標檢測模型，檢測誘捕器背景中任意姿態(tài)的6種小蠹，克服蟲體破損、酒精蒸發(fā)、液面反光等困難，自動化地定位、識別并計數(shù)危害最大的紅脂大小蠹。

1 數(shù)據(jù)材料

1.1 誘捕器內(nèi)圖像采集

本文采用與文獻[34]中的實用新型誘捕器相似的漏斗形信息素誘捕器，如圖1所示。以信息素誘捕器捕獲的小蠹科害蟲為檢測對象，選取可被信息素吸引的6種小蠹作為實驗樣本。通過誘捕器與林間捕捉方式在遼寧省凌源市和建平縣獲取寄主為油松的紅脂大小蠹樣本，其余5種小蠹主要通過木段飼養(yǎng)、樹干解析或誘捕器方式在內(nèi)蒙古自治區(qū)、陜西省、北京市等地獲取。小蠹樣本數(shù)量如表1所示。

原始圖像由嵌入誘捕器收集杯中的圖像傳感器采集。圖1a為通過改造誘捕器收集杯實現(xiàn)圖像數(shù)據(jù)采集。首先在傳統(tǒng)誘捕器收集杯杯壁水平嵌入攝像頭。攝像頭感光元件尺寸為1/2.5″，分辨率為2 048像素×1 536像素，搭配2.1 mm定焦鏡頭，與杯底距離為6.6 cm。杯壁附有LED補光燈。

表1 小蠹樣本數(shù)量Tab.1 Number of scolytidae specimens

誘捕器收集杯中含酒精，酒精最多占收集杯容積的1/5。隨機投入1～6種可被信息素誘芯吸引的小蠹，共采集2 593幅圖像。因杯壁部分沒有檢測意義，采集后直接將其排除。首先對原始圖像進行高斯降噪處理，然后進行灰度處理，并對產(chǎn)生的灰度圖像進行霍夫圓檢測[35]，定位圓形杯底，最后根據(jù)檢測出的圓形杯底對原圖像進行裁剪。圖1b為拍攝原圖，圖1c為裁剪后圖像，裁剪后分辨率為1 295像素×1 295像素。

圖像標注由采集人員完成并經(jīng)昆蟲學(xué)家確認，標注包括邊界框坐標和類別兩類信息。圖1d是對圖1c的標注，邊界框為包圍小蠹的最小長方形，紅色代表紅脂大小蠹。

1.2 數(shù)據(jù)集建立

為了驗證模型的有效性，訓(xùn)練集和測試集分別使用不同的小蠹樣本。劃分1 913幅圖像作為訓(xùn)練集，680幅圖像作為測試集。小蠹樣本使用情況如表1所示。模型訓(xùn)練集和測試集均包含多種姿態(tài)和不同破損程度的小蠹圖像，部分圖像出現(xiàn)小蠹身體接觸或遮擋。拍攝過程中，小蠹多數(shù)沉至杯底，少數(shù)漂浮在酒精液面，且多數(shù)圖像的拍攝過程受到倒影、反光等環(huán)境影響。本文根據(jù)小蠹圖像識別的難易程度把測試集分為簡單測試集和困難測試集，分別為490幅和190幅。困難測試集中的圖像多為蟲體殘破、小蠹數(shù)量多且擁擠的圖像，同時加入了誘捕器收集杯中酒精揮發(fā)后的小蠹圖像(訓(xùn)練集中不包括此類圖像)，采集圖像時在誘捕器收集杯中加入了松針、樹皮、少量其他昆蟲(螞蟻、小灰長角天牛)作為復(fù)雜背景。圖2a～2d為簡單測試集，圖2e～2h為困難測試集。

圖2 測試集中典型圖像Fig.2 Typical images of test sets

2 檢測方法

誘捕器內(nèi)小蠹檢測的難點主要有：①類間差異小。被信息素誘芯吸引的6種小蠹均為小蠹科，其中華山松大小蠹與紅脂大小蠹同屬大小蠹屬。②類內(nèi)變化大。小蠹落入收集杯后不僅姿態(tài)、位置各異，并且包含不同個體大小及肢體破損。③背景不一致。收集杯內(nèi)可能落入松針、樹皮等雜質(zhì)，酒精會反光，并因蒸發(fā)導(dǎo)致液面高度變化。針對上述問題，本文改進基于深度學(xué)習(xí)的Faster R-CNN目標檢測模型，以實現(xiàn)誘捕器內(nèi)的全自動紅脂大小蠹檢測。

2.1 Faster R-CNN目標檢測模型

REN等[27]提出了Faster R-CNN目標檢測模型，由區(qū)域建議網(wǎng)絡(luò)(Region proposal network，RPN)和Fast R-CNN[36]組成。RPN和Fast R-CNN共享卷積特征，可有效地縮短檢測時間。Faster R-CNN在第1階段最后卷積層輸出的特征圖上添加全卷積RPN，以密集分布的不同寬高比和尺寸的默認框為基準，生成高質(zhì)量候選區(qū)域；在第2階段，F(xiàn)ast R-CNN負責學(xué)習(xí)候選區(qū)域特征并對其進行目標分類和檢測框回歸。Faster R-CNN通過交替運行梯度下降方法，輪流優(yōu)化RPN和Fast R-CNN，實現(xiàn)共享參數(shù)的快速目標檢測。RPN訓(xùn)練階段，僅將與標注框交并比(Intersection over union，IoU)超過70%的默認框記做正默認框，將與標注框IoU不超過30%的默認框記做負默認框，舍棄其余的默認框。模型使用的損失函數(shù)由目標分類損失Lcls和檢測框回歸損失Lreg組成。Lcls是判斷是否為目標的對數(shù)損失，Lcls、Lreg的計算公式為

(1)

(2)

式中i——默認框序號

ti——檢測框的4個參數(shù)位置，表示檢測框相對于默認框的偏移量

(3)

式中Ncls——每幅圖像隨機采樣的默認框的數(shù)量

Nreg——默認框中心點數(shù)量

λ——平衡權(quán)重

使用Ncls、Nreg和平衡權(quán)重λ對兩種損失進行標準化。

2.2 基于K-means的默認框改進

Faster R-CNN輸出各默認框內(nèi)的目標類別及位置調(diào)整值。Faster R-CNN使用3×3窗口在第1階段最后卷積層輸出的特征圖上滑動，每個窗口的中心點映射到原始圖像，根據(jù)映射的中心點在原始圖像上生成不同比例和尺寸的默認框。原始的Faster R-CNN是人為指定如表2所示的原始默認框，以256像素×256像素的框為基礎(chǔ)框，生成默認框?qū)捀弑确謩e為0.5、1、2，與基礎(chǔ)框面積比為0.062 5、0.25、1、4的12個默認框。RPN訓(xùn)練階段，只有正默認框才能生成兩種損失。受鏡頭焦距、拍攝距離和小蠹體型的約束，小蠹數(shù)據(jù)集的目標大小和通用數(shù)據(jù)集存在較大差異，本文使用K-means方法對小蠹數(shù)據(jù)集中的標注框進行聚類分析，選取適合檢測誘捕器內(nèi)紅脂大小蠹的默認框，聚類過程中默認框與標注框之間距離的計算公式為

(4)

式中bground——訓(xùn)練集標注框

bdefault——默認框

聚類前后模型采用的默認框尺寸如表2所示。

表2 默認框優(yōu)化前后尺寸對比Tab.2 Comparison of size of default boxes before and after optimization 像素

圖3中圖像分辨率為600像素×600像素，是模型的輸入分辨率，圖像中綠框為一組原始的默認框，紅框為聚類后的一組默認框，相比之下聚類后的默認框與紅脂大小蠹重合度更高，有效減少了消耗計算資源但不生成訓(xùn)練誤差的默認框數(shù)量，更加有利于梯度的生成。

圖3 原始默認框和聚類后默認框?qū)Ρ菷ig.3 Comparison between original default boxes and clustered default boxes

2.3 紅脂大小蠹檢測流程

紅脂大小蠹的檢測流程如圖4所示，首先將從誘捕器中采集的小蠹圖像進行預(yù)處理。預(yù)處理包括將圖像縮放至600像素×600像素，RGB各通道歸一化至正態(tài)分布。然后將預(yù)處理后的圖像輸入模型進行檢測，使用非極大值抑制(Non-maximum suppression，NMS)方法去除同類之間IoU大于50%的檢測框，按分類信心排序后，最多輸出100個檢測結(jié)果。圖4中的紅色方框為檢測結(jié)果，圖像左上角標注出紅脂大小蠹的數(shù)量。

圖4 紅脂大小蠹檢測流程圖Fig.4 Flow chart of red turpentine beetle detection

3 實驗與結(jié)果分析

3.1 模型訓(xùn)練

本文中檢測模型采用ResNet50[37]為特征提取器，訓(xùn)練階段采用動量為0.9的隨機梯度下降算法(Stochastic gradient descent，SGD)進行優(yōu)化，初始學(xué)習(xí)速率為3×10-4。軟件實現(xiàn)基于TensorFlow深度學(xué)習(xí)框架，硬件平臺采用AMD Ryzen 1700X CPU(64 GB內(nèi)存)加Nvidia TITAN Xp GPU(12 GB顯存)。

為了更加詳盡地評價本文檢測模型，本文使用面向個體的定量評價指標和面向誘捕器的定性評價指標[25]。面向個體的評價指標主要針對紅脂大小蠹個體檢測效果進行評價，面向誘捕器的評價指標主要針對檢測圖像中是否存在紅脂大小蠹的效果進行評價。

圖5 測試集的個體精確率-召回率曲線Fig.5 Curves of object precision-recall on test set

3.2 面向個體的定量評價

面向個體的精確率和召回率的計算公式為

(5)

(6)

式中p——面向個體的精確率

r——面向個體的召回率

Tpositive——正確類數(shù)量

Ndetected——檢測框數(shù)量

Nground——紅脂大小蠹標注框數(shù)量

檢測框和標注框類別相同且IoU大于50%為真正類。面向個體的精確率和召回率的調(diào)和平均值計算公式為

(7)

式中β——調(diào)和參數(shù)，設(shè)為2

本文采用面向個體的精確率-召回率的曲線下面積(Area under the curve，AUC)[31]作為定量評價指標，簡稱個體AUC，曲線如圖5所示。實驗結(jié)果表明使用K-means算法進行參數(shù)優(yōu)化后的紅脂大小蠹檢測模型在困難測試集上個體AUC達到了0.862 7，在簡單測試集上個體AUC達到了0.985 9，在整體測試集上個體AUC達到了0.935 0。改進后的模型相對于未改進模型在困難測試集上個體AUC提高了4.33%?；赟SD的紅脂大小蠹檢測模型SSD300和SSD512在困難測試集上個體AUC分別為0.529 1和0.428 3，在整體測試集上個體AUC分別為0.708 2和0.678 8。

3.3 面向誘捕器的定性評價

面向誘捕器的精確率和召回率的計算公式為

(8)

(9)

式中p′——面向誘捕器的精確率

r′——面向誘捕器的召回率

如果模型在一幅誘捕器圖像中至少正確檢測出一只紅脂大小蠹，則認為是真正類。面向誘捕器的精確率和召回率的調(diào)和平均值的計算公式為

(10)

本文采用面向誘捕器的精確率-召回率AUC作為定性評價指標，簡稱誘捕器AUC，曲線如圖6所示。實驗結(jié)果表明：使用K-means算法進行默認框優(yōu)化后，模型在困難測試集上誘捕器AUC達到了0.944 7，在簡單測試集上誘捕器AUC達到了0.983 4，在整體測試集上誘捕器AUC達到了0.972 2。改進后的模型相對于原始模型在困難測試集上誘捕器AUC提高了3.28%?；赟SD的紅脂大小蠹檢測模型SSD300和SSD512在困難測試集上誘捕器AUC分別為0.854 1和0.870 2，在整體測試集上誘捕器AUC分別為0.855 9和0.921 1。

圖6 測試集的面向誘捕器的精確率-召回率曲線Fig.6 Curves of trap precision-recall on test sets

3.4 結(jié)果分析

圖7 典型錯誤示例Fig.7 Typical false detections

4 結(jié)束語

改進的深度學(xué)習(xí)目標檢測模型Faster R-CNN符合大多數(shù)研究對于小蠹樣本及拍攝條件嚴格的要求，避免了預(yù)處理及特征提取階段的人工干預(yù)。使用K-means聚類方法對模型的默認框進行改進后，有效減少了消耗計算資源但不生成訓(xùn)練誤差的默認框數(shù)量。改進后的模型在困難測試集上的個體AUC、誘捕器AUC分別提高了4.33%、3.28%，整體測試集上的個體AUC、誘捕器AUC分別達到了0.935 0、0.972 2，實驗證明，該模型可有效定位、識別和計數(shù)信息素誘捕器內(nèi)危害最大的紅脂大小蠹。